etl工程师(银行etl工程师业务内容)

etl工程师，银行etl工程师业务内容？

1、银行证券业务调研、需求分析与设计、数据分析；

2、负责ETL开发，独立完成ETL详细设计与开发测试工作；

3、参与数据仓库系统上线及运维工作。

任职要求：

1、计算机相关专业，统招本科以上学历；

2、熟悉数据仓库建设流程、具备数据仓库、模型设计经验、ETL开发实施经验；

3、精通Sql、存储过程等开发，有SQL调优知识和经验，掌握Greenplum、Oracle、Sqlserver、Teradata、DB2、MySQL等一种或多种数据库系统的使用；

4、熟悉linux操作系统、熟练使用linux常用命令；

5、具有Kettle、Informatica、DataStage、PowerCenter等ETL开发工具的实施经验；

6、熟练使用Perl、Shell、Java、Python脚本进行开发；

7、熟悉Hadoop、Hive，Hbase，Kafka，Spark，Storm等大数据技术优先；

8、有银行/保险/证券等金融业数据仓库经验优先。

只能成为薪资6k左右的业务数据分析师吗？

工具会的多不如会的精，会的精更要懂业务，否则一地鸡毛。数据如果没有清洗/分析只是冰冷冷的符号，数据本质上是对现实世界的映射。

作为业务数据分析师，首先要懂业务深入了解业务，学习结构化思维形成思考的逻辑，利用工具处理分析数据。

业务数据分析师不是严格意义上的数据分析师，业务数据分析师一般在企业是业务督导/销售管理岗/统计与分析等岗位，从岗位名称我们也可以知道，他要对行业与业务有很深的了解与见解，没有业务的深度，即使你逻辑能力和分析工具都很强也是虚的，毫无意义。所以你要有一线的业务经验或者对一线业务了如指掌，能够深度挖掘数据，不被表面数据所蒙蔽，也就是能真正分析出有意义的结论。比如看到某个组织人员满编率很低你要知道为什么很低，可能是满足学历的人太少，可能是公司待遇不好，也可能确实是管理层的问题，分析这些必须要掌握一定的业务，否则分析半天也分析不出愿意。

其次业务数据分析师还要有好的逻辑思维与数据分析能力，数据分析师是辅助领导做分析与决策的，类似以前的师爷团队。数据只是冰冷的符号，只有当它被利用起来才是价值，但数据被利用起来需要很好的逻辑能力，如果没有很强的逻辑能力，数据就会被歪曲被误会从而走向错误的方向，错误的数据分析解读比没有分析还可怕，当然任何工作都需要有逻辑能力，数据分析师的严谨性要求其要有更强的逻辑能力，关于逻辑能力的书可以推荐基本，一本是《金字塔原理》，还有《麦肯锡意识》，都是前麦肯锡人写的，看完你会焕然大悟。数据分析能力也是数据分析师必备的，最简单的就是有数据感，看到数据就像看到业务场景一样，能够获取信息了解业务基本情况，再深层次一些统计与数学好，数学与统计是数据分析的基础。

至于说工具，对于业务数据分析师来说，没有太高的要求，玩转Excel/Word/PPT，会用sql提取数据基本差不多，至于统计分析软件，数据分析工程师用的比较多，那个对数学与统计学要求高一些，业务数据分析师没有必要学那么多。

看你要学习一堆工具，多说一点工具的，SQL是结构化查询语言，是通过SQL语言去数据库提取数据，对于数据分析师来说就是提取数据，Python/r/spss是统计分析工具，用来处理分析数据，对数据作可视化操作，Excel也是基本的数据分析工具，也是用来分析数据/可视化数据的，只是可操作数据量相对小，最大可操作数据100万行，量再大就需要使用数据库了，但处理方便，门槛低，是绝大部分业务数据分析师的基础。

数据清洗好学吗？

数据清洗还是要看具体的职责范围吧，一般来说，我们叫 ETL 工程师，代表围绕数据预处理的一系列工作。

难度主要在各种异构的数据的收集，连接，整理，转换，很多情况下是比较让人烦躁的，因为例外的情况太多了，也不知道用户会造出什么数据。

清洗只是 ETL 的一个环节而已。一般不会有人只会做这个。更多的是代码开发工作。

成年人的学习能力一般都是优于青少年的，只是说，成年人受到的干扰太多了。机会成本太高了。牵绊也太多了，不太容易专注。在学习能力上是没有弱点的。

所以，你问四十岁能不能学，生理因素上是没有什么限制的。主要还是心理因素和琐事的制约。

学习一项技能的务实，总还是比较容易的，一段时间就可以学会和上手务实了，但是，不知道原理的话，可能会制约未来的发展，不过，原理都是硬骨头，需要一点点去啃，去积累的。

建模的目的？

数据建模的目的就是设计一种能够创建包含丰富信息量和美学特点的地图的数据结构

从目前的数据库及数据仓库建模方法来说，主要分为四类。 第一类是大家最为熟悉的关系数据库的三范式建模，通常我们将三范式建模方法用于建立各种操作型数据库系统。 第二类是Inmon提倡的三范式数据仓库建模，它和操作型数据库系统的三范式建模在侧重点上有些不同。

Inmon的数据仓库建模方法分为三层，第一层是实体关系层，也即企业的业务数据模型层，在这一层上和企业的操作型数据库系统建模方法是相同的；第二层是数据项集层，在这一层的建模方法根据数据的产生频率及访问频率等因素与企业的操作型数据库系统的建模方法产生了不同；第三层物理层是第二层的具体实现。

第三类是Kimball提倡的数据仓库的维度建模，我们一般也称之为星型结构建模，有时也加入一些雪花模型在里面。维度建模是一种面向用户需求的、容易理解的、访问效率高的建模方法，也是笔者比较喜欢的一种建模方式。

第四类是更为灵活的一种建模方式，通常用于后台的数据准备区，建模的方式不拘一格，以能满足需要为目的，建好的表不对用户提供接口，多为临时表。 下面简单谈谈第四类建模方法的一些的经验。 数据准备区有一个最大的特点，就是不会直接面对用户，所以对数据准备区中的表进行操作的人只有ETL工程师。

做大数据必须要用Java吗？

你好，我是Lake，专注大数据技术、程序员经验、互联网科技见解分享。

学习大数据是否一定要学Java?我个人认为主要还是要看你所选择的工作方向。如果你选择大数据运维，那不一定要学习Java。大数据运维平时比较多的是对各种机器进行配置修改、安装部署集群、服务安装、对机器运维等等，所涉及到的Java开发方面会很少。同样，如果你选择ETL(数据处理)开发工程师，也不一定要学习Java语言，你需要更多关注的是数据仓库方面的理论知识以及业务数据模型构建。但是如果你选择大数据应用或平台开发工程师，那么Java语言你是一定要学的，很多日常需求开发你都会使用到Java。

目前很多大数据开源项目底层都是使用Java进行开发，比如Hadoop、HBase、Flink等等。当你选择从事大数据开发工程师时，那么平时你在和这些大数据技术组件打交道时，或多或少都会使用到Java。学习他们的原理和源码，你需要对Java有所了解才能看懂，有时候大数据组件的一个BUG，需要你看源码才能够解决，如果你对Java不懂的话，还能看懂吗？同样，比如日常业务开发需求，需要你结合公司某些特定业务场景，对大数据组件进行定制化开发和优化时，如果你不会Java，那个你还怎么满足这样的业务需求呢。大数据开发工程师，不仅仅要懂Java，更要对自己所维护的大数据组件原理要非常精通才行，这样你在公司内才会更有影响力。

ETL开发同学和大数据运维同学就不一定要学习Java语言。ETL同学更多的是关注怎么样对数据进行加工处理，一般会使用SQL来进行日常任务开发，不会用到太多Java。ETL同学关注的是如何通过数据仓库理论和业务模型构建，使得自己开发的任务更具有通用性，以便于自己以后的任务维护和数据指标的统一等等。大数据运维同学主要侧重机器运维、集群、任务运行稳定方面，一般它们不会去开发具体的代码，更多的使用使用脚本、Linux命令等进行运维。当然，如果它们能够对Java很熟练的话，那么他们在运维和开发方面，也会更加方便快捷。

大数据是否要学习Java，其主要还是要看你所选择从事的大数据方向。不同的大数据岗位，对Java的需求是不同的，当然，我个人建议你有时间还是可以好好学习Java，毕竟很多大数据技术组件都是Java开发的，你以后再对这些大数据技术组件进行优化和源码阅读时，就能够快速的完成。