工作职责:

1、根据部门工作安排参与大数据平台和数据仓库的规划、建设、运维、监控和优化工作，跟踪业内外大数据应用动向；

2、负责ETL/大数据/数仓作业调度设计、性能调优；

3、保证CDH大数据平台各核心服务运行的稳定、高效；

4、对CDH大数据平台运维不断优化，提升数据产品的质量和响应速度；

5、开发各种CDH大数据平台和数据仓库自动化运维与监控工具；

6、研究大数据前沿技术，优化现有系统的服务和运维架构，提升系统可靠性和可运维性；

7、负责大数据和数据仓库技术栈的规划和相关文档的编写。

任职资格:

1、985、211本科及以上学历，计算机、软件工程、电子信息等相关专业优先，年龄35岁以下；

2、熟悉Hadoop生态圈主流技术，熟练使用CDH平台，熟悉hdfs、MapReduce 、yarn、hive、spark、impala、Hbase、kudu、flume、kafka、flink、ZooKeeper等常用组件；

3、理解Spark和MapReduce的原理，能够根据日志分析程序运行出现错误的原因，并对程序运行的参数进行优化，给予数据开发人员建议和支持；

4、熟悉分布式系统、分布式计算系统的工作机制，熟悉Hadoop生态圈相关核心技术的工作机理；

5、有使用hive、NETEZZA、华为Libra等产品做ETL、数据迁移、存储过程调优等经验；

6、有spark streaming或Flink大型项目开发经验；

7、良好的沟通能力，工作细心负责，富有创新精神、团队精神，学习能力强，抗压能力强；

8、有证券行业相关系统开发工作经验者优先。