职位详情

职位名称：数据采集工程师

专业要求：

岗位职责：

工作职责:

1）负责数据采集的开发，建立数据采集标准和规范，优化采集流程；

2）负责数据采集平台正常运行，日常数据监控和异常数据预警，及时解决异常保证数据质量；

3）负责对采集平台进行优化和升级，深入分析和解决过程中遇到的各种技术和性能问题，提高采集效率；

4）对ETL相关领域知识，调度系统、元数据管理系统、数据质量管理、主数据管理，监控系统等有深入理解，能够解决遇到的疑难问题。

5）负责完善数据中心基础设施运维管理体系；

6）领导安排的其他工作。

任职资格:

1）计算机相关专业，本科以上学历，2年以上数据管理工作经验；

2）熟练使用Informatica 、Datastage、Kettle等其中一种常用ETL工具；

3）熟练使用SQL，能够进行性能调优，熟悉关系型数据库原理，熟练使用oracle、DB2、GP、teradata等其中一种数据库；

4）熟练掌握一门或者多门编程语言，并有大型项目建设经验，如Shell、Python、Java；

5）对大数据相关技术有一定理解，如MapReduce、sqoop、hive、Hbase、spark、storm等；6）有实时数据处理经验或者算法基础扎实者优先；

7）良好的沟通能力、学习能力、服务意识，具有高度责任心和自我驱动能力。