工作地点:

上海市

工作职责:

1. 负责公司核心集群的运维工作, 任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性；
2. 负责集群容量规划、扩容及集群性能优化；
3. 基于大数据应用需求，持续优化Hadoop框架及组件的配置，提升性能；
4. 负责Greenplum数据库集群的部署、配置、调优、巡检、故障处理、安全管理与日常维护,应急预案、移植/备份/恢复策略方案的制定与实施。

任职资格：

1.3年以上中等规模集群环境下的Hadoop/Impala/Hive/Spark集群相关运维经验；
2.对各种HDFS/Yarn/Hive/Impala/Spark/Hbase等相关参数调优, 性能优化等有实际经验；
3.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验；
4.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作；
5.熟悉Kerberos安全认证系统，实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作；
6.能维护Hadoop源码，有Hadoop 源代码BUG修复或者源代码优化经验者优先；
7.精通Java,熟悉Linux 操作系统，熟练使用Python、Shell脚本语言，并具有实际开发经验；
8.有星环数据平台使用经验尤佳。