职能描述：

大数据平台核心组件模块的架构、开发工作；

基于Spark技术的海量数据的处理（抽取、过滤、清洗、转换、存储等）；

协助数据挖掘工程师根据数据模型进行数据监控、统计分析、报表展现等；

研究Spark、Hadoop集群技术，持续优化集群架构，发现并解决重大故障及性能瓶颈；

其他根据部门需要安排事宜；

职位要求：

熟悉Java编程，常用设计模式，以及常用海量数据处理方法；

精通Hadoop生态系统组件，如：Spark、Flume、Kafka、HBase、Hive、ZooKeeper等；

有丰富的数据库设计、开发经验，熟悉关系型数据库、NoSql等；

熟练使用Shell、Python等脚本语言之一；

具有ETL、OLAP、OLTP实际工作经验之一。