1、大数据平台核心组件模块的架构、开发工作；

2、基于Spark技术的海量数据的处理（抽取、过滤、清洗、转换、存储等）；

3、协助数据挖掘工程师根据数据模型进行数据监控、统计分析、报表展现等；

4、研究Spark、Hadoop集群技术，持续优化集群架构，发现并解决重大故障及性能瓶颈；

5、其他根据部门需要安排的其他事宜。

1、熟悉Java编程，常用设计模式，以及常用海量数据处理方法；

2、精通Hadoop生态系统组件，如：Spark、Flume、Kafka、HBase、Hive、ZooKeeper等；

3、有丰富的数据库设计、开发经验，熟悉关系型数据库、NoSql等，熟练使用Shell、Python等脚本语言之一；

4、具有ETL、OLAP、OLTP实际工作经验之一；

5、对证券基金行业业务及数据有了解优先。