岗位职责： 1.实现各业务系统数据进入数仓，并完成ETL相关工作； 2.对接业务部门关键用户，完成公司内部数据报表与BI的开发需求落地； 3.优化和完善数据开发； 4.探索前沿技术，优化数据开发流程和体系。 任职资格： 1.本科及以上学历，计算机、信息管理、数据统计等相关专业； 2.参与过公司基于Hadoop、Spark等主流开源大数据组件的数据仓库，整合超过10TB的业务数据，打通了数据采集、加工、监控、服务的全链路； 3.熟悉实时计算模块，能通过Flink/Blink对接Kafka消息队列，实现10 项业务数据的实时指标计算； 4.熟练运用Java基础框架和Web开发技术完成10 个功能组件的详细设计和开发工作； 5.参与过公司的大数据项目开发工作，熟练运用Hadoop生态环境和工具对公司日常物流数据进行了整合、计算、分析、维护和优化等工作； 6.Hadoop 生态核心组件：精通 HDFS、MapReduce、YARN 原理与调优，熟练运用 Hive 进行数据仓库建模、复杂 SQL 开发及性能优化，具备基于 HBase 设计高并发读写场景数据存储方案的能力。​ 7.数据处理工具：熟练使用 Spark Core、Spark SQL、Spark Streaming 进行大规模数据处理与实时计算，熟悉 Flink 流处理框架，能根据业务场景选择合适的处理引擎。​ 8.辅助工具：掌握 Kafka 消息队列，实现数据的高吞吐量异步传输；熟悉 Zookeeper 分布式协调服务，保障分布式系统的稳定性与一致性。​ 9.其他技能：熟悉 Python、Java 开发语言，具备良好的代码编写规范与调试能力；了解 Linux 系统操作与常用命令，能进行基本的系统管理与维护。