大数据开发技术岗位职责_岗位职责

千文网小编为你整理了多篇相关的《大数据开发技术岗位职责》，但愿对你工作学习有帮助，当然你在千文网还可以找到更多《大数据开发技术岗位职责》。

第一篇：大数据开发工程师岗位的主要职责

职责：

1. 对数据进行结构化、标准化处理，对处理流程进行自动化搭建

2. 通过ETL/Cube数据建模，构建基于数据仓库的分析工具;

3. 参与数据与公司软件产品及第三软件的API对接;

4. 搭建与优化，数据采集、处理、可视化流程中所需的框架与模块开发;

5. 协同内外部力量完成需求的表达与技术攻关。

任职要求：

1. 熟悉数据库的设计和开发如：Oracle/Mysql/MSSQL/Redis等，有处理大量数据经验的优先;

3. 熟练使用ETL工具进行数据抽取，清洗，转换，关联等操作;

4. 熟练使用Linux操作系统,具备编写shell的能力;

5. 熟练使用主流的开发框架，掌握以下语言：Java、Python;了解过源码的优先;

6. 具有2年以上数据仓库(DW)、商务智能(BI)、大数据等方面的软件或项目开发经验;

7. 了解可视化及BI工具者优先;

1.能够独立的分析和设计数据仓库需求解决方案；

2.善于和用户沟通、准确了解和定义业务需求并设计解决方案；

3.熟练掌握mysql数据库，精通sql语句编写；

5.有数据仓库/数据集市相关项目背景者有限考虑；

6.5年以上数据库实际项目开发经验；

7.熟练掌握etl工具，掌握kettle/informatica开发者优先；

8.熟悉shell、perl等脚本语言者优先；

9.良好的沟通和学习能力。

职责：

1、负责该领域的业务需求讨论，完成技术方案及数据开发;

2、负责数据仓库的体系建设及落地实现;

3、负责大数据平台各类环境的部署及运维、并参与架构优化、性能优化等工作;

4、负责该领域所属模块的代码开发、调试与维护工作，并进行技术沉淀和文档输出。

招聘要求：

1、计算机、电子通信、自动化等专业，本科及以上学历;

2、五年以上研发经验，其中二年以上大数据开发的相关工作经验;

3、熟练JAVA开发语言;熟悉微服务及Spring框架;

4、熟练熟练Hive、Impala、ES性能调优，关注细节，学习能力强;

5、能配合团队完成该领域的工作，自我管理能力强，能承受工作中的各种压力，具备很好的团队意识

6、熟练主流大数据平台产品部署及运维，如CDH、HDP平台。

7、对机器学习和深度学习等方面有一定的了解;

8、有汽车制造业及相关行业的大数据开发经验优先。

分布式大数据系统开发、计算性能调优、高性能服务框架设计与开发；

参与项目的架构设计、评审、技术攻坚及优化；

参与系统文档的撰写、维护。

1、支撑dmp人群包计算的业务需求，参与服务端代码开发；

2、支撑dmp标签的技术升级，参与数据产出流程性能优化；

3、支持dmp大规模数据的.计算和分析。

推荐专题： 大数据开发技术岗位职责