大数据开发技术岗位职责_岗位职责

千文网小编为你整理了多篇相关的《大数据开发技术岗位职责》，但愿对你工作学习有帮助，当然你在千文网还可以找到更多《大数据开发技术岗位职责》。

第一篇：数据开发岗位职责

1、大专及以上学历。从业意向坚定者可放宽专业要求。

2、有java、php或其他编程语言的开发工作经验,或对数据库linux云计算方面感兴趣.

3、对数据和文字敏感,在工作中能够不断学习接受新的.知识.

4、有良好的沟通表达能力和团队合作能力,有耐心和责任心

1、负责数据收集、清洗和规约等工作；

2、提供面向业务的数据服务，完成数据指标的统计、多维分析和展现；

3、根据业务和产品情况，抽象业务逻辑，搭建和开发大数据平台。

1、负责结构化数据和文本的`数据处理、建模、分析等工作，如：数据清洗、中文分词、情感分析、文本分类等；

2、负责数据需求的收集、整理和分析，配合其他同事完成结构化数据和文本的需求分析；

3、负责分析结果的可视化展现；

4、负责核心算法的设计与优化。

职责：

1、参与大规模数据快速查询系统的架构设计和开发;

2、大规模数据挖掘和机器学习算法的实现;

3、在线和离线海量数据分析平台的开发;

4、研究大数据前沿技术，提升系统的运维效率;

5、实现大数据基础架构平台的自动化运维。

【任职要求】：

1、计算机相关专业,具有3年以上大数据开发经验，熟悉Java,Linux;

2、熟悉Hadoop大数据处理系统的开发,搭建及部署者优先

3、熟练地处理数据模型、数据ETL以及存储管理;

4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能独自进行Mapreduce程序开发者优先;

5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;

6、有较强的书面与口头沟通表达能力，独立分析、解决问题的能力。

1、负责公司项目应用监测数据，分析软件大数据平台的代码开发;

2、负责大数据体系架构设计和应用产品的.研究;

3、负责大数据平台及应用场景的构建、部署、测试;

4、编写软件研发相关技术文档;

5、编写产品研发相关任务单计划，阶段性代码、技术方案和软件产品及时提交至配置管理理库;

6、Spark程序的研发，sqoop脚本开发和商家用户行为等离线分析数据;

7、kudu，kylin等技术调研，编写软件研发相关技术文档;

8、SUNMI数仓设计架构以及ETL流程开发;

9、建立多维度，多体系的用户标签体系以及用户行为数据库。

1.负责公司大数据业务集群的运维工作确保高可用;

2.负责基础运维、故障定位、容量规划、扩容及性能优化;

3.设计实现大规模分布式集群的`运维、报警监控和管理平台;

4.参与业务架构设计，在设计阶段给出可运维性改进建议;

5.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向。

推荐专题： 大数据开发技术岗位职责