千文网小编为你整理了多篇相关的《大数据开发技术岗位职责》,但愿对你工作学习有帮助,当然你在千文网还可以找到更多《大数据开发技术岗位职责》。
职责:
1、 规划及建设大数据平台;
2、 负责大数据存储系统、分布式计算系统、挖掘算法等设计、研发以及维护、优化工作;
3、负责分析、挖掘、对抗各种产品安全层面的恶意行为;
4、 参与项目的系统设计和核心代码开发,指导和培训其他工程师;
5、 整理和提交技术文档,负责核心功能模块的代码编写和测试工作。
岗位要求:
1、 计算机、统计学等相关专业本科及以上学历,具有深厚的数学、统计学和计算机相关知识,精通数据仓库和数据挖掘的相关技术,3年以上大数据开发相关经验;
2、具有非常扎实的Java基础,熟悉Shell、Python、R、Scala等一种以上语言;
3、算法基础扎实,熟悉常见的数据结构,了解分布式算法和分布式系统的技术原理;
4、精通MapReduce设计方法或Spark计算框架、对NoSQL,Hadoop、Hbase、Spark、Hive等主流云计算,大数据相关软件有充分的了解,并且有实践经验,能解决应用中的复杂问题;
5、熟悉大数据处理相关技术,包括但不限于Hadoop、Hive、Hbase、Impala、Spark,Kafaka、Flume、Sqoop、Storm、Redis等;
6、研读过Hadoop、Hbase、Hive源代码者,能够在特定业务中进行定制改造者优先;
7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先。
1.负责机票酒店大数据项目的`评估、设计及关键模块研发;
2.参与公司大数据平台及联机分析系统的建设;
3.机器学习算法讨论、评估及算法的最终编码实现;
4.数据平台开发规范制定,数据建模及核心框架研发;
推荐专题: 大数据开发技术岗位职责