千文网小编为你整理了多篇相关的《大数据专业岗位职责》,但愿对你工作学习有帮助,当然你在千文网还可以找到更多《大数据专业岗位职责》。
1、大数据平台的规划、设计、实施,并优化数据库;
2、对数据库进行管理,负责数据库应用系统的运营及监控;
3、对数据库性能分析与调优,排错,保证数据正确率;
4、配合其他部门进行的数据处理、查询,统计和分析工作;
5、完成公司下达的项目开发任务。
职位描述:
1、负责基于hadoop、spark、mpp的大数据、数据仓库构架设计及开发工作;
2、负责理解业务数据需求,开展数据采集、存储、管理、分析、建模及数据处理流程设计及开发;
3、牵头大数据库开发工作,负责整体推进剂技术疑难问题的解决。
本职位为外包职位,外包到浙江华云信息科技有限公司,从事电力行业信息化工作。
工作职责:
1、根据公司数据分析需求进行基于hadoop平台的项目开发;
2、根据需求进行数据仓库模型设计,熟练使用kettle工具进行etl程序的开发;包括实时数据加工,计算,etl,管理,监控等;
3、负责针对源系统进行数据抽取、处理、分析等相关工作,及项目中涉及到的`数据库创建、维护及提供数据接口工作;
4、负责设计并优化基于hive的数据仓库的建设;
5、制定数据库备份和恢复策略及工作流程与规范。
6、能出具消费品品牌制造行业应用的数据分析技术解决方案,并落地。
任职资格:
1.从事数据仓库领域至少2年以上,熟悉数据仓库模型设计与etl开发经验,具备海量数据加工处理相关经验;
2.熟悉数据仓库领域知识和技能者优先,包括但不局限于:元数据管理、数据开发测试工具与方法、数据质量、主数据管理;
3.有从事分布式数据存储与计算平台应用开发经验,熟悉hadoop生态相关技术并有相关实践经验着优先,重点考察hive、hdfs、hbase;
4.熟练掌握kettlesqoop、datax、airflow等;
5.有消费品品牌制造、零售行业经验,尤其快消品行业和财务领域数据项目经验者优先;
6.熟悉分布式计算presto/imapa优先;
7.有实时计算方面的经验的优先。
推荐专题: 大数据专业岗位职责