首页 > 企业文档 > 岗位职责 > 详情页

大数据技术运维岗位职责

2023-07-18 08:55:03

千文网小编为你整理了多篇相关的《大数据技术运维岗位职责》,但愿对你工作学习有帮助,当然你在千文网还可以找到更多《大数据技术运维岗位职责》。

第一篇:大数据运维工程师岗位的主要职责

1、负责Hadoop、HBase、Hive、Spark等大数据平台规划、部署、监控、系统优化等,确保高可用;

2、负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化;

3、处理公司大数据平台各类异常和故障,确保系统平台的稳定运行;

4、设计实现大规模分布式集群的`运维、监控和管理平台;

5、深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向。

第二篇:大数据运维工程师岗位的工作职责概述

职责:

I、负责Hadoop集群的安装部署、维护及调优:

2、负责spark的安装邮署、维护及调优:

3、负责基于大数据平台开发的应用系统的部署、日常维护、调优和问题处理

4、负责ELK 平台的部署及维护。

技能要求:

1 、2年以上大数据运维工仵经验;

2、熟悉Hadoop生态圈技术栈及各个组件原理:

⒊、熟练掌握HDFS、Hive、HBase、sρark、sqooρ 等组件,具备部署、维护、调优的能力:

4、热悉kylin技术原理,有一定的维护经验优先:

5、掌掇ELK的日常维护技能·有一定的维护.经验优先:

6、有一定的HQL/sql 性能调优经验;

7、具备基本的 java、python等语言开发能力优先:

8、有较强的沟通、团队协作及学习能力。

第三篇:大数据运维工程师岗位的主要职责

1、负责公司大数据平台自动化运维开发、监控和优化工作,保障数据平台服务的稳定性和可用性;

2、负责公司Hadoop核心技术组件日常运维工作;

3、负责公司大数据平台现场故障处理和排查工作;

4、研究大数据前沿技术,改进现有系统的.服务和运维架构,提升系统可靠性和可运维性;

第四篇:大数据运维工程师岗位的工作职责概述

职责:

1. 负责大数据平台的规划、部署、监控、系统优化及运维等工作,保障系统7*24小时运营;

2. 为线上服务高效稳定运行负责,支撑业务和数据量的快速扩张,发现并能解决重大故障及性能瓶颈;

3. 深入理解系统平台及大数据相关运维技术,持续优化集群服务架构;

4. 对大数据体系下新技术的调研、应用、对内培训。

职位要求:

1. 至少3年以上大数据运维经验, 深入理解Linux系统,运维体系结构;

2. 深度优化HADOOP平台MR作业/计算框架/存储技术,提升集群吞吐并降低成本;

3. 具有CDH(或者HDP)/HDFS/YARN/HIVE/ES/Kylin/Hbase/Kafka/Spark/Storm/Flume/Impala/Hue/Kettle/Flink等大数据系统的运维经验,有开发经验;

4. 熟悉HADOOP生态,有数据安全相关工作经验, 并能对平台CPU/MEM/IO/网络/调度中一个或多个方面的性能调优;

5. 熟练掌握shell/python中的任意一门脚本语言;

6. 强烈责任感、缜密的逻辑思维能力,良好的团队协作能力,具备良好的项目管理及执行能力;

第五篇:大数据运维工程师岗位的主要职责

职责:

根据产品需求,完成产品功能的设计、编码、测试和发布;

现场项目支持工作,对现场反馈工单问题进行分析、定位和解决;

对现场项目提出的新需求进行分析、设计并完成;

根据产品和技术发展要求,完成平台的设计、开发和支持维护工作。

职位要求:

本科及以上学历,计算机、软件工程相关专业,3年以上相关工作经验;

精通sql、greenplum/postgresql、impala、oracle、mysql至少1种技术、可融汇贯通灵活转换使用;

熟悉hadoop平台zookeeper、hdfs、spark、MR及hbase等常用组件的运行原理;

基于linux/unix平台进行shell、python的常用脚本开发。

第六篇:大数据运维工程师岗位的主要职责

职责:

1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等,确保高可用;

2、负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化;

3、处理公司大数据平台各类异常和故障,确保系统平台的稳定运行;

4、设计实现大规模分布式集群的运维、监控和管理平台;

5、深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向。

任职要求:

1、熟悉Hadoop/HBase/Hive/Spark/Kafka/Zookeeper等开源项目的安装与调试,升级扩容;

2、熟悉Hadoop大数据生态圈,包括但不限于HDFS、YARN、Hive、HBase、Spark、Kafka、Flume等;

3、精通一门以上脚本语言(shell/perl/python等),熟练掌握Linux系统及常规命令与工具,熟练的Shell脚本编写能力。

推荐专题: 大数据技术运维岗位职责

相关推荐
本站文档由会员上传,版权归作者所有,如有侵权请发送邮件至89702570@qq.com联系本站删除。
Copyright © 2010 - 千文网移动版
冀ICP备2020027182号