千文网小编为你整理了多篇相关的《大数据技术运维岗位职责》,但愿对你工作学习有帮助,当然你在千文网还可以找到更多《大数据技术运维岗位职责》。
1、负责Hadoop、HBase、Hive、Spark等大数据平台规划、部署、监控、系统优化等,确保高可用;
2、负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化;
3、处理公司大数据平台各类异常和故障,确保系统平台的稳定运行;
4、设计实现大规模分布式集群的`运维、监控和管理平台;
5、深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向。
职责:
I、负责Hadoop集群的安装部署、维护及调优:
2、负责spark的安装邮署、维护及调优:
3、负责基于大数据平台开发的应用系统的部署、日常维护、调优和问题处理
4、负责ELK 平台的部署及维护。
技能要求:
1 、2年以上大数据运维工仵经验;
2、熟悉Hadoop生态圈技术栈及各个组件原理:
⒊、熟练掌握HDFS、Hive、HBase、sρark、sqooρ 等组件,具备部署、维护、调优的能力:
4、热悉kylin技术原理,有一定的维护经验优先:
5、掌掇ELK的日常维护技能·有一定的维护.经验优先:
6、有一定的HQL/sql 性能调优经验;
7、具备基本的 java、python等语言开发能力优先:
8、有较强的沟通、团队协作及学习能力。
1、负责公司大数据平台自动化运维开发、监控和优化工作,保障数据平台服务的稳定性和可用性;
2、负责公司Hadoop核心技术组件日常运维工作;
3、负责公司大数据平台现场故障处理和排查工作;
4、研究大数据前沿技术,改进现有系统的.服务和运维架构,提升系统可靠性和可运维性;
职责:
1. 负责大数据平台的规划、部署、监控、系统优化及运维等工作,保障系统7*24小时运营;
2. 为线上服务高效稳定运行负责,支撑业务和数据量的快速扩张,发现并能解决重大故障及性能瓶颈;
3. 深入理解系统平台及大数据相关运维技术,持续优化集群服务架构;
4. 对大数据体系下新技术的调研、应用、对内培训。
职位要求:
1. 至少3年以上大数据运维经验, 深入理解Linux系统,运维体系结构;
2. 深度优化HADOOP平台MR作业/计算框架/存储技术,提升集群吞吐并降低成本;
3. 具有CDH(或者HDP)/HDFS/YARN/HIVE/ES/Kylin/Hbase/Kafka/Spark/Storm/Flume/Impala/Hue/Kettle/Flink等大数据系统的运维经验,有开发经验;
4. 熟悉HADOOP生态,有数据安全相关工作经验, 并能对平台CPU/MEM/IO/网络/调度中一个或多个方面的性能调优;
5. 熟练掌握shell/python中的任意一门脚本语言;
6. 强烈责任感、缜密的逻辑思维能力,良好的团队协作能力,具备良好的项目管理及执行能力;
职责:
根据产品需求,完成产品功能的设计、编码、测试和发布;
现场项目支持工作,对现场反馈工单问题进行分析、定位和解决;
对现场项目提出的新需求进行分析、设计并完成;
根据产品和技术发展要求,完成平台的设计、开发和支持维护工作。
职位要求:
本科及以上学历,计算机、软件工程相关专业,3年以上相关工作经验;
精通sql、greenplum/postgresql、impala、oracle、mysql至少1种技术、可融汇贯通灵活转换使用;
熟悉hadoop平台zookeeper、hdfs、spark、MR及hbase等常用组件的运行原理;
基于linux/unix平台进行shell、python的常用脚本开发。
职责:
1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等,确保高可用;
2、负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化;
3、处理公司大数据平台各类异常和故障,确保系统平台的稳定运行;
4、设计实现大规模分布式集群的运维、监控和管理平台;
5、深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向。
任职要求:
1、熟悉Hadoop/HBase/Hive/Spark/Kafka/Zookeeper等开源项目的安装与调试,升级扩容;
2、熟悉Hadoop大数据生态圈,包括但不限于HDFS、YARN、Hive、HBase、Spark、Kafka、Flume等;
3、精通一门以上脚本语言(shell/perl/python等),熟练掌握Linux系统及常规命令与工具,熟练的Shell脚本编写能力。
推荐专题: 大数据技术运维岗位职责