让写作成为一种习惯,彩带范文网欢迎您!
当前位置:首页 > 综合范文 > 其他范文

2023年大数据运维工程师工作内容实用(十三篇)

人的记忆力会随着岁月的流逝而衰退,写作可以弥补记忆的不足,将曾经的人生经历和感悟记录下来,也便于保存一份美好的回忆。大家想知道怎么样才能写一篇比较优质的范文吗?以下是我为大家搜集的优质范文,仅供参考,一起来看看吧

大数据运维工程师工作内容篇一

1.负责hadoop、spark、hbase、oozie、hive等平台运营和优化工作,保障平台服务运行稳定、高效。

2.负责大数据方案架构及方案落地;

3.开发hadoop大数据管理平台与监控建设;

3.负责hadoop平台部署、维护;生产问题、告警、故障处理及服务器维护、日常值班;

4.负责集群网络架构、机器管理等。

任职资格:

1. 全日制本科以上学历,三年以上后台系统运营工作经验;

2. 熟悉hadoop原理,具有hadoop平台应用及管理经验,熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等开源项目及部署、维护、调优;

3. 熟悉linux操作系统及调优;熟悉sql编程,熟悉shell/python/java/perl语言的一种或多种,有开发经验优先, 熟悉nagios,cacti,ganglia,zabbix,zenoss优先;

4. 对大数据和自动化运维开发有浓厚兴趣,有大规模hadoop运维经验者优先;有hadoop/hbase/spark/hive 开发经验者优先。

大数据运维工程师工作内容篇二

职责:

1、负责hadoop平台搭建,运维,管理,故障处理。

2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。

3、对平台的hadoop,hbase,kafka,hive等进行优化。

4、建立hadoop集群管理和维护规范,包括版本管理和变更记录等。

岗位要求:

1、有丰富的hadoop生态系统的运维经验,了解hadoop、storm、spark、kafka这些组件的原理,具备部署、实施、维护hadoop 及相关组件的能力;

2、至少精通 perl/python/shell脚本语言中的一种;

3、掌握linux操作系统的配置,管理、优化以及各种常用命令,能够独立排查及解决操作系统层的各类问题;

4、分析问题能力优秀,善于从各种系统、应用日志中寻找出问题的原因。

5、有独立分析问题和解决问题的能力,能出差。

大数据运维工程师工作内容篇三

职责:

1、技术保障各底层支撑系统的可靠性与稳定性;

2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;

3、负责技术文档手册编写,更新,经验总结沉淀,培训分享;

4、负责对新技术和方案进行调研,评估和引进,用技术去提升运维生产效率

任职资格:

1、熟悉常见的应用服务部署和调优(nginx、mysql、redis、mongodb、elk,hadoop等),熟悉高可用集群、负载均衡集群的规划与搭建;

2、熟练使用linux、tcp/ip网络协议栈,了解常用的troubleshooting手段和常见性能指标

3、具有车联网平台运维的经验,精于容量规划、架构设计、性能优化;

4、熟悉主流paas云产品的使用,具有运维平台开发经验者、参与过开源产品的开发者优先;

5、优秀的沟通能力,出色的学习与钻研能力,良好的问题分析与解决能力;

6、对行业技术敏感度高且细致,善于思考,乐于发现,对解决具有挑战性问题充满激情。

大数据运维工程师工作内容篇四

职责:

1、负责维护服务器的运行,包括巡检、故障排除、数据备份等业务,保证服务器高质量、高效率运行状态;

2、负责服务器漏洞整改及补丁升级;

3、负责hadoop运维相关工作;

4、负责大数据平台的日常部署、升级、扩容、迁移;

5、负责高并发,大存储和实时流的hadoop/spark大数据平台规划,运维,监控和优化工作

任职资格:

1、2年左右服务器运维经验;

2、对linux基础运维命令熟悉,shell,python至少精通一种,如会scala语言可优先考虑;

3、熟悉linux的维护和管理,熟悉bat及shell脚本开发,能看懂python/scala优先;

4、做过大规模hadoop集群优先;

5、大数据项目:包括不限于hadoop、hive、kafka、hbase、spark、kudu、impala等大数据生态的平台搭建,监控,运维,调优、生产环境hadoop集群trouble shooting 、hadoop版本升级管理及优化支持。

大数据运维工程师工作内容篇五

职责:

1. 负责大数据平台的稳定性和性能优化;

2. 负责大数据项目的运维工作;

3. 针对业务需求制定统一的运维解决方案;

4. 完善自动监控报警系统,对业务层面关键指标进行监控与报警通知;

任职要求:

1、熟练掌握hadoop平台搭建、维护,有平台优化经验;

2、熟悉hdfs、hive、spark、hbbase、kafka、flume等组件的原理,有阅读源码能力者优先;

3、熟悉腾讯云产品,有腾讯云emr使用经验者优先考虑;

4、熟练掌握java、python语言,熟练使用sql,并有一定的优化能力

大数据运维工程师工作内容篇六

职责:

1、 总部、分公司计算机、服务器、笔记本电脑、硬软件、计算机网络运营管理;

2、 公司整体硬件及网络信息化管理规划及相关制度、流程建设并组织实施;

3、 公司邮件、网站服务器管理、日常维护;

4、 与硬件及网络供应商保持良好的合作关系,以确保系统问题得到快速的支援;

5、 新员工入职邮箱、系统等权限开通;

6、 领导交代的其他相关事宜。

任职资格:

1、大专以上学历,计算机等相关专业毕业,接受优秀应届毕业生;

2、了解或者熟悉helpdesk;熟悉基本网络维护作业,知悉基本布线规则;

3、扎实的计算机软硬件基础知识;

4、服务意识强、办事效率高、有责任心;

5、做事积极主动、有一定沟通能力、较强的工作热情、组织管理能力。

大数据运维工程师工作内容篇七

职责:

1.基础应用服务日常维护工作,保障业务稳定可靠;

2.配合业务团队完成应用部署,协助研发进行故障排查;

3.对业务提供稳定、安全、性能合格的运行环境和专业技术支持;

4.自动化运维组件的规划、设计和开发,提升运维质量和效率;

5.负责公司产品的版本控制、构建和发布管理。

任职资格:

1.熟悉linux系统管理,熟练掌握各公开云平台管理技术,两年以上互联网行业实际工作经验;

2.精通python和shell等编程语言,熟练使用sed、awk、sort、uniq、grep等命令;

3.精通web及负载均衡相关技术,如apache/nginx/lvs/haproxy等应用服务的安装/配置和维护,具备对应用系统的故障定位和处理能力;

4.精通各类数据库相关技术,如mysql/pgsql/redis/mongodb/oracle/ldap等服务的安装配置及灾备维护,有dba相关经验者优先;

5.熟悉各类中间件的安装配置及维护;具备故障快速定位排查分析能力;

6.熟悉tcp/ip协议,路由交换的基本概念,能够掌握网络检查工具的使用;

7.必须精通git维护及操作;熟悉发布系统构建部署如jenkins(hudson),gerrit,ansible等;

8.熟练掌握常见监控软件zabbix、nagios等监控软件的使用;

9.有运维自动化、监控系统、发布系统、运营支撑系统等开发经验者优先;

10.具备良好的网络安全意识,熟悉各类软硬件防火墙的配置及使用;有互联网安全行业相关经验者优先。

大数据运维工程师工作内容篇八

1、对服务器进行日常维护,确保各项服务连续正常运行,无重大事故;

2、负责服务器存储网络等基础平台的技术维护和问题处理 ;

3、负责执行大客户服务项目的定制化服务配置和硬件安装等处理工作;

4、了解操作系统安装与配置;

5、具备一定的网络相关故障解决能力;

6、熟悉主流厂商pc服务器硬件安装与配置;

7、windows、linux、vmware等日常管理、维护;

8、负责服务器异常或故障的受理、跟踪、解决以及统计分析;

大数据运维工程师工作内容篇九

职责:

1、负责公司现有阿里云平台的管理,包括:ecs\rds\redis等 ;

2、负责公司机房服务器的管理,维护;

3、制定和改进系统的监控、备份方案,应急响应,故障排查,确保系统运行稳定;

4、完成上级安排的其他工作

任职要求:

1、本科以上学历,一年以上工作经验;

2、熟悉centos和ubuntu安装配置优化,熟悉shell脚本 ;

3、熟悉linux系统常用服务器的部署,如tomcat、redis、nginx、lvs,haproxy ,mysql的安装、配置、调优,熟悉常用监控软件;

4、熟悉svn ,git;

5、熟悉计算机软件、硬件及周边设备的维护,能解决工作中出现的网络问题及突发情况,懂得相关网络设备配置规划;

6、熟悉使用阿里云相关云产品;;

7、工作认真负责,积极主动,善于思考,善于发现并解决问题;

大数据运维工程师工作内容篇十

职责:

1、负责和参与公司大数据基础架构平台规划,运维,监控和优化工作,保障数据平台服务的稳定性和可用性;

2、研究大数据前沿技术,改进现有系统的服务和运维架构,提升系统可靠性和可运维性;

3、负责和参与自动化运维系统及平台的建设;

4、负责优化部门运维流程提升运维效率。

任职要求:

1、统招本科及以上学历,计算机相关专业,2年以上互联网运维工作经验;

2、熟悉linux操作系统及常见开源软件(nginx,tomcat,zabbix等)的配置,管理及优化,能够独立排查及解决操作系统层的各类问题;

3、熟悉hadoop/kafka/hbase/spark/elasticsearch/hive的组件原理及运维方式;

4、精通python,shell,了解java;有良好的系统性能优化及故障排除能力;

5、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;

6、具备较好的沟通能力、主动性和团队合作精神。

大数据运维工程师工作内容篇十一

1、负责数据中心日常巡检工作,并根据要求形成相关统计报告

2、每周按照要求制作机房运行参数等的统计分析。

3、能够部署相关的操作系统(windows、linux)以及一些基本服务,例如ad、dns、dhcp、aaa、iis、文件系统等。

4、能够配置交换机的基础配置(mstp、rstp、主从vlan、动态vlan等基础配置)

5、路由协议(静态、rip、ospf路由)。

6、了解防火墙的工作原理,能够进行简单的策略下发。

大数据运维工程师工作内容篇十二

1、负责计算机、局域网络、以及机房设备维护工作;

2、负责办公设备的日常维护及管理工作;

3、负责病毒的查杀,维护网络系统安全;

4、负责设备资产及配置信息登记与更新;

任职资格:

1、大专及以上学历,计算机相关专业;

2、具有运维管理、服务器网管工作经验;

3、具有较好的网络基础知识,熟悉网络搭建及常用设备的使用;

4、熟练使用主流电脑操作系统,能够处理常见的软件问题;

5、通过国家软考初、中级优先。

大数据运维工程师工作内容篇十三

职责:

1、负责公司服务器维护保证业务稳定.

2、负责日志分析、健康检查、性能监控等.

3、负责公司开发相关账号的权限控制以及维护.

4、配合业务运维、开发、测试以及其他相关团队完成运维相关工作.

技能要求:

1、熟悉自动化运维工具

2、熟悉linux命令

3、熟悉阿里云常用产品的维护与优化.

4、熟悉docker原理并有使用经验

5、有打造devops平台的想法(将ci、cd、日常运维、监控告警、智能运维打造一体化devops平台)

6、熟悉keepalived、nginx、php、java、redis等生产环境的部署应用及调优

7、有pc电脑以及企业网络(交换机,路由器,无线ap)维护经验优先

8、熟悉k8s,istio优先

标签:2023年 大数 数据 运维 工程师 工作内容 实用 十三