大数据开发工程师的岗位职责

大数据开发工程师的岗位职责 篇一

职责:

1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的设计和开发;

2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发;

3、大数据平台各类数据业务抽象及模型化;

4、参与大数据管理平台的开发及维护;

5、负责大数据平台数据及相关的应用开发,调优及维护;

6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;

7、良好的团队合作与沟通能力。

任职要求:

1、本科及以上学历,2年以上大数据应用开发经验;

2、具备Java、Python、Scala其中两种语言的开发经验;

3、了解泛Hadoop大数据生态圈,熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术,并有实际的项目开发经验,有相关源码研究者优先;

4、具备ETL开发与运维能力,有Flume、kettle经验优先;

5、熟悉大数据平台的搭建过程,熟悉数据处理流程,有TB级以上数据处理经验优先,有实时数据处理经验者优先;

6、熟悉离线和实时数据处理流程,熟练使用Spark,Flink处理TB级数据优先;

7、熟悉Linux系统环境,有shell等脚本编写经验,熟悉Mysql、PostgreSql、Oracle等常用关系数据库,熟练编写SQL语句;

8、熟悉Yarn,Kubernetes,Azkaban等资源调度框架者优先;

9、熟悉Datax的二次开发,并有实际开发经验优先。

大数据开发工程师的岗位职责 篇二

职责:

1、负责大数据ETL开发与维护;

2、负责大数据平台数据库的设计以及开发;

3、负责大数据计算框架的选型与计算流程的设计与开发;

4、负责数据服务的设计与开发。

任职资格:

1、本科及以上学历;

2、熟悉Flink、flume、jstorm、sparkstream、hive、spark等分布式开源软件,具备系统优化与性能调优能力者优先;

3、精通JAVA等面向对象编程,有分布式并行计算的开发经验优先;

4、熟练掌握至少一种MySQL、SQL Server、Oracle等关系型数据库或MongoDB、Redis等NoSQL数据库 ,有hive等数据仓库研发经验优先;

5、熟悉大数据、云计算概念,了解Hadoop、Hive、Hbase等大数据主流技术及开源框架者优先;

6、自学能力强,沟通能力较好,有一定***分析,技术研究能力,具有良好的团队合作精*;

7、数据意识强,有较好的文档编写能力,以及踏实的工作作风。

大数据开发工程师的岗位职责 篇三

职责:

1、负责数据分析、加工、清理,相关处理脚本和程序的开发;

2、负责开发大数据工具,如报表平台、多维度分析工具、ETL平台、调度平台的研发;

3、负责分布式大数据平台应用开发(Hadoop/Spark/Hive/HBase等);

4、负责大数据相关平台的维护、优化。

任职要求:

1、本科及以上学历,计算机相关专业,具有5年及以上的大数据ETL或数据开发经验,熟悉大数据组件的维护以及调优;

2、熟练掌握Java或Python编程语言,熟悉大数据架构体系,熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技术中的一个或者多个,熟悉Sqoop、DataX等数据导入工具;

3、能熟练使用Hive、HBase、Spark等加工和处理数据,有海量数据处理经验;

4、有数据仓库开发经验/BI系统开发经验优先;

5、有电商行业数据处理与分析平台开发经验者优先。

大数据开发工程师的岗位职责 篇四

职责:

1、依据客户需求完成大数据项目的数据分析及建模;

2、进行大数据核心算法的编写;

3、参与项目的需求分析、系统设计、编码工作;

4、参与开发过程中相关新技术的研究和验证。

5.协助承担架构性的体系设计和改造工作,配合制定技术实施方案,按照总体设计组织子系统的设计和开发。

任职要求:

1、精通数据建模、数据体系建设,具备数据仓库架构设计、模型设计和处理性能调优等相关经验;

2、具有丰富的基于hadoop体系的数据平台、数据仓库建设经验,精通基于hadoop源码的开发、优化改造及成功应用案例;

3、精通hadoop生态体系各项技术,如kafka、flume、hive、impala、hbase、spark等,具有100+节点hadoop集群的开发、运维经验;

4、具有对大型hadoop集群的硬件规划能力;

大数据开发工程师的岗位职责 篇五

职责:

1、根据公司信息化发展需要和业务流程要求,对ERP系统和OA平台进行定制化二次开发和功能扩展,制定二次开发方案、计划并实施,分析并解决开发过程中的问题;

2、或能自主开发满足公司管理需要的软件系统,负责软件产品的架构设计、功能模块设计、数据库结构设计及核心代码开发;

3、对ERP系统、OA平台或自主开发软件系统进行维护,保障软件系统的稳定运行;

4、负责其他系统与ERP接口的技术支持;

5、完成上级临时交办的其他工作。

任职资格:

1、计算机、电子信息工程相关专业,大专以上学历;

2、对ERP系统和OA平台的功能和使用比较熟悉;

3、熟悉软件系统开发过程,有编写代码、编写脚本的经验,熟悉至少两种开发语言;

4、有二次开发经验,熟悉ERP二次开发和实施经验者优先;

5、具有数据库及高级应用程序开发经验;

6、具有通信协议接口开发经验;

7、熟悉SQL Server、Oracle等数据库开发。

大数据开发工程师的岗位职责 篇六

职责:

1. 负责运营平台以及移动应用服务器API开发与维护,编写开发文档;

2 .根据业务需求提出技术方案,负责系统框架的规划、开发;

3. 熟悉支付业务流程,对已有模块的调优和bug修复。

任职资格:

1. 计算机及相关专业,熟悉掌握PHP、熟悉面向对象编程;

2 .有成熟的项目经验,能***处理开发中遇到的问题;

3 .熟悉Linux服务器相关知识,熟悉Nginx/Apache等服务搭建,对服务器搭建和系统性能调优有了解;

4 .熟悉掌握MySQL数据库的使用,对高并发数据处理和数据优化有相应的处理方案;

5 .对缓存技术有了解,使用过Redis/Memcache/Mongodb等常见nosql数据库之一。

大数据开发工程师的岗位职责 篇七

职责:

1.根据产品或项目开发进度和任务分配,负责相应软件模块的设计开发;

2.根据开发规范和流程***完成模块的设计、编码及相关文档;

3.服务器环境的搭建和系统的部署等。

4.协助编写需求文档,编写概要设计文档、详细设计文档、数据文档等相关文档。

5.能够参与系统架构设计、性能优化、重构的讨论及给出解决方案的建议。

任职要求:

1、计算机或相关专业背景,大专以上学历,2年以上工作经验。

2、精通一种或多种主流的关系型数据库如Mys m.gaokaobaba ql、Oracle。

3、熟练使用java编程语言,有良好的编程风格。

4、熟悉java的基础知识,如数据类型、集合、异常处理、多线程、缓存、事务等。

5、熟悉一种或多种nosql数据库,如Mongodb、Redis。

6、熟练使用Spring、SpringMVC、Hibernate等常用后端框架。

7、熟悉linux等操作系统。

8、熟悉SpringBoot框架。

9、熟悉微服务架构。

10、熟悉数据结构、设计模式、UML等知识。

11、熟悉一种或多种消息队列如RocketMQ、Kafka。

大数据开发工程师的岗位职责 篇八

职责:

1、根据公司的业务需要,负责业务系统的核心模块的设计和开发工作;

2、web项目执行;按照项目管理流程,参与研发部门的总体设计评审;

3、承担部分新技术试验和研究,并应用到公司产品中,***解决开发中遇到的问题;

4、进行详细设计、代码开发,配合测试,高质量完成项目;

5、负责公司门户网站、商城、微信小程序小游戏等相关项目的开发维护工作。

任职要求:

1、大专以上学历,1-3年左右开发经验,计算机相关专业,有PHP项目开发经验;

2、熟悉WEB开发流程,熟练应用PHP+MySQL,PHP+MSSQL进行***开发,熟悉数据库设计;

3、熟悉MVC设计模式,精通 MYSQL维护管理,MySQL索引优化、查询优化;

4、熟练掌握缓存、静态化,代码安全开发等相关技术;熟悉大数据网站性能优化,具备规范的代码编写习惯以及良好的用户体验开发意识;

5、熟练使用HTML/CSS/JavaScript/Ajax/JQuery/XML等技术进行WEB应用开发,有团队协作精*;

6、精通数据接口对接与开发,有商城开发经验、微信小程序开发应用者优先。

大数据开发工程师的岗位职责 篇九

职责:

1、参与前端应用开发,包括Web及Mobile等产品,负责前端交互的实现;

2、与设计师、产品工程师紧密工作在一起,负责产出高质量的产品前端层;

3、能充分理解项目需求和设计需求,具有一定研发精*,能解决各种未知问题;

4、与团队成员分享经验和新技术,帮助团队成长。

任职要求:

1、 计算机、软件类专业,本科及以上学历;

2、 具有3年以上前端开发经验,精通HTML5、CSS3,熟练应用jQuery等框架;

3、对 MVC/MVMM 有一定的理解,熟练掌握 React/Redux 或者 Vue/Vuex 或者 AngularJS,有中大型H5项目开发经验者优先;

4、熟悉移动端web开发,能解决各种手机平台兼容性问题,有webapp、微信公众号、小程序开发经验者优先;

5、关注技术前沿,善于利用各种工具提升自己与团队的开发效率;

6、良好的沟通表达能力,具备很好的团队协作精*;

7、善于学习新的知识,热爱技术,动手能力强,有进取心。

大数据开发工程师的岗位职责 篇十

职责

1、负责基于hadoop/spark生态系统、亿级别数据的全文检索,搜索引擎的产品研发;

2、基于海量用户行为数据和其他数据,分析和研究数据与实际业务的关联关系,并与实际业务应用相结合开发;

3、负责大数据分析需求设计和开发,承担数据抽取、清洗、转化等数据处理程序开发。

任职要求:

1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技术及其生态圈,具备相关项目开发经验,有数据实时计算项目经验优先;

2、有搜索引擎全文检索开发经验 ,如:elasticsearch、solr;

3、熟悉python、R任意一门开发语言;

4、有SAAS,PAAS企业级应用平台或者互联网,金融等大型应用平台开发经验优先考虑;

5、 本科及以上学历,计算机/软件工程/统计学/数学等相关专业,互联网/金融等行业3年以上工作经验;

6、拥有良好的代码习惯,要求结构清晰、命名规范、逻辑性强、代码冗余率低,代码注释清晰;

7、熟悉使用svn,禅道等项目管理工具,有良好的团队协作开发经验。

它山之石可以攻玉,以上就是记得网为大家带来的10篇《大数据开发工程师的岗位职责》,希望可以对您的写作有一定的参考作用。

转载请注明出处学文网 » 大数据开发工程师的岗位职责

学习

安全的管理制度最新

阅读(48)

本文为您介绍安全的管理制度最新,内容包括各种安全管理制度怎么写,安全管理制度汇编最新修订共300页。在现在的社会生活中,制度在生活中的使用越来越广泛,制度就是在人类社会当中人们行为的准则。拟定制度的注意事项有许多,你确定会写吗?这

学习

生产副总经理的岗位职责通用

阅读(26)

本文为您介绍生产副总经理的岗位职责通用,内容包括生产副总经理工作简单描述,生产副总经理的职责。在现在的社会生活中,岗位职责的使用频率呈上升趋势,岗位职责的明确对于企业规范用工、避免风险是非常重要的。那么制定岗位职责真的很难吗

学习

工程师岗位职责(优秀)

阅读(31)

本文为您介绍工程师岗位职责(优秀),内容包括工程师工作职责怎么写,工程师岗位的主要内容。岗位职责是一个具象化的工作描述,可将其归类于不同职位类型范畴。记得网为您精心收集了4篇《工程师岗位职责》,希望可以启发、帮助到大朋友、小朋友

学习

关于竞聘上岗演讲稿范文

阅读(50)

本文为您介绍关于竞聘上岗演讲稿范文,内容包括关于员工竞聘上岗演讲稿集合6篇,检测室主任5分钟竞聘上岗演讲稿。演讲稿是为了在会议或重要活动上表达自己意见、看法或汇报思想工作情况而事先准备好的文稿。随着社会不断地进步,演讲稿对我

学习

度个人工作计划优秀

阅读(37)

本文为您介绍度个人工作计划优秀,内容包括大班保育员个人工作计划,个人年度工作计划怎么写。计划是连结目标与目标之间的桥梁,也是连结目标和行动的桥梁,关于2018年度个人工作计划如何写。它山之石可以攻玉,下面记得网为您精心整理了2篇《

学习

以美食节为主题的策划设计方案【通用】

阅读(33)

本文为您介绍以美食节为主题的策划设计方案【通用】,内容包括写有关美食节的策划书,美食节创意方案怎么写。时光匆匆,一段时间的工作已经结束了,我们又有了新的工作内容和新的工作目标是时候静下心来好好写写策划书了。快来参考策划书是怎

学习

满意度调查报告通用

阅读(31)

本文为您介绍满意度调查报告通用,内容包括满意度调查范文10篇,满意度调查报告时间安排怎么写。当去接触不知道的一个情况或事件,我们就需要好好地展开调查,并最终形成调查报告。写调查报告需要注意哪些问题呢?以下是人见人爱的分享的9篇《

学习

转学生自我介绍(优秀)

阅读(28)

本文为您介绍转学生自我介绍(优秀),内容包括转学生自我介绍精彩发言稿,六年级转学生自我介绍。来到一个陌生的地方时,时常要进行自我介绍,自我介绍是结识新朋友的重要手段。写起自我介绍来就毫无头绪?下面是记得网的为您带来的4篇《转学生自

学习

求职简历个人自我介绍优秀

阅读(47)

本文为您介绍求职简历个人自我介绍优秀,内容包括求职面试简单自我介绍100字,求职面试自我介绍要知道的技巧。当来到一个新环境中,可能需要我们进行自我介绍,通过自我介绍可以让他人了解我们。你所见过的自我介绍是什么样的呢?它山之石可以

学习

夏季防汛应急预案(优秀)

阅读(32)

本文为您介绍夏季防汛应急预案(优秀),内容包括夏季防汛应急预案,医院保安防汛应急预案范文。为有效处置本学校在汛期发生的紧急情况下最大限度地降低紧急情况造成的危害,维护学校的安全稳定,经研究,决定成立灵寿县初级中学防汛工作领导小组。

学习

优缺点自我介绍

阅读(32)

本文为您介绍优缺点自我介绍,内容包括自我缺点介绍范文,面试自我介绍技巧优缺点。当碰到不熟悉的人时,通常需要我们进行自我介绍,自我介绍是认识自我的手段。写起自我介绍来就毫无头绪?下面是辛苦为朋友们带来的8篇《优缺点自我介绍》,我们

学习

个人简历自我评价模板【最新】

阅读(36)

本文为您介绍个人简历自我评价模板【最新】,内容包括个人简历自我评价200字左右,个人简历护士自我评价简短范文。光阴的迅速,一眨眼就过去了,迎接我们的将是新的工作机会,新的挑战,这时一份好的简历可以起到很好的作用哦。但是怎么写才更能

学习

免费个人求职简历制作优秀

阅读(29)

本文为您介绍免费个人求职简历制作优秀,内容包括怎么制作求职简历,免费个人求职简历模板5篇大全。简历作为一种特殊的应用文体,是求职和招聘中间的一个重要媒介,在个人的职业发展道路和企业招聘发挥着重要的作用。以下内容是记得网为您带

学习

2021新员工入职自我介绍简短范文优秀

阅读(27)

本文为您介绍2021新员工入职自我介绍简短范文优秀,内容包括新员工入职如何做自我介绍结合ppt,teamleader新入职怎么自我介绍。自我介绍,就是一个自我展现的机会,大家在自我介绍的时候一定要好好展现自己,向别人展现真实的自我,展现最好的自

学习

生产副总经理的岗位职责通用

阅读(26)

本文为您介绍生产副总经理的岗位职责通用,内容包括生产副总经理工作简单描述,生产副总经理的职责。在现在的社会生活中,岗位职责的使用频率呈上升趋势,岗位职责的明确对于企业规范用工、避免风险是非常重要的。那么制定岗位职责真的很难吗

学习

工程师岗位职责(优秀)

阅读(31)

本文为您介绍工程师岗位职责(优秀),内容包括工程师工作职责怎么写,工程师岗位的主要内容。岗位职责是一个具象化的工作描述,可将其归类于不同职位类型范畴。记得网为您精心收集了4篇《工程师岗位职责》,希望可以启发、帮助到大朋友、小朋友

学习

计调员岗位职责优秀

阅读(28)

本文为您介绍计调员岗位职责优秀,内容包括计调员的工作职责和内容,计调员岗位说明书。在日新月异的现代社会中,岗位职责的使用频率逐渐增多,制定岗位职责能够有效的地防止因为职位分配不合理而导致部门之间或是员工之间出现工作推脱、责任

学习

业务员岗位职责【优秀】

阅读(27)

本文为您介绍业务员岗位职责【优秀】,内容包括业务员岗位职责合集15篇,装修公司业务员岗位职责。在发展不断提速的社会中,我们可以接触到岗位职责的地方越来越多,岗位职责可以明确每个人工作职责是什么内容,该承担什么样的工作、担当什么样

学习

销售经理岗位职责最新

阅读(33)

本文为您介绍销售经理岗位职责最新,内容包括房地产销售经理岗位职责,销售经理岗位职责及任职要求。在充满活力,日益开放的今天,我们都跟岗位职责有着直接或间接的联系,岗位职责包括岗位职务范围、实现岗位目标的责任、岗位环境、岗位任职资

学习

物业项目经理的岗位职责内容(优秀)

阅读(29)

本文为您介绍物业项目经理的岗位职责内容(优秀),内容包括物业水电工岗位职责和工作内容,物业保洁项目经理岗位职责。项目经理是为项目的成功策划和执行负总责的人。项目经理是项目团队的领导者,项目经理首要职责是在预算范围内按时优质地领

学习

酒店工程部岗位职责【通用】

阅读(30)

本文为您介绍酒店工程部岗位职责【通用】,内容包括酒店店长岗位职责和工作内容,酒店电工工作流程及岗位职责。在现实社会中,越来越多地方需要用到岗位职责,岗位职责是一个具象化的工作描述,可将其归类于不同职位类型范畴。制定岗位职责的注

学习

销售内勤岗位职责【通用】

阅读(30)

本文为您介绍销售内勤岗位职责【通用】,内容包括销售内勤安全岗位职责,装修公司销售内勤岗位职责。在当今社会生活中,岗位职责的使用频率逐渐增多,制定岗位职责能够有效的地防止因为职位分配不合理而导致部门之间或是员工之间出现工作推脱