大数据工程师职位描述

我们正在寻找一名专业的数据工程师，以帮助我们创建和管理公司的大数据产品。您将负责设计和执行大数据机制和框架，执行ELT程序，与开发团队合作，创建云平台以及支持此工作中的生产系统。

要成为一名成功，杰出的数据工程师，您需要了解Hadoop技术，出色的项目管理技能和强大的解决问题的能力。一位顶级大数据工程师知道公司的目标，并实施可扩展的数据解决方案，以满足这些需求，以满足这些需求。

著名的数据工程师与大型计算机设置中的庞大数据处理系统和数据库接口。他们通过大量数据过滤以识别相关的分析集，然后公司将其用于预测行为。

杰出的数据工程师正在进行研究，以帮助公司评估其绩效，识别市场人口统计以及预测即将发生的变化和市场趋势。几乎每个行业都需要著名的数据工程师，因为它们产生了对业务，金融，政府，医疗保健，研究，电信和其他行业有帮助的见解。

-C套房

• 数据团队

• 大规模收集和分析原始数据
• 使用各种工具和框架创建数据应用程序
• 阅读，检索，重塑，舞台并将数据加载到选定的框架和工具
• 制作脚本，刮擦网站，调用API，编写SQL查询等。
• 与技术团队紧密合作，将您的工作纳入我们的制造过程
• 将非结构化数据转换为准备就绪的格式
• 检查处理的数据
• 根据需要通过临时评估来帮助业务决策
• 监视数据性能并对基础架构进行必要的更改
• 制定数据保留政策
• 开发和维护集成工具，数据库，仓库和分析系统
• 为数据科学家建立数据访问工具

• 对分布式计算原理的透彻了解
• Hadoop集群管理，包括所有捆绑服务
• 能够解决任何当前集群问题的能力 - Hadoop V2，MapReduce和HDFS的知识
• 以前开发溪流处理系统的经验，例如风暴或火花
• 透彻了解大数据查询技术，例如猪，蜂巢和黑斑羚
• 以前的火花体验
• 以前的经验集成了来自多个数据源的数据
• NOSQL数据库的知识，例如HBase，Cassandra和MongoDB
• 了解几种ETL方法和框架，例如水槽
• 具有不同的消息传递系统的经验，例如KAFKA或RABBITMQ-具有大数据ML工具包的经验，例如Mahout，SparkML或H2O-对Lambda架构的深入了解，包括其优势和弊端
• Cloudera/Mapr/Hortonworks的知识