Descrição do trabalho de engenheiro de big data

Estamos procurando um engenheiro de dados de destaque profissional para nos ajudar a criar e gerenciar as ofertas de big data da nossa empresa. Você será responsável por projetar e executar mecanismos e estruturas de big data, aplicar procedimentos do ELT, cooperar com equipes de desenvolvimento, criar plataformas em nuvem e suportar o sistema de produção neste trabalho.

Para ser um engenheiro de dados bem-sucedido e proeminente, você precisa entender a tecnologia Hadoop, excelentes habilidades de gerenciamento de projetos e fortes habilidades de solução de problemas. Um engenheiro de big data de primeira linha conhece as metas e implementa soluções de dados escaláveis ​​para atender a essas demandas agora e no futuro.

Os engenheiros de dados proeminentes fazem interface com vastos sistemas de processamento de dados e bancos de dados em configurações de computador em larga escala. Eles filtram por enormes quantidades de dados para identificar conjuntos relevantes para análise, que as empresas usam para prever o comportamento.

Engenheiros de dados distintos conduzem estudos que ajudam as empresas a avaliar seu desempenho, identificar dados demográficos do mercado e prever mudanças iminentes e tendências de mercado. Os engenheiros de dados conhecidos são necessários em quase todos os setores, porque geram insights que são úteis em negócios, finanças, governo, saúde, pesquisa, telecomunicações e outros setores.

• C Suite
• Equipe de dados

• Colete e analise dados brutos em larga escala
• Crie aplicativos de dados usando uma variedade de ferramentas e estruturas
• Leia, recupere, remodele, estágio e carregue os dados para estruturas e ferramentas escolhidas
• Faça scripts, sites de raspagem, ligue para APIs, escreva consultas SQL, etc.
• colaborar de perto com a equipe técnica para incorporar seu trabalho em nossos processos de fabricação
• converter dados não estruturados em um formato pronto para análise
• Examine os dados processados
• Ajude as decisões de negócios com a avaliação ad hoc, conforme necessário
• Monitore o desempenho dos dados e faça as alterações necessárias na infraestrutura
• estabelecer políticas de retenção de dados
• Desenvolva e mantenha ferramentas de integração, bancos de dados, armazéns e sistemas analíticos
• Estabeleça ferramentas de acesso a dados para cientistas de dados

• Conhecimento completo dos princípios de computação distribuída
• Gerenciamento de cluster Hadoop, incluindo todos os serviços agrupados
• Capacidade de solucionar problemas de problemas atuais - Conhecimento de Hadoop V2, MapReduce e HDFS
• Experiência anterior Desenvolvendo sistemas de processamento de fluxos, como tempestade ou faísca
• Compreensão completa de tecnologias de consulta de big data, como porco, hive e impala
• Experiência anterior de faísca
• Experiência anterior Integração de dados de várias fontes de dados
• Conhecimento de bancos de dados NoSQL, como HBase, Cassandra e MongoDB
• Compreensão de várias metodologias e estruturas ETL, como flume
• Experiência com diferentes sistemas de mensagens, como Kafka ou RabbitMQ - Experience com kits de ferramentas Big Data ML, como Mahout, Sparkml ou H2O - entendimento sólido da arquitetura Lambda, incluindo seus benefícios e desvantagens
• Conhecimento de Cloudera/MAPR/Hortonworks