Modelo de Descrição do trabalho de desenvolvedor do Hadoop/breve
Estamos buscando um desenvolvedor do Hadoop para nos ajudar no desenvolvimento de software e infraestrutura de armazenamento e processamento de dados em larga escala. É necessário conhecimento das tecnologias atuais e a capacidade de criar aplicativos que utilizam a API Hadoop.
Perfil de trabalho do desenvolvedor do Hadoop
O Hadoop é uma plataforma gratuita e de código aberto para gerenciar e armazenar grandes aplicativos de dados em clusters. Os desenvolvedores do Hadoop são responsáveis pelo desenvolvimento e codificação de aplicativos do Hadoop. Um desenvolvedor do Hadoop, em essência, fornece programas para lidar e manter os dados maciços de uma empresa.
Relatórios para
- Diretor de Tecnologia
- Líder de tecnologia
- Engenheiro de Lead Hadoop
- Desenvolvedor de software Sr.
- Desenvolvedor JavaScript
Responsabilidades do desenvolvedor do Hadoop
- Seja encarregado de todo o design, desenvolvimento, arquitetura e documentação de aplicativos Hadoop
- estar em ordem de instalação, configuração e manutenção do Hadoop
- Use um agendador para gerenciar tarefas do Hadoop
- Reduza o código para clusters Hadoop, além de ajudar na criação de novos clusters do Hadoop
- traduzir metodologia complexa e especificações funcionais em projetos abrangentes
- Crie aplicativos on -line para consulta de dados e rastreamento rápido de dados, tudo em melhores velocidades
- Propor as melhores práticas e padrões da organização e transfira -os para operações
- Teste protótipos de software e supervisiona sua transferência subsequente para a equipe operacional
- Use Pig and Hive para pré-processamento dados
- Mantenha a segurança dos dados corporativos e a privacidade do Hadoop Cluster
- Administração e implantação do HBASE
- Analiseanalisar repositórios de dados maciços e obter insights
Requisitos e habilidades do desenvolvedor do Hadoop
- Um diploma de bacharel ou mestrado em ciência da computação
- Compreensão básica do Hadoop e seu ecossistema
- capaz de trabalhar com Linux e executar a maioria dos comandos básicos
- Conhecimento prático dos componentes principais do Hadoop
- MapReduce, Pig, Hive e Hbase são exemplos de tecnologia Hadoop
- Capacidade de lidar com multi-threading e simultaneidade em um ecossistema
- Familiaridade com as tecnologias de carregamento de dados e ETL, como Flume e Sqoop
- Capacidade de lidar com a programação de back-end
- Uma sólida compreensão dos fundamentos do SQL e sistemas distribuídos
- Experiência de programação extensa em idiomas como Java, Python, JavaScript e NodeJs
- Familiaridade com Java
