Description du travail de développeur Hadoop

Nous recherchons un développeur Hadoop pour nous aider à développer des logiciels de stockage et de traitement de données à grande échelle et d'infrastructure. La connaissance des technologies actuelles et la capacité de créer des applications en utilisant l'API Hadoop sont nécessaires.

Hadoop est une plate-forme libre et open source pour gérer et stocker de grandes applications de données en clusters. Les développeurs de Hadoop sont chargés de développer et de coder les applications Hadoop. Un développeur Hadoop, en substance, fournit des programmes à gérer et à maintenir les données massives d'une entreprise.

• Directeur de la technologie
• Lead Tech
• Ingénieur Hadoop en plomb
• Développeur de logiciels Sr.
• développeur JavaScript

• Soyez en charge de toute conception, développement, architecture et documentation des applications Hadoop
• être dans l'ordre d'installation, de configuration et de maintien de Hadoop
• Utilisez un planificateur pour gérer les tâches Hadoop
• Réduire le code pour les grappes Hadoop tout en aidant à la création de nouveaux grappes Hadoop
• Traduire la méthodologie complexe et les spécifications fonctionnelles en conceptions complètes
• Créer des applications en ligne pour la requête de données et le suivi rapide des données, le tout à meilleures vitesses
• Proposer les meilleures pratiques et normes de l'organisation, puis transférez-les dans les opérations
• Tester les prototypes de logiciels et superviser leur transfert ultérieur à l'équipe opérationnelle
• Utilisez du cochon et de la ruche pour prétraction des données
• Maintenir la sécurité des données d'entreprise et la confidentialité du cluster Hadoop
• Administration et déploiement HBASE
• Analyser les référentiels massifs de données et obtenir des informations

• Un baccalauréat ou une maîtrise en informatique
• Compréhension de base de Hadoop et de son écosystème
• Capable de travailler avec Linux et d'exécuter la plupart des commandes de base
• Connaissance pratique des composants centraux de Hadoop
• MapReduce, Pig, Hive et Hbase sont des exemples de technologie Hadoop
• Capacité à gérer le multi-threading et la concurrence dans un écosystème
• Familiarité avec ETL et les technologies de chargement des données telles que Flume et Sqoop
• Capacité à gérer la programmation back-end
• Une solide compréhension des fondamentaux SQL et des systèmes distribués
• Expérience de programmation approfondie dans des langages tels que Java, Python, JavaScript et Nodejs
• Familiarité avec Java