Big Data Engineer Description du poste

Nous recherchons un ingénieur de données de premier plan professionnel pour nous aider à créer et à gérer les offres de Big Data de notre entreprise. Vous serez responsable de la conception et de l'exécution de mécanismes et de cadres de Big Data, de l'application des procédures ELT, de la coopération avec les équipes de développement, de la création de plates-formes cloud et de la prise en charge du système de production dans ce travail.

Pour être un ingénieur de données prospère et éminent, vous devez comprendre la technologie Hadoop, les compétences exceptionnelles de gestion de projet et de solides capacités de résolution de problèmes. Un ingénieur de haut niveau de haut niveau connaît les objectifs de l'entreprise et met en œuvre des solutions de données évolutives pour répondre à ces demandes maintenant et à l'avenir.

Les ingénieurs de données proéminents interfacent avec de vastes systèmes de traitement des données et des bases de données dans les paramètres informatiques à grande échelle. Ils filtrent à travers d'énormes quantités de données pour identifier les ensembles pertinents pour l'analyse, que les sociétés utilisent ensuite pour prévoir le comportement.

Les ingénieurs de données distingués mènent des études qui aident les entreprises à évaluer leurs performances, à identifier les données démographiques du marché et à prévoir les changements imminents et les tendances du marché. Des ingénieurs de données bien connus sont nécessaires dans presque toutes les industries, car ils génèrent des informations utiles dans les affaires, les finances, le gouvernement, les soins de santé, la recherche, les télécommunications et d'autres industries.

• C suite
• Équipe de données

• collecter et analyser les données brutes à grande échelle
• Créer des applications de données à l'aide d'une variété d'outils et de frameworks
• lire, récupérer, remodeler, mettre en scène et charger les données aux frameworks et outils choisis
• Faire des scripts, gratter les sites Web, appeler des API, écrire des requêtes SQL, etc.
• Collaborez en étroite collaboration avec l'équipe technique pour intégrer votre travail dans nos processus de fabrication
• Convertir les données non structurées en un format prêt pour l'analyse
• Examiner les données traitées
• Aidez les décisions commerciales avec l'évaluation ad hoc au besoin
• surveiller les performances des données et apporter les modifications nécessaires à l'infrastructure
• Établir des politiques de rétention des données
• Développer et maintenir des outils d'intégration, des bases de données, des entrepôts et des systèmes analytiques
• Établir des outils d'accès aux données pour les scientifiques des données

• Connaissance approfondie des principes informatiques distribués
• Gestion du cluster Hadoop, y compris tous les services groupés
• Capacité à résoudre tout problème de cluster actuel - Connaissance de Hadoop V2, MapReduce et HDFS
• Expérience antérieure Développer des systèmes de transformation des cours d'eau, tels que Storm ou Spark
• Compréhension approfondie des technologies de requête du Big Data telles que Pig, Hive et Impala
• Expérience d'étincelle précédente
• Expérience antérieure intégrant les données de plusieurs sources de données
• Connaissance des bases de données NoSQL telles que HBase, Cassandra et MongoDB
• Compréhension de plusieurs méthodologies et cadres ETL, tels que Flume
• Expérience avec différents systèmes de messagerie, tels que Kafka ou RabbitMQ - Expérience avec des kits d'outils ML Big Data, tels que Mahout, SparkML ou H2O - une compréhension solide de l'architecture lambda, y compris ses avantages et ses inconvénients
• Connaissance de Cloudera / Mapr / Hortonworks