Big Data Engineer Stellenbeschreibung

Wir suchen nach einem professionellen prominenten Dateningenieur, der uns dabei hilft, die Big Data -Angebote unseres Unternehmens zu erstellen und zu verwalten. Sie sind für das Entwerfen und Ausführen von Big -Data -Mechanismen und -frameworks verantwortlich, die Durchsetzung von ELT -Verfahren, die Zusammenarbeit mit Entwicklungsteams, das Erstellen von Cloud -Plattformen und die Unterstützung des Produktionssystems in diesem Job.

Um ein erfolgreicher, prominenter Dateningenieur zu sein, müssen Sie die Hadoop-Technologie, herausragende Projektmanagementfähigkeiten und starke Fähigkeiten zur Problemlösung verstehen. Ein erstklassiger Big Data-Ingenieur kennt die Ziele des Unternehmens und implementiert skalierbare Datenlösungen, um diese Anforderungen jetzt und in Zukunft zu erfüllen.

Prominente Dateningenieure schnitten sich mit enormen Datenverarbeitungssystemen und Datenbanken in großflächigen Computereinstellungen an. Sie filtern durch enorme Datenmengen, um relevante Sätze für die Analyse zu identifizieren, die Unternehmen dann zum Vorhersagen des Verhaltens verwenden.

Distinguished Data Engineers führen Studien durch, die Unternehmen bei der Beurteilung ihrer Leistung, der Identifizierung der Marktdemografie und der Prognose drohender Veränderungen und Markttrends unterstützen. In fast jeder Branche werden bekannte Dateningenieure benötigt, da sie Erkenntnisse generieren, die in Unternehmen, Finanzen, Regierung, Gesundheitswesen, Forschung, Telekommunikation und anderen Branchen hilfreich sind.

• C Suite
• Data -Team

• Sammeln und analysieren Sie Rohdaten in großem Maßstab
• Erstellen Sie Daten Apps mit einer Vielzahl von Tools und Frameworks
• Lesen Sie die Daten in ausgewählte Frameworks und Tools, lesen, abrufen, formen Sie sie um und laden Sie die Daten
• Skripte erstellen, Websites kratzen, APIs aufrufen, SQL -Abfragen schreiben usw.
• Arbeiten Sie eng mit dem technischen Team zusammen, um Ihre Arbeit in unsere Herstellungsprozesse einzubeziehen
• Umwandeln Sie unstrukturierte Daten in ein Analyse-fertiges Format
• Untersuchen Sie die verarbeiteten Daten
• Helfen Sie Geschäftsentscheidungen bei der ad hoc -Bewertung nach Bedarf
• Die Datenleistung überwachen und die erforderlichen Änderungen der Infrastruktur vornehmen
• Richtlinien zur Datenerhalterung festlegen
• Integrationstools, Datenbanken, Lagerhäuser und analytische Systeme entwickeln und pflegen
• Datenzugriffstools für Datenwissenschaftler festlegen

• Gründliche Kenntnisse über verteilte Computerprinzipien
• Hadoop -Cluster -Management, einschließlich aller gebündelten Dienste
• Fähigkeit, aktuelle Clusterprobleme zu beheben - Kenntnisse von Hadoop V2, MapReduce und HDFs
• Frühere Erfahrungen mit Stromverarbeitungssystemen wie Sturm oder Spark entwickeln
• gründliches Verständnis von Big Data -Abfrage -Technologien wie Schwein, Bienenstock und Impala
• Vorherige Funkenerfahrung
• Frühere Erfahrungen zum Integrieren von Daten aus mehreren Datenquellen
• Kenntnis von NoSQL -Datenbanken wie HBase, Cassandra und MongoDB
• Verständnis mehrerer ETL -Methoden und Rahmenbedingungen, wie z. B. Flume
• Erfahrung mit verschiedenen Messaging -Systemen wie Kafka oder Rabbitmq - Erfahrung mit Big Data ML -Toolkits wie Mahout, Sparkml oder H2O - solides Verständnis der Lambda -Architektur, einschließlich ihrer Vorteile und Nachteile
• Kenntnis von Cloudera/Mapr/Hortonworks