Big Data Engineer Job Beschrijving sjabloon/kort

We zijn op zoek naar een professionele prominente gegevensingenieur om ons te helpen het big data -aanbiedingen van ons bedrijf te maken en te beheren. U bent verantwoordelijk voor het ontwerpen en uitvoeren van big data -mechanismen en frameworks, het afdwingen van ELT -procedures, samenwerken met ontwikkelingsteams, het creëren van cloudplatforms en het ondersteunen van het productiesysteem in deze taak.

Om een ​​succesvolle, prominente data-ingenieur te zijn, moet u Hadoop-technologie, uitstekende vaardigheden voor projectmanagement en sterke probleemoplossende vaardigheden begrijpen. Een big data-ingenieur van topklasse kent de doelen van het bedrijf en implementeert schaalbare gegevensoplossingen om aan die eisen te voldoen en in de toekomst.

Big Data Engineer Job Profiel

Prominente data-ingenieurs interface met enorme gegevensverwerkingssystemen en databases in grootschalige computerinstellingen. Ze filteren door enorme hoeveelheden gegevens om relevante sets te identificeren voor analyse, die bedrijven vervolgens gebruiken om gedrag te voorspellen.

Distinguise Data Engineers voeren studies uit die bedrijven helpen bij het beoordelen van hun prestaties, het identificeren van marktdemografie en het voorspellen van naderende veranderingen en markttrends. Bekende data-ingenieurs zijn nodig in bijna elke branche omdat ze inzichten genereren die nuttig zijn in het bedrijfsleven, financiën, overheid, gezondheidszorg, onderzoek, telecommunicatie en andere industrieën.

Rapporteert aan

  • C Suite
  • Gegevensteam

Big Data Engineer verantwoordelijkheden

  • Verzamel en analyseer ruwe gegevens op grote schaal
  • Maak gegevens -apps met behulp van verschillende tools en frameworks
  • Lees, ophalen, hervormen, hervormen, fase en laad de gegevens voor gekozen frameworks en tools
  • Maak scripts, schraap websites, roep API's aan, schrijf SQL -query's, enz.
  • Werk nauw samen met het technische team om uw werk op te nemen in onze productieprocessen
  • Converteer ongestructureerde gegevens in een analyse-klaar formaat
  • Onderzoek de verwerkte gegevens
  • Help zakelijke beslissingen met ad hoc beoordeling zoals vereist
  • Controleer gegevensprestaties en breng de nodige wijzigingen aan in de infrastructuur
  • Beleid voor het behoud van gegevens vaststellen
  • Ontwikkel en onderhoud integratietools, databases, magazijnen en analytische systemen
  • Stel tools voor gegevenstoegang op voor datawetenschappers

Big Data Engineer vereisten en vaardigheden

  • Grondige kennis van gedistribueerde computerprincipes
  • Hadoop Cluster Management, inclusief alle gebundelde diensten
  • Mogelijkheid om eventuele huidige clusterproblemen op te lossen - Kennis van Hadoop V2, MapReduce en HDFS
  • Eerdere ervaring met het ontwikkelen van streamverwerkingssystemen, zoals Storm of Spark
  • grondig begrip van big data -vraagtechnologieën zoals varkens, bijenkorf en impala
  • Vorige Spark -ervaring
  • Eerdere ervaring met het integreren van gegevens uit verschillende gegevensbronnen
  • Kennis van NoSQL -databases zoals HBase, Cassandra en MongoDB
  • Inzicht in verschillende ETL -methoden en frameworks, zoals flumes
  • Ervaring met verschillende berichtensystemen, zoals Kafka of RabbitMQ - Ervaring met Big Data ML -toolkits, zoals Mahout, SparkML of H2O - solide begrip van de Lambda -architectuur, inclusief de voordelen en de nadelen
  • Kennis van Cloudera/MAPR/Hortonworks