Big Data Engineer Jobbeskrivelse

Vi søger efter en professionel fremtrædende datetekniker for at hjælpe os med at skabe og administrere vores virksomheds big data -tilbud. Du vil være ansvarlig for at designe og udføre big data -mekanismer og rammer, håndhæve ELT -procedurer, samarbejde med udviklingsteam, skabe skyplatforme og støtte produktionssystemet i dette job.

For at være en succesrig, fremtrædende dataingeniør skal du forstå Hadoop-teknologi, fremragende projektstyringsevner og stærke problemløsningsevner. En top-tier big dataingeniør kender virksomhedens mål og implementerer skalerbare dataløsninger for at imødekomme disse krav nu og i fremtiden.

Fremtrædende dataingeniører interface med store databehandlingssystemer og databaser i store computerindstillinger. De filtrerer gennem enorme mængder data for at identificere relevante sæt til analyse, som virksomheder derefter bruger til at forudsige adfærd.

Distinguished Data Engineers foretager undersøgelser, der hjælper virksomheder med at vurdere deres præstationer, identificere markedsdemografi og forudsige forestående ændringer og markedstendenser. Kendte dataingeniører er nødvendige i næsten enhver branche, fordi de genererer indsigt, der er nyttige inden for erhvervslivet, økonomi, regering, sundhedsydelser, forskning, telekommunikation og andre brancher.

• C Suite
• Datateam

• indsamle og analysere rå data i stor skala
• Opret dataapps ved hjælp af en række værktøjer og rammer
• Læs, hent, omform, scene og indlæs dataene til valgte rammer og værktøjer
• Lav scripts, skrabe websteder, ring API'er, skriv SQL -forespørgsler osv.
• Samarbejd tæt sammen med det tekniske team for at inkorporere dit arbejde i vores fremstillingsprocesser
• Konverter ustrukturerede data til et analyse-klar format
• Undersøg de behandlede data
• Hjælp forretningsbeslutninger med ad hoc -vurdering efter behov
• Overvåg dataens ydelse og foretag de nødvendige ændringer i infrastrukturen
• Oprette politikker til opbevaring af data
• Udvikle og vedligeholde integrationsværktøjer, databaser, lager og analytiske systemer
• Opret værktøjer til dataadgang for dataforskere

• grundig viden om distribuerede computerprincipper
• Hadoop Cluster Management, inklusive alle bundlede tjenester
• Evne til at fejlfinde eventuelle aktuelle klyngeproblemer - Kendskab til Hadoop V2, MapReduce og HDFS
• Tidligere erfaring med at udvikle strømforarbejdningssystemer, såsom storm eller gnist
• Grundig forståelse af forespørgselssteknologier for big data som svin, bikub og Impala
• Tidligere gnistoplevelse
• Tidligere erfaring med at integrere data fra flere datakilder
• Kendskab til NoSQL -databaser som HBase, Cassandra og MongoDB
• Forståelse af flere ETL -metodologier og rammer, såsom flume
• Erfaring med forskellige messaging -systemer, såsom Kafka eller RabbitMQ - Erfaring med Big Data ML -værktøjssæt, såsom Mahout, SparkMl eller H2O - Solid forståelse af Lambda -arkitekturen, herunder dens fordele og ulemper
• Kendskab til Cloudera/Mapr/Hortonworks