Big Data Engineer Jobbbeskrivelse

Vi søker etter en profesjonell fremtredende dataingeniør for å hjelpe oss med å opprette og administrere selskapets big data -tilbud. Du vil være ansvarlig for å designe og utføre store datamekanismer og rammer, håndheve ELT -prosedyrer, samarbeide med utviklingsteam, lage skyplattformer og støtte produksjonssystemet i denne jobben.

For å være en vellykket, fremtredende dataingeniør, må du forstå Hadoop-teknologi, fremragende prosjektstyringsferdigheter og sterke problemløsningsevner. En toppnivå Big Data Engineer kjenner selskapets mål og implementerer skalerbare dataløsninger for å oppfylle disse kravene nå og i fremtiden.

Fremtredende dataingeniører grensesnitt mot store databehandlingssystemer og databaser i store datamaskininnstillinger. De filtrerer gjennom enorme datamengder for å identifisere relevante sett for analyse, som selskaper deretter bruker for å forutsi atferd.

Distinguished Data Engineers gjennomfører studier som hjelper firmaer med å vurdere resultatene, identifisere markedsdemografi og spå forestående endringer og markedstrender. Kjente dataingeniører er nødvendige i nesten alle bransjer fordi de genererer innsikt som er nyttige innen næringsliv, finans, myndigheter, helsevesen, forskning, telekommunikasjon og andre bransjer.

• C Suite
• Datateam

• Samle og analysere rå data i stor skala
• Lag dataapper ved hjelp av en rekke verktøy og rammer
• Les, hente, omforme, scene og last inn dataene for å velge rammer og verktøy
• Lag skript, skrap nettsteder, ring API -er, skriv SQL -spørsmål osv.
• Samarbeid tett med det tekniske teamet for å innlemme arbeidet ditt i produksjonsprosessene våre
• Konverter ustrukturerte data til et analyse-klart format
• Undersøk de behandlede dataene
• Hjelp forretningsavgjørelser med ad hoc -vurdering etter behov
• Overvåk dataytelse og gjøre nødvendige endringer i infrastrukturen
• Etablere retningslinjer for oppbevaring av data
• Utvikle og vedlikeholde integrasjonsverktøy, databaser, lager og analytiske systemer
• Etablere datatilgangsverktøy for dataforskere

• grundig kunnskap om distribuerte databehandlingsprinsipper
• Hadoop Cluster Management, inkludert alle medfølgende tjenester
• Evne til å feilsøke eventuelle aktuelle klyngeproblemer - Kunnskap om Hadoop V2, MapReduce og HDFS
• Tidligere erfaring med å utvikle strømforedlingssystemer, for eksempel storm eller gnist
• grundig forståelse av big data spørringsteknologier som gris, bikub og impala
• Tidligere gnistopplevelse
• Tidligere erfaring med å integrere data fra flere datakilder
• Kunnskap om NoSQL -databaser som HBase, Cassandra og MongoDB
• Forståelse av flere ETL -metoder og rammer, for eksempel Flume
• Erfaring med forskjellige meldingssystemer, for eksempel Kafka eller RabbitMQ - Erfaring med Big Data ML -verktøysett, for eksempel Mahout, Sparkml eller H2O - Solid forståelse av Lambda -arkitekturen, inkludert fordeler og ulemper
• Kunnskap om Cloudera/MAPR/Hortonworks