Hadoop Developer Jobbeskrivelse Skabelon/kort

Vi søger en Hadoop-udvikler til at hjælpe os med at udvikle storstilet datalagrings- og behandlingssoftware og infrastruktur. Kendskab til aktuelle teknologier og evnen til at oprette applikationer, der bruger Hadoop API, er påkrævet.

Hadoop -udvikler jobprofil

Hadoop er en gratis og open source-platform til styring og lagring af store dataapplikationer i klynger. Hadoop -udviklere er ansvarlige for at udvikle og kode Hadoop -applikationer. En Hadoop -udvikler leverer i det væsentlige programmer til at håndtere og vedligeholde en virksomheds massive data.

Rapporterer til

  • Chief Technology Officer
  • Tech Lead
  • Lead Hadoop Engineer
  • Sr. -softwareudvikler
  • JavaScript -udvikler

Hadoop -udvikleransvar

  • Vær ansvarlig for alt Hadoop -applikationsdesign, udvikling, arkitektur og dokumentation
  • Vær i rækkefølge om installation, konfiguration og vedligeholdelse
  • Brug en planlægning til at administrere Hadoop -opgaver
  • Reducer koden til Hadoop -klynger, mens jeg også hjælper med oprettelsen af ​​nye Hadoop -klynger
  • Oversæt kompleks metodologi og funktionelle specifikationer til omfattende design
  • Opret online -apps til forespørgsel om data og hurtig datasporing, alt sammen med bedre hastigheder
  • foreslå organisationens bedste praksis og standarder, og overfør dem derefter til operationer
  • Test software prototyper og overvåge deres efterfølgende overførsel til det operationelle team
  • Brug svin og bikub til forbehandlingsdata
  • Oprethold virksomhedsdatasikkerhed og Hadoop Cluster -privatlivets fred
  • HBASE -administration og implementering
  • Analyzeanalyze massive datalagre og få indsigt

Hadoop -udviklerkrav og færdigheder

  • En bachelor- eller kandidatgrad i datalogi
  • Grundlæggende forståelse af Hadoop og dets økosystem
  • i stand til at arbejde med Linux og udføre de fleste basale kommandoer
  • Praktisk viden om Hadoop -kernekomponenter
  • MapReduce, Pig, Hive og HBase er eksempler på Hadoop -teknologi
  • Kapacitet til at håndtere multi-threading og samtidighed i et økosystem
  • Fortrolighed med ETL- og databelastningsteknologier såsom Flume og Sqoop
  • Evne til at håndtere back-end-programmering
  • En solid forståelse af SQL -grundlæggende elementer og distribuerede systemer
  • Omfattende programmeringsoplevelse på sprog som Java, Python, JavaScript og Nodejs
  • Fortrolighed med Java