Big Data Engineer Jobbbeskrivning

Vi söker efter en professionell framstående datatekniker som hjälper oss att skapa och hantera vårt företags Big Data -erbjudanden. Du kommer att vara ansvarig för att utforma och utföra big data -mekanismer och ramverk, upprätthålla ELT -procedurer, samarbeta med utvecklingsgrupper, skapa molnplattformar och stödja produktionssystemet i detta jobb.

För att vara en framgångsrik, framträdande datatekniker måste du förstå Hadoop-teknik, enastående projektledningsfärdigheter och starka problemlösningsförmågor. En högsta big dataingenjör känner till företagets mål och implementerar skalbara datalösningar för att möta dessa krav nu och i framtiden.

Framstående dataingenjörer gränssnitt med stora databehandlingssystem och databaser i storskaliga datorinställningar. De filtrerar genom enorma mängder data för att identifiera relevanta uppsättningar för analys, vilka företag som sedan använder för att förutse beteende.

Distinguished Data Engineers genomför studier som hjälper företag att utvärdera deras prestationer, identifiera marknadsdemografi och prognoser förestående förändringar och marknadstrender. Välkända dataingenjörer behövs i nästan alla branscher eftersom de genererar insikter som är till hjälp i affärer, ekonomi, myndigheter, sjukvård, forskning, telekommunikation och andra branscher.

• C -svit
• Dataleam

• Samla in och analysera rådata i stor skala
• Skapa dataappar med olika verktyg och ramverk
• Läs, hämta, omforma, scen och ladda data till valda ramar och verktyg
• Gör skript, skrapa webbplatser, ring API: er, skriv SQL -frågor etc.
• Samarbeta nära med det tekniska teamet för att integrera ditt arbete i våra tillverkningsprocesser
• Konvertera ostrukturerade data till ett analysklart format
• Undersök de bearbetade uppgifterna
• Hjälp affärsbeslut med ad hoc -bedömning efter behov
• Övervaka dataprestanda och gör nödvändiga ändringar av infrastrukturen
• Upprätta datalagringspolicy
• Utveckla och underhålla integrationsverktyg, databaser, lager och analytiska system
• Upprätta datatillgångsverktyg för datavetare

• Grundlig kunskap om distribuerade datorprinciper
• Hadoop Cluster Management, inklusive alla bundna tjänster
• Möjlighet att felsöka alla aktuella klusterproblem - Kunskap om Hadoop V2, MapReduce och HDFS
• Tidigare erfarenhet av att utveckla strömbehandlingssystem, till exempel storm eller gnista
• Grundlig förståelse av Big Data Querying Technologies som gris, bikupa och impala
• Tidigare gnistupplevelse
• Tidigare erfarenhet av att integrera data från flera datakällor
• Kunskap om NoSQL -databaser som HBase, Cassandra och MongoDB
• Förståelse av flera ETL -metoder och ramverk, till exempel Flume
• Erfarenhet med olika meddelandesystem, såsom Kafka eller RabbitMQ - Erfarenhet av ML -verktygssatser med big data, såsom Mahout, SparkML eller H2O - Solid förståelse för Lambda -arkitekturen, inklusive dess fördelar och nackdelar
• Kunskap om Cloudera/MAPR/Hortonworks