Big Data Engineer Descrizione del lavoro

Stiamo cercando un ingegnere di dati di spicco professionale per aiutarci a creare e gestire le offerte dei big data della nostra azienda. Sarai responsabile per la progettazione e l'esecuzione di meccanismi e framework di big data, applicazione di procedure ELT, collaborazione con team di sviluppo, creazione di piattaforme cloud e supportare il sistema di produzione in questo lavoro.

Per essere un ingegnere di dati di successo e di spicco, è necessario comprendere la tecnologia Hadoop, le eccezionali capacità di gestione dei progetti e forti capacità di risoluzione dei problemi. Un ingegnere dei big data di alto livello conosce gli obiettivi dell'azienda e implementa soluzioni di dati scalabili per soddisfare tali richieste ora e in futuro.

Gli ingegneri di dati importanti si interfacciano con vasti sistemi di elaborazione dei dati e database nelle impostazioni di computer su larga scala. Filtrano enormi quantità di dati per identificare set pertinenti per l'analisi, che le società utilizzano quindi per prevedere il comportamento.

Gli ingegneri di dati distinti conducono studi che aiutano le imprese a valutare le loro prestazioni, identificare i dati demografici del mercato e prevedere cambiamenti imminenti e tendenze del mercato. Gli ingegneri di dati ben noti sono necessari in quasi tutti i settore perché generano approfondimenti utili in affari, finanziamenti, governo, assistenza sanitaria, ricerca, telecomunicazioni e altri settori.

• C suite
• Team di dati

• Raccogli e analizzare i dati grezzi su larga scala
• Crea app di dati utilizzando una varietà di strumenti e framework
• Leggi, recupera, rimodella, stage e carichi i dati per i framework e gli strumenti scelti
• Crea script, raschia i siti Web, chiama API, scrivi query SQL, ecc.
• Collabora strettamente con il team tecnico per incorporare il tuo lavoro nei nostri processi di produzione
• Converti i dati non strutturati in un formato pronto per l'analisi
• Esamina i dati elaborati
• Aiutare le decisioni aziendali con la valutazione ad hoc come richiesto
• Monitorare le prestazioni dei dati e apportare le modifiche necessarie all'infrastruttura
• Stabilire politiche di conservazione dei dati
• Sviluppare e mantenere strumenti di integrazione, database, magazzini e sistemi analitici
• Stabilire strumenti di accesso ai dati per i data scientist

• Conoscenza completa dei principi di elaborazione distribuita
• Gestione dei cluster Hadoop, compresi tutti i servizi in bundle
• Capacità di risolvere i problemi di eventuali cluster - Conoscenza di Hadoop V2, MapReduce e HDFS
• Esperienza precedente che sviluppa sistemi di elaborazione del flusso, come Storm o Spark
• Comprensione approfondita delle tecnologie di query di big data come maiale, alveare e impala
• Precedente esperienza di scintilla
• Esperienza precedente che integra i dati da diverse fonti di dati
• Conoscenza di database NoSQL come Hbase, Cassandra e MongoDB
• Comprensione di diverse metodologie e framework ETL, come Flume
• Esperienza con diversi sistemi di messaggistica, come Kafka o RabbitMQ - Esperienza con toolkit di big data ML, come Mahout, Sparkml o H2O - Solida comprensione dell'architettura Lambda, compresi i suoi benefici e gli aspetti negativi
• Conoscenza di Cloudera/Mapr/Hortonworks