Hadoop Developer Opis stanowiska Szablon/krótki

Poszukujemy programisty Hadoop, który pomoże nam w opracowaniu oprogramowania i infrastruktury i infrastruktury przetwarzania danych na dużą skalę. Wymagana jest znajomość obecnych technologii i możliwość tworzenia aplikacji z wykorzystaniem interfejsu API Hadoop.

Profil pracy programisty Hadoop

Hadoop to bezpłatna i open source do zarządzania i przechowywania dużych aplikacji danych w klastrach. Deweloperzy Hadoop są odpowiedzialni za opracowywanie i kodowanie aplikacji Hadoop. Zasadniczo programista Hadoop zapewnia programy do obsługi i utrzymywania ogromnych danych firmy.

Raporty do

  • Dyrektor Techniczny
  • Lead technologiczny
  • Ołów inżynier Hadoop
  • Sr. programista oprogramowania
  • Deweloper JavaScript

Obowiązki dla programisty Hadoop

  • Odpowiedź za projekt, opracowywanie, architektura i dokumentacja Hadoop Application
  • Bądź w kolejności instalacji, konfigurowania i utrzymywania Hadoop
  • Użyj harmonogramu do zarządzania zadaniami Hadoop
  • Zmniejsz kod dla klastrów Hadoop, jednocześnie pomagając w tworzeniu nowych klastrów Hadoop
  • Przetłumacz złożoną metodologię i specyfikacje funkcjonalne na kompleksowe projekty
  • Utwórz aplikacje online do zapytania o dane i szybkie śledzenie danych, wszystko z lepszymi prędkością
  • Zaproponuj najlepsze praktyki i standardy organizacji, a następnie przenieś je do operacji
  • Przetestuj prototypy oprogramowania i nadzoruj ich późniejszy przeniesienie do zespołu operacyjnego
  • Użyj świni i ula do danych przed przetwarzaniem
  • Utrzymaj bezpieczeństwo danych przedsiębiorstwa i prywatność klastra Hadoop
  • Podawanie i wdrażanie HBase
  • Analizuj masywne repozytoria danych i uzyskać spostrzeżenia

Wymagania i umiejętności programisty Hadoop

  • Licencjat lub tytuł magistra informatyki
  • Podstawowe zrozumienie Hadoopa i jego ekosystemu
  • zdolne do pracy z Linux i wykonywania większości podstawowych poleceń
  • Praktyczna wiedza na temat elementów podstawowych Hadoop
  • MapReduce, Pig, Hive i HBase to przykłady technologii Hadoop
  • Możliwość radzenia sobie z wielokrestantem i współbieżnością w ekosystemie
  • Znajomość technologii ETL i ładowania danych, takich jak Flume i Sqoop
  • Możliwość radzenia sobie z programowaniem zaplecza
  • Solidne zrozumienie podstaw SQL i systemów rozproszonych
  • Obszerne doświadczenie programowania w językach takich jak Java, Python, JavaScript i Nodejs
  • Znajomość Java