Hadoop Developer Opis stanowiska Szablon/krótki
Poszukujemy programisty Hadoop, który pomoże nam w opracowaniu oprogramowania i infrastruktury i infrastruktury przetwarzania danych na dużą skalę. Wymagana jest znajomość obecnych technologii i możliwość tworzenia aplikacji z wykorzystaniem interfejsu API Hadoop.
Profil pracy programisty Hadoop
Hadoop to bezpłatna i open source do zarządzania i przechowywania dużych aplikacji danych w klastrach. Deweloperzy Hadoop są odpowiedzialni za opracowywanie i kodowanie aplikacji Hadoop. Zasadniczo programista Hadoop zapewnia programy do obsługi i utrzymywania ogromnych danych firmy.
Raporty do
- Dyrektor Techniczny
- Lead technologiczny
- Ołów inżynier Hadoop
- Sr. programista oprogramowania
- Deweloper JavaScript
Obowiązki dla programisty Hadoop
- Odpowiedź za projekt, opracowywanie, architektura i dokumentacja Hadoop Application
- Bądź w kolejności instalacji, konfigurowania i utrzymywania Hadoop
- Użyj harmonogramu do zarządzania zadaniami Hadoop
- Zmniejsz kod dla klastrów Hadoop, jednocześnie pomagając w tworzeniu nowych klastrów Hadoop
- Przetłumacz złożoną metodologię i specyfikacje funkcjonalne na kompleksowe projekty
- Utwórz aplikacje online do zapytania o dane i szybkie śledzenie danych, wszystko z lepszymi prędkością
- Zaproponuj najlepsze praktyki i standardy organizacji, a następnie przenieś je do operacji
- Przetestuj prototypy oprogramowania i nadzoruj ich późniejszy przeniesienie do zespołu operacyjnego
- Użyj świni i ula do danych przed przetwarzaniem
- Utrzymaj bezpieczeństwo danych przedsiębiorstwa i prywatność klastra Hadoop
- Podawanie i wdrażanie HBase
- Analizuj masywne repozytoria danych i uzyskać spostrzeżenia
Wymagania i umiejętności programisty Hadoop
- Licencjat lub tytuł magistra informatyki
- Podstawowe zrozumienie Hadoopa i jego ekosystemu
- zdolne do pracy z Linux i wykonywania większości podstawowych poleceń
- Praktyczna wiedza na temat elementów podstawowych Hadoop
- MapReduce, Pig, Hive i HBase to przykłady technologii Hadoop
- Możliwość radzenia sobie z wielokrestantem i współbieżnością w ekosystemie
- Znajomość technologii ETL i ładowania danych, takich jak Flume i Sqoop
- Możliwość radzenia sobie z programowaniem zaplecza
- Solidne zrozumienie podstaw SQL i systemów rozproszonych
- Obszerne doświadczenie programowania w językach takich jak Java, Python, JavaScript i Nodejs
- Znajomość Java