Opis stanowiska inżyniera dużych zbiorów danych

Szukamy profesjonalnego wybitnego inżyniera danych, który pomoże nam tworzyć i zarządzać ofertami dużych zbiorów danych. Będziesz odpowiedzialny za projektowanie i realizację mechanizmów i ram dla dużych zbiorów danych, egzekwowanie procedur ELT, współpracując z zespołami programistów, tworzenie platform chmurowych i wspieranie systemu produkcji w tym zadaniu.

Aby odnieść sukces, wybitny inżynier danych, musisz zrozumieć technologię Hadoop, wybitne umiejętności zarządzania projektami i silne umiejętności rozwiązywania problemów. Najwyższy poziom inżyniera dużych zbiorów danych zna cele firmy i wdraża skalowalne rozwiązania danych, aby zaspokoić te wymagania teraz iw przyszłości.

Widoczne inżynierowie danych interfejs z rozległymi systemami przetwarzania danych i bazami danych w dużych ustawieniach komputerowych. Filtrują ogromne ilości danych w celu zidentyfikowania odpowiednich zestawów do analizy, których korporacje wykorzystują wówczas do prognozowania zachowania.

Wybitni inżynierowie danych prowadzą badania, które pomagają firmom w ocenie ich wyników, identyfikowaniu danych demograficznych rynkowych oraz prognozowaniu zbliżających się zmian i trendów rynkowych. Dobrze znani inżynierowie danych są potrzebni w prawie każdej branży, ponieważ generują spostrzeżenia, które są pomocne w biznesie, finansach, rządach, opiece zdrowotnej, badaniach, telekomunikacji i innych branżach.

• C Suite
• Zespół danych

• Zbieraj i analizuj surowe dane na dużą skalę
• Utwórz aplikacje danych za pomocą różnych narzędzi i frameworków
• Odczytaj, pobieraj, przekształcaj, sformatuj i załaduj dane do wybranych frameworków i narzędzi
• Rób skrypty, zeskrobaj strony internetowe, połączenie interfejsów API, zapisz zapytania SQL itp.
• ściśle współpracuj z zespołem technicznym, aby włączyć swoją pracę do naszych procesów produkcyjnych
• Konwertuj nieustrukturyzowane dane na format gotowy do analizy
• Zbadaj przetworzone dane
• Pomoc w decyzjach biznesowych z oceną ad hoc zgodnie z wymaganiami
• Monitoruj wydajność danych i wprowadzaj niezbędne zmiany w infrastrukturze
• Ustanowienie zasad zatrzymywania danych
• Opracuj i utrzymuj narzędzia integracyjne, bazy danych, magazyny i systemy analityczne
• Ustal narzędzia do dostępu do danych dla naukowców danych

• Dokładna znajomość rozproszonych zasad obliczeniowych
• Zarządzanie klastrami Hadoop, w tym wszystkie usługi pakietowe
• Zdolność do rozwiązywania problemów z obecnymi problemami klastrowymi - znajomość Hadoop V2, MapReduce i HDFS
• Wcześniejsze doświadczenie opracowywanie systemów przetwarzania strumienia, takich jak Storm lub Spark
• Dokładne zrozumienie technologii zapytań Big Data, takich jak świnia, ula i impala
• Poprzednie doświadczenie Spark
• Wcześniejsze doświadczenie integrując dane z kilku źródeł danych
• Znajomość baz danych NoSQL, takich jak HBase, Cassandra i MongoDB
• Zrozumienie kilku metodologii i ram ETL, takich jak Flume
• Doświadczenie z różnymi systemami przesyłania wiadomości, takimi jak Kafka lub Rabbitmq - Doświadczenie z zestawami narzędzi Big Data ML, takich jak Mahout, Sparkml lub H2O - Solidne zrozumienie architektury Lambda, w tym jej korzyści i wady
• Znajomość Cloudera/Mapr/Hortonworks