Шаблон описания работы разработчика Hadoop/

Мы ищем разработчика Hadoop, чтобы помочь нам в разработке крупномасштабного программного обеспечения для хранения данных и обработки и инфраструктуры. Требуется знание текущих технологий и способности создавать приложения с использованием API Hadoop.

Профиль работы разработчика Hadoop

Hadoop-это бесплатная платформа с открытым исходным кодом для управления и хранения больших приложений данных в кластерах. Разработчики Hadoop отвечают за разработку и кодирование приложений Hadoop. Разработчик Hadoop, по сути, предоставляет программы для обработки и обслуживания массовых данных компании.

Отчеты

  • Главный технический директор
  • Технологический лидер
  • Ведущий инженер Hadoop
  • Старший разработчик программного обеспечения
  • Разработчик JavaScript

Обязанности разработчика Hadoop

  • Отвечать за все проектирование приложений, разработка, архитектура и документация Hadoop
  • быть в порядке установки, настройки и обслуживания Hadoop
  • Используйте планировщик для управления задачами Hadoop
  • Уменьшите код для кластеров Hadoop, а также помогая в создании новых кластеров Hadoop
  • Перевести сложную методологию и функциональные спецификации в комплексные проекты
  • Создать онлайн -приложения для запросов данных и быстрого отслеживания данных, все на лучших скоростях
  • Предложите лучшие практики и стандарты организации, а затем передайте их на операции
  • Прототипы программного обеспечения тестирования и контролировать их последующий перевод в оперативную команду
  • Используйте свиньи и улья для предварительного обработки данных
  • Поддерживать безопасность данных корпоративных данных и конфиденциальность кластера Hadoop
  • Администрирование и развертывание HBASE
  • Анализонализируйте массовые хранилища данных и получение понимания

Требования и навыки разработчика Hadoop

  • степень бакалавра или магистра в области компьютерных наук
  • Основное понимание Hadoop и его экосистемы
  • Способен работать с Linux и выполнять большинство основных команд
  • Практические знания основных компонентов Hadoop
  • MapReduce, Pig, Hive и Hbase - примеры технологии Hadoop
  • Возможность справиться с многопоточной и параллелизмом в экосистеме
  • Знакомство с ETL и технологиями загрузки данных, такими как Flume и SQOOP
  • Способность справляться с внутренним программированием
  • Прочное понимание основах SQL и распределенных систем
  • Обширный опыт программирования в таких языках, как Java, Python, JavaScript и Nodejs
  • Знакомство с Java