Шаблон описания работы разработчика Hadoop/
Мы ищем разработчика Hadoop, чтобы помочь нам в разработке крупномасштабного программного обеспечения для хранения данных и обработки и инфраструктуры. Требуется знание текущих технологий и способности создавать приложения с использованием API Hadoop.
Профиль работы разработчика Hadoop
Hadoop-это бесплатная платформа с открытым исходным кодом для управления и хранения больших приложений данных в кластерах. Разработчики Hadoop отвечают за разработку и кодирование приложений Hadoop. Разработчик Hadoop, по сути, предоставляет программы для обработки и обслуживания массовых данных компании.
Отчеты
- Главный технический директор
- Технологический лидер
- Ведущий инженер Hadoop
- Старший разработчик программного обеспечения
- Разработчик JavaScript
Обязанности разработчика Hadoop
- Отвечать за все проектирование приложений, разработка, архитектура и документация Hadoop
- быть в порядке установки, настройки и обслуживания Hadoop
- Используйте планировщик для управления задачами Hadoop
- Уменьшите код для кластеров Hadoop, а также помогая в создании новых кластеров Hadoop
- Перевести сложную методологию и функциональные спецификации в комплексные проекты
- Создать онлайн -приложения для запросов данных и быстрого отслеживания данных, все на лучших скоростях
- Предложите лучшие практики и стандарты организации, а затем передайте их на операции
- Прототипы программного обеспечения тестирования и контролировать их последующий перевод в оперативную команду
- Используйте свиньи и улья для предварительного обработки данных
- Поддерживать безопасность данных корпоративных данных и конфиденциальность кластера Hadoop
- Администрирование и развертывание HBASE
- Анализонализируйте массовые хранилища данных и получение понимания
Требования и навыки разработчика Hadoop
- степень бакалавра или магистра в области компьютерных наук
- Основное понимание Hadoop и его экосистемы
- Способен работать с Linux и выполнять большинство основных команд
- Практические знания основных компонентов Hadoop
- MapReduce, Pig, Hive и Hbase - примеры технологии Hadoop
- Возможность справиться с многопоточной и параллелизмом в экосистеме
- Знакомство с ETL и технологиями загрузки данных, такими как Flume и SQOOP
- Способность справляться с внутренним программированием
- Прочное понимание основах SQL и распределенных систем
- Обширный опыт программирования в таких языках, как Java, Python, JavaScript и Nodejs
- Знакомство с Java