Hadoop開発者の職務記述書テンプレート/ブリーフ

大規模なデータストレージと処理ソフトウェアとインフラストラクチャの開発を支援するために、Hadoop開発者を探しています。現在のテクノロジーの知識と、Hadoop APIを使用してアプリケーションを作成する機能が必要です。

Hadoop開発者のジョブプロファイル

Hadoopは、クラスターに大規模なデータアプリケーションを管理および保存するための無料のオープンソースプラットフォームです。 Hadoop開発者は、Hadoopアプリケーションの開発とコーディングを担当しています。 Hadoop開発者は、本質的に、企業の大規模なデータを処理および維持するプログラムを提供します。

に報告します

  • 最高技術責任者
  • テクノロジーリード
  • Hadoopエンジニアをリードします
  • Sr.ソフトウェア開発者
  • JavaScript開発者

Hadoop開発者の責任

  • すべてのHadoopアプリケーションの設計、開発、アーキテクチャ、およびドキュメントを担当する
  • Hadoopのインストール、構成、および保守の順番に
  • スケジューラを使用して、Hadoopタスクを管理します
  • 新しいHadoopクラスターの作成を支援しながら、Hadoopクラスターのコードを削減します
  • 複雑な方法論と機能仕様を包括的なデザインに変換する
  • データクエリと高速データトラッキング用のオンラインアプリを作成します。
  • 組織のベストプラクティスと基準を提案し、それらを運用に転送する
  • ソフトウェアのプロトタイプをテストし、その後の運用チームへの転送を監督します
  • 豚とハイブを使用してデータを前処理します
  • エンタープライズデータセキュリティとHadoopクラスタープライバシーを維持します
  • HBase管理と展開
    • 大規模なデータリポジトリを分析し、洞察を取得します

Hadoop開発者の要件とスキル

  • コンピューターサイエンスの学士号または修士号
  • Hadoopとそのエコシステムの基本的な理解
  • Linuxを操作し、ほとんどの基本コマンドを実行することができます
  • Hadoopコアコンポーネントの実用的な知識
  • MapReduce、Pig、Hive、およびHbaseはHadoopテクノロジーの例です
    • エコシステムでのマルチスレッドと並行性に対処する能力
    • ETLおよびFlumeやSQoopなどのデータ読み込みテクノロジーに精通している
    • バックエンドプログラミングに対処する機能
    • SQLの基礎と分散システムの確固たる理解
    • Java、Python、JavaScript、Nodejsなどの言語での広範なプログラミングエクスペリエンス
    • Javaに精通しています