ビッグデータエンジニアの職務記述書

私たちは、当社のビッグデータの提供を作成および管理するのを支援するために、専門的な著名なデータエンジニアを探しています。ビッグデータメカニズムとフレームワークの設計と実行、ELT手順の実施、開発チームとの協力、クラウドプラットフォームの作成、このジョブの生産システムのサポートについて説明責任を負います。

成功する著名なデータエンジニアになるには、Hadoopテクノロジー、優れたプロジェクト管理スキル、および強力な問題解決能力を理解する必要があります。一流のビッグデータエンジニアは、会社の目標を知っており、現在および将来のこれらの要求を満たすためにスケーラブルなデータソリューションを実装しています。

著名なデータエンジニアは、大規模なコンピューター設定で膨大なデータ処理システムとデータベースとインターフェイスします。彼らは、膨大な量のデータを介して分析に関連するセットを識別し、その企業が動作を予測するために使用します。

著名なデータエンジニアは、企業がパフォーマンスを評価し、市場の人口統計を特定し、差し迫った変化と市場動向を予測するのを支援する研究を実施しています。よく知られているデータエンジニアは、ビジネス、金融、政府、医療、研究、通信、およびその他の業界で役立つ洞察を生み出すため、ほとんどすべての業界で必要です。

-Cスイート

• データチーム

• 生データを大規模に収集して分析する
• さまざまなツールとフレームワークを使用してデータアプリを作成する
• データを選択したフレームワークとツールに読み取り、取得、再構築、ステージ、およびロードする
• スクリプトを作成し、Webサイトをこすり、APIを呼び出し、SQLクエリを書き込みます。
• 技術チームと密接に協力して、あなたの作業を製造プロセスに組み込む
• 非構造化データを分析対応形式に変換します
• 処理されたデータを調べます
• 必要に応じてアドホック評価でビジネス上の決定を支援する
• データのパフォーマンスを監視し、インフラストラクチャに必要な変更を加えます
• データ保持ポリシーを確立します
• 統合ツール、データベース、倉庫、分析システムの開発と保守
• データ科学者向けのデータアクセスツールを確立します

• 分散コンピューティングの原則に関する徹底的な知識
• すべてのバンドルされたサービスを含むHadoopクラスター管理
• 現在のクラスターの問題をトラブルシューティングする機能 - Hadoop V2、MapReduce、およびHDFSの知識
• ストームやスパークなどのストリーム処理システムの開発以前の経験
• 豚、ハイブ、インパラなどのビッグデータクエリテクノロジーの徹底的な理解
• 以前のスパークエクスペリエンス
• いくつかのデータソースからのデータを統合した以前の経験
• HBase、Cassandra、MongodbなどのNOSQLデータベースの知識
• 水路などのいくつかのETL方法論とフレームワークの理解
• KafkaやRabbitMQなどのさまざまなメッセージングシステムの経験 - Mahout、SparkML、H2OなどのビッグデータMLツールキットの経験 - その利点やマイナス面を含むLambdaアーキテクチャの確かな理解
• Cloudera/Mapr/Hortonworksの知識