Hadoopジョブトラッカーの概要



これにより、ジョブトラッカーの使用に関する洞察が得られます

Hadoop Job Tacker

Job Trackerは、ジョブリソース管理とジョブのスケジューリング/監視の両方のマスターデーモンです。これは、Hadoopとアプリケーションの間の連絡役として機能します。





プロセス

ユーザーは、クライアントにジョブを送信する前に、まずファイルを分散ファイルシステム(DFS)にコピーします。次に、クライアントはこれらの入力ファイルを受け取ります。ユーザーは、入力ファイルに基づいて分割またはブロックを受け取ります。クライアントはできます男性にスプリットまたはブロックを作成するner it prefその背後にある特定の考慮事項があるので、ers。完全なデータに対して分析を行う場合は、データを分割して分割します。ファイルはクライアントを介してコピーされませんが、flume、Sqoop、または外部クライアントを使用してコピーされます。

ファイルがDFSにコピーされ、クライアントがDFSと対話すると、分割はMapReducejを実行しますob。ジョブは、ジョブトラッカーを介して送信されます。ジョブトラッカーは、同じノードで実行されるマスターデーモンです。実行しますデータノード上のこれらの複数のジョブ。このデータはさまざまなデータノードにありますが、それを処理するのはジョブトラッカーの責任です。



クライアントが送信した後ジョブトラッカーでは、ジョブはジョブキューで初期化され、ジョブトラッカーはマップを作成して縮小します。 map関数とreduce関数に含まれているプログラムに基づいて、mapタスクとreduceタスクを作成します。これら2つは、入力分割で実行されます。注:クライアントによって作成された場合、この入力分割にはデータ全体が含まれます。

Javaでスローvsスローvsスロー可能

各入力分割にはマップジョブが実行されており、マップタスクの出力はreduceタスクに入ります。ジョブトラッカーは、特定のデータに対してトラックを実行します。その複数の複製が存在する可能性があるため、ローカルデータを選択し、その特定のタスクトラッカーでタスクを実行します。タスクトラッカーは、データノードで実際にタスクを実行するトラッカーです。ジョブトラッカーは合格します情報タスクトラッカーに接続すると、タスクトラッカーはデータノードでジョブを実行します。

ジョブがタスクトラッカーに割り当てられると、各タスクトラッカーとジョブトラッカーに関連付けられたハートビートがあります。データノードがまだ生きているかどうかを確認するために信号を送信します。ノードがフェードアウトする可能性があるため、2つは同期していることがよくあります。



Javaのインターフェースとクラスの違い

質問がありますか?コメントセクションでそれらに言及してください。折り返しご連絡いたします。

関連記事: