Hadoopクラスター内のノードのコミッショニングとデコミッショニング



Hadoopクラスターでノードを追加または削除する方法を知っていますか?これがあなたがするべきブログ投稿です-Hadoopクラスター内のノードのコミッショニングとデコミッショニング。

Hadoopフレームワークの最も魅力的な機能の1つは、 コモディティハードウェアの利用 。ただし、これにより、HadoopクラスターでDataNodeが頻繁にクラッシュします。 Hadoopフレームワークのもう1つの顕著な機能は、 データ量の急激な増加に応じた拡張の容易さ 。これらの2つの理由により、Hadoop管理者の最も一般的なタスクの1つは 手数料 (追加)と 廃炉 (削除)Hadoopクラスター内のデータノード。

Hadoopクラスター内のノードのコミッショニングとデコミッショニング:

Hadoopクラスター内のデータノードの廃止(削除)





上の図は、クラスター内のDataNodeを廃止するための段階的なプロセスを示しています。

最初のタスクは、「 除外する 両方のファイル HDFS (hdfs-site.xml)および MapReduce (mapred-site.xml)。



「除外」ファイル:

  • ジョブトラッカー用 ジョブトラッカーによって除外する必要があるホストのリストが含まれています。値が空の場合、ホストは除外されません。
  • Namenodeの場合 Namenodeへの接続が許可されていないホストのリストが含まれています。

hdfs-site.xmlおよびmapred-site.xmlの除外ファイルの構成例を次に示します。

hdfs-site.xml




dfs.hosts.exclude
/ home / hadoop / excludes
true

mapred-site.xml


mapred.hosts.exclude
/ home / hadoop / excludes
true

注意: ファイルの絶対パス名を指定する必要があります。

同様に、「インクルード」ファイルがあります。

  • ジョブトラッカー用 JobTrackerに接続できるノードのリストが含まれています。値が空の場合、すべてのホストが許可されます。
  • Namenodeの場合 Namenodeへの接続が許可されているホストのリストが含まれています。値が空の場合、すべてのホストが許可されます。

dfsadmin 」と「 mradmin ’コマンドは、変更を加えて構成を更新し、新しいノードを認識できるようにします。

奴隷 マスターサーバー上ののファイルには、すべてのデータノードのリストが含まれています。将来のhadoopデーモンの開始/停止で問題が発生するようにするには、これも更新する必要があります。

データノードコミッションプロセスの重要なステップは、クラスターバランサーを実行することです。

配列のソートc ++

> hadoopバランサー-しきい値40

バランサー 古いノードから新しく試運転されたノードにブロックデータをコピーすることにより、データノード間の特定のしきい値にバランスを提供しようとします。

だから、これはあなたができる方法です– 試運転 そして 廃止措置 Hadoopクラスター内のノード。

質問がありますか?コメント欄にご記入ください。折り返しご連絡いたします。

関連リンク: