Hadoopフレームワークの最も魅力的な機能の1つは、 コモディティハードウェアの利用 。ただし、これにより、HadoopクラスターでDataNodeが頻繁にクラッシュします。 Hadoopフレームワークのもう1つの顕著な機能は、 データ量の急激な増加に応じた拡張の容易さ 。これらの2つの理由により、Hadoop管理者の最も一般的なタスクの1つは 手数料 (追加)と 廃炉 (削除)Hadoopクラスター内のデータノード。
Hadoopクラスター内のノードのコミッショニングとデコミッショニング:
上の図は、クラスター内のDataNodeを廃止するための段階的なプロセスを示しています。
最初のタスクは、「 除外する 両方のファイル HDFS (hdfs-site.xml)および MapReduce (mapred-site.xml)。
「除外」ファイル:
- ジョブトラッカー用 ジョブトラッカーによって除外する必要があるホストのリストが含まれています。値が空の場合、ホストは除外されません。
- Namenodeの場合 Namenodeへの接続が許可されていないホストのリストが含まれています。
hdfs-site.xmlおよびmapred-site.xmlの除外ファイルの構成例を次に示します。
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / excludes
true
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / excludes
true
注意: ファイルの絶対パス名を指定する必要があります。
同様に、「インクルード」ファイルがあります。
- ジョブトラッカー用 JobTrackerに接続できるノードのリストが含まれています。値が空の場合、すべてのホストが許可されます。
- Namenodeの場合 Namenodeへの接続が許可されているホストのリストが含まれています。値が空の場合、すべてのホストが許可されます。
‘ dfsadmin 」と「 mradmin ’コマンドは、変更を加えて構成を更新し、新しいノードを認識できるようにします。
‘ 奴隷 マスターサーバー上ののファイルには、すべてのデータノードのリストが含まれています。将来のhadoopデーモンの開始/停止で問題が発生するようにするには、これも更新する必要があります。
データノードコミッションプロセスの重要なステップは、クラスターバランサーを実行することです。
配列のソートc ++
> hadoopバランサー-しきい値40
バランサー 古いノードから新しく試運転されたノードにブロックデータをコピーすることにより、データノード間の特定のしきい値にバランスを提供しようとします。
だから、これはあなたができる方法です– 試運転 そして 廃止措置 Hadoopクラスター内のノード。
質問がありますか?コメント欄にご記入ください。折り返しご連絡いたします。
関連リンク: