HDFSコマンド:HDFSを管理するためのHadoopシェルコマンド

このブログでは、Hadoopファイルシステムの管理に使用されるfsck、copyFromLocal、expunge、catなどのさまざまなHDFSコマンドについて説明しています。

HDFSコマンド

私の中で 以前のブログ 、HDFSとは何か、その機能、およびアーキテクチャについてはすでに説明しました。への旅への第一歩 HDFSコマンドを実行し、HDFSがどのように機能するかを調査しています。このブログでは、Hadoopファイルシステムにアクセスするために使用できるHDFSコマンドについて説明します。

それでは、Hadoopファイルシステムを操作するときに最も頻繁に使用される重要なHDFSコマンドとその動作について説明します。





  • fsck

Hadoopファイルシステムの状態をチェックするHDFSコマンド。

コマンド: hdfs fsck /



HDFSファイルシステムの正常性-HDFSコマンド-Edureka

  • ls

HDFSのファイルとディレクトリのリストを表示するHDFSコマンド。

コマンド: hdfsdfs –ls /



  • mkdir

HDFSにディレクトリを作成するためのHDFSコマンド。

使用法: hdfs dfs –mkdir / directory_name

コマンド: hdfs dfs –mkdir / new_edureka

注意: ここでは、HDFSに「new_edureka」という名前のディレクトリを作成しようとしています。

  • 接する

ファイルサイズが0バイトのHDFSでファイルを作成するHDFSコマンド。

使用法: hdfs dfs –touchz / directory / filename

Javaで何かをパワーアップ

コマンド: hdfs dfs –touchz / new_edureka / sample

注意: ここでは、hdfsのディレクトリ「new_edureka」にファイルサイズ0バイトの「sample」という名前のファイルを作成しようとしています。

ファイルサイズを確認するためのHDFSコマンド。

使用法: hdfs dfs –du –s / directory / filename

コマンド: hdfs dfs –du –s / new_edureka /サンプル

  • ネコ

HDFS上のファイルを読み取り、そのファイルの内容を標準出力に出力するHDFSコマンド。

使用法: hdfs dfs –cat / path / to / file_in_hdfs

コマンド: hdfs dfs –cat / new_edureka / test

  • テキスト

ソースファイルを取得し、ファイルをテキスト形式で出力するHDFSコマンド。

使用法: hdfs dfs –text / directory / filename

コマンド: hdfs dfs –text / new_edureka / test

  • copyFromLocal

ローカルファイルシステムからHDFSにファイルをコピーするHDFSコマンド。

使用法: hdfs dfs -copyFromLocal

コマンド: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka

注意: ここで、テストはローカルディレクトリ/ home / edurekaに存在するファイルであり、コマンドが実行された後、テストファイルはHDFSの/ new_edurekaディレクトリにコピーされます。

  • copyToLocal

HDFSからローカルファイルシステムにファイルをコピーするHDFSコマンド。

使用法: hdfs dfs -copyToLocal

コマンド: hdfs dfs –copyToLocal / new_edureka / test / home / edureka

注意: ここで、testはHDFSのnew_edurekaディレクトリにあるファイルであり、コマンドが実行された後、テストファイルはローカルディレクトリ/ home / edurekaにコピーされます。

  • 置く

ローカルファイルシステムから宛先ファイルシステムに単一のソースまたは複数のソースをコピーするHDFSコマンド。

使用法: hdfs dfs -put

コマンド: hdfs dfs –put / home / edureka / test / user

注意: コマンドcopyFromLocalは、ソースがローカルファイル参照に制限されていることを除いて、putコマンドに似ています。

  • 取得する

hdfsからローカルファイルシステムにファイルをコピーするHDFSコマンド。

使用法: hdfs dfs -get

コマンド: hdfs dfs –get / user / test / home / edureka

注意: コマンドcopyToLocalは、宛先がローカルファイル参照に制限されていることを除いて、getコマンドに似ています。

  • カウント

指定されたファイルパターンに一致するパスの下のディレクトリ、ファイル、およびバイトの数をカウントするHDFSコマンド。

使用法: hdfsdfs -count

コマンド: hdfs dfs –count / user

  • rm

HDFSからファイルを削除するHDFSコマンド。

使用法: hdfs dfs –rm

コマンド: hdfs dfs –rm / new_edureka / test

  • rm -r

ディレクトリ全体とそのすべてのコンテンツをHDFSから削除するHDFSコマンド。

使用法: hdfs dfs -rm -r

コマンド: hdfs dfs -rm -r / new_edureka

  • cp

ファイルをソースから宛先にコピーするHDFSコマンド。このコマンドは複数のソースも許可します。その場合、宛先はディレクトリである必要があります。

使用法: hdfs dfs -cp

コマンド: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2

コマンド: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir

  • mv

ファイルをソースから宛先に移動するHDFSコマンド。このコマンドは複数のソースも許可します。その場合、宛先はディレクトリである必要があります。

使用法: hdfs dfs -mv

コマンド: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / file2

  • 消去

ゴミ箱を空にするHDFSコマンド。

コマンド: hdfsdfs-消去

  • rmdir

ディレクトリを削除するHDFSコマンド。

使用法: hdfs dfs -rmdir

javascriptとjqueryの違い

コマンド: hdfs dfs –rmdir / user / hadoop

  • 使用法

個々のコマンドのヘルプを返すHDFSコマンド。

使用法: hdfs dfs -usage

コマンド: hdfs dfs -usage mkdir

注意: 使用法コマンドを使用すると、任意のコマンドに関する情報を取得できます。

  • 助けて

指定されたコマンド、または何も指定されていない場合はすべてのコマンドのヘルプを表示するHDFSコマンド。

コマンド: hdfs dfs -help

これでHDFSコマンドブログは終わりです。参考になり、すべてのコマンドを実行できたと思います。その他のHDFSコマンドについては、ApacheHadoopを参照してください。ドキュメンテーション ここに。

上記のHDFSコマンドを実行したので、 25万人以上の満足した学習者のネットワークを持つ信頼できるオンライン学習会社であるEdurekaが世界中に広がっています。 EdurekaビッグデータHadoop認定トレーニングコースは、学習者がHDFS、Yarn、MapReduce、Pig、Hive、HBase、Oozie、Flume、Sqoopのエキスパートになるのに役立ちます 小売、ソーシャルメディア、航空、観光、金融の各ドメインでリアルタイムのユースケースを使用します。

質問がありますか?コメント欄にご記入ください。折り返しご連絡いたします。