LinuxへのApachePigのインストール



このブログは、Linux環境でのApachePigのインストールに関するステップバイステップガイドです。 Apache Pig 0.16.0をインストールし、さまざまなモードで実行します。

この投稿では、 LinuxへのApachePigのインストール 。 ApachePigとPigLatinの基本的な定義から始めましょう。

Apache Pig Hadoopで使用されるMapReduceプログラムを作成および実行するためのツール/プラットフォームです。これは、大量のデータセットを分析するためのツール/プラットフォームです。 Apache Pigは、MapReduceを抽象化したものであると言えます。 Javaがあまり得意ではないプログラマーは、主にMapReduceジョブを作成しているときに、Hadoopでの作業に苦労していました。ですから、学ぶことと習得することは重要なトピックです ApachePigには独自の言語があります ピッグラテン これは貧しいプログラマーにとっては恩恵です。





Pig Latinの基本的な紹介は、理解を深めるのに役立ちます。

ApachePigプラットフォームで使用される高レベルの手続き型言語は ピッグラテン 。 Apache Pigは、Hadoopファイルシステム(HDFS)上の分散データセット上で実行できる比較的単純な言語である「PigLatin」を備えています。 Apache Pigでは、Pigラテン語を使用してPigスクリプトを作成する必要があります。これは、Pigスクリプトを実行するとMapReduceジョブに変換されます。。 Apache Pigには、データの読み取り、書き込み、処理などのタスクを実行するために使用されるさまざまな演算子があります。 Apache Pigオペレーターについては、ブログ「 Apache Pigの演算子:パート1-関係演算子 」。

Apache Pigの基本を理解したところで、LinuxへのApachePigのインストールから始めましょう。



LinuxへのApachePigのインストール:

LinuxにApachePigをインストールする手順は次のとおりです (LinuxVMを使用するubuntu / centos / windows)。以下の設定でUbuntu16.04を使用しています。

ステップ1: ダウンロード タール ファイル。

コマンド: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz



Pigのダウンロード-PigInstallation-Edureka

ステップ2: を抽出します タール tarコマンドを使用してファイル。以下のtarコマンドでは、 バツ アーカイブファイルを抽出することを意味し、 gzipでアーカイブをフィルタリングすることを意味します。 f アーカイブファイルのファイル名を意味します。

コマンド: tar -xzfpig-0.16.0.tar.gz

コマンド: ls

plSQLを学ぶ方法

ステップ3: .bashrc 」ファイルを使用して、ApachePigの環境変数を更新します。どのディレクトリからでもpigにアクセスできるように設定しています。pigコマンドを実行するためにpigディレクトリに移動する必要はありません。また、他のアプリケーションがPigを探している場合は、このファイルからApachePigのパスを知ることができます。

コマンド: sudo gedit .bashrc

ファイルの最後に以下を追加します。

#PIG_HOMEを設定する

エクスポートPIG_HOME = / home / edureka / pig-0.16.0
export PATH = $ PATH:/home/edureka/pig-0.16.0/bin
エクスポートPIG_CLASSPATH = $ HADOOP_CONF_DIR

また、hadoopパスも設定されていることを確認してください。

以下のコマンドを実行して、同じ端末で変更を更新します。

コマンド: ソース.bashrc

ステップ4: 豚のバージョンを確認してください。これは、ApachePigが正しくインストールされたことをテストするためのものです。 Apache Pigバージョンを入手できない場合は、上記の手順を正しく実行したかどうかを確認する必要があります。

コマンド: 豚バージョン

ステップ5すべてのpigコマンドオプションを確認するには、pigヘルプを確認してください。

コマンド: 豚-助けて

ステップ6Pigを実行して、うなり声のシェルを開始します。 Gruntシェルは、PigLatinスクリプトを実行するために使用されます。

コマンド:

プロジェクト調達管理とは

上記の画像を正しく見ると、Apache Pigには実行可能な2つのモードがあり、デフォルトではMapReduceモードが選択されています。 Pigを実行できるもう1つのモードは、ローカルモードです。これについてもっとお話ししましょう。

Apache Pigの実行モード:

  • MapReduceモード –これはデフォルトのモードであり、HadoopクラスターとHDFSインストールへのアクセスが必要です。これはデフォルトモードであるため、-xフラグを指定する必要はありません(実行できます) または pig -x mapreduce )。このモードの入力と出力はHDFSに存在します。
  • ローカルモード –単一のマシンにアクセスできるため、すべてのファイルはローカルホストとファイルシステムを使用してインストールおよび実行されます。ここで、ローカルモードは「-xフラグ」を使用して指定されます( pig-xローカル )。このモードでの入力と出力は、ローカルファイルシステムに存在します。

コマンド: pig-xローカル

以下のビデオを見て、LinuxでのApachePigのインストールを見ることができます。

ApachePigのインストール| LinuxへのPigのインストール|エドゥレカ

LinuxでのApachePigのインストールが完了したので、次のステップは、PigGruntシェルでいくつかのリレーショナルPig演算子を試すことです。したがって、次のブログ「 Apache Pigの演算子:パート1-関係演算子 」は、Pigオペレーターを習得するのに役立ちます。

LinuxにApachePigをインストールしたので、 25万人以上の満足した学習者のネットワークを持つ信頼できるオンライン学習会社であるEdurekaが世界中に広がっています。 EdurekaビッグデータHadoop認定トレーニングコースは、小売、ソーシャルメディア、航空、観光、金融の各ドメインでリアルタイムのユースケースを使用して、学習者がHDFS、Yarn、MapReduce、Pig、Hive、HBase、Oozie、Flume、Sqoopのエキスパートになるのに役立ちます。

質問がありますか?コメント欄にご記入ください。折り返しご連絡いたします。