このブログでは、特定のHadoopバージョン用にSparkをビルドする方法を見てみましょう。
また、HIVEとYARNを使用してSparkを構築する方法についても学習します。
あなたが持っていることを考慮して Hadoop、jdk、mvn そして 行く システムにプリインストールおよび構成済み。
開いた Mozillaブラウザ およびダウンロード スパーク 以下のリンクを使用します。
https://edureka.wistia.com/medias/k14eamzaza/
シェフvsパペットvsansible
ターミナルを開きます。
コマンド：tar -xvf Downloads / spark-1.1.1.tgz
コマンド：ls
spark-1.1.1ディレクトリを開きます。
あなたは開くことができます pom.xml ファイル。このファイルはあなたにすべてについての情報を与えます 依存関係 あなたが必要です。
トラブルを避けるために編集しないでください。
コマンド：cd spark-1.1.1 /
コマンド：sudo gedit sbt / sbt-launch-lib.bash
以下のスナップショットのようにファイルを編集し、保存して閉じます。
以下のスナップショットで説明するように、オブジェクトのヒープスペースの問題を回避するためにメモリを削減しています。
次に、ターミナルで以下のコマンドを実行して、HIVEとYARNを使用してHadoop2.2.0のsparkをビルドします。
コマンド：./ sbt / sbt -P 糸 -P ハイブ -Phadoop-2.2 -D hadoop.version = 2.2.0 -D skipTests アセンブリ
注：私のHadoopバージョンは2.2.0です。Hadoopのバージョンに応じて変更できます。
他のHadoopバージョンの場合
＃Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alpha
# Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
＃Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
＃Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
＃Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
コンパイルとパッケージングには時間がかかります。完了するまでお待ちください。
2つの瓶 spark-assembly-1.1.1-hadoop2.2.0.jar そして spark-examples-1.1.1-hadoop2.2.0.jar 作成されます。
のパス spark-assembly-1.1.1-hadoop2.2.0.jar ： /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
のパス spark-examples-1.1.1-hadoop2.2.0.jar： /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
おめでとうございます。SparkforHive＆Yarnの構築に成功しました。
質問がありますか？コメント欄にご記入ください。折り返しご連絡いたします。
関連記事：
Hadoopを使用したApacheSpark-なぜそれが重要なのですか？