Sparkのハイブとヤーンの例

方法を学びました SparkでHiveとYarnを構築する 。それでは、SparkでHiveとYarnの例を試してみましょう。

SparkのHiveの例

SparkでHiveの例を実行します。テーブルを作成し、そのテーブルにデータをロードして、簡単なクエリを実行します。 Hiveを使用する場合は、 HiveContext から継承します SQLContext 。

コマンド： cdスパーク-1.1.1

コマンド： ./bin/spark-shell

入力ファイルを作成する 'サンプル' 以下のスナップショットのようにホームディレクトリにあります（タブ区切り）。

コマンド： val sqlContext = new org.apache.spark.sql.hive.HiveContext（sc）

コマンド： sqlContext.sql（ 'CREATE TABLE IF NOT EXISTS test（name STRING、rank INT）ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘‘ LINES TERMINATED BY ‘
‘”）

コマンド： sqlContext.sql（“ LOAD DATA LOCAL INPATH ‘/ home / edureka / sample’ INTO TABLE test”）

kotlinはjavaよりも優れています

コマンド： sqlContext.sql（“ SELECT * FROMテストWHEREランク<5”).collect().foreach(println)

Sparkの毛糸の例

YarnでSparkPiの例を実行します。 Yarn on Sparkは、クラスターモードとクライアントモードの2つのモードでデプロイできます。ヤーンクラスターモードでは、Sparkドライバーはクラスター上のYarnによって管理されるアプリケーションマスタープロセス内で実行され、クライアントはアプリケーションの開始後に終了できます。ヤーンクライアントモードでは、ドライバーはクライアントプロセスで実行され、アプリケーションマスターはヤーンからのリソースの要求にのみ使用されます。

コマンド： cdスパーク-1.1.1

コマンド： SPARK_JAR = ./ assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –マスターヤーン–デプロイモードクラスター–クラスorg.apache.spark.examples。 SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar

上記のコマンドを実行した後、取得するまでしばらくお待ちください 成功 メッセージ。

ブラウズ ローカルホスト：8088 /クラスター Sparkアプリケーションをクリックします。

クリック ログ 。

クリック stdout 出力を確認します。

クライアントモードでSparkにYarnをデプロイするには、 –deploy-mode なので 'クライアント'。 これで、SparkでHiveとYarnを構築する方法がわかりました。また、それらの実践も行いました。

質問がありますか？コメント欄にご記入ください。折り返しご連絡いたします。

関連記事

Hadoopを使用したApacheSpark-なぜそれが重要なのですか？

Hive＆YarnがSparkによって電化される

jqueryとjavascriptの違い