Hadoopを学ぶためにJavaが必要ですか?



このブログでは、Hadoopを学習するための前提条件、HadoopのJavaの基本事項について説明し、「Pig、Hive、HDFSを知っている場合、Hadoopを学習するにはJavaが必要ですか」と回答します。

Hadoopの学習に関しては、これは非常に一般的な質問であり、すべての学習者の頭に浮かびます。 Hadoopを学ぶためにJavaが必要ですか? 」。このブログは、すべての疑問を明確にするのに役立ちます。

Hadoopを学ぶためにJavaが必要ですか?

この質問に対する簡単な答えは– 番号 、Hadoopを学ぶためにJavaの知識は必須ではありません。





HadoopがJavaで記述されていることをご存知かもしれませんが、それどころか、Hadoopエコシステムは、さまざまなバックグラウンドを持つさまざまな専門家に対応するようにかなり設計されています。

プログラミング以外のバックグラウンドを持つ専門家について話すと、Hadoopエコシステムはさまざまなツールを提供し、Hadoopに保存されているビッグデータを処理するために活用できます。



2つの重要なHadoopコンポーネントは、Javaの機能的な知識がなくてもHadoopを操作できるという事実を裏付けています。 そして ハイブ

Pigは、並列計算のための高レベルのデータフロー言語および実行フレームワークであり、Hiveは、データの要約とアドホッククエリを提供するデータウェアハウスインフラストラクチャです。 Pigは研究者やプログラマーによって広く使用されていますが、Hiveはデータアナリストの間で人気があります。

あなたにとって興味深い事実の1つ:



実装と拡張の違い

豚の10行=約。 200行のJavaコード。 チェックアウト Pigデモ用。

したがって、複雑なJavaコードを記述しなくても、Pigを使用して同じ実装を非常に簡単に実現できます。再びSQLについて言えば、Facebookのエンジニアやアナリストによって広く使用されていたため、FacebookはHadoop上でSQLのようなクエリを提供するためにHiveを開発しました。

Windows7にPHPをインストールする方法

これらの言語は習得が容易であり、Hadoopプロジェクトの80%以上がそれらを中心に展開しています。

Hadoopジョブに自分を合わせる方法

Javaを前提条件とせずに、Hadoopに関連する職務を探索するには、Hadoopの2つの重要な側面に自分自身を向ける必要があります。 ストレージ そして 処理 。 Hadoopストレージに関する仕事については、Hadoopクラスターがどのように機能するか、およびHadoopがデータを安全かつ安定させる方法を学ぶことができます。このために、Hadoop分散ファイルシステムのさまざまなニュアンスを知る( HDFS )および HBase つまり、Hadoopの分散NoSQLデータベースは非常に役立ちます。

Hadoopの処理側で作業することを選択した場合は、PigとHiveを自由に使用できます。これらは、バックエンドのコードをJavaベースのMapReduceクラスタープログラミングモデルで動作するように自動的に変換します。

したがって、MapReduceを実行しなくても、プロジェクトのライフサイクル全体を制御できます。 PigとHive、およびHDFSとHBaseをマスターしている限り、Javaは後部座席を取ることができます。

仕事の説明-Hadoopを学ぶためにJavaが必要ですか-Edureka

この画像が私の主張を証明することを願っています。

EdurekaのビッグデータとHadoopのトレーニングコースは、Hadoop開発者として成功するための知識とスキルを強化するように設計されています。クリック あなたがもっと知りたい場合に備えて。

Javaコーディングのまれな要件

しかしながら、 ユーザー定義関数をPig、Hive、およびその他のツールに追加する場合は、Javaコーディングが必要です。 これは、カスタム入力/出力形式を作成する場合にのみ必要です。この要件はまれです。

基本的なJavaコーディングが必要になる可能性があるもう1つのまれなシナリオは、デバッグ用です。まれに、Hadoopプログラムがクラッシュする場合は、Javaを使用してプログラムをデバッグする必要があります。

Javaを知らなくてもHadoopを学ぶことができるとまだ確信していませんか?以下のウェビナーを見て、Hadoopがプログラミング以外のバックグラウンドを持つ人にどのように関連しているかを学びましょう!

C ++で配列をソートする

Edurekaは、トレンドテクノロジーに関するインストラクター主導のライブトレーニングのためのグローバルeラーニングプラットフォームです。オンラインリソースでサポートされている短期コースと、24時間年中無休の生涯サポートを提供しています。 Edurekaは、働く専門家がテクノロジーの変化に対応できるよう支援し、変化するニーズに対応できない学術機関の対応に対応するという揺るぎないコミットメントを持っています。 Edurekaのビジョンは、100か国以上に既存の学習者コミュニティがあり、世界中の何百万人もの学習者が簡単に、面白く、手頃な価格で、アクセスできるようにすることです。

関連記事:

ビッグデータとHadoopを使い始める