Hadoop2.0を学ぶための4つの実践的な理由



Hadoop 2.0にアップグレードするこれらの4つの理由は、Hadoopの求人市場と、それが巨大な雇用機会を受け入れることでキャリアを加速するのにどのように役立つかについて説明しています。

私は若い頃、スターウォーズの映画シリーズが大好きでした。私はそれがとても好きだったので、私はそれらの一人一人のこれらのビデオカセットを持っていました。私は何度も何度もそれらを見ていました。それからDVDプレーヤーの時代が来て、私はこれらの映画を再びDVDで入手しなければなりませんでした。新しいテクノロジーを体験し、お気に入りの映画も楽しみ続けたいと思っていたので、DVDでセット全体を再度購入することに何の不安もありませんでした。別の新しいテクノロジーであるBlu-rayが登場するまで、状況は素晴らしかった。映画をもう2回購入したので、もう一度購入するのを楽しみにしていませんでした。しばらくの間、私は自分自身を「更新」する努力をしませんでした。このテクノロジーがなくてもうまくいくと思っていました。そして、私は元気でした。とにかく私の人生には影響しませんでした。しかし、トレンドの変化を見ることができ、友達がお互いにやっているように、私の映画を友達と共有することができませんでした。私は本当に取り残されたと感じました。





私はついに外に出て、Blu-rayで映画を手に入れました。私は映画が好きだからではなく、ビデオの品質が驚異的だったという事実のためにそれを覚えています。そして何よりも、私は映画のセット全体を1つのBlu-rayディスクに収めました。

リスクが大きいので、私たちの職業に関しては、最新の状態を維持する必要性または衝動が最も強くなります。ゲームのトップを維持することが不可欠になっています。



Hadoop 2.0を学習する4つの実用的な理由:

やむを得ないことかもしれませんが、私たちの職業を最新の状態に保つことは私たちの生活の重要な部分になっています。気が遠くなるように聞こえるかもしれませんが、テクノロジーはそれほど速くも劇的にも変化しないので、心配する必要はありません。しかし、これらのテクノロジーとそれを使って私たちができることについての話し合いや情報は、目に見えるようになっています。最新の状態を維持する必要がある理由は次のとおりです。

#1:巻き込まれないでください

Hadoop2.0を学ぶ理由



テクノロジーの最新のアップデートに注意を払わないと、ヘッドライトに捕らえられた鹿のように見える可能性があります。あなたの専門的能力の正確な描写ではありません。最新であることはあなたがあなたの専門的なスキルのためにあなたの仲間から尊敬されるようになります。学習したすべての新しいことを実装する必要はないかもしれませんが、更新を意識することが不可欠です。

たとえば、Hadoopに関する講演がある場合、HTTPプロキシサーバーを使用すると、Hadoop2.5.0で認証が改善されたことをピアに知らせることができます。また、Hadoopのまったく同じバージョンには、Graphiteに直接書き込むための規定があります。

組織がHadoopへの移行を検討している場合は、最新の更新を把握することが不可欠になります。そして「知る」ことはあなたのキャリアに大きな違いをもたらすことができます。

#2:競争力を持つ

それぞれの分野で熟練した専門家が尊重されます。そして、最新の状態を保つことは、トップに立つための最良の方法です。最新の状態を維持する必要性は、仕事に対する情熱を反映しています。あなたの仕事とあなたの業界の専門知識を開発することによって、あなたはあなたの周りの人々の信頼と尊敬を得るでしょう。リーダーシップの観点から、これは非常に貴重です!

組織がまだHadoop1.0を使用している場合でも、Hadoop 2の最新機能をすべて知っていると、比較的新しく、間違いなく優れているため、順調に進むことができます。これを最初に学んだ人になることで、仲間よりも優位に立つことができます。

#3:新しい機会

私たちの現在の役割が変わり続けるのは悲しい現実です。時間とともに、新しいタスクを実行する責任と機会が追加されます。業界のトレンドを常に把握することで、これらの機会をつかむのに最適な立場にいます。

Javaでイテレータを使用する方法

Macy's、Lockheed Martin、California Creative Solutions、Capital One、CSpring、CACI International Inc.、Oracle、Yahoo!、American Express、BlueHawk、Aetna、Lawrence Livermore National Laboratoryなどの企業は、の最新機能に熟練した人材を求めています。 YARNのようなHadoop2。

#4:より良い意思決定を行う

追加情報により、情報に基づいた選択とより良い決定を行うことができます。機会を認識し、組織の戦略に付加価値を与えるのに役立ちます。

Hadoop 2には、速度を向上させるだけでなく、コストを削減する機能があります。パフォーマンスを向上させ、速度を上げるためのオプションを提案することで、組織の生産性を確実に高めることができます。組織に利益をもたらすHadoop2のいくつかの機能があり、それらがあなたのキャリアも後押しすることを示唆しています。

  • MicrosoftWindowsでのHadoopの実行のサポート

  • YARN分散キャッシュでのHDFSを介したMapReduceバイナリの簡素化された配布。

  • Application HistoryServerとApplicationTimelineServerを使用したYARNでの新しいアプリケーションのサポートの強化

  • HDFSでの完全なHTTPSサポート

  • YARNのタイムラインストアのKerberos統合。

  • HDFSでの異種ストレージ階層のサポート。

  • 一元化された管理と管理を備えたHDFSデータのメモリ内キャッシュ。

  • YARN分散キャッシュでのHDFSを介したMapReduceバイナリの簡素化された配布。

最新の状態を維持するための実用的な理由だけではありません。技術的な理由もあります。 Hadoopには、組織にとって有利な多くの機能があります。それらを詳しく調べると、利点が何であるかが明確にわかります。

Hadoopの最新のアップデートは何ですか?

すべての製品はリリースのさまざまな段階を経て、それ自体のさまざまなバージョンを考え出します。 Hadoopも例外ではなく、Hadoop2.0を考案しました。 Apache Foundationは、Hadoop 2.1.0、Hadoop 2.4.0などのHadoopの後続バージョンを考案し、2014年9月にリリースされた最新バージョンであるHadoop2.5.1に到達しました。

Hadoop 2がリリースされたのはなぜですか?

新しいバージョンでは、機能が追加され、バグが修正されています。そのため、特定のバージョンのHadoopを使用して、特定の機能を追加できる、またはいくつかのバグを修正する必要があると考えるたびに、ApacheFoundationの担当者にそのことを知らせます。これらの人は順番にそれに取り組み、次のバージョンでより良い製品を提供します。

Hadoop 2 –単なる数字ではありません

Hadoop 2は、Hadoopの最新バージョンだけではありません。概して、これは第2世代のアーキテクチャです。 HadoopディストリビューターHortonworksの創設者兼アーキテクトであるArunMurthyは、Hadoopをバッチ処理を超えてリアルタイム分析の世界に移行するために必要なリエンジニアリングの量が多いため、この区別が重要であると主張しています。

Hadoop2.0がその前身のHadoop1.0とどのように異なるかについて説明しましょう。明らかに、後のリリースバージョンは前のリリースよりも優れています。以下は、Hadoop1.xに対するHadoop2.0の4つの主要な改善点です。

  • HDFSフェデレーション–NameNodeの水平スケーラビリティ

  • NameNodeの高可用性–NameNodeは単一障害点ではなくなりました

  • YARN – MPI、GIRAPHなどの非MapReduceアプリケーションを使用して、HDFSで利用可能なテラバイトおよびペタバイトのデータを処理する機能

  • リソースマネージャー–過負荷のJobTrackerの2つの主要な機能(リソース管理とジョブのスケジューリング/監視)を、グローバルリソースマネージャーとアプリケーションごとのApplicationMasterの2つの別々のデーモンに分割します。

キャパシティスケジューラ(Hadoopでマルチテナンシーサポートを有効にする)、データスナップショット、Windowsのサポート、NFSアクセスなどの追加機能があり、ビッグデータの問題を解決するために業界でHadoopの採用を増やすことができます。

Hadoop2.XとHadoop1.Xの比較

少し比較して、Hadoop2.0がHadoop1.0とどのように優れているかを見てみましょう。

Hadoop1.0よりもHadoop2が優先されるのはなぜですか?

Hadoop 2.0は、Hadoopエコシステムの関連テクノロジーにメリットをもたらすパフォーマンスの向上を提供します。 HDFSと第2世代アーキテクチャ(YARN)の画期的な機能に加えて、Hadoop1.0よりもHadoop2を好む理由はますます増えています。

  • Hadoop2には言語制限がなくなりました。つまり、幅広い専門家がHadoopを使用できるようになりました。

  • Hadoop 2を使用すると、MapReduceコーダーの不足などの障害が克服されます。

  • Hadoop1.0の2倍高速

  • 既存のハードウェアの2倍のROI。

  • YARNを使用すると、アプリケーションプログラミングインターフェイスがはるかにオープンで柔軟になります。

  • Hadoop 2は、ビッグデータプロジェクトでHadoopを使用する可能性を広げます。

  • Hadoop 2を使用すると、開発者は、Hadoopの以前のバッチ処理の範囲を超えて、多種多様なデータ処理タスクを実行できるようになります。

  • 情報管理者に新しい機会を提供し、以前のバージョンの欠点に対処します。

  • この新しいリリースには、同じHadoopクラスターで複数のワークロードを実行するという独自の機能があります。

  • Hadoopは1つの機能に制限されなくなりました。そのアプリケーションは現在、HDFSとMapReduceを超えて拡張されています。

YARNの主な利点

YARNが第2世代のアーキテクチャであることを認識しています。それが、何がこれほど優れているのかを見てみましょう。

  • 規模

  • 新しいプログラミングモデルとサービス

  • 強化されたクラスターの使用

  • 機敏

  • Javaよりはるかに

  • などなど

Hadoop2スキルの需要

現在、組織はHadoop 2を立ち上げたり、実験したりしています。そのため、Hadoop 2に熟練した専門家が必要になります。多くの組織は、Hadoopを使用する人々を社内で探し始めています。 YARNが増加しており、最終的にMapReduceスキルの需要に取って代わることを明確に示しています。

Hadoopスキルの現在および予測される需要に関するいくつかの見解は次のとおりです。

  • Gartnerのアナリストによると、世界中の大企業がHadoopをビッグデータ管理のゲームチェンジャーであると認識しているため、Hadoop2は重要な開発です。

  • BloorグループのEricKavanagh氏によると、Hadoop 2.0は、ビッグデータを破壊しようとしているインフォメーションワーカーの間で注目を集めています。

  • Hadoop 2.0の採用は増え続けており、現在、成熟の段階に入っています。

  • 組織はYARNの利点を認識しており、それに興奮しています。

これは、Hadoop 2.0 / YARNの求人のスナップショットです。 Indeed.com

誰がHadoop2に移行するのですか、それともすでに移行していますか?

Yahoo:

Yahoo! 、HadoopがYARN(0.23.x)を実装したすべてのリーダー。 Murthyによると、Yahooの35,000ノードのクラスターは、YARN以前の50〜60と比較して、現在1日あたり130〜150のジョブを処理しています。

優れたパフォーマンスについて話すとき、マーシーは「35,000から40,000ノードの2倍になると、それは驚異的です」と述べています。また、「ソフトウェアをHadoop1からHadoop2にアップグレードするだけで、ジョブのスループットが2倍向上することを、CIOに伝えるのは非常に説得力のある話です」と付け加えました。

eBay:

eBayには、データがペタバイト単位である業界最大のHadoopクラスターの1つがあります。また、クラスターをHadoop2に移行しました。

結論:

Hadoop 2は成熟しており、実装が容易であるため、懐疑論者を納得させることさえでき、ますます多くの組織がHadoop2.0に移行しています。 1.xバージョンを回避する正当な理由があります。しかし、Hadoop 2では、幅広い用途に使用できるため、不信者でさえ検討しています。 Hadoop 2.0を学び、ビッグデータで計算を実行するためにそれを実装することで、技術的に高度で経済的にやりがいのあるキャリアへの門戸を開くことになります。

質問がありますか?コメント欄にご記入ください。折り返しご連絡いたします。

関連記事:

Hadoopトレーニングはどの程度重要ですか?