すでにからの場合 IT業界 、あなたはそれを知っている必要があります ビッグデータ その日の話です。革新的なビジネスモデルを考え出している新しいスタートアップであろうと、何らかの理由で今日のスタートアップに参加しようとしている同僚であろうと。 緑豊かな牧草地 のようです ビッグデータ 業界。
理由がわからない場合は、これを最後まで読むことをお勧めします。これは自己探求のブログであり、目的地にたどり着くことができるからです。
だから、なぜこれすべてHYPE周囲 ビッグデータ？
一時的に他のすべてのドメインから難民を上陸させるのは、単なる別のドメインですか？それとも、それは長距離のためにここにありますか？
推測すると、長期的にはここにあるだけでなく、ビッグデータ業界は技術進歩の震源地になると思います。
すべてが約データ！
太陽のように上昇しますから東そしてセットの中に西、コンピューティング/非コンピューティングデバイスを継続的に使用すると、管理不能なデータが爆発的に発生します。
このデータがExcelまたはデータベース管理システムによって処理されるしきい値を超えると、それを用語と呼びます。 ビッグデータ 。
アマゾンから最後に購入した商品はどれですか？過去の活動に基づいて、次に購入する可能性のある製品はどれですか？このような質問への回答はビッグデータに保存されます。
製品の背後にある成長傾向はありますか？または、減少傾向はありますか？顧客は「靴」を購入するときに「ストッキング」を購入しますか？これらはビジネス上の問題解決の質問です。
そして、これらの質問は簡単にできます 答えた を使用して ビッグデータ分析 。
結局のところ、そうでないときのデータの使用は何ですか 分析 それ？
だから、ビッグデータは完全に約分析？完全ではありませんが、アナリティクスは究極の賞です。
ビッグデータの他の主要なストリームはストレージそして管理。
これはあなたがプロとして貢献できる場所です。次のいずれかの役割を引き受けることができます。
- ビッグデータエンジニア
- ビッグデータソリューションアーキテクト
また、生成されたビッグデータが常に利用可能であり、後の時点で分析に使用できることを確認してください。だからこれは私たちに質問とヘリをもたらします
ビッグデータはどこに保存されますか？
に保存できますかExcelファイル？に保存できますかリレーショナルデータベースシステム？
地獄、いや！
もしそうだったとしたら、そうだったでしょう！
そして、すべて一緒に異なる何かと呼ばれます。多分何かのようなExcel-データまたはRDBMS-データ：D
そしてそれは私たちをに戻すでしょう ステップ1 ：-Excelを使用してビッグデータを管理できないのはなぜですか？なぜならビッグデータはExcelで処理するには熱すぎます。そして実際のところ、他のデータベース管理システムですら。
それで、代替手段は何ですか？
ビッグデータの取り扱いについては、 HADOOP 。あなたもこの言葉を知っているかもしれません。しかし、あなたはそれがどのように正確に機能するのか疑問に思うかもしれませんか？
手始めに、HADOOPはの製品ですAPACHE財団。 Apacheは、オープンソースソフトウェアの開発をサポートするアメリカの非営利団体です。
Hadoopは、分散コンピューティング環境での非常に大きなデータセットの処理と保存をサポートするオープンソースのJavaベースのプログラミングフレームワークとして定義されています。
Hadoopは何ができますが、Excelはできませんか？
非構造化データを処理して理解します！表形式またはその他の形式の構造化データは、簡単に処理できます。 Excelはそれを行うことができ、他のRDBMSも同様です。
しかし、読みやすさが低下し、データが構造化されていない場合、ビッグデータはそこにありますHadoopのようなツールスコア。非構造化データの例は次のとおりです。 Syslog 。サンプル画像は以下のとおりです。
このようなログは、Excelを使用してクエリすることはできません。
Hadoopは、ビッグデータツールと同様に、パターンを発掘し、さまざまなフィールド間の関係を形成することで、データをそのまま理解できます。そして、データがリレーショナルタッチになると、分析対応。
分析は、組織にビジネス上の影響を与えるものです。あなたのキャリアは、このビッグデータドメインへの関与によって大いに恩恵を受けるでしょう。
「」 Hadoop-erとして作成できますか？ 「」
…あなたの心の次の質問かもしれません。そして当然のことながら、ビッグデータはこれまでになく熱く、かつてないほど重要な市場です。
Hadoopがなければ、企業はビッグデータを扱うのに苦労するでしょう。そして、あなたのような熟練した専門家がいなければ、企業はHadoopを扱うのに苦労するでしょう。
この分野には人材不足があるという報告があります。人材不足とは、専門家は少ないが需要が高いことを意味します。そして、これは世界規模であり、特定の地域に限定されません。
数字が欲しいですか？
に マッキンゼーグローバルインスティテュート 調査によると、米国では、2018年までにビッグデータを使用して理解および意思決定できる約19万人のデータサイエンティストと150万人のマネージャーおよびアナリストが不足することになります。
あなたへのキャリアアドバイス？ 干潮時にサーフィン！
しかし、あなたは 制限付き にのみ Hadoop ？
あんまり。ビッグデータを処理するためのツールは多数あり、Hadoopは最高のツールの1つと見なされています。しかし、毎回ではありません！
Hadoopが最適ではない場合があります。たとえば、MapReduceプログラムの作成があまり得意ではない非技術者の場合です。
そのような場合、あなたは使用することができますTALEND、これにより、MapReduceで実行した場合と同じように実行できるグラフィカルユーザーインターフェイスが提供されます。
より単純なJavaコードを作成するには、次を使用できます。豚。
ビッグデータでSQLのようなクエリを実行する場合は、HIVEに使える。
NoSQLデータベースに保存されているデータを使用する場合は、HBaseに使える。
リアルタイムで分析を実行するには、次を使用できますスパーク。
これらはビッグデータツールであり、Hadoopと連携しますが、Hadoopに取って代わるものではありません。これらはビッグデータ用のHadoopアドオンです。
さらに、SQOOP、FLUME、OOZIEなど、さまざまなビジネス上の問題を解決するためにHadoopフレームワークと統合できるツールがいくつかあります。
業界はビッグデータの専門家としてあなたに何を期待していますか？
業界は切実に必要とされています ビッグデータアーキテクト 組織向けのエンドツーエンドのビッグデータソリューションを構築できる人。ビッグデータアーキテクトは、前述のすべてのツールの専門知識を持つアーキテクトです。
これは、Edurekaの学習者による証言です。 コース：
Javaでxmlを解析する方法
になる 学習者がHDFS、Yarn、MapReduce、Pig、Hive、HBase、Oozie、Flume、Sqoopのエキスパートになるための、EdurekaのビッグデータとHadoop認定トレーニングから始まり、小売、ソーシャルメディア、航空、観光、金融の各ドメインでリアルタイムのユースケースを使用します。 。