宇宙全体と私たちの銀河がビッグバンの爆発によって形成されたと言われているように、同様に、非常に多くの技術の進歩により、データも指数関数的に成長し、ビッグデータの爆発につながっています。このデータはさまざまなソースから取得され、さまざまな形式であり、さまざまなレートで生成され、不整合が含まれている場合もあります。したがって、このようなデータの爆発的な増加は、次のように簡単に言うことができます。 。このブログでは、ビッグデータ分析に関する洞察を提供するために、次のトピックについて説明します。
なぜビッグデータ分析？
ジャンプする前に、 アナリティクス、なぜそれが必要なのかを皆さんにお話ししましょう。また、私たちが毎日約2.5兆バイトのデータを作成していることを皆さんに明らかにしましょう！ビッグデータを蓄積した今、それを無視することも、アイドル状態のままにして無駄にすることもできません。
世界中のさまざまな組織やセクターが、多くのメリットを得るためにビッグデータ分析を採用し始めました。ビッグデータ分析は、多くの企業が行動に移し、莫大な利益を上げている洞察と発見を提供します。そのような4つの理由を興味深い例とともにリストアップします。
最初の理由は、
- よりスマートで効率的な組織化
そのような組織の1つであるニューヨーク市警（NYPD）についてお話ししましょう。 NYPDは、ビッグデータと分析を巧みに使用して、犯罪が発生する前にそれを検出および識別します。彼らは過去の逮捕パターンを分析し、連邦の祝日、給料日、交通の流れ、降雨などのイベントでそれらをマッピングします。これは、これらのデータパターンを利用して、情報をすぐに分析するのに役立ちます。ビッグデータと分析戦略助けます彼らは犯罪の場所を特定し、それを通じて警察官をこれらの場所に配置します。したがって、犯罪が行われる前にこれらの場所に到達することにより、犯罪の発生を防ぎます。
- 顧客行動を分析することにより事業運営を最適化する ほとんどの組織は、顧客満足度を提供し、それによって顧客ベースを増やすために、顧客の行動分析を使用しています。これの最も良い例はAmazonです。アマゾンは、約3億人の顧客ベースを持つ、最も広く使用されている最高のeコマースWebサイトの1つです。顧客のクリックストリームデータと購入履歴データを使用して、カスタマイズされたWebページでカスタマイズされた結果を提供します。 分析 Webサイトでのすべての訪問者のクリックは、サイトナビゲーションの動作、ユーザーが製品を購入するためにたどった経路、サイトを離れるまでの経路などを理解するのに役立ちます。このすべての情報は、Amazonがユーザーエクスペリエンスを向上させ、それによって販売とマーケティングを向上させるのに役立ちます。
- コスト削減 ビッグデータ技術とクラウドコンピューティングのような技術の進歩は、ビッグデータの保存と処理に関して大きなコスト上の利点をもたらします。ヘルスケアがビッグデータ分析を利用してコストを削減する方法を説明します。最近の患者は、自宅や屋外で新しいセンサーデバイスを使用しています。このセンサーデバイスは、リアルタイムで監視および分析できるデータの一定のストリームを送信し、患者が自分の状態を自己管理することで入院を回避できるようにします。入院患者の場合、医師は予測分析を使用して結果を最適化し、再入院を減らすことができます。Parkland Hospitalは、分析と予測モデリングを使用して、リスクの高い患者を特定し、患者が帰宅した後の予想される結果を予測します。その結果、パークランドは心不全患者の30日間の再入院を31％削減しました、年間500,000ドルの節約。
新世代製品
分析を通じて顧客のニーズと満足度を測定する機能により、顧客が望むものを提供する力が生まれます。私はここで引用する3つのそのような興味深い製品を見つけました。 最初 、Googleの自動運転車これは、すべての旅行で何百万もの計算を行い、車がいつどこで曲がるか、減速するか加速するか、いつ車線を変更するかを決定するのに役立ちます。これは、人間のドライバーがハンドルを握るのと同じ決定です。
ザ・ 2番目 1つはビッグデータ分析を完全に信頼することで、非常に人気のある番組「ハウス・オブ・カード」の2シーズンを約束したNetflix！昨年、Netflixは米国の加入者ベースを10％増やし、世界中から約2,000万人の加入者を追加しました。
ザ・ 第三 例は私が出くわした本当にクールな新しいものの1つであり、スマートなヨガマットです。スマートマットを初めて使用するときは、一連の動きを介して、体の形、サイズ、および個人的な制限を調整します。この個人プロファイル情報はSmartMatアプリに保存され、SmartMatがアライメントやバランスが崩れていることを検出するのに役立ちます。時間の経過とともに、ヨガの練習を改善するにつれて、更新されたデータで自動的に進化します。
ビッグデータ分析とは何ですか？
それでは、「ビッグデータ分析とは」を正式に定義しましょう。ビッグデータ分析は、大きくて異なるタイプのデータを調べて、隠れたパターン、相関関係、およびその他の洞察を明らかにします。基本的に、ビッグデータ分析は、企業の成長と発展を促進するために主に使用されています。これには主に、特定のデータセットにさまざまなデータマイニングアルゴリズムを適用することが含まれます。これにより、意思決定が向上します。
ビッグデータ分析の段階
これらは、ビッグデータ分析プロセスに関連する次の段階です。
ビッグデータ分析の種類
4つのタイプがあります：
- 記述的分析： データ集約とデータマイニングを使用して、過去への洞察を提供し、「何が起こったのか」と答えます。記述的分析は、その名前が示すとおり、生データを「記述」または要約し、人間が解釈できるようにします。
- 予測分析： 統計モデルと予測手法を使用して、将来を理解し、「何が起こる可能性があるか」と答えます。予測分析は、データに基づいた実用的な洞察を企業に提供します。それは将来の結果の可能性についての見積もりを提供します。
- 規範的分析： 最適化とシミュレーションのアルゴリズムを使用して、考えられる結果と回答についてアドバイスします。「何をすべきか」。これにより、ユーザーはさまざまな可能なアクションを「処方」し、解決策に導くことができます。一言で言えば、この分析はすべてアドバイスを提供することです。
- 診断分析： 過去に何かが起こった理由を判別するために使用されます。これは、ドリルダウン、データ検出、データマイニング、相関などの手法が特徴です。診断分析では、データを詳しく調べて、イベントの根本原因を理解します。
ビッグデータ ツール
これらは、ビッグデータ分析に使用される次のツールの一部です。 Hadoop 、 、 Apache HBase 、 Apache Spark 、 、 、 Apache Hive 、 カフカ 。
ビッグデータドメイン
- 健康管理： ヘルスケアはビッグデータ分析を使用して、コストを削減し、エピデミックを予測し、予防可能な病気を回避し、一般的な生活の質を向上させています。最も普及しているものの1つヘルスケアにおけるビッグデータのアプリケーションは、電子健康記録（EHR）です。
- テレコム： 彼らはビッグデータへの最も重要な貢献者の1人です。電気通信業界はサービス品質を向上させ、トラフィックをより効果的にルーティングします。これらの企業は、通話データの記録をリアルタイムで分析することで、不正行為を特定し、即座に対応することができます。マーケティング部門は、キャンペーンを変更して、顧客をより的確にターゲティングし、得られた洞察を使用して新しい製品やサービスを開発できます。
- 保険： これらの企業は、リスク評価、不正検出、マーケティング、顧客インサイト、顧客体験などにビッグデータ分析を使用しています。
- 政府： インド政府はビッグデータ分析を使用して、国内の貿易の見積もりを取得しました。彼らは中央売上税の請求書を使用して、州が互いに取引する程度を分析しました。
- ファイナンス： 銀行や金融サービス会社は、分析を使用して、不正なやり取りと正当な商取引を区別しています。分析システムは、不正取引をブロックするなどの即時アクションを提案します。これにより、不正が発生する前に停止し、収益性が向上します。
- 自動車： 何百ものセンサーをエンジンと推進システムに取り付けてビッグデータを採用したロールスロイスは、その動作に関する細部をすべて記録しています。データの変更はリアルタイムでエンジニアに報告され、エンジニアはメンテナンスのスケジュール設定やエンジニアリングチームの派遣などの最善の行動方針を決定します。
- 教育： これは、ビッグデータ分析がゆっくりと徐々に吸収されている1つの分野です。従来の講義方法ではなく、学習ツールとしてビッグデータを活用したテクノロジーを選択することで、生徒の学習が強化され、教師がパフォーマンスをより適切に追跡できるようになりました。
- 小売： eコマースや店舗を含む小売業は、ビジネスを最適化するためにビッグデータ分析を広く使用しています。たとえば、Amazon、Walmartなど。
ビッグデータのユースケース
ここで取り上げた最初のユースケースはスターバックスです。
私が皆さんと共有したい2番目のユースケースはProcter＆Gambleです。
ビッグデータ分析のトレンド
下の画像は ビッグデータの市場収益 に十億2011年から2027年までの米ドル。
ここに幾つかあります フォーブスによる事実と統計 ：
キャリアの見通し ビッグデータ分析：
- 給与の側面： 分析ジョブの平均給与は約94,167ドルです。データサイエンティストは、基本給の中央値が110,000ドル、求人が4,524で、3年連続でアメリカで最高の仕事に選ばれています。インドでは、10ルピー未満の給与を命じる分析専門家の割合が低くなり、15ルピーを超える収入を得る分析専門家の割合が増加しました。 17％ 2016年に 21％ 2017年に 22.3％ 2018年に。
- 巨大な仕事の機会： グーグル、アップル、IBM、アドビ、クアルコムなどの企業はビッグデータ分析の専門家を雇っています。
スキルセット
これらは、ビッグデータ分析の分野での役割に応じて必要とされるスキルの一部です。
- 基本的なプログラミング： JavaやPythonなどの少なくともいくつかの汎用プログラミング言語についての知識が必要です。
- 統計的および定量的分析： 統計と定量分析についての考えを持つことは理想的です。
- データウェアハウジング： SQLおよびNoSQLデータベースの知識が必要です。
- データの視覚化： 洞察を理解して実際に適用できるようにするには、データを視覚化する方法を知ることが非常に重要です。
- 特定のビジネス知識： 運用を最適化するために、分析を適用しているビジネスを必ず知っておく必要があります。
- 計算フレームワーク： できれば、ビッグデータ分析に必要な少なくとも1つまたは2つのツールについて知っておく必要があります。
ビッグデータ分析について理解したところで、 25万人以上の満足した学習者のネットワークを持つ信頼できるオンライン学習会社であるEdurekaが世界中に広がっています。 EdurekaビッグデータHadoop認定トレーニングコースは、小売、ソーシャルメディア、航空、観光、金融の各ドメインでリアルタイムのユースケースを使用して、学習者がHDFS、Yarn、MapReduce、Pig、Hive、HBase、Oozie、Flume、Sqoopのエキスパートになるのに役立ちます。
UbuntuにHadoopを設定する
質問がありますか？コメント欄にご記入ください。折り返しご連絡いたします。