機密データの取り扱いに関しては、これが大きな懸念事項です。 データ処理操作で優れていることも同じ問題に直面しています。専用のセキュリティはありません。これによって問題がどのように解決されたかを理解しましょう Hadoopセキュリティ 論文。
なぜHadoopセキュリティが必要なのですか?
は、最も強力で、堅牢で、拡張性の高いビッグデータ処理フレームワークです。 ペタバイトのデータを処理する 簡単に。その比類のない機能により、当時、すべてのビジネスセクター、健康、軍事、財務部門がHadoopの使用を開始しました。
Hadoop 人気を博し始めました。これは、Hadoop開発者が 記念碑的な誤算。 Hadoopには専用のセキュリティソフトウェアがありませんでした その中。これは、Hadoopが使用されていた多くの領域に影響を及ぼしました。
複数の事業部門
国際セキュリティー
保健医療部門
ソーシャルメディア
ミリタリー
上記の領域は、Hadoopの主要なユーザーです。さて、 セキュリティ Hadoopがとる必要のある大きな飛躍です。
Hadoopセキュリティとは何ですか?
Hadoopセキュリティ 一般的に次の手順として定義されます 安全 Hadoopデータストレージユニットは、潜在的なサイバー脅威に対して事実上侵入できないセキュリティの壁を提供します。 Hadoopは、以下に従うことで、この高品質のセキュリティウォールを実現します。 セキュリティプロトコル。
認証
認証 これは、ユーザーの資格情報が検証される最初の段階です。資格情報には通常、ユーザーの専用が含まれます ユーザー名 と 秘密のパスワード。 入った資格情報は、セキュリティデータベースで利用可能な詳細と照合されます。有効な場合、ユーザーは 認証済み。
承認
再帰的フィボナッチc ++
承認 これは、システムがユーザーにアクセス許可を与えるかどうか、データにアクセスするかどうかを決定する第2段階です。これは、事前に指定されたアクセス制御リストに基づいています。機密情報は安全に保たれ、 許可された担当者 アクセスできます。
監査
監査 は最後の段階であり、認証されたユーザーがクラスターにログインしている間に実行された操作を追跡するだけです。これはのためだけに行われる セキュリティ 目的のみ。
Hadoopセキュリティの種類
- Kerberosセキュリティ
Kerberos は、両方に強力な認証サービスを提供するように設計された主要なネットワーク認証プロトコルの1つです。 サーバ そして クライアントエンド 使って シークレットキー 暗号化技術。セッション全体で暗号化されたサービスチケットを使用するため、安全性が高いことが証明されています。
- HDFS暗号化
HDFS暗号化 これは、Hadoopがこれまでに採用した手ごわい進歩です。ここでは、からのデータ ソース に 宛先(HDFS) 完全に暗号化されます。この手順では、元のHadoopアプリケーションに変更を加える必要はなく、 クライアント 唯一の許可された人員になること アクセス データ。
トラフィックの暗号化
トラフィックの暗号化 に他なりません HTTPS(ハイパーテキスト転送プロトコルセキュア)。 この手順は、データ送信を保護するために使用されます。 ウェブサイトから 及び ウェブサイトへのデータ送信 。多くのオンラインバンキングゲートウェイは、この方法を使用して、 セキュリティ証明書
HDFSファイルとディレクトリのアクセス許可
文字列Pythonを逆にする方法
HDFSファイルディレクトリのアクセス許可 シンプルに動作します POSIX フォーマット。ザ・ 読んだ そして 書く 権限は次のように提供されます r そして s それぞれ。へのアクセス許可 スーパーユーザー そして クライアント ファイルの機密性に基づいて異なる方法で設定されます。
Kerberos
Kerberos 最もシンプルで安全なネットワークの1つです 認証プロトコル Hadoopがデータとネットワークのセキュリティのために使用します。それはによって発明されました と。 Kerberosの主な目的は、ネットワークを介してパスワードを交換する必要をなくし、ネットワークを潜在的な可能性から保護することです。 サイバースニッフィング。
Kerberosの用語を理解するには、最初にKerberosソフトウェアに関連するコンポーネントについて学ぶ必要があります。
KDCまたはキー配布センターはKerberosの心臓部です。主に3つのコンポーネントで構成されています。すなわち:
データベース
ザ・ データベース 次のようなユーザー資格情報を保存します ユーザー名 およびそのそれぞれ パスワード。 また、 アクセス権特権 ユーザーに提供されます。 Kerberos KDCユニットには、次のような追加情報も格納されます。 暗号化キー、チケットの有効性 等
認証サーバー
入力されたユーザー資格情報はクロスチェックされます。有効な場合、 認証サーバー 提供します ターゲット または チケット生成チケット。 TGTは、ユーザーが入力した場合にのみ生成できます 有効な資格情報。
チケット付与サーバー
次の段階は TGS または チケット付与サーバー。 それは基本的にあなたに提供するKDCのアプリケーションサーバーです サービスチケット。 サービスチケットは、ユーザーがHadoopを操作して必要なサービスを取得したり、Hadoopで操作を実行したりするために必要です。
次のコマンドでKerberosをインストールできます。
sudo apt-get install krb5-kdc krb5-admin-server
ここで、Kerberosで保護されたHadoopクラスターにアクセスしたいとします。以下の手順で説明されているように、Hadoopクラスターにアクセスするには、次の段階を実行する必要があります。
取得する必要があります 認証 Hadoopクラスターの実行することで認証を受けることができます キニット Hadoopクラスターのコマンド。
kinit root / admin
ザ・ キニット コマンドを実行すると、にリダイレクトされます ログイン認証情報 あなたがあなたを入力することが期待されているページ ユーザー名 そして パスワード。
ザ・ キニット を送信します 認証リクエスト に 認証サーバー。
資格情報が 有効、 その後、認証サーバーは チケット生成チケット(TGT)。
ザ・ キニット を保存します ターゲット あなたの資格情報で キャッシュ メモリ。次のコマンドは、資格情報を読み取るのに役立ちます
klist
これで、に正常に認証されました KDS。
Hadoopクラスターにアクセスする前に、Kerberosクライアントをセットアップする必要があります。これを行うには、次のコマンドを使用します。
sudo apt-get install krb5-user libpam-krb5 libpam-ccredsauth-client-config
今、あなたは実行しようとします Hadoopコマンド。 あれは Hadoopクライアント。
ザ・ Hadoopクライアント あなたを使用します ターゲット とリクエスト TGS 承認を求めて。
ザ・ TGS リクエストを承認し、 サービスチケット。
この サービスチケット によってキャッシュされます Hadoopクライアント。
この サービスチケット Hadoopクライアントによって次の目的で使用されます コミュニケーション と HadoopNamenode。
ザ・ Namenode そのと自分自身を識別します チケット。
Javaでファイルを使用する方法
両方 Namenodeチケット およびHadoopクライアント サービスチケット 相互にクロスチェックされます。
どちらも、 認証されたエンティティ。
これは 相互認証。
次の段階は 承認。 Namenodeはあなたに サービス あなたが受け取った 承認。
最後に、最後の段階は 監査。 ここにあなたの アクティビティ になります ログに記録されます ために セキュリティの目的。
これで、この記事は終わりです。 。 私はあなたの知識に光を当てたことを願っています Hadoopセキュリティ。
Hadoopとそのセキュリティを理解したので、 25万人以上の満足した学習者のネットワークを持つ信頼できるオンライン学習会社であるEdurekaが世界中に広がっています。 EdurekaビッグデータHadoop認定トレーニングコースは、学習者がHDFS、Yarn、 MapReduce 、Pig、Hive、HBase、Oozie、Flume、Sqoopは、小売、ソーシャルメディア、航空、観光、金融の各ドメインでリアルタイムのユースケースを使用しています。
これに関連する質問がある場合 「Hadoopセキュリティ」 記事がありましたら、下のコメント欄にご記入ください。できるだけ早く対応させていただきます。