従来のエンタープライズITソリューションでのHadoopの採用の増加と、実稼働環境でのHadoop実装の数の増加に伴い、Hadoopの運用と管理の専門家が大規模なHadoopクラスターを処理する必要性が高まっています。
Hadoop管理者の責任：
- Hadoopインフラストラクチャの実装と継続的な管理を担当します。
- システムエンジニアリングチームと連携して、Hadoopに必要な新しいハードウェアおよびソフトウェア環境を提案および展開し、既存の環境を拡張します。
- データ配信チームと協力して、新しいHadoopユーザーをセットアップします。このジョブには、Linuxユーザーのセットアップ、Kerberosプリンシパルのセットアップ、および新しいユーザーのHDFS、Hive、Pig、およびMapReduceアクセスのテストが含まれます。
- Ganglia、Nagios、Cloudera Manager Enterprise、Dell Open Manage、その他のツールを使用したクラスターのメンテナンスとノードの作成と削除。
- HadoopクラスターとHadoopMapReduceルーチンのパフォーマンスチューニング。
- 画面Hadoopクラスターのジョブパフォーマンスとキャパシティプランニング
- Hadoopクラスターの接続とセキュリティを監視する
- Hadoopログファイルを管理および確認します。
- ファイルシステムの管理と監視。
- HDFSのサポートとメンテナンス。
- インフラストラクチャ、ネットワーク、データベース、アプリケーション、ビジネスインテリジェンスの各チームと熱心にチームを組み、高いデータ品質と可用性を保証します。
- アプリケーションチームと協力して、必要に応じてオペレーティングシステムとHadoopの更新、パッチ、バージョンアップグレードをインストールします。
- ベンダーエスカレーションの連絡先
Hadoop Administrationは、成長の機会が豊富な、やりがいのある儲かるキャリアです。上記の職務に関心がある場合は、Hadoop管理のスキルを高め、Hadoop管理者のキャリアパスに進むときが来ました。
Javaの再帰フィボナッチ数列
Hadoop管理者が実行するDBAの責任：
- 認められた標準に基づくデータのモデリング、設計、および実装。
- ソフトウェアのインストールと構成。
- データベースのバックアップとリカバリ。
- データベース接続とセキュリティ。
- パフォーマンスの監視と調整。
- ディスクスペース管理。
- ソフトウェアのパッチとアップグレード。
- 手動タスクを自動化します。
Hadoop管理者が実行するDWH開発の責任：
DWH管理者の職務には、次のタスクのバッチジョブの開発、テスト、および監視が含まれます。
- 参照整合性を確保します。
- 主キーの実行を実行します。
- データの言い換えを実行します。
- 大量のデータをタイムリーにロードします。
Hadoop管理者の職務について理解したところで、1人になるために必要なスキルを見てみましょう。
Hadoop管理者になるために必要なスキル：
- 優れたトラブルシューティングスキル、システムの容量の理解、ボトルネック、メモリ、CPU、OS、ストレージ、ネットワークの基本など、一般的な運用の専門知識。
- HBase、Hive、Pig、MahoutなどのHadoopスキル。
- 最も重要な要件は次のとおりです。Hadoopクラスターのデプロイ、ノードの追加と削除、ジョブの追跡、クラスターの重要な部分の監視、名前ノードの高可用性の構成、スケジュールと構成、バックアップの作成ができる必要があります。
- HadoopはLinux上で実行されるため、Linuxに関する十分な知識があります。
- PuppetやChefなどのオープンソース構成管理および展開ツールとLinuxスクリプトに精通していること。
- コアJavaアプリケーションのトラブルシューティングの知識があれば尚可です。
Edurekaは、Hadoop管理に関するコースを特別にキュレーションしました。下のボタンをクリックしてHadoop管理を開始し、コースがHadoop管理者になるのにどのように役立つかを学びます。
関連記事：
throwとthrowsjavaの違い