Apache Falcon:Hadoopエコシステム用の新しいデータ管理プラットフォーム



Apache Falconは、Hadoopエコシステムの新しいデータ管理プラットフォームであり、Hadoopクラスターでのオンボーディングフィード処理とフィード管理を簡素化します。設定方法を学びます。

Apache Falconは、Hadoopクラスターのデータライフサイクルを管理するためのフレームワークです。 Hadoop環境上のさまざまなデータと処理要素間の関係を確立し、フィードの保持、クラスター間のレプリケーション、アーカイブなどのフィード管理サービスも提供します。





まず、ApacheFalconのセットアップ方法について説明します。以下のコマンドを実行して、Falconのgitリポジトリをダウンロードします。

コマンド: git clone https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

配列javascriptの長さを取得します

ファルコンを実行するには、最初にそれを構築する必要があります。

コマンド: cdファルコン



コマンド: export MAVEN_OPTS =”-Xmx1024m -XX:MaxPermSize = 256m -noverify” && mvn clean install -DskipTests

コマンド: mvn clean assembly:assembly -DskipTests -DskipITs

falconをビルドすると、/ falcon / distro / target /ディレクトリ内にfalconパッケージが見つかります。

ハヤブサを構築するためのコマンドは非常に簡単に見えますが、構築成功メッセージが表示される前に多くの問題に直面します。 Hadoop-2.2.0用にビルドしているときに多くの問題に直面しました

したがって、Falconを構築する手間を省くために、正常に構築されたFalconパッケージを提供します。これは、以下のリンクを使用してダウンロードできます。

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

ファイルを解凍して、falcon-0.10ディレクトリを取得します。

コマンド: ファルコンを解凍-0.10-SNAPSHOT.zip

.bashrcファイルにflacon環境変数を設定します。

コマンド: sudo gedit .bashrc

コマンド: ソース.bashrc

falconディレクトリに移動して、その中のファイルとディレクトリを確認できます。

コマンド: cd falcon-0.10-SNAPSHOT /

コマンド: ls

ファルコンスクリプトはbinディレクトリ内にあります。

以下のコマンドを実行して、Falconを起動します。

コマンド: ./bin/falcon-start

新しいデーモンFalconServerが実行されているのがわかります。

コマンド:jps

コマンド: ./bin/falcon admin -version

ブラウザを開き、に移動します localhost:15000 。 Falcon webuiを見ることができます。

質問がありますか?コメントセクションでそれらに言及してください。折り返しご連絡いたします。

関連記事:

ApacheDrillのドリルダウン