Azure Data Lake Storageと連携するようにHDFSコンポーネントを設定する

手順

tFixedFlowInputをダブルクリックして[Component] (コンポーネント)ビューを開き、ジョブにサンプルデータを提供します。

使うサンプルデータには、idおよびnameという2つのカラムを持つ1つの行のみが含まれています。
[Edit schema] (スキーマを編集)の横にある[...]ボタンをクリックし、スキーマエディターを開きます。
[+]ボタンをクリックして2つのカラムを追加し、名前をidおよびnameに変更します。
[OK]をクリックしてスキーマエディターを閉じ、スキーマを検証します。
[Mode] (モード)エリアで[Use single table] (単一テーブルを使う)を選択します。

idカラムとnameカラムが[Value] (値)テーブルに自動的に表示され、2つのスキーマ値の[Value] (値)カラムの二重引用符内に必要な値を入力できます。
tHDFSOutputをダブルクリックして、その[Component] (コンポーネント)ビューを開きます。
例
[Version] (バージョン)エリアで、使っているディストリビューションに応じてHortonworksまたはClouderaを選択します。標準フレームワークでは、ADLSを備えたこれら2つのディストリビューションのみがHDFSコンポーネントでサポートされています。
[Scheme] (スキーム)ドロップダウンリストからADLSを選択します。ADLS関連のパラメーターが[Component] (コンポーネント)ビューに表示されます。
URIフィールドに、アプリケーションのNameNodeサービスを入力します。このサービスの場所は、実際にはData Lake Storeのアドレスです。

たとえば、Data Lake Storageの名前がdata_lake_store_nameなら、使うNameNode URIはadl://data_lake_store_name.azuredatalakestore.netです。
[Client ID] (クライアントID)フィールドと[Client key] (クライアントキー)フィールドに、開発中である現行のジョブがAzure Data Lake Storageへのアクセスに使うアプリケーションを登録する際に生成された認証IDと認証キーをそれぞれ入力します。

使用するアプリケーションにAzure Data Lakeへのアクセス権があることを確認します。Azureでこのアプリケーションの[Required permissions] (必要な権限)ビューをチェックしてください。詳細は、AzureのドキュメンテーションであるAssign the Azure AD application to the Azure Data Lake Storage account file or folder (英語のみ)をご覧ください。

このアプリケーションは、前のステップでAzure Data Lake Storageへのアクセス権を割り当てたアプリケーションである必要があります。
[Token endpoint] (トークンエンドポイント)フィールドで、Azureポータルの[App registrations] (アプリの登録)ページの[Endpoints] (エンドポイント)リストから取得できるOAuth 2.0トークンエンドポイントをコピーして貼り付けます。
[File name] (ファイル名) フィールドに、Azure Data Lake Storageにサンプルデータを保管するために使うディレクトリーを入力します。
Action (アクション)ドロップダウンリストで、使用するディレクトリーがAzure Data Lake Storageにまだ存在しない場合は[Create] (作成)を、このフォルダーが既に存在する場合は[Overwrite] (上書き)をそれぞれ選択します。
tHDFSInputについても同じ設定を行います。
Windowsでジョブを実行する場合は、次の手順に従って、winutils.exeプログラムをジョブに追加します。
[F6]を押してジョブを実行します。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください