ADLS Gen2 Deltaテーブルにプレパレーションを適用

このシナリオでは、Azure ADLS Gen2ファイルシステムからデータを取得し、準備してから表示します。

このシナリオでは、ADLS Gen2ファイルシステムからDeltaテーブルを取得し、互換性があるプレパレーションをジョブのフローに直接適用し、結果データを読み取る方法を説明します。

tAzureAdlsGen2Inputコンポーネントによって、Azureストレージ(具体的にはお使いのDeltaテーブル)にアクセスできるようになります。tDataprepRunコンポーネントをジョブの途中で使えば、Talend Data Preparationで作成した既存のプレパレーションを再利用することで、データを読み取ったり目的のデスティネーションへ出力する前にそのデータを変換してクリーンアップすることも可能です。

以下のシナリオでは、次の操作を実行するシンプルなジョブを作成します。

• DatabricksのDeltaテーブルから顧客データを取得します
• 互換性があるスキーマを持つプレパレーションを直接適用します
• 出力コンポーネントのデータを読み取ります

この例では、Deltaテーブルに基本的な顧客情報(名前、年齢、誕生日、電話番号など)が含まれています。

このシナリオでは、ジョブの入力データと同じスキーマでデータセットにプレパレーションを事前に作成済みであると想定されています。ここでは、既存のプレパレーションはpreparation_adlsgen2です。

この簡単なプレパレーションでによってラストネームが大文字になり、日付の書式が変更されます。