Apache Spark BatchのtDeltaLakeOutputプロパティ

Deltaテーブルのデータをマージする方法は、Databricksのドキュメントのmergeを使用したテーブルへのアップサートをご覧ください。

ターゲットファイルシステムへの接続に関する設定情報の提供で使用する設定コンポーネントを選択します。

このチェックボックスをオフにすると、ターゲットファイルシステムはローカルシステムになります。

使用する接続設定は同じジョブ内にあることが必要です。たとえばジョブにtS3Configurationコンポーネントをドロップした場合は、それを選択し、指定したS3ストレージシステムに結果を書き込めるようになります。

このフィールドは、[Basic settings] (基本設定)ビューで[Define the source of the dataset] (データセットのソースを定義する)ドロップダウンリストから[Files] (ファイル)を選択した時のみ利用可能です。

• [Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。

• [Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。

• [Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。

  プロパティは、リポジトリーツリーのHadoopクラスターノードに一元的に保存されます。

  後続するフィールドは、取得されたデータを使用して事前に入力されます。

  Hadoopクラスターノードの詳細は、Hadoop接続メタデータを管理をご覧ください。

• スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

  スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

    変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

  Sparkは、PARQUETスキーマ内のカラムのデータ型を自動的に推測します。Apache SparkのTalendジョブでは、日付型がint96として推測され、保管されます。

  このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、ダイナミックスキーマをご覧ください。

  ダイナミックスキーマ機能は、テーブルの不明なカラムを取得するしくみになっており、その他の目的には使用しないことをお勧めします。テーブルの作成には推奨しません。

• [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

• [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

ファイルシステムで使用するデータを参照するか、パスを入力します。

参照用のボタンはSpark Localモードでは機能しません。お使いのディストリビューションで、Talend Studioがサポートしているその他のSpark Yarnモードを使用している場合は、同じジョブ内の設定コンポーネントで接続を適切に設定したことを確認する必要があります。使用されるファイルシステムに応じて設定コンポーネントを使用します。

このフィールドは、[Basic settings] (基本設定)ビューで[Select how to save the dataset] (データセットを保存する方法を選択)ドロップダウンリストから[Files] (ファイル)を選択した時のみ利用可能です。

• [Create] (作成): [Folder/File] (フォルダー/ファイル)フィールドで指定された[Target table] (ターゲットテーブル)またはディレクトリーを作成し、そこにデータを書き込みます。
• [Append] (追加): [Target table] (ターゲットテーブル)または[Folder/File] (フォルダ/ファイル)フィールドで指定されたディレクトリーに既に存在するデータに受信レコードを追加します。
• [Overwrite] (上書き):受信データを使用して、[Folder/File] (フォルダー/ファイル)フィールドで指定された[Target table] (ターゲットテーブル)またはディレクトリーを上書きします。
• [Drop table] (ドロップテーブル):テーブルとそのテーブルに関連付けられているディレクトリーをファイルシステムから削除し、テーブルを再作成します。
• [Drop table if exists] (存在する場合はテーブルを削除):テーブルとそのテーブルに関連付けられているディレクトリーをファイルシステムから削除し、テーブルを再作成します。テーブルが存在しない場合、何も起こりません。
• [Truncate table] (テーブルを切り詰め):テーブル内のすべての行を削除しますが、テーブルのスキーマは残ります。

Delta Lakeは、ファイルのアップロード時間とこのファイルのメタデータタイムスタンプとの間にわずかな違いを体系的に作成します。データをフィルタリングする必要がある場合は、この違いに留意してください。

このオプションは、[Basic settings] (基本設定)ビューで[Select how to save the dataset] (データセットを保存する方法を選択)ドロップダウンリストから[Files] (ファイル)または[Metastore] (メタストア)を選択した時のみ利用可能です。

• 入力データのソースタイプは、[Dataset] (データセット)または[SQL]のいずれかです。

  このフィールドは、[Basic settings] (基本設定)ビューで[Select how to save the dataset] (データセットを保存する方法を選択)ドロップダウンリストから[Merge] (マージ)を選択した時のみ利用可能です。

• [Dataset] (データセット):ソースデータがデータフローからのデータセットである場合は、この値を選択します。

• SQL:SQLステートメントを使用してDeltaテーブルからソースデータを取得する場合は、この値を選択します。

  [SQL]フィールドに、取得するソース データを定義するSQLスタートメントを入力します。

  情報メモ注: データの取得元であるDeltaテーブルは、メタストアから、または入力に接続されているコンポーネントから取得できます。
  [Table alias] (テーブルエイリアス)フィールドに、ソースデータを含むテーブルのエイリアスを入力します。エイリアスを二重引用符で囲みます。

  情報メモ注: テーブルエイリアスは、SQLクエリーで使用される[SELECT] (セレクト)ステートメントの結果であるテーブルの名前です。

このフィールドは、[Basic settings] (基本設定)ビューで[Select how to save the dataset] (データセットを保存する方法を選択)ドロップダウンリストから[Metastore] (メタストア)および[Merge] (マージ)を選択した時のみ利用可能です。

このフィールドは、[Basic settings] (基本設定)ビューで[Select how to save the dataset] (データセットを保存する方法を選択)ドロップダウンリストから[Metastore] (メタストア)および[Merge] (マージ)を選択した時のみ利用可能です。

このフィールドは、[Basic settings] (基本設定)ビューで[Select how to save the dataset] (データセットを保存する方法を選択)ドロップダウンリストから[Metastore] (メタストア)を選択した時のみ利用可能です。

Delta Lakeデータの最適化の詳細は、DatabricksドキュメントのOptimize(Delta Lake on Databricks)をご覧ください。

このフィールドは、[Basic settings] (基本設定)ビューで[Select how to save the dataset] (データセットを保存する方法を選択)ドロップダウンリストから[Metastore] (メタストア)を選択した時のみ利用可能です。

たとえば、航空会社がフライトイベントに関連するデータを処理するとします。彼らは定期的にフライトの出発日の変更を処理し、現在のデータを新しい日付でアップデートする必要があります。フライトのIDに基づいてこの新しいデータを既存のイベントにマージするために、 flightIdを入力列と出力列として示し、==ファンクション。次に、この条件の結果がtrueを返したときに実行するマージアクションを定義できます。この場合、入力列と出力列のflightIdの値が等しいときに条件は真になります。

このフィールドは、[Basic settings] (基本設定)ビューで[Select how to save the dataset] (データセットを保存する方法を選択)ドロップダウンリストから[Merge] (マージ)を選択した時のみ利用可能です。

条件フィールドに条件ステートメントを入力して、マージアクションを適用するデータをさらに絞り込むことができます。条件を指定すると、その行の条件が真の場合にのみ、指定された行に対してマージアクションが実行されます。条件を使用すると、マージを高速化できます。条件は、targetTable.column = this.columnの形式に従う必要があります。ここで、targeTableはターゲットテーブルの名前です。[Dataset source type] (データセットソースタイプ)の場合、これは接続の名前です。SQLソースタイプでは、これを[Table alias](テーブルのエイリアス)フィールドに置き換える必要があります。

たとえば、航空会社のデータテーブルに、フライトの乗客数と、フライトがさらに混雑したかどうかを示すブール値が含まれているとします。次の条件は、マージアクションの範囲を、乗客の数に基づいて混雑しているフライトに制限します。flightEvents.nbOfPeople< this.nbOfPeople。マージアクションは、UPDATE SET *アクションを使用してisFlightMoreCrowdedの値をtrueにアップデートすることです。

このフィールドは、[Basic settings] (基本設定)ビューで[Select how to save the dataset] (データセットを保存する方法を選択)ドロップダウンリストから[Merge] (マージ)を選択した時のみ利用可能です。

条件フィールドに条件ステートメントを入力して、マージアクションを適用するデータをさらに絞り込むことができます。条件を指定すると、その行の条件が真の場合にのみ、指定された行に対してマージアクションが実行されます。条件を使用すると、マージを高速化できます。条件は、targetTable.column = this.columnの形式に従う必要があります。ここで、targeTableはターゲットテーブルの名前です。[Dataset source type] (データセットソースタイプ)の場合、これは接続の名前です。SQLソースタイプでは、これを[Table alias](テーブルのエイリアス)フィールドに置き換える必要があります。

たとえば、航空会社のデータテーブルが日付で分割されていて、マージアクションが以下の条件を持っているとします: flightEvents.date = current_date()。マージアクションは、マージオンテーブルで定義されたファンクションがfalseを返す場合に適用され、現在の日付に発生したフライトに対応するデータにのみ適用されます。

このフィールドは、[Basic settings] (基本設定)ビューで[Select how to save the dataset] (データセットを保存する方法を選択)ドロップダウンリストから[Merge] (マージ)を選択した時のみ利用可能です。

• [Catalog] (カタログ): 使用するカタログの名前を入力します。
• [Schema] (スキーマ): 使用するスキーマの名前を入力します。
• [Table] (テーブル): 使用するテーブルの名前を入力します。

このチェックボックスと[Overwrite Schema] (スキーマの上書き)チェックボックスをオフのままにすると、既存のデータのカラムのみが使用されます。

このチェックボックスと[Merge Schema] (スキーマをマージ)チェックボックスをオフのままにすると、既存のデータのカラムのみが使用されます。

このコンポーネントは、終了コンポーネントとして使用され、入力リンクを必要とします。

Delta Lakeは、ファイルのアップロード時間とこのファイルのメタデータタイムスタンプとの間にわずかな違いを体系的に作成します。データをフィルタリングする必要がある場合は、この違いに留意してください。

このDelta Lakeレイヤーは、Data Lakeシステムの上に構築されているため、Data Lakeシステムに対応する設定コンポーネント(tAzureFSConfigurationなど)を使用して、Data Lakeシステムの一部として接続されます。

この接続は、ジョブごとに有効になります。