tDeltaLakeInputの標準プロパティ

目的のデータベースタイプをリストから選択し、[Apply] (適用)をクリックします。

• [Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。
• [Repository] (リポジトリー): プロパティが保管されるリポジトリーファイルを選択します。後続フィールドは、取得されたデータを使用して自動的に入力されます。

[Use an existing connection] (既存の接続を使用)オプションで接続コンポーネントが選択されている場合、このプロパティは利用不可です。

定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

  変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

使用するDelta LakeデータベースのJDBC URL。先頭はjdbc:spark://です(既に表示されています)。Talendが提供する8.0.1 R2023-05以降のTalend Studioマンスリーアップデートをインストール済みである場合、Delta LakeデータベースのJDBC URLは(既に入力されているとおり)jdbc:databricks//で始まります。

関連情報は、JDBC and ODBC drivers and configuration parametersでConfigure JDBC URLをご覧ください。

必要なドライバーJARをロードするには、このテーブルに入力してください。これを行うには、テーブルの下の[+]ボタンをクリックして、必要に応じてドライバーJAR用行数を増やします。セルを選択し、セルの右側にある[...]ボタンをクリックして、[Module] (モジュール)ダイアログボックスを開くと使用するドライバーJARを選択できます。Delta Lakeデータベースでは、(既に入力されているとおり)SparkJDBC42-2.6.14.1018.jarというJARドライバーが使われます。Talendが提供する8.0.1 R2023-05以降のTalend Studioマンスリーアップデートをインストール済みである場合、(既に入力されているとおり)atabricks-jdbc-{version_number}.jarドライバーが使われます。

詳細は、[Importing a database driver] (データベースドライバのインポート)をご覧ください。

指定したドライバーのクラス名を二重引用符で囲んで入力します。SparkJDBC42-2.6.14.1018.jarドライバーの場合、入力する名前はcom.simba.spark.jdbc.Driverです(既に表示されています)。Talendが提供する8.0.1 R2023-05以降のTalend Studioマンスリーアップデートをインストール済みである場合は、databricks-jdbc-{version_number}.jarドライバーが使われ、入力されるドライバークラスは(既に入力されているとおり)com.databricks.client.jdbc.Driverとなります。

データベースユーザー認証データ。関連情報は、JDBC and ODBC drivers and configuration parametersでUsername and password authenticationをご覧ください。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

[Specify a data source alias] (データソースエイリアスを指定)

このチェックボックスをオンにし、[Data source alias] (データソースエイリアス)フィールドが表示されたら、データソース設定で定義した共有接続プールを使用するために、 Talend Runtime側で作成したデータソースのエイリアスを指定します。このオプションは、 Talend Runtime内にジョブをデプロイして実行する時にのみ機能します。

[Connection Component] (接続コンポーネント)ドロップダウンリストから、他の接続コンポーネントを選択した場合、このプロパティは、利用できません。

テーブル

データが取得されるテーブルの名前を入力します。

スキーマ定義と一致するようデータベースクエリー文を指定します。この場合、フィールドの順序に特に注意が必要です。

• [Built-in] (組み込み): [Query] (クエリー)フィールドのクエリーステートメントを手動で入力するか、[Query] (クエリー)フィールドの横にある[...]ボタンをクリックして、SQLBuilderを使用してステートメントをグラフィカルに構築します。

• [Repository] (リポジトリー): リポジトリーに保存されている関連クエリーを選択します。これを行うにはその横にある[...]ボタンをクリックします。表示された[Repository Content] (リポジトリーコンテンツ)ダイアログボックスで使用するクエリーをオンにすると、[Query] (クエリー)フィールドが自動的に入力されます。

ダイナミックスキーマ機能を使用する場合、SELECTクエリーには、選択したテーブルからすべてのカラムを取得するため*ワイルドカードを含める必要があります。

このコンポーネントはベクター検索機能をサポートしています。このオプションでは、Databricksで前に作成されたベクターインデックスを使ってクエリー条件を指定できます。

Databricksにおけるベクター検索の詳細は、該当するDatabricksのドキュメンテーションをご覧ください。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

このチェックボックスをオンにすると、いつでも作業する行数を指定できます。このオプションにより、パフォーマンスを最適化できます。

[Trim all the string/CHAR columns] (すべての文字列/文字カラムをトリミング)

このチェックボックスをオンにすると、先行ホワイトスペースおよび後続ホワイトスペースがすべての文字列/文字カラムから削除されます。

[Check column to trim] (トリムするカラムの確認)

対応するカラムのチェックボックスをオンにすると、先行ホワイトスペースおよび後続ホワイトスペースが削除されます。

このプロパティは、[Trim all the String/Char columns] (すべての文字列/文字カラムをトリミング)チェックボックスがオンになっている場合は利用できません。

ダイナミックタイプのカラムからデータを読み取る時に指定のメタデータマッピングファイルを使うには、このチェックボックスをオンにします。このチェックボックスは、デフォルトでオフになっています。

このチェックボックスをオンにすると、[Mapping File] (マッピングファイル)ドロップダウンリストからデータベースのタイプを選択すれば、使うメタデータマッピングファイルを指定できます。

メタデータマッピングファイルの詳細は、マッピングファイルにアクセスしてタイプマッピングを定義をご覧ください。

このオプションをオンにすると、ダイナミックカラム内に入力テーブルの実際のカラム名を使用できます。このオプションをオンにすると、入力テーブルのカラム名の特殊文字(例: $)がダイナミックカラム内で_に変換されることを防止できます。

このオプションはデフォルトで選択されています。

プレパレーション済みのステートメントを使用してデータベースをクエリーする場合は、このチェックボックスをオンにします。表示される[Set PreparedStatement Parameters] (PreparedStatementパラメーターの設定) テーブルで、 [Query] (クエリー)フィールドで定義されたSQLステートメント内に疑問符?で表される各パラメーターの値を指定します。

• [Parameter Index] (パラメーターインデックス): SQLステートメント内のパラメーターの位置。

• [Parameter Type] (パラメータータイプ): パラメーターのデータ型。

• [Parameter Value] (パラメーターの値): パラメーターの値。

このプロパティの関連ユースケースは、クエリーデータにPreparedStatementオブジェクトを使用をご覧ください。

このチェックボックスをオンにすると、クエリーのタイムアウト期間を秒単位で設定できます。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

NB_LINE

処理された行数。これはAfter変数で、整数を返します。

QUERY

処理されるクエリーステートメント。これはFlow変数で、文字列を返します。

• tDeltaLakeInputは、Delta Lake接続を使ってあらゆるデータベースで想定されるSQLクエリーをすべてカバーします。
• tDeltaLakeInputはクエリーベクター機能をサポートしています。これを使えば、ベクターの組み込みに対してアクションを実行できます。ベクター検索の詳細は、該当するDatabricksのドキュメンテーションをご覧ください。

[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データストラクチャーが同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Talend Studioを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。

ダイナミックパラメーターの定義法を示すユースケースについては、コンテキストベースのダイナミック接続によってデータベースからデータを読み取りと、ダイナミックにロードされた接続パラメーターを使って異なるMySQLデータベースからデータを読み取りをご覧ください。ダイナミック設定とコンテキスト変数の詳細は、ダイナミックスキーマとコンテキストグループを作成し、その中でコンテキスト変数を定義をご覧ください。