tDeltaLakeInputの標準プロパティ

目的のデータベースタイプをリストから選択し、[Apply] (適用)をクリックします。

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

• [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

• [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。

  このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーのコンテンツ)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[Connection Component] (接続コンポーネント)ドロップダウンリストから、他の接続コンポーネントを選択した場合、このプロパティは、利用できません。

このアイコンをクリックすると、データベース接続ウィザードが開き、コンポーネント[Basic settings] (基本設定)ビューに設定したデータベース接続パラメーターが保存されます。

データベース接続パラメーターの設定と保存の詳細は、データベースメタデータを一元管理をご覧ください。

[Connection Component] (接続コンポーネント)

このコンポーネントで再利用するデータベース接続を開くコンポーネントを選択します。

JDBC URL

使用するDelta LakeデータベースのJDBC URL。先頭はjdbc:spark://です(既に表示されています)。Talendが提供する8.0.1 R2023-05以降のTalend Studioマンスリーアップデートをインストール済みである場合、Delta LakeデータベースのJDBC URLは(既に入力されているとおり)jdbc:databricks//で始まります。

関連情報は、JDBC and ODBC drivers and configuration parametersでConfigure JDBC URLをご覧ください。

[Drivers] (ドライバー)

必要なドライバーJARをロードするには、このテーブルに記入してください。これを行うには、テーブルの下の[+]ボタンをクリックして、必要に応じてドライバーJAR用行数を増やします。セルを選択し、セルの右側にある[...]ボタンをクリックして、[Module] (モジュール)ダイアログボックスを開くと使用するドライバーJARを選択できます。Delta Lakeデータベースでは、(既に入力されているとおり)SparkJDBC42-2.6.14.1018.jarというJARドライバーが使われます。Talendが提供する8.0.1 R2023-05以降のTalend Studioマンスリーアップデートをインストール済みである場合、(既に入力されているとおり)atabricks-jdbc-{version_number}.jarドライバーが使われます。

詳細は、[Importing a database driver] (データベースドライバのインポート)をご覧ください。

[Driver Class] (ドライバークラス)

指定したドライバーのクラス名を二重引用符で囲んで入力します。SparkJDBC42-2.6.14.1018.jarドライバーの場合、入力する名前はcom.simba.spark.jdbc.Driverです(既に表示されています)。Talendが提供する8.0.1 R2023-05以降のTalend Studioマンスリーアップデートをインストール済みである場合は、databricks-jdbc-{version_number}.jarドライバーが使われ、入力されるドライバークラスは(既に入力されているとおり)com.databricks.client.jdbc.Driverとなります。

[User Id] (ユーザーID)と[Password] (パスワード)

データベースユーザー認証データ。関連情報は、JDBC and ODBC drivers and configuration parametersでUsername and password authenticationをご覧ください。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

• [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

• [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。変更を加えると、スキーマは自動的に組み込みになります。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

  変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、ダイナミックスキーマをご覧ください。

ダイナミックスキーマ機能は、テーブルの不明なカラムを取得するしくみになっており、その他の目的には使用しないことをお勧めします。テーブルの作成には推奨しません。

[Table Name] (テーブル名)

データの取得元となるテーブルの名前。

[Query Type] (クエリータイプ)と[Query] (クエリー)

スキーマ定義に対応する必要がある、フィールドの適切な順序に特に注意を払うデータベースクエリーステートメントを指定します。

• [Built-in] (組み込み): [Query] (クエリー)フィールドのクエリーステートメントを手動で入力するか、[Query] (クエリー)フィールドの横にある[...]ボタンをクリックして、SQLBuilderを使用してステートメントをグラフィカルに構築します。

• [Repository] (リポジトリー): リポジトリーに保存されている関連クエリーを選択します。これを行うにはその横にある[...]ボタンをクリックします。表示された[Repository Content] (リポジトリーコンテンツ)ダイアログボックスで使用するクエリーを選択すると、[Query] (クエリー)フィールドが自動的に入力されます。

ダイナミックスキーマ機能を使用する場合、SELECTクエリーには、選択したテーブルからすべてのカラムを取得するため*ワイルドカードを含める必要があります。

[Guess Query] (クエリーを推測)

このボタンをクリックすると、定義されたテーブルとスキーマに基づいて[Query] (クエリー)フィールドにクエリーが生成されます。

[Guess Schema] (推測スキーマ)

このボタンをクリックすると、[Query] (クエリー)フィールドで定義されたクエリーに基づいてスキーマカラムが生成されます。

[Specify a data source alias] (データソースエイリアスを指定)

このチェックボックスを選択して、[Data source alias] (データソースエイリアス)フィールドが表示されたら、データソース設定で定義した共有接続プールを使用するために、 Talend Runtime側で作成したデータソースのエイリアスを指定します。このオプションは、 Talend Runtime内にジョブをデプロイして実行する時にのみ機能します。

[Connection Component] (接続コンポーネント)ドロップダウンリストから、他の接続コンポーネントを選択した場合、このプロパティは、利用できません。

[Use cursor] (カーソルを使用)

このチェックボックスを選択すると、いつでも作業する行数を指定できます。このオプションにより、パフォーマンスを最適化できます。

[Trim all the String/Char columns] (すべての文字列/文字カラムをトリミング)

このチェックボックスを選択すると、先行ホワイトスペースおよび後続ホワイトスペースがすべての文字列/文字カラムから削除されます。

[Check column to trim] (トリムするカラムの確認)

対応するカラムのチェックボックスをオンにすると、先行ホワイトスペースおよび後続ホワイトスペースが削除されます。

このプロパティは、[Trim all the String/Char columns] (すべての文字列/文字カラムをトリミング)チェックボックスがオンになっている場合は利用できません。

ダイナミック用にマッピングファイルの有効化

ダイナミックタイプのカラムからデータを読み取る時に指定のメタデータマッピングファイルを使うには、このチェックボックスをオンにします。このチェックボックスは、デフォルトでオフになっています。

このチェックボックスをオンにすると、[Mapping File] (マッピングファイル)ドロップダウンリストからデータベースのタイプを選択すれば、使うメタデータマッピングファイルを指定できます。

メタデータマッピングファイルの詳細は、マッピングファイルにアクセスしてタイプマッピングを定義をご覧ください。

プレパレーション済みのステートメントを使用してデータベースをクエリーする場合は、このチェックボックスを選択します。表示される[Set PreparedStatement Parameters] (PreparedStatementパラメーターの設定) テーブルで、 [Query] (クエリー)フィールドで定義されたSQLステートメント内に疑問符?で表される各パラメーターの値を指定します。

• [Parameter Index] (パラメーターインデックス): SQLステートメント内のパラメーターの位置。

• [Parameter Type] (パラメータータイプ): パラメーターのデータ型。

• [Parameter Value] (パラメーターの値): パラメーターの値。

このプロパティの関連ユースケースは、クエリーデータにPreparedStatementオブジェクトを使用をご覧ください。

[Allow special character in Dynamic table name] (ダイナミックテーブル名に特殊文字を許可する)

このオプションを選択すると、ダイナミックカラム内に入力テーブルの実際のカラム名を使用できます。このオプションを選択すると、入力テーブルのカラム名の特殊文字(例: $)がダイナミックカラム内で_に変換されることを防止できます。

このオプションはデフォルトで選択されています。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

NB_LINE

処理された行数。これはAfter変数で、整数を返します。

QUERY

処理されるクエリーステートメント。これはFlow変数で、文字列を返します。

使用ルール

このコンポーネントは、Delta Lake接続を使うあらゆるデータベースで想定されるSQLクエリーをすべてカバーします。

[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データストラクチャーが同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Talend Studioを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。

ダイナミックパラメーターの定義法を示すユースケースについては、コンテキストベースのダイナミック接続によってデータベースからデータを読み取りと、ダイナミックにロードされた接続パラメーターを使って異なるMySQLデータベースからデータを読み取りをご覧ください。ダイナミック設定とコンテキスト変数の詳細は、ダイナミックスキーマとコンテキストグループを作成し、その中でコンテキスト変数を定義をご覧ください。