Apache Spark BatchのtRedshiftInputプロパティ

[Property type] (プロパティタイプ)

[Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。

[Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。

[Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。

このアイコンをクリックすると、データベース接続ウィザードが開き、コンポーネント[Basic settings] (基本設定)ビューに設定したデータベース接続パラメーターが保存されます。

データベース接続パラメーターの設定と保存の詳細は、データベースメタデータを一元管理をご覧ください。

使用するRedshiftのドライバーとして、[Driver v1] (ドライバーv1)と[Driver v2] (ドライバーv2)のいずれかを選択します。

[Use an existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用する場合は、このチェックボックスを選択して、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

[Host] (ホスト)

Redshiftで、接続する必要のあるデータベースのエンドポイントを入力します。

[Port] (ポート)

Redshiftで、接続する必要のあるデータベースのポート番号を入力します。

関連情報は、RedshiftのWebコンソールの[Cluster Database Properties] (クラスターデータベースプロパティ)エリアにあります。

詳細は、Managing clusters consoleをご覧ください。

[Username] (ユーザー名)と[Password] (パスワード)

接続先とする必要のあるRedshiftデータベースに認証情報を入力します。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

[Database] (データベース)

Redshiftで、接続する必要のあるデータベースの名前を入力します。

関連情報は、RedshiftのWebコンソールの[Cluster Database Properties] (クラスターデータベースプロパティ)エリアにあります。

詳細は、Managing clusters consoleをご覧ください。

[Schema] (スキーマ)

Redshiftで使用するデータベーススキーマの名前を入力します。デフォルトスキーマはPUBLICという名前です。

Redshiftに関するスキーマは、オペレーティングシステムのディレクトリーと似ています。Redshiftのスキーマについては、Schemasをご覧ください。

文字列でJDBCのプロパティを設定するために使われます。このオプションを選択した場合は、[Additional JDBC Parameters] (追加のJDBCパラメーター)フィールドにJDBCパラメーター文字列を入力します。このオプションを選択していない場合は、[Additional JDBC Parameters] (追加のJDBCパラメーター)フィールドにJDBCプロパティとプロパティ値を入力します。

このオプションは、[Driver version] (ドライバーバージョン)ドロップダウンリストで[Driver v2] (ドライバーv2)が選択されている場合のみ利用できます。

[Additional JDBC parameters] (追加のJDBCパラメーター) (フィールド)

作成する接続の追加のJDBCプロパティを指定します。プロパティはアンパサンド(&)で区切られ、各プロパティはキー-値ペアです。たとえば、ssl=true & sslfactory=com.amazon.redshift.ssl.NonValidatingFactoryになります。これは、SSLを使用して接続が作成されることを意味します。

このオプションは、[Driver version] (ドライバーバージョン)ドロップダウンリストで[Driver v1] (ドライバーv1)が選択されているか、[Driver version] (ドライバーバージョン)ドロップダウンリストで[Driver v2] (ドライバーv2)と[Use String JDBC parameters] (文字列JDBCパラメーターを使用)が同時に選択されている場合のみ利用できます。

[Additional JDBC Parameters] (追加のJDBCパラメーター) (テーブル)

テーブル行でJDBCのプロパティを指定します。

JDBCプロパティを指定する場合は、このテーブルの下部にあるプラスボタンをクリックしてテーブルに行を追加し、Keyカラムにプロパティ名を、次にValueカラムにプロパティ値を入力します。

このテーブルは、[Driver version] (ドライバーバージョン)ドロップダウンリストで[Driver v2] (ドライバーv2)が選択されており、[Use String JDBC parameters] (文字列JDBCパラメーターを使用)オプションが選択されていない場合に利用できます。

[S3 configuration] (S3設定)

S3に接続するための設定の詳細をSparkに使用させるtS3Configurationコンポーネントを選択します。

使用するtS3Configurationが[S3 configuration] (S3設定)リストに表示されるように、このtS3Configurationコンポーネントと共にtRedshiftConfigurationを同じジョブにドロップする必要があります。

[S3 temp path] (S3一時パス)

Redshiftと送受信するデータの一時的な保存先にするS3内の場所を入力します。

このパスは、tS3Configurationの[Basic settings] (基本設定)タブで設定する必要のある一時パスからは独立しています。

[Schema] (スキーマ)と[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

  変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Table name] (テーブル名)

データが読み取られるテーブルの名前を入力します。

このフィールドは、[Read from] (読み取り元)ドロップダウンリストから[Table] (テーブル)を選択した場合のみ利用できます。

[Read from] (読み取り元)

[Query Type] (クエリータイプ)と[Query] (クエリー)

スキーマ定義に対応する必要がある、フィールドの適切な順序に特に注意を払うデータベースクエリーステートメントを指定します。

これらのフィールドは、[Read from] (読み取り元)ドロップダウンリストから[Query] (クエリー)を選択した場合のみ利用できます。

[Guess Query] (クエリーを推測)

[Guess Query] (クエリーを推測)ボタンをクリックして、クエリーフィールド内のテーブルスキーマに対応するクエリーを生成します。

[Trim all the String/Char columns] (すべての文字列/文字カラムをトリミング)

このチェックボックスを選択すると、先行ホワイトスペースおよび後続ホワイトスペースがすべての文字列/文字カラムから削除されます。

[Trim column] (カラムをトリミング)

このテーブルは使用されているスキーマで自動入力されます。トリミングするカラムに対応するチェックボックスをオンにします。

使用ルール

このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。

このコンポーネントは、Redshiftに接続するために同じジョブ内にあるtRedshiftConfigurationコンポーネントを使用する必要があります。tRedshiftConfigurationを使用するには、このコンポーネントと共にtRedshiftConfigurationコンポーネントをドロップし、このコンポーネントの[Basic settings] (基本設定)を指定する必要があります。

このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。

[Spark Connection] (Spark接続)

この接続は、ジョブごとに有効になります。