tVerticaBulkExecの標準プロパティ

目的のデータベースタイプをリストから選択し、[Apply] (適用)をクリックします。

[Property Type] (プロパティタイプ)

接続の詳細を設定する方法を選択します。

• [Built-In] (組み込み): このコンポーネントの接続の詳細がローカルに設定されます。関連するすべての接続のプロパティ値を手動で指定する必要があります。

• [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存された接続の詳細が、このコンポーネントによって再使用されます。

  このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーのコンテンツ)ダイアログボックスで、再使用する接続の詳細を選択すると、関連するすべての接続のプロパティに値が自動的に入力されます。

[Use an existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用する場合は、このチェックボックスを選択して、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

ジョブに親ジョブと子ジョブが含まれている時は、2つのレベルの間の既存の接続を共有する必要がな場合(たとえば、親ジョブで作成した接続を子ジョブと共有するなど)には、以下を実行する必要があります。

1. 親レベルで、共有するデータベース接続を、そのデータベース接続そのものを作成する接続コンポーネントの[Basic settings] (基本設定)ビューに登録します。

2. 子レベルで、登録済みのそのデータベース接続を読み取るために専用の接続コンポーネントを使用します。

ジョブレベル全体でデータベース接続を共有する方法の例は、データベース接続を共有をご覧ください。

[Host] (ホスト)

データベースのIPアドレスまたはホスト名。

[Port] (ポート)

データベースのリスニングポート番号。

[Database] (データベース)

データベースの名前。

[Schema] (スキーマ)

データベースのスキーマ。

[Username] (ユーザー名)と[Password] (パスワード)

データベースユーザー認証データ。

パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。

[Table] (テーブル)

データが書き込まれるテーブルの名前。

[Action on table] (テーブルでのアクション)

定義されたテーブルに対して実行する操作を選択します。

• [Default] (デフォルト): 操作は行われません。

• [Drop and create table] (ドロップしてテーブルを作成): テーブルが削除され、再作成されます。

• [Create table] (テーブルを作成): テーブルが存在しないため、作成されます。

• [Create table if not exists] (テーブルが存在しない場合は作成): テーブルが存在しない場合は作成されます。

• [Drop table if exist and create] (テーブルが存在する場合はドロップして作成): テーブルが既に存在する場合は削除されて再作成されます。

• [Clear table] (テーブルをクリア): テーブルのコンテンツが削除されます。この操作はロールバックできます。

[Use existing dynamic schema] (既存のダイナミックスキーマを使用)

このオプションを選択すると、tSetDynamicSchemaコンポーネントによって生成されたダイナミックスキーマを使用できます。このオプションではtSetDynamicSchemaコンポーネントが少なくとも1つ必要です。

[Dynamic schema] (ダイナミックスキーマ)ドロップダウンリストから、目的のダイナミックスキーマを生成するコンポーネントを選択します。

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

• [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

• [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

再利用するスキーマに整数またはファンクションのデフォルト値が指定されている場合は、これらのデフォルト値を引用符で囲まないようにご注意ください。引用符で囲まれている場合は手動で削除します。

詳細は、テーブルスキーマを取得をご覧ください。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。変更を加えると、スキーマは自動的に組み込みになります。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

  変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Use schema columns for Copy] (コピー用のスキーマカラムを使用)

COPYステートメントのカラムオプションを使用する場合は、このチェックボックスを選択して、テーブル内の1つ以上の指定されたカラムにロードを制限できるようにします。詳細は、Vertica COPY SQL Statementをご覧ください。

[File name] (ファイル名)

データのロード元となるファイルへのパス。

このファイルは、Talend Studioがインストールされているマシンか、このコンポーネントを使っているジョブがデプロイされているマシンに置く必要があります。

これらのプロパティは、入力フローがない場合のみ利用できます。

[Compression mode] (圧縮モード)

データのロード元のファイルの圧縮モードを選択します。

このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。

このプロパティは、[Basic settings] (基本設定)で[Use an existing connection] (既存の接続を使用)チェックボックスがオンになっている場合は利用できません。

[Action on data] (データでのアクション)

定義されたテーブルのデータに対して実行する操作を選択します。

• [Bulk insert] (バルク挿入): 単一行の挿入を行う代わりに、一度に複数の行をテーブルに挿入します。重複が見つかると、ジョブは停止します。

• [Bulk update] (バルクアップデート): 複数の行を同時にアップデートします。

[Stream name] (ストリーム名)

特定のロードを識別するのに役立つロードのストリーム名。

このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。

[Write to ROS (Read Optimized Store)] (ROS (Read Optimized Store)に書込み)

データは圧縮されて事前にソートされているため、読み取りを最適化するために、このチェックボックスを選択してデータを物理ストレージエリアに保存します。

[Exit Job on no rows loaded] (行がロードされない時はジョブを終了)

行がロードされていない場合、ジョブは自動的に停止します。

[Missing columns as null] (欠落カラムをNullに)

スキーマで指定されたカラムと一致するデータが不十分な場合に欠落しているカラムにNULL値を挿入する場合は、このチェックボックスを選択します。

このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。

[Skip Header] (ヘッダーをスキップ)

このチェックボックスを選択して、その横に表示されるフィールドに、ファイル内でスキップするレコードの数を指定します。

このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。

[Record terminator] (レコード終端記号)

このチェックボックスを選択して、その横に表示されるフィールドに、ファイル内の各レコードの終端を示すために使用するリテラル文字列を指定します。

このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。

[Enclosed by character] (文字で囲む)

データを囲む文字を設定する場合は、このチェックボックスを選択します。

このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。

[Escape char] (エスケープ文字)

このチェックボックスを選択して、表示されるフィールドで、データをVerticaにロードする時にエスケープする文字を指定します。デフォルトではチェックボックスがオンになっており、デフォルトのエスケープ文字は\です。

[Fields terminated by] (フィールド区切り)

フィールドを区切る文字、文字列、正規表現のいずれか。

[Null String] (null文字列)

値がnullであることを示すために表示される文字列。

[Reject not fitted values] (値が合わないためにリジェクト)

このチェックボックスを選択すると、char、varchar、binary、およびvarbinaryタイプのデータ行がターゲットテーブルに適合しない場合にリジェクトされます。

このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。

[Maximum number of rejected records] (リジェクトレコード数の上限)

このチェックボックスを選択して、その横に表示されるフィールドに、ロードが失敗するまでにリジェクトできるレコードの最大数を指定します。

このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。

[Stop and rollback if any row is rejected] (リジェクトされた行がある場合は停止してロールバック)

行がリジェクトされた場合にデータをロードせずにロードを停止してロールバックする場合は、このチェックボックスを選択します。

このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。

[Don't commit] (コミットしない)

結果を自動的にコミットせずに一括ロードトランザクションを実行する場合は、このチェックボックスを選択します。これは、単一のトランザクションで複数の一括ロードを実行する場合に役立ちます。

このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。

[Rejected data file] (リジェクトデータファイル)

リジェクトされた行が書き込まれるファイルを指定します。

このプロパティは、[Action on data] (データでのアクション)ドロップダウンリストから、[Bulk insert] (バルク挿入)が選択されている場合のみ利用できます。

[Exception log file] (例外ログファイル)

リジェクトされた行が書き込まれるファイルを指定します。このログは、リジェクトされた各行がリジェクトされた理由を説明しています。

このプロパティは、[Action on data] (データでのアクション)ドロップダウンリストから、[Bulk insert] (バルク挿入)が選択されている場合のみ利用できます。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

ACCEPTED_ROW_NUMBER

データベースに読み取られた行数。これはAfter変数で、整数を返します。

REJECTED_ROW_NUMBER

リジェクトされた行数。これはAfter変数で、整数を返します。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。

使用ルール

Talend StudioとVerticaデータベースは、非常に高速で手頃なデータウェアハウスとデータマートアプリケーションを作成します。Verticaに接続するようにTalend Studioを構成する方法は、TalendおよびHPVerticaのヒントとテクニックをご覧ください。

このコンポーネントは、Verticaにデータを書き込む以下の2つの方法のどちらでも使えます。

• tVerticaOutputBulkコンポーネントによって生成されたファイルからVerticaにデータを書き込むサブジョブのスタンドアロンコンポーネントとして使えます。

• [Row] (行) > [Main] (メイン)接続を介してtFileInputRawコンポーネントをこれにリンクして、データをVerticaにフィードできます。この-方法では、tFileInputRawコンポーネントは、Stream the fileモードになっている必要があり、そのスキーマで定義されているオブジェクトタイプのカラムは1つのみでなければなりません。

[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データストラクチャーが同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Talend Studioを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。

[Dynamic settings] (ダイナミック設定)テーブルは、[Basic settings] (基本設定)ビューで[Use an existing connection] (既存の接続を使用)チェックボックスがオンになっている場合のみ利用できます。ダイナミックパラメーターを定義すると、[Basic settings] (基本設定)ビューの[Component List] (コンポーネントリスト)ボックスは利用できなくなります。

ダイナミックパラメーターの定義法を示すユースケースについては、コンテキストベースのダイナミック接続によってデータベースからデータを読み取りと、ダイナミックにロードされた接続パラメーターを使って異なるMySQLデータベースからデータを読み取りをご覧ください。ダイナミック設定とコンテキスト変数の詳細は、ダイナミックスキーマとコンテキストグループを作成し、その中でコンテキスト変数を定義をご覧ください。