tVerticaBulkExecの標準プロパティ
これらのプロパティは、標準ジョブのフレームワークで実行されているtVerticaBulkExecを設定するために使われます。
標準のtVerticaBulkExecコンポーネントは、データベースファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。
基本設定
[Database] (データベース) |
データベースのタイプをリストから選択し、[Apply] (適用)をクリックします。 |
[Property Type] (プロパティタイプ) |
接続の詳細を設定する方法を選択します。
|
[DB Version] (データベースバージョン) |
データベースのバージョンを選択します。 |
[Use an existing connection] (既存の接続を使用) |
定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。 ジョブに親ジョブと子ジョブが含まれている時は、2つのレベルの間の既存の接続を共有する必要がな場合(たとえば、親ジョブで作成した接続を子ジョブと共有するなど)には、以下を実行する必要があります。
ジョブレベル全体でデータベース接続を共有する方法の例は、Talend Studioユーザーガイドをご覧ください。 |
[Host] (ホスト) |
データベースのIPアドレスまたはホスト名。 |
[Port] (ポート) |
データベースのリスニングポート番号。 |
[Database] (データベース) |
データベースの名前。 |
[Schema] (スキーマ) |
データベースのスキーマ。 |
[Username] (ユーザー名)と[Password] (パスワード) |
データベースユーザー認証データ。 パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、OKをクリックして設定を保存します。 |
[Table] (テーブル) |
データが書き込まれるテーブルの名前。 |
[Action on table] (テーブルでのアクション) |
定義されたテーブルに対して実行する操作を選択します。
|
[Use existing dynamic schema] (既存のダイナミックスキーマを使用) |
このオプションを選択すると、tSetDynamicSchemaコンポーネントによって生成されたダイナミックスキーマを使用できます。このオプションではtSetDynamicSchemaコンポーネントが少なくとも1つ必要です。 [Dynamic schema] (ダイナミックスキーマ)ドロップダウンリストから、目的のダイナミックスキーマを生成するコンポーネントを選択します。 情報メモ注: このオプションは、TalendのR2020-07以降のStudioマンスリーアップデートをインストール済みである場合のみ利用できます詳細は管理者にお問い合わせください。
|
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。
再使用するスキーマに整数またはファンクションのデフォルト値が指定されている場合は、これらのデフォルト値を引用符で囲まないようにご注意ください。引用符で囲まれている場合は手動で削除します。 詳細は、Talend Studioユーザーガイドでテーブルスキーマに関連する説明をご覧ください。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。
情報メモ注: 変更を加えると、スキーマは自動的に組み込みになります。
|
[Use schema columns for Copy] (コピー用のスキーマカラムを使用) |
COPYステートメントのカラムオプションを使用する場合は、このチェックボックスをオンにして、テーブル内の1つ以上の指定されたカラムにロードを制限できるようにします。詳細は、Vertica COPY SQL Statement (英語のみ)をご覧ください。 |
[File name] (ファイル名) |
データのロード元となるファイルへのパス。 このファイルは、Studioがインストールされているか、またはこのコンポーネントを使っているジョブがデプロイされているのと同じマシンに置く必要があります。 これらのプロパティは、入力フローがない場合のみ利用できます。 |
[Compression mode] (圧縮モード) |
データのロード元のファイルの圧縮モードを選択します。 このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。 |
詳細設定
[Additional JDBC Parameters] (追加のJDBCパラメーター) |
作成するデータベース接続に追加のJDBCパラメーターを指定します。 このプロパティは、[Basic settings] (基本設定)で[Use an existing connection] (既存の接続を使用)チェックボックスがオンになっている場合は利用できません。 |
[Action on data] (データでのアクション) |
定義されたテーブルのデータに対して実行する操作を選択します。
|
[Stream name] (ストリーム名) |
特定のロードを識別するのに役立つロードのストリーム名。 このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。 |
[Write to ROS (Read Optimized Store)] (ROS (Read Optimized Store)に書込み) |
データは圧縮されて事前にソートされているため、読み取りを最適化するために、このチェックボックスをオンにしてデータを物理ストレージエリアに保存します。 |
[Exit Job on no rows loaded] (行がロードされない時はジョブを終了) |
行がロードされていない場合、ジョブは自動的に停止します。 |
[Missing columns as null] (欠落カラムをNullに) |
スキーマで指定されたカラムと一致するデータが不十分な場合に欠落しているカラムにNULL値を挿入する場合は、このチェックボックスを選択します。 このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。 |
[Skip Header] (ヘッダーをスキップ) |
このチェックボックスをオンにして、その横に表示されるフィールドに、ファイル内でスキップするレコードの数を指定します。 このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。 |
[Record terminator] (レコード終端記号) |
このチェックボックスをオンにして、その横に表示されるフィールドに、ファイル内の各レコードの終端を示すために使用するリテラル文字列を指定します。 このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。 |
[Enclosed by character] (文字で囲む) |
データを囲む文字を設定する場合は、このチェックボックスを選択します。 このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。 |
[Escape char] (エスケープ文字) |
このチェックボックスをオンにして、表示されるフィールドで、データをVerticaにロードする時にエスケープする文字を指定します。デフォルトではチェックボックスがオンになっており、デフォルトのエスケープ文字は\です。 |
[Fields terminated by] (フィールド区切り) |
フィールドを区切る文字、文字列、正規表現のいずれか。 |
[Null String] (null文字列) |
値がnullであることを示すために表示される文字列。 |
[Reject not fitted values] (値が合わないためにリジェクト) |
このチェックボックスを選択すると、char、varchar、binary、およびvarbinaryタイプのデータ行がターゲットテーブルに適合しない場合にリジェクトされます。 このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。 |
[Maximum number of rejected records] (リジェクトレコード数の上限) |
このチェックボックスをオンにして、その横に表示されるフィールドに、ロードが失敗するまでにリジェクトできるレコードの最大数を指定します。 このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。 |
[Stop and rollback if any row is rejected] (リジェクトされた行がある場合は停止してロールバック) |
行がリジェクトされた場合にデータをロードせずにロードを停止してロールバックする場合は、このチェックボックスを選択します。 このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。 |
[Don't commit] (コミットしない) |
結果を自動的にコミットせずに一括ロードトランザクションを実行する場合は、このチェックボックスを選択します。これは、単一のトランザクションで複数の一括ロードを実行する場合に役立ちます。 このプロパティは、Vertica6.0以降を使用している場合のみ利用できます。 |
[Rejected data file] (リジェクトデータファイル) |
リジェクトされた行が書き込まれるファイルを指定します。 このプロパティは、[Action on data] (データでのアクション)ドロップダウンリストから、[Bulk insert] (バルク挿入)が選択されている場合のみ利用できます。 |
[Exception log file] (例外ログファイル) |
リジェクトされた行が書き込まれるファイルを指定します。このログは、リジェクトされた各行がリジェクトされた理由を説明しています。 このプロパティは、[Action on data] (データでのアクション)ドロップダウンリストから、[Bulk insert] (バルク挿入)が選択されている場合のみ利用できます。 |
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。 |
グローバル変数
ACCEPTED_ROW_NUMBER |
データベースに読み取られた行数。これはAfter変数で、整数を返します。 |
REJECTED_ROW_NUMBER |
リジェクトされた行数。これはAfter変数で、整数を返します。 |
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。 |
使用方法
使用ルール |
Talend StudioとVerticaデータベースは、非常に高速で手頃なデータウェアハウスとデータマートアプリケーションを作成します。Verticaに接続するようにTalend Studioを構成する方法は、TalendおよびHPVerticaのヒントとテクニック (英語のみ)をご覧ください。 このコンポーネントは、Verticaにデータを書き込む以下の2つの方法のどちらでも使えます。
|
[Dynamic settings] (ダイナミック設定) |
[+]ボタンをクリックしてテーブルに行を追加し、[Code] (コード)フィールドにコンテキスト変数を入力して、ジョブ内で計画した複数の接続からデータベース接続をダイナミックに選択します。この機能は、データストラクチャーが同じでデータベースが異なるデータベーステーブルにアクセスする必要がある場合、特に、Talend Studioを介さずにジョブをデプロイおよび実行する必要がある時など、ジョブの設定を変更できない環境で作業している場合に役立ちます。 [Dynamic settings] (ダイナミック設定)テーブルは、[Basic settings] (基本設定)ビューで[Use an existing connection] (既存の接続を使用)チェックボックスがオンになっている場合のみ利用できます。ダイナミックパラメーターを定義すると、[Basic settings] (基本設定)ビューの[Component List] (コンポーネントリスト)ボックスは利用できなくなります。 ダイナミックパラメーターの定義法を示すユースケースについては、コンテキストベースのダイナミック接続によってデータベースからデータを読み取りと、ダイナミックにロードされた接続パラメーターを使って異なるMySQLデータベースからデータを読み取りをご覧ください。[Dynamic settings] (ダイナミック設定)とコンテキスト変数については、Talend Studioユーザーガイドをご覧ください。 |