tBigQueryOutputBulkの標準プロパティ
これらのプロパティは、標準ジョブのフレームワークで実行されているtBigQueryOutputBulkを設定するために使われます。
標準のtBigQueryOutputBulkコンポーネントは、ビッグデータファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。
基本設定
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。
スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。
情報メモ注: 変更を加えると、スキーマは自動的に組み込みになります。
このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、Talend Studioユーザーガイドをご覧ください。 このダイナミックスキーマ機能は、テーブルの不明なカラムを取得する目的で設計されており、この目的に限り使用をお勧めします。テーブルの作成で使用することは勧められていません。 |
|
|
ファイル名 |
生成する必要のある.txtまたは.csvファイルを参照するか、またはそのパスを入力します。 |
[Append] (追加) |
既存のデータの末尾に新しいデータを書き込むには、このチェックボックスをオンにします。選択しない場合は、既存のデータが上書きされます。 |
詳細設定
フィールド区切り |
転送されたデータのフィールドを区切る場合は、文字、文字列、正規表現のいずれかを入力します。 |
[Use custom null marker] (カスタムnullマーカーを使用) |
このオプションを選択すると、特定の文字をnullマーカーとして使用できます。右側のテキスト枠内の二重引用符でnullマーカーを指定できます。 このオプションは、null値を持つフィールドによるエラーを防止します。 情報メモ注: このオプションは、TalendのR2020-07以降のStudioマンスリーアップデートをインストール済みである場合のみ利用できます詳細は管理者にお問い合わせください。
|
[Create directory if not exists] (ディレクトリーがない場合はディレクトリーを作成) |
このチェックボックスを選択すると、Google Cloud Storageの[File] (ファイル)で定義されたディレクトリーが存在しない場合にディレクトリーが作成されます。 |
フラッシュバッファーサイズのカスタマイズ |
この行数を超えるとメモリが解放されます。 |
[Check disk space] (ディスク容量の確認) |
ディスクがいっぱいの場合、実行中に例外を返すには、このチェックボックスを選択します。 |
[Encoding] (エンコーディング) |
リストからエンコーディングを選択するか、[CUSTOM] (カスタム)を選択して、手動で定義します。このフィールドはデータベースデータ処理の必須フィールドです。サポートされるエンコーディングは、使用しているJVMに応じて異なります。詳細は、https://docs.oracle.com (英語のみ)をご覧ください。 |
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。 |
グローバル変数
グローバル変数 |
NB_LINE: 入力コンポーネントによって読み取られた行の数、または出力コンポーネントに転送された行の数。これはAfter変数で、整数を返します。 ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。 Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。 フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。 変数の詳細は、Talend Studioユーザーガイドをご覧ください。 |
使用方法
使用ルール |
前のコンポーネントからのデータの提供を必要とする出力コンポーネントです。 このコンポーネントは、マルチリージョンロケーションとリージョナルロケーションの両方を自動的に検出し、サポートします。リージョナルロケーションを使用する時は、使用するバケットとデータセットは同じロケーションに入れておく必要があります。 |