tBigQueryOutputBulkの標準プロパティ

これらのプロパティは、標準ジョブのフレームワークで実行されているtBigQueryOutputBulkを設定するために使われます。

標準のtBigQueryOutputBulkコンポーネントは、ビッグデータファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。

基本設定

[Schema] (スキーマ)と[Edit schema] (スキーマを編集)	スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語の`line`を避けます。 [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。変更を加えると、スキーマは自動的に組み込みになります。 [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。 [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。 [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。
	BigQueryのレコードタイプはサポートされていません。 DescriptionカラムやModeカラムなど、テーブルメタデータのカラムは取得できません。 BigQueryシステムからのタイムスタンプデータは、文字列データにフォーマットされます。 BigQueryの数値データはBigDecimalに変換されます。
ファイル名	生成する必要のある.txtまたは.csvファイルを参照するか、またはそのパスを入力します。
[Append] (追加)	既存のデータの末尾に新しいデータを書き込むには、このチェックボックスをオンにします。選択しない場合は、既存のデータが上書きされます。

詳細設定

[Use a custom endpoint] (カスタムエンドポイントを使用)	デフォルトのエンドポイントの代わりにプライベートエンドポイントを使う場合は、このチェックボックスを選択します。選択後は、次のプロパティにURLを入力します。 Google Storage Private API URL (形式はhttps://storage.googleapis.com) Google BigQuery Private API URL (形式はhttps://bigquery.googleapis.com) 詳細は、Google CloudのドキュメンテーションでAccess Google APIs through endpointsをご覧ください。このプロパティは、[Service account] (サービスアカウント)と[Application Default Credentials] (アプリケーションのデフォルト認証情報)を使って認証する場合のみ利用できます。
フィールド区切り	転送されたデータのフィールドを区切る場合は、文字、文字列、正規表現のいずれかを入力します。
[Use custom null marker] (カスタムnullマーカーを使用)	このオプションを選択すると、特定の文字をnullマーカーとして使用できます。右側のテキスト枠内の二重引用符でnullマーカーを指定できます。このオプションは、null値を持つフィールドによるエラーを防止します。
[Create directory if not exists] (ディレクトリーがない場合はディレクトリーを作成)	このチェックボックスを選択すると、Google Cloud Storageの[File] (ファイル)で定義されたディレクトリーが存在しない場合にディレクトリーが作成されます。
フラッシュバッファーサイズのカスタマイズ	この行数を超えるとメモリが解放されます。
[Check disk space] (ディスク容量の確認)	ディスクがいっぱいの場合、実行中に例外を返すには、このチェックボックスを選択します。
[Encoding] (エンコーディング)	リストからエンコーディングを選択するか、[CUSTOM] (カスタム)を選択して、手動で定義します。このフィールドはデータベースデータ処理の必須フィールドです。サポートされるエンコーディングは、使用しているJVMに応じて異なります。詳細は、https://docs.oracle.comをご覧ください。
[tStatCatcher Statistics] (tStatCatcher統計)	このチェックボックスをオンにすると、コンポーネントレベルでログデータを収集できます。

グローバル変数

グローバル変数	NB_LINE: 入力コンポーネントによって読み取られた行の数、または出力コンポーネントに転送された行の数。これはAfter変数で、整数を返します。 ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。 Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。フィールドまたは式に変数を入力する場合は、Ctrl + スペースを押して変数リストにアクセスし、使用する変数を選択します。変数の詳細は、コンテキストと変数を使用をご覧ください。

NB_LINE: 入力コンポーネントによって読み取られた行の数、または出力コンポーネントに転送された行の数。これはAfter変数で、整数を返します。

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入力する場合は、Ctrl + スペースを押して変数リストにアクセスし、使用する変数を選択します。

変数の詳細は、コンテキストと変数を使用をご覧ください。

使用方法

使用ルール	前のコンポーネントからのデータの提供を必要とする出力コンポーネントです。このコンポーネントは、マルチリージョンロケーションとリージョナルロケーションの両方を自動的に検出し、サポートします。リージョナルロケーションを使用する時は、使用するバケットとデータセットは同じロケーションに入れておく必要があります。

使用ルール

前のコンポーネントからのデータの提供を必要とする出力コンポーネントです。

このコンポーネントは、マルチリージョンロケーションとリージョナルロケーションの両方を自動的に検出し、サポートします。リージョナルロケーションを使用する時は、使用するバケットとデータセットは同じロケーションに入れておく必要があります。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください