tBigQueryOutputの標準プロパティ

[Schema] (スキーマ)と[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

• [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

• [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、Talend Studioユーザーガイドをご覧ください。

このダイナミックスキーマ機能は、テーブルの不明なカラムを取得する目的で設計されており、この目的に限り使用をお勧めします。テーブルの作成で使用することは勧められていません。

• BigQueryのレコードタイプはサポートされていません。
• DescriptionカラムやModeカラムなど、テーブルメタデータのカラムは取得できません。
• BigQueryシステムからのタイムスタンプデータは、文字列データにフォーマットされます。
• BigQueryの数値データはBigDecimalに変換されます。

[Property type] (プロパティタイプ)

[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

[Local filename] (ローカルファイル名)

受信したデータを書き込むファイルのパスを参照するか入力します。

[Append] (追加)

このチェックボックスをオンにすると、[Local filename] (ローカルファイル名) で指定したファイルの既存のデータに行が追加されます。

• [Service account] (サービスアカウント): Google Cloud Platformプロジェクトに関連付けられているGoogleアカウントを使って認証します。このモードを選択した場合、[Basic settings] (基本設定)ビューで定義されるパラメーターは[Service account credentials file] (サービスアカウントの認証情報ファイル)になります。
• [OAuth 2.0]: OAuth認証情報を使用してアクセスを認証します。このモードを選択した場合、[Basic settings] (基本設定)ビューで定義されるパラメーターは、[Client ID] (クライアントID)、[Client secret] (クライアントシークレット)および[Authorization code] (認証コード)です。
• [OAuth Access Token] (OAuth アクセストークン): OAuthアクセストークンを使用して認証します。このモードを選択した場合、[Basic settings] (基本設定)ビューで定義されるパラメーターは[OAuth Access Token] (OAuthアクセストークン)になります。

Googleサービスアカウントを作成し、認証情報ファイルを取得する方法は、GoogleのドキュメンテーションでGetting Started with Authentication (英語のみ)をご覧ください。

[Client ID] (クライアントID)および[Client Secret] (クライアントシークレット)

クライアントIDおよびクライアントシークレットを貼り付けます。両方とも使用するGoogle BigQueryサービスおよびCloud StorageサービスをホスティングしているプロジェクトのAPI Accessタブビューで作成され、および表示可能になっています。

クライアントシークレットを入力するには、クライアントシークレットフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスでクライアントシークレットを二重引用符の間に入力し、OKをクリックして設定を保存します。

トークンのライフタイムは1時間です。コンポーネントは、トークン更新操作を行いませんが、1時間という制限時間を超えても操作できるよう、新しいアクセストークンをフェッチします。

[Project ID] (プロジェクトID)

使用する必要があるGoogle BigQueryサービスをホスティングしているプロジェクトのIDを貼り付けます。

プロジェクトのIDは、Google API ConsoleのURL、またはBigQuery Browser Toolでプロジェクト名にマウスを重ねると表示されます。

[Authorization code] (認証コード)

構築中のアクセスに対してGoogleにより提供される認証コードを貼り付けます。

認証コードを取得するには、このコンポーネントを使用してジョブを実行する必要があります。このジョブが実行を一時停止してURLアドレスを出力する場合は、このアドレスに移動して、表示されている認証コードをコピーします。

[Dataset] (データセット)

データを転送する転送先のデータセットの名前を入力します。

[Table] (テーブル)

データを転送する転送先のテーブルの名前を入力します。

このテーブルが存在しない場合は、[Create the table if it doesn't exist] (テーブルが存在しない場合は作成)チェックボックスをオンにします。

[Action on data] (データでのアクション)

ターゲットテーブルにデータを転送する時に、ドロップダウンリストから実行するアクションを選択します。アクションは以下のようになります:

• [Truncate] (切り捨て): テーブルの内容を空にし、転送されたデータで再作成します。

• [Append] (追加): テーブルの既存のデータに行を追加します。

• [Empty] (空): 空のテーブルに入力します。

• [Service account] (サービスアカウント): この認証情報タイプを選択した場合、[Basic settings] (基本設定)ビューで定義されるパラメーターは[Service account key] (サービスアカウントキー)になります。
• [HMAC key (deprecated)] (HMACキー(非推奨)): この認証情報のタイプを選択した場合、[Basic settings] (基本設定)ビューで定義されるパラメーターは[Access Key] (アクセスキー)と[Secret Key] (秘密キー)になります。
• [OAuth Access Token] (OAuthアクセストークン): この認証情報タイプを選択した場合、[Basic settings] (基本設定)ビューで定義されるパラメーターは[OAuth Access Token] (OAuthアクセストークン)になります。

デフォルトでは、[Service account] (サービスアカウント)が選択されています。[Credential type] (認証情報の種類)フィールドは、[Bulk file already exists in Google storage] (バルクファイルがGoogle Storageに既に存在する)チェックボックスがオフになっている場合のみ利用できます。

[Service account key] (サービスアカウントキー)フィールドの横にある[...]ボタンをクリックして、サービスアカウントキーを含むJSONファイルを参照します。

このフィールドは、[Credential type] (認証情報タイプ)ドロップダウンリストで[Service account] (サービスアカウント)が選択されていて、[Using an existing connection] (既存の接続を使用)チェックボックスがオフの場合に利用できます。

[Access key] (アクセスキー)および[Secret key] (シークレットキー)

Google Cloud StorageにリクエストするためにGoogleから取得した認証情報を貼り付けます。

シークレットキーを入力するには、シークレットキーフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにシークレットキーを二重引用符の間に入力し、OKをクリックして設定を保存します。

これらのキーは、プロジェクトの[Google Cloud Storage]タブの[Interoperable Access]タブビューで参照できます。

アクセストークンを入力します。

アクセストークンのライフタイムは1時間です。コンポーネントは、トークン更新操作を行いませんが、1時間という制限時間を超えても操作できるよう、新しいアクセストークンをフェッチします。

このフィールドは、[Credential type] (認証情報タイプ)ドロップダウンリストで[OAuth Access Token] (OAuthアクセストークン)が選択されていて、[Using an existing connection] (既存の接続を使用)チェックボックスがオフの場合に利用できます。

[Bucket] (バケット)

Google BigQueryに転送するデータを保持するGoogle Cloud Storageコンテナーのバケットの名前を入力します。

ファイル

Google Cloud Storageに保管され、Google BigQueryに転送されるデータのディレクトリーを入力します。このデータは、バケットルートの直下に保管する必要があります。たとえば、gs://my_bucket/my_file.csvと入力します。

データがGoogle Cloud Storageにない場合、このディレクトリーはデータがGoogle BigQueryに転送する途中のデスティネーションとして使用されます。

このファイル名は、[Local filename] (ローカルファイル名)フィールドで指定したファイル名と同一にする必要があることにご注意ください。

転送されたデータのヘッダーを無視するように値をセットします。たとえば、0を入力すると、ヘッダー行を無視する設定になり、最初の行にヘッダーが含まれるデータの場合は1をセットします。

Die on error (エラー発生時に強制終了)

このチェックボックスはデフォルトでオフになっています。すなわち、エラーが発生した行をスキップし、エラーが発生していない行のプロセスを完了させます。

[token properties File Name] (トークンプロパティファイル名)

使用する必要がある更新トークンファイルのパスを入力するか、参照します。

Google BigQueryから取得した[Authorization code] (認証コード)を使用する最初のジョブ実行の場合、このフィールドの値は、作成し使用する更新トークンファイルのディレクトリーと名前になります。トークンファイルが作成済みで、再利用する必要がある場合、このフィールドにディレクトリーとファイル名を指定する必要があります。

トークンファイル名のみを入力した場合、 Talend Studio により、トークンファイルのディレクトリーがStudioフォルダーのルートであると見なされます。

更新トークンの詳細は、Google BigQueryのマニュアルをご覧ください。

フィールド区切り

転送されたデータのフィールドを区切る場合は、文字、文字列、正規表現のいずれかを入力します。

このテーブルが既に存在する場合は、[Drop table if exists] (存在する場合はテーブルをドロップ)チェックボックスをオンにして、[Table] (テーブル)フィールドで指定したテーブルを削除します。

このチェックボックスを選択すると、Google Cloud Storageの[File] (ファイル)で定義されたディレクトリーが存在しない場合にディレクトリーが作成されます。

フラッシュバッファーサイズのカスタマイズ

この行数を超えるとメモリが解放されます。

[Check disk space] (ディスク容量の確認)

このチェックボックスをオンにすると、実行中にディスクに空きがない場合に例外が返されます。

[Encoding] (エンコーディング)

リストからエンコーディングを選択するか、[CUSTOM] (カスタム)を選択して、手動で定義します。このフィールドはデータベースデータ処理の必須フィールドです。サポートされるエンコーディングは、使用しているJVMに応じて異なります。詳細は、https://docs.oracle.com (英語のみ)をご覧ください。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスを選択すると、コンポーネントレベルでログデータを収集できます。

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数は、[Die on error] (エラー発生時に強制終了)チェックボックスがオンになっている場合のみ機能します。

JOBID

STATISTICS

使用ルール

これはジョブの終了時に使用される出力コンポーネントです。tFileInputDelimited、tMapまたはtMysqlInputなどの先行のコンポーネントからデータを受け取ります。

このコンポーネントは、マルチリージョンロケーションとリージョナルロケーションの両方を自動的に検出し、サポートします。リージョナルロケーションを使用する時は、使用するバケットとデータセットは同じロケーションに入れておく必要があります。