tBigQuerySQLRowの標準プロパティ
これらのプロパティは、標準ジョブのフレームワークで実行されているtBigQuerySQLRowを設定するために使われます。
標準のtBigQueryInputコンポーネントは、ビッグデータファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。
基本設定
|
[Schema] (スキーマ)と[Edit Schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
|
|
[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 |
|
|
[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 |
|
| [Authentication mode] (認証モード) | プロジェクトの認証に使用されるモードを選択します。
Google Cloudの認証プロセスに関する詳細は、Google Cloudのドキュメンテーションをご参照ください。 |
| [Service account credentials file] (サービスアカウント認証情報ファイル) | 使用するサービスアカウント用に作成された認証情報ファイルへのパスを入力します。このファイルはTalendジョブが実際に起動および実行されるコンピューターに保管されている必要があります。 このプロパティは、サービスアカウントを使って認証する場合のみ利用できます。 |
|
[Client ID] (クライアントID)および[Client Secret] (クライアントシークレット) |
クライアントIDおよびクライアントシークレットを貼り付けます。両方とも使用するGoogle BigQueryサービスおよびCloud StorageサービスをホスティングしているプロジェクトのAPI Accessタブビューで作成され、および表示可能になっています。 クライアントシークレットを入力するには、クライアントシークレットフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスでクライアントシークレットを二重引用符の間に入力し、OKをクリックして設定を保存します。 これらのプロパティは、OAuth 2.0を使って認証する場合のみ利用可能です。 |
| [OAuth Access Token] (OAuthアクセストークン) | アクセストークンを入力します。 トークンのライフタイムは1時間です。コンポーネントはトークン更新操作を行いませんが、1時間という制限時間を超えても操作できるよう、新しいアクセストークンをフェッチします。 このプロパティは、[OAuth Access Token] (OAuthアクセストークン)を使って認証する場合のみ利用できます。 |
|
[Project ID] (プロジェクトID) |
使用する必要があるGoogle BigQueryサービスをホスティングしているプロジェクトのIDを貼り付けます。 プロジェクトのIDは、Google API ConsoleのURL、またはBigQuery Browser Toolでプロジェクト名にマウスを重ねると表示されます。 |
|
[Authorization code] (認証コード) |
構築中のアクセスに対してGoogleにより提供される認証コードを貼り付けます。 認証コードを取得するには、このコンポーネントを使用してジョブを実行する必要があります。このジョブが実行を一時停止してURLアドレスを出力する場合は、このアドレスに移動して、表示されている認証コードをコピーします。 |
|
[Use legacy SQL] (レガシーSQLを使用)および[Query] (クエリー) |
使用する必要があるクエリーを入力します。 使用するクエリーがBigQueryのレガシーSQLである場合は、この[Use legacy SQL] (レガシーSQLを使用)チェックボックスをオンにします。このレガシーSQLの詳細は、Google CloudのドキュメンテーションでLegacy SQL query referenceをご覧ください。 |
詳細設定
| [Use a custom endpoint] (カスタムエンドポイントを使用) | デフォルトのエンドポイントの代わりにプライベートエンドポイントを使う場合は、このチェックボックスを選択します。 選択後は、https://bigquery.googleapis.comという形式でGoogle BigQuery Private API URLプロパティにURLを入力します。 詳細は、Google CloudのドキュメンテーションでAccess Google APIs through endpointsをご覧ください。 このプロパティは、サービスアカウントを使って認証する場合のみ利用できます。 |
|
[token properties File Name] (トークンプロパティファイル名) |
使用する必要がある更新トークンファイルのパスを入力するか、参照します。 Google BigQueryから取得した[Authorization code] (認証コード)を使用する最初のジョブ実行の場合、このフィールドの値は、作成し使用する更新トークンファイルのディレクトリーと名前になります。トークンファイルが作成済みで、再利用する必要がある場合、このフィールドにディレクトリーとファイル名を指定する必要があります。 トークンファイル名のみを入力した場合、 Talend Studioにより、トークンファイルのディレクトリーがTalend Studioフォルダーのルートであると見なされます。 更新トークンの詳細は、Google BigQueryのマニュアルをご覧ください。 |
|
[Advanced Separator for numbers] (高度な区切り(数字用)) |
このチェックボックスをオンにすると、数値に使用する区切りを変更できます。 |
|
[Encoding] (エンコーディング) |
リストからエンコーディングを選択するか、[CUSTOM] (カスタム)を選択して、手動で定義します。このフィールドはデータベースデータ処理の必須フィールドです。サポートされるエンコーディングは、使用しているJVMに応じて異なります。詳細は、https://docs.oracle.comをご覧ください。 |
|
[Force single query execution] (1つのクエリー実行を強制) |
このチェックボックスをオンにすると、コンポーネントがクエリー全体の結果を返すようになります。このチェックボックスをオフにすると、コンポーネントは、各サブクエリーを個別に実行し、各クエリーの結果を順次返します。 |
|
[Result size] (結果のサイズ) |
クエリー結果のボリュームに応じてオプションを選択します。 デフォルトでは、[Small] (小)オプションが使用されますが、クエリーの結果が[maximum response size] (最大レスポンスサイズ)より大きい場合は、[Large] (大)オプションを選択する必要があります。 結果のボリュームが一定でない場合は[Auto] (自動) を選択します。 |
|
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスを選択すると、コンポーネントレベルでログデータを収集できます。 |
Global Variables
|
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数は、[Die on error] (エラー発生時に強制終了)チェックボックスがオンになっている場合のみ機能します。 |
|
JOBID |
ジョブのIDです。これはAfter変数で、文字列を返します。 |
|
STATISTICS |
ジョブの統計です。これはAfter変数で、文字列を返します。 |
|
STATISTICS_CHILD |
子ジョブの統計です。これはAfter変数で、文字列を返します。 |
使用方法
|
使用ルール |
開始コンポーネントまたは終了コンポーネントにすることができます。ジョブを開始すると、抽出されたデータが後続のコンポーネントに送信され、ジョブを終了すると、指定されたテーブルが削除されます。 このコンポーネントは、マルチリージョンロケーションとリージョナルロケーションの両方を自動的に検出し、サポートします。リージョナルロケーションを使用する時は、使用するバケットとデータセットは同じロケーションに入れておく必要があります。 |