tBigQueryInputの標準プロパティ
これらのプロパティは、標準ジョブのフレームワークで実行されているtBigQueryInputを設定するために使われます。
標準のtBigQueryInputコンポーネントは、ビッグデータファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのTalend製品で利用できます。
基本設定
|
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。
スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。
情報メモ注: 変更を加えると、スキーマは自動的に組み込みになります。
このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、Talend Studioユーザーガイドをご覧ください。 このダイナミックスキーマ機能は、テーブルの不明なカラムを取得する目的で設計されており、この目的に限り使用をお勧めします。テーブルの作成で使用することは勧められていません。 |
|
|
| [Authentication mode] (認証モード) | プロジェクトの認証に使用されるモードを選択します。
|
| [Service account credentials file] (サービスアカウント認証情報ファイル) | 使用するサービスアカウント用に作成された認証情報ファイルへのパスを入力します。このファイルはTalendジョブが実際に起動および実行されるコンピューターに保管されている必要があります。 Googleサービスアカウントを作成し、認証情報ファイルを取得する方法は、GoogleのドキュメンテーションでGetting Started with Authentication (英語のみ)をご覧ください。 |
|
[Client ID] (クライアントID)および[Client Secret] (クライアントシークレット) |
クライアントIDおよびクライアントシークレットを貼り付けます。両方とも使用するGoogle BigQueryサービスおよびCloud StorageサービスをホスティングしているプロジェクトのAPI Accessタブビューで作成され、および表示可能になっています。 クライアントシークレットを入力するには、クライアントシークレットフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスでクライアントシークレットを二重引用符の間に入力し、OKをクリックして設定を保存します。 |
| [OAuth Access Token] (OAuthアクセストークン) | アクセストークンを入力します。 トークンのライフタイムは1時間です。コンポーネントは、トークン更新操作を行いませんが、1時間という制限時間を超えても操作できるよう、新しいアクセストークンをフェッチします。 |
|
[Project ID] (プロジェクトID) |
使用する必要があるGoogle BigQueryサービスをホスティングしているプロジェクトのIDを貼り付けます。 プロジェクトのIDは、Google API ConsoleのURL、またはBigQuery Browser Toolでプロジェクト名にマウスを重ねると表示されます。 |
|
[Authorization code] (認証コード) |
構築中のアクセスに対してGoogleにより提供される認証コードを貼り付けます。 認証コードを取得するには、このコンポーネントを使用してジョブを実行する必要があります。このジョブが実行を一時停止してURLアドレスを出力する場合は、このアドレスに移動して、表示されている認証コードをコピーします。 |
|
[Use legacy SQL] (レガシーSQLを使用)および[Query] (クエリー) |
使用する必要があるクエリーを入力します。 使用するクエリーがBigQueryのレガシーSQLである場合は、この[Use legacy SQL] (レガシーSQLを使用)チェックボックスをオンにします。このレガシーSQLについては、Google BigQueryのドキュメンテーションでLegacy SQL query reference (英語のみ)をご覧ください。 |
|
[Result size] (結果のサイズ) |
クエリー結果のボリュームに応じてオプションを選択します。 デフォルトでは、[Small] (小)オプションが使用されますが、クエリーの結果が[maximum response size] (最大レスポンスサイズ) (英語のみ)より大きい場合は、[Large] (大)オプションを選択する必要があります。 結果のボリュームが一定でない場合は[Auto] (自動) を選択します。 |
詳細設定
|
[token properties File Name] (トークンプロパティファイル名) |
使用する必要がある更新トークンファイルのパスを入力するか、参照します。 Google BigQueryから取得した[Authorization code] (認証コード)を使用する最初のジョブ実行の場合、このフィールドの値は、作成し使用する更新トークンファイルのディレクトリーと名前になります。トークンファイルが作成済みで、再利用する必要がある場合、このフィールドにディレクトリーとファイル名を指定する必要があります。 トークンファイル名のみを入力した場合、 Talend Studio により、トークンファイルのディレクトリーがStudioフォルダーのルートであると見なされます。 更新トークンの詳細は、Google BigQueryのマニュアルをご覧ください。 |
|
[Advanced separator (for number)] (高度な区切り文字: 数値) |
このチェックボックスをオンにすると、数値に使用する区切りを変更できます。 |
|
[Encoding] (エンコーディング) |
リストからエンコーディングを選択するか、[CUSTOM] (カスタム)を選択して、手動で定義します。このフィールドはデータベースデータ処理の必須フィールドです。サポートされるエンコーディングは、使用しているJVMに応じて異なります。詳細は、https://docs.oracle.com (英語のみ)をご覧ください。 |
|
[Force single query execution] (1つのクエリー実行を強制) |
このチェックボックスをオンにすると、コンポーネントがクエリー全体の結果を返すようになります。このチェックボックスをオフにすると、コンポーネントは、各サブクエリーを個別に実行し、各クエリーの結果を順次返します。 |
| [Use custom temporary Dataset name] (カスタムの一時データセット名を使用) |
データセットを作成する代わりに、アクセス権のある既存のデータセットを使うには、このチェックボックスをオンにし、表示されるフィールドにこのデータセットの名前を入力します。これにより、データセットの作成に関連する権利と権限の問題を回避できます。 このチェックボックスは、[Basic settings] (基本設定)タブの[Result size] (結果サイズ)ドロップダウンリストで[Large] (大)を選択している場合のみ利用できます。 |
|
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスを選択すると、コンポーネントレベルでログデータを収集できます。 |
Global Variables
|
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数は、[Die on error] (エラー発生時に強制終了)チェックボックスがオンになっている場合のみ機能します。 |
|
JOBID |
ジョブのIDです。これはAfter変数で、文字列を返します。 |
|
STATISTICS |
ジョブの統計です。これはAfter変数で、文字列を返します。 |
|
STATISTICS_CHILD |
子ジョブの統計です。これはAfter変数で、文字列を返します。 |
使用方法
|
使用ルール |
これは入力コンポーネントです。抽出されたデータを、続くコンポーネントに送信します。 このコンポーネントは、マルチリージョンロケーションとリージョナルロケーションの両方を自動的に検出し、サポートします。リージョナルロケーションを使用する時は、使用するバケットとデータセットは同じロケーションに入れておく必要があります。 |