メイン コンテンツをスキップする 補完的コンテンツへスキップ

tBigQueryInputの標準プロパティ

これらのプロパティは、標準ジョブのフレームワークで実行されているtBigQueryInputを設定するために使われます。

標準tBigQueryInputコンポーネントは、ビッグデータファミリーに属しています。

このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。

基本設定

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

  • [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

  • [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。変更を加えると、スキーマは自動的に組み込みになります。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

    変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、ダイナミックスキーマをご覧ください。

ダイナミックスキーマ機能は、テーブルの不明なカラムを取得するしくみになっており、その他の目的には使用しないことをお勧めします。テーブルの作成には推奨しません。

[Guess Schema] (推測スキーマ) ボタンをクリックして、テーブルからスキーマを取得します。

このオプションは、Talendが提供するR2023-02以降のTalend Studioマンスリーアップデートをインストール済みである場合に利用できます。

 
  • BigQueryのレコードタイプはサポートされていません。
  • DescriptionカラムやModeカラムなど、テーブルメタデータのカラムは取得できません。
  • BigQueryシステムからのタイムスタンプデータは、文字列データにフォーマットされます。
  • BigQueryの数値データはBigDecimalに変換されます。
[Authentication mode] (認証モード) プロジェクトの認証に使用されるモードを選択します。
  • [Service account] (サービスアカウント): Google Cloud Platformプロジェクトに関連付けられているGoogleアカウントを使って認証します。このモードを選択した場合、定義されるパラメーターは[Service account credentials file] (サービスアカウント認証ファイル)です。
  • [Application Default Credentials] (アプリケーションのデフォルト認証情報): アプリケーションのデフォルト認証情報を使って認証します。このモードを選択した場合、アプリケーション環境に基づいて認証情報が自動的に検索されるので、追加のパラメーターを定義する必要はありません。
  • OAuth 2.0: OAuth認証情報を使って認証します。このモードを選択した場合、定義されるパラメーターは、[Client ID] (クライアントID)[Client secret] (クライアントシークレット)[Authorization code] (認証コード)です。
  • [OAuth Access Token] (OAuth アクセストークン): OAuthアクセストークンを使用して認証します。このモードを選択した場合、定義されるパラメーターは[OAuth Access Token] (OAuthアクセストークン)です。

Google Cloudの認証プロセスに関する詳細は、Google Cloudのドキュメンテーションをご参照ください。

[Service account credentials file] (サービスアカウント認証情報ファイル) 使用するサービスアカウント用に作成された認証情報ファイルへのパスを入力します。このファイルはTalendジョブが実際に起動および実行されるコンピューターに保管されている必要があります。

このプロパティは、サービスアカウントを使って認証する場合のみ利用できます。

[Client ID] (クライアントID)および[Client Secret] (クライアントシークレット)

クライアントIDおよびクライアントシークレットを貼り付けます。両方とも使用するGoogle BigQueryサービスおよびCloud StorageサービスをホスティングしているプロジェクトのAPI Accessタブビューで作成され、および表示可能になっています。

クライアントシークレットを入力するには、クライアントシークレットフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスでクライアントシークレットを二重引用符の間に入力し、OKをクリックして設定を保存します。

これらのプロパティは、OAuth 2.0を使って認証する場合のみ利用可能です。

[OAuth Access Token] (OAuthアクセストークン) アクセストークンを入力します。

トークンのライフタイムは1時間です。コンポーネントはトークン更新操作を行いませんが、1時間という制限時間を超えても操作できるよう、新しいアクセストークンをフェッチします。

このプロパティは、[OAuth Access Token] (OAuthアクセストークン)を使って認証する場合のみ利用できます。

[Project ID] (プロジェクトID)

使用する必要があるGoogle BigQueryサービスをホスティングしているプロジェクトのIDを貼り付けます。

プロジェクトのIDは、Google API ConsoleのURL、またはBigQuery Browser Toolでプロジェクト名にマウスを重ねると表示されます。

[Authorization code] (認証コード)

構築中のアクセスに対してGoogleにより提供される認証コードを貼り付けます。

認証コードを取得するには、このコンポーネントを使用してジョブを実行する必要があります。このジョブが実行を一時停止してURLアドレスを出力する場合は、このアドレスに移動して、表示されている認証コードをコピーします。

[Use legacy SQL] (レガシーSQLを使用)および[Query] (クエリー)

使用する必要があるクエリーを入力します。

使用するクエリーがBigQueryのレガシーSQLである場合は、この[Use legacy SQL] (レガシーSQLを使用)チェックボックスをオンにします。このレガシーSQLの詳細は、Google CloudのドキュメンテーションでLegacy SQL query referenceをご覧ください。

[Result size] (結果のサイズ)

クエリー結果のボリュームに応じてオプションを選択します。

デフォルトでは、[Small] (小)オプションが使用されますが、クエリーの結果が[maximum response size] (最大レスポンスサイズ)より大きい場合は、[Large] (大)オプションを選択する必要があります。

結果のボリュームが一定でない場合は[Auto] (自動) を選択します。

詳細設定

[Use a custom endpoint] (カスタムエンドポイントを使用) デフォルトのエンドポイントの代わりにプライベートエンドポイントを使う場合は、このチェックボックスを選択します。

選択後は、https://bigquery.googleapis.comという形式でGoogle BigQuery Private API URLプロパティにURLを入力します。

詳細は、Google CloudのドキュメンテーションでAccess Google APIs through endpointsをご覧ください。

このプロパティは、サービスアカウントを使って認証する場合のみ利用できます。

[token properties File Name] (トークンプロパティファイル名)

使用する必要がある更新トークンファイルのパスを入力するか、参照します。

Google BigQueryから取得した[Authorization code] (認証コード)を使用する最初のジョブ実行の場合、このフィールドの値は、作成し使用する更新トークンファイルのディレクトリーと名前になります。トークンファイルが作成済みで、再利用する必要がある場合、このフィールドにディレクトリーとファイル名を指定する必要があります。

トークンファイル名のみを入力した場合、 Talend Studioにより、トークンファイルのディレクトリーがTalend Studioフォルダーのルートであると見なされます。

更新トークンの詳細は、Google BigQueryのマニュアルをご覧ください。

[Advanced Separator for numbers] (高度な区切り(数字用))

このチェックボックスをオンにすると、数値に使用する区切りを変更できます。

[Encoding] (エンコーディング)

リストからエンコーディングを選択するか、[CUSTOM] (カスタム)を選択して、手動で定義します。このフィールドはデータベースデータ処理の必須フィールドです。サポートされるエンコーディングは、使用しているJVMに応じて異なります。詳細は、https://docs.oracle.comをご覧ください。

[Force single query execution] (1つのクエリー実行を強制)

このチェックボックスをオンにすると、コンポーネントがクエリー全体の結果を返すようになります。このチェックボックスをオフにすると、コンポーネントは、各サブクエリーを個別に実行し、各クエリーの結果を順次返します。

[Use custom temporary Dataset name] (カスタムの一時データセット名を使用)

データセットを作成する代わりに、アクセス権のある既存のデータセットを使うには、このチェックボックスをオンにし、表示されるフィールドにこのデータセットの名前を入力します。これにより、データセットの作成に関連する権利と権限の問題を回避できます。

このチェックボックスは、[Basic settings] (基本設定)タブの[Result size] (結果サイズ)ドロップダウンリストで[Large] (大)を選択している場合のみ利用できます。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスを選択すると、コンポーネントレベルでログデータを収集できます。

Global Variables

ERROR_MESSAGE

エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数は、[Die on error] (エラー発生時に強制終了)チェックボックスがオンになっている場合のみ機能します。

JOBID

ジョブのIDです。これはAfter変数で、文字列を返します。

STATISTICS

ジョブの統計です。これはAfter変数で、文字列を返します。

STATISTICS_CHILD

子ジョブの統計です。これはAfter変数で、文字列を返します。

使用方法

使用ルール

これは入力コンポーネントです。抽出されたデータを、続くコンポーネントに送信します。

このコンポーネントは、マルチリージョンロケーションとリージョナルロケーションの両方を自動的に検出し、サポートします。リージョナルロケーションを使用する時は、使用するバケットとデータセットは同じロケーションに入れておく必要があります。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。