BigQueryメタデータの一元管理

Talend StudioのBigQueryメタデータウィザードを使用すると、再利用可能なGoogle BigQuery接続を作成して、ジョブ用のテーブルスキーマを取得できます。

手順

[Repository] (リポジトリー)ツリービューで[Metadata] (メタデータ)を展開し、Google BigQueryノードを右クリックして、新しいBigQuery接続を作成するオプションを選択します。
BigQueryメタデータウィザードで、接続の名前と説明を入力します。
[Next] (次へ)をクリックします。

Google BigQuery環境に必要な接続設定を入力します。

Property	説明
[Authentication mode] (認証モード)	プロジェクトの認証に使用されるモードを選択します。 [Service account] (サービスアカウント): Google Cloud Platformプロジェクトに関連付けられているGoogleアカウントを使って認証します。このモードを選択すると、認証情報は[Service account credentials file] (サービスアカウント認証情報ファイル)フィールドに入力する必要があります。ワークロードIDフェデレーション: GoogleワークロードIDプールを介して認証を行うことで、サービスアカウントキーを使用することなく、AWS、Azure、OIDCなどのIDプロバイダーとの統合が可能になります。このモードを選択する場合、IDフェデレーションの設定は、[クライアントライブラリ設定ファイル]フィールドで指定する必要があります。 [Application Default Credentials] (アプリケーションのデフォルト認証情報): アプリケーションのデフォルト認証情報を使って認証します。このモードを選択した場合、アプリケーション環境に基づいて認証情報が自動的に検索されるので、追加のパラメーターを定義する必要はありません。 OAuth2 - 認証コードの付与: OAuth認証情報を使って認証します。このモードを選択する場合、OAuth認証情報は[クライアントID]、[クライアントシークレット]、[認証コード]の各フィールドに入力する必要があります。 [OAuth Access Token] (OAuth アクセストークン): OAuthアクセストークンを使用して認証します。このモードを選択する場合、トークンは[OAuthアクセストークン]フィールドに情報を提供する必要があります。 Google Cloud認証の詳細については、Google Cloud認証のドキュメントを参照してください。
[Project ID] (プロジェクトID)	使用する必要があるGoogle BigQueryサービスをホスティングしているプロジェクトのIDを貼り付けます。プロジェクトのIDは、Google API ConsoleのURL、またはBigQuery Browser Toolでプロジェクト名にカーソルを合わせると表示されます。
[Service account credentials file] (サービスアカウント認証情報ファイル)	使用するサービスアカウント用に作成された認証情報ファイルへのパスを入力します。このファイルはTalendジョブが実際に起動および実行されるコンピューターに保管されている必要があります。このプロパティは、サービスアカウントを使って認証する場合のみ利用できます。
[Use a custom endpoint] (カスタムエンドポイントを使用)	デフォルトのエンドポイントの代わりにプライベートエンドポイントを使う場合は、このチェックボックスをオンにします。選択後は、https://bigquery.googleapis.comという形式でURLを入力します。詳細は、Google CloudのドキュメンテーションでAccess Google APIs through endpointsをご覧ください。このプロパティは、サービスアカウントを使って認証する場合のみ利用できます。
[Client ID] (クライアントID)と[Client Secret] (クライアントシークレット)	Google BigQueryおよびCloud Storageへのアクセス用に構成されたOAuthクライアントの、クライアントIDとクライアントシークレットを貼り付けます。このプロパティは、[OAuth2 - Authorization Code grant] (OAuth2 - 認証コードの付与)を使って認証する場合のみ利用できます。
リダイレクトURI	Google CloudでOAuthクライアント用に構成したリダイレクトURIを入力します。この値は、許可されたリダイレクトURIと完全に一致する必要があります。このプロパティは、[OAuth2 - Authorization Code grant] (OAuth2 - 認証コードの付与)を使って認証する場合のみ利用できます。
[Authorization Code] (認証コード)	設定中のアクセスに対してGoogleにより提供される認証コードを貼り付けます。メタデータ設定用の認証コードを取得するには、このフィールドを空のままにして[Check Connection] (接続を確認)をクリックします。Studioに表示されたURLを開き、リクエストを承認した後、返された認証コードをコピーしてこのフィールドに貼り付けます。
[OAuth Access Token] (OAuthアクセストークン)	アクセストークンを入力します。トークンのライフタイムは1時間です。コンポーネントは、トークン更新操作を行いませんが、1時間という制限時間を超えても操作できるよう、新しいアクセストークンをフェッチします。このプロパティは、[OAuth Access Token] (OAuthアクセストークン)を使って認証する場合のみ利用できます。

[Check Connection] (接続を確認)をクリックして設定を確認し、次に[Next] (次へ)をクリックします。
スキーマを取得するテーブルを選択し、[Finish] (終了)をクリックします。
新しいBigQuery接続は、[Repository] (リポジトリー)ツリービューにあるBigQueryノードの下に表示されます。

タスクの結果

[Repository] (リポジトリー)ビューからBigQuery接続、またはそのスキーマのいずれかをデザインワークスペースへドラッグ＆ドロップすることで、接続およびスキーマ情報を再利用できます。詳細は、一元管理されたメタデータをジョブで使用をご覧ください。

接続メタデータを更新するには、[Repository] (リポジトリー)ツリービュー内の接続を右クリックし、BigQueryメタデータの編集オプションを選択します。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください