Apache Spark BatchのtBigQueryConfigurationプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtBigQueryConfigurationを設定するために使われます。
Spark BatchのtBigQueryConfigurationコンポーネントは、ストレージファミリーとデータベースファミリーに属しています。
このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで使用できます。
基本設定
このコンポーネントをGoogle Dataprocと併用する場合:
BigQuery一時GCSパス |
Google BigQueryで使用するデータを一時的に保管するには、Google Storageにディレクトリーを入力します。ディレクトリーがない場合はただちに作成されますが、このディレクトリーを含むバケットはあらかじめ存在している必要があります。ディレクトリーの構文はgs://my_bucket/my_directoryにする必要があります。 Google Cloud PlatformでGoogle BigQueryをDataprocで使用する場合は、Dataprocクラスターの実行と同じ領域をBigQueryデータセットとして選択します。 |
[Location] (ロケーション) |
データの読み取りまたは書き込みを行うGoogle複数地域ロケーションを1つ選択します。リソースデータセットとターゲットデータセットは、同じ場所になければなりません。 Sparkジョブでは、米国とEUのロケーションのみがサポートされています。 Googleロケーションとそのロケーションを適切に使用する方法は、 GoogleのドキュメンテーションでDataset Locations (英語のみ)をご覧ください。 |
このコンポーネントをその他のディストリビューションと併用する場合
[Project identifier] (プロジェクト識別子) |
Google Cloud PlatformプロジェクトのIDを入力します。 プロジェクトIDがわからない場合は、Google Cloud Platformサービスの[Manage Resources]ページでご確認ください。 |
[Path to Google Credentials file] (Googleクレデンシャルファイルへのパス) |
使用するユーザーアカウントに関連付けられている認証情報ファイルのパスを入力します。このファイルはTalendジョブが実際に起動および実行されるコンピューターに保管されている必要があります。 TalendJobServerを使用してジョブを実行する場合、ジョブを起動するJobServerのマシンだけでなく、ジョブを実行するSparkクラスターのワーカーマシンにも認証情報ファイルを保管します。JobServerを使用しない場合は、ジョブを起動するローカルマシンとSparkクラスターのワーカーマシンに認証情報ファイルを保管します。 |
[Use P12 credentials file format] (P12認証情報ファイル形式を使用) |
使用するGoogleクレデンシャルファイルがP12形式の場合は、このチェックボックスをオンにし、表示される[Service account Id] (サービスアカウントID)フィールドにP12認証情報ファイルが作成されたサービスアカウントのIDを入力します。 |
BigQuery一時GCSパス |
Google BigQueryで使用するデータを一時的に保管するには、Google Storageにディレクトリーを入力します。ディレクトリーがない場合はただちに作成されますが、このディレクトリーを含むバケットはあらかじめ存在している必要があります。ディレクトリーの構文はgs://my_bucket/my_directoryにする必要があります。 Google Cloud PlatformでGoogle BigQueryをDataprocで使用する場合は、Dataprocクラスターの実行と同じ領域をBigQueryデータセットとして選択します。 |
[Location] (ロケーション) |
データの読み取りまたは書き込みを行うGoogle複数地域ロケーションを1つ選択します。リソースデータセットとターゲットデータセットは、同じ場所になければなりません。 Sparkジョブでは、米国とEUのロケーションのみがサポートされています。 Googleロケーションとそのロケーションを適切に使用する方法は、 GoogleのドキュメンテーションでDataset Locations (英語のみ)をご覧ください。 |
使用方法
使用ルール |
このコンポーネントは、サブジョブでスタンドアロンとして使い、ジョブ全体のGoogle BigQueryとGoogleストレージへの接続設定を提供します。 |
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |