Apache Spark BatchのtBigQueryOutputプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtBigQueryOutputを設定するために使われます。
Spark BatchのtBigQueryOutputコンポーネントは、データベースファミリーに属しています。
このフレームワークのコンポーネントは、すべてのサブスクリプションベースのビッグデータ対応のTalend製品およびTalend Data Fabricで利用できます。
基本設定
プロパティ | 説明 |
---|---|
[Dataset] (データセット) |
作成またはアップデートするテーブルのデータセットの名前を入力します。 Google Cloud PlatformでGoogle BigQueryをDataprocで使用する場合は、Dataprocクラスターの実行と同じ領域をBigQueryデータセットとして選択します。 |
[Table] (テーブル) |
作成またはアップデートするテーブルの名前を入力します。 |
[Schema] (スキーマ)と[Edit Schema] (スキーマを編集) |
|
[Table operations] (テーブル操作) |
定義したテーブルで実行する操作を選択します。
|
[Data operation] (データ操作) |
受信データで実行する操作を選択します。
|
使用方法
使用方法のガイダンス | 説明 |
---|---|
使用ルール |
これは入力コンポーネントです。BigQueryから抽出されたデータを、続くコンポーネントに送信します。 tBigQueryConfigurationによって提供される BigQuery設定情報を使用する必要があるため、同じジョブにtBigQueryConfigurationコンポーネントを配置します。 |
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |