tGoogleDataprocManageの標準プロパティ
これらのプロパティは、標準ジョブのフレームワークで実行されているtGoogleDataprocManageを設定するために使われます。
標準のtGoogleDataprocManageコンポーネントは、Cloudファミリーに属しています。
このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで利用できます。
基本設定
|
[Project identifier] (プロジェクト識別子) |
Google Cloud PlatformプロジェクトのIDを入力します。 プロジェクトIDがわからない場合は、Google Cloud Platformサービスの[Manage Resources]ページでご確認ください。 |
|
[Cluster identifier] (クラスター識別子) |
使用するDataprocクラスターのIDを入力します。 |
|
[Provide Google Credentials in file] (Googleクレデンシャルをファイルで指定) |
Google Cloud SDKがインストールされており、Google Cloud Platformへのアクセスでユーザーアカウント認証情報の使用が許可されている特定のマシンからジョブを起動する場合は、このチェックボックスをオフにします。この状況では多くの場合、このマシンはお使いのローカルマシンです。 JobServerなど、リモートマシンからジョブを起動する場合は、このチェックボックスをオンにし、[Path to Google Credentials file] (Googleクレデンシャルファイルへのパス)フィールドが表示されたら、このJSONファイルを保存するJobServerマシン内のディレクトリーを入力します。また、[....]ボタンをクリックし、ポップアップダイアログボックスでJSONファイルを参照することもできます。 Googleクレデンシャルファイルの詳細は、Google Cloud Platformの管理者に問い合わせるか、Google Cloud Platform Auth Guide (英語のみ)をご覧ください。 |
|
[Action] (アクション) |
クラスター上でtGoogleDataprocManageに実行させる操作を選択します。
|
|
[Version] (バージョン) |
Dataprocクラスターの作成に使用するイメージのバージョンを選択します。 |
| [Region] (リージョン) |
使用するGoogle Cloudリージョンをこのドロップダウンリストから、選択します。 |
|
[Zone] (ゾーン) |
コンピューティングリソースを使用し、データを保存、処理する地理的なゾーンを選択します。利用可能なゾーンは、Regionドロップダウンリストから、選択したリージョンによって異なります。 Google Cloudで言うゾーンとは、リージョン内の隔離されたロケーションです。これは、Google Cloudで用いられているもう1つの地理的な用語です。 |
|
[Instance configuration] (インスタンス設定) |
作成するDataprocクラスターで使うマスターとワーカーの数、およびそのマスターとワーカーのパフォーマンスを決定するパラメーターを入力します。 |
詳細設定
|
[Wait for cluster ready] (クラスターの準備ができるまで待機) |
クラスターを完全に設定するまでこのコンポーネントを実行し続ける場合は、このチェックボックスを選択します。 このチェックボックスをオンにしない場合、このコンポーネントの実行は、作成コマンドの送信後即座に停止します。 |
|
[Master disk size] (マスターディスクサイズ) |
各マスターインスタンスのディスクのサイズを決定する数値を引用符なしで入力します。 |
|
[Master local SSD] (マスターローカルSSD) |
各マスターインスタンスに追加するローカルの半導体ドライブ(SSD)ストレージデバイスの数を決定する数値を引用符なしで入力します。 Googleによると、これらのローカルSSDはキャッシュ、処理領域、または重要性の低いデータなど、一時保管のみに適しています。重要なデータは、Googleの長期保管用のストレージオプションに保存することをお勧めします。Googleのストレージオプションの詳細は、Durable storage options (英語のみ)をご覧ください。 |
|
Worker disk size |
各ワーカーインスタンスのディスクのサイズを決定する数値を引用符なしで入力します。 |
|
[Worker local SSD] (ワーカーローカルSSD) |
各ワーカーインスタンスに追加するローカルの半導体ドライブ(SSD)ストレージデバイスの数を決定する数値を引用符なしで入力します。 Googleによると、これらのローカルSSDはキャッシュ、処理領域、または重要性の低いデータなど、一時保管のみに適しています。重要なデータは、Googleの長期保管用のストレージオプションに保存することをお勧めします。Googleのストレージオプションの詳細は、Durable storage options (英語のみ)をご覧ください。 |
|
[Network] (ネットワーク)または[Subnetwork] (サブネットワーク) |
作成するクラスター用のGoogle Compute Engineネットワークまたはサブネットワークを使用して、イントラクラスター通信を有効にするには、いずれかのチェックボックスをオンにします。 Googleではネットワークとサブネットワークの同時使用が許可されていないため、いずれか1つのチェックボックスをオンにすると、もう一方のチェックボックスは非表示になります。 Google Dataprocクラスターネットワーク設定の詳細は、Dataproc Network (英語のみ)をご覧ください。 |
|
[Internal IP only] (内部IPのみ) |
このチェックボックスを選択すると、内部IPアドレスのみとなるようクラスター内の全インスタンスを設定できます。 クラスターノードが内部IPからGoogle APIやサービスにアクセスできるようにする場合は、クラスターのサブネットワークでPrivate Google Accessのプライベート アクセスが有効になっていることが必要です。 詳細は、Dataprocクラスターネットワークの構成 (英語のみ)をご覧ください。 |
|
[Initialization action] (初期化アクション) |
この表では、Google Cloud Storage上の共有バケットで使用可能な、Dataproc クラスターの設定直後にこの全ノードで実行する初期化処理を選択します。 カスタム初期化スクリプトを使用する場合は、tGoogleDataprocManageが読み取れるようこの共有Googleバケットをアップロードします。
この共有バケットと初期化処理の詳細は、初期化アクション (英語のみ)をご覧ください。 |
|
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスを選択すると、コンポーネントレベルでログデータを収集できます。 |
使用方法
|
使用ルール |
このコンポーネントは、サブジョブでスタンドアロンとして使います。 |