Dynamic Engine環境タスクの実行プロファイルを管理

実行プロファイルには、タスクを実行するための設定(つまりリソース割り当てと詳細プロパティ)が含まれています。

実行プロファイルのリストは、[Processing] (処理)ページの[Run Profiles] (実行プロファイル)タブで確認できます。リストには、各実行プロファイルがDynamic Engineプロセッサーを使用しているかどうかを識別するための[Processor type] (プロセッサータイプ)カラムが含まれています。

[Environment] (環境)フィルターを使えば、特定のDynamic Engine環境に関連付けられている実行プロファイルのリストをを表示できます。

実行プロファイルを管理するためには、[Run Profiles - Manage] (実行プロファイル - 管理) (TMC_RUN_PROFILE_MANAGEMENT)ユーザー権限が必要です。

実行プロファイルを作成

Dynamic EngineタスクのJVM引数、Kubernetesポッドのリソース、オートスケーリングのパラメーターを設定するための新しい実行プロファイルを追加します。

始める前に

実行プロファイルを作成するためには、[Run Profiles - Manage] (実行プロファイル - 管理) (TMC_RUN_PROFILE_MANAGEMENT)ユーザー権限が必要です。

手順

[Processing] (処理)ページを開きます。
[Run profiles] (実行プロファイル)タブをクリックします。
[Create new] (新規作成)、[Run profile] (実行プロファイル)を順番にクリックします。
プロセッサータイプとしてDynamic Engineを選択します。
リストからDynamic Engine環境を選択します。
実行プロファイルの名前を入力します。
説明を追加します。
このプロファイルを使用してエンジン上で実行されるすべてのジョブに対して設定するJVM引数を、[Processing arguments] (処理引数)に構成します。
ここで設定されるJVMパラメーター値は、Talend Studioで設定された値を上書きします。Kubernetesポッドとコンテナーのリソース設定も、処理引数を通じてここで行います。
次の例では、Kubernetesで実行中のタスクに割り当てられたCPUとメモリのカスタム設定を示しています。これらのパラメーターの詳細は、このガイドのTalend Management Consoleタスク実行のリソース設定か、KubernetesのドキュメンテーションでResource Management for Pods and Containersをご覧ください。

例
Dynamic Engineの実行プロファイルの処理引数グループ
```
-K8S:PodCPURequest=500m
-K8S:PodCPULimit=1
-K8S:PodRAMRequest=512M
-K8S:PodRAMLimit=1G
```
- -K8S:PodCPURequestは、ポッドの初期のCPU割り当てを指定します。
- -K8S:PodCPULimitは、ポッドのCPU使用率の上限を設定し、ポッドがCPUリソースを独占しないようにします。
  情報メモ注: KubernetesはCPUリソースをミリCPU (m)で測定しますが、これはミリコアとも呼ばれます。指定できる最小値は1mで、これは物理または仮想CPUコアの0.001を表します。単位なしでされた数値を入力した場合、KubernetesはCPUコアの端数として解釈します。例:
  
  0.5は、CPUコアの半分(500m)を要求します。
  
  1は、フルCPUコア(1000m)を要求します。
- -K8S:PodRAMRequestは、ポッドの初期のメモリ割り当てを指定します。
- -K8S:PodRAMLimitは、ポッドのメモリ使用量の上限を設定し、ポッドがリソースを過剰に消費しないようにします。

データサービスおよびルートタスクの場合、実行プロファイルレベルの自動スケーリングパラメーターを追加することで、環境レベルの自動スケーリング設定をオーバーライドできます。

Dynamic Engine環境には、すべてのデータサービスおよびルートタスクに適用される自動スケーリング設定が存在する場合があります。特定の実行プロファイルの処理引数セクションに自動スケーリングパラメーターを追加することで、これらの環境レベルの設定をオーバーライドできます。その実行プロファイルを持つエンジンを使用するタスクは、これらのオーバーライドされた設定を継承し、特定のタスクのワークロードの変化に応じてDynamic Engineインスタンスをスケーリングする方法をきめ細かく制御できるようになります。

環境レベルの自動スケーリング設定の詳細については、「データサービスとルートの自動スケーリングを設定」を参照してください。

例

注: 実行プロファイルレベルの自動スケーリングパラメーターは、Dynamic Engineバージョン1.2.0以降で使用できます。

実行プロファイルレベルの自動スケーリングパラメーター
実行プロファイルパラメーター	説明
-K8S:Replicas	ポッドレプリカの数を設定します。自動スケーリングが無効になっている場合、これは固定レプリカ数になります。自動スケーリングが有効になっている場合、これは初期レプリカ数になります。デフォルト: 1
-K8S:AutoscalingEnabled	このタスクの自動スケーリングを有効または無効にします。デフォルト: false 情報メモ重要: タスクに対して自動スケーリングが有効になっている場合、タスクがまだ実行されている間は、設定を通じても、タスクのアップグレードによってトリガーされる自動再デプロイメントを通じても、自動スケーリングを非アクティブ化することはできません。自動スケーリングを無効にするには、タスクをアンデプロイしてから再デプロイする必要があります。
-K8S:AutoscalingMinReplicas	自動スケーリングのポッドレプリカの最小数を設定します。デフォルト: 1
-K8S:AutoscalingMaxReplicas	自動スケーリングのポッドレプリカの最大数を設定します。デフォルト: 10
-K8S:AutoscalingCpuAverageUtilization	ポッド全体の目標平均CPU使用率(パーセンテージ)を設定します。このパラメーターを無効にするには負の値を使用します。ゼロは 70% を使用することを意味します。デフォルト:0
-K8S:AutoscalingMemoryAverageUtilization	ポッド全体の目標平均メモリ使用率(パーセンテージ)を設定します。このパラメーターを無効にするには、ゼロまたは負の値を使用します。デフォルト:0
-K8S:AutoscalingScaleUpStabilizationWindowSeconds	スケールアップの安定化ウィンドウ(秒単位)を設定します。このウィンドウの間、以前に計算されたターゲットレプリカ数が考慮されます。ゼロの場合はこの機能は無効になります。デフォルト: 120
-K8S:AutoscalingScaleDownStabilizationWindowSeconds	スケールダウンの安定化ウィンドウ(秒単位)を設定します。このウィンドウの間、以前に計算されたターゲットレプリカ数が考慮されます。ゼロの場合はこの機能は無効になります。デフォルト:0

ビッグデータジョブについては、環境レベルのglobal.profile設定が最小である場合、必ず-K8S:ImageProfile=standardを設定します。ビッグデータジョブは最小イメージをサポートしておらず、標準のベースイメージを使用する必要があります。

注: -K8S:ImageProfile実行プロファイルパラメーターは、Dynamic Engineバージョン 1.6.0以降で利用できます。

Dynamic Engine向けのdistrolessイメージの設定に関する詳細については、最小イメージを使用したDynamic Engineのデプロイを参照してください。

プロファイルレベルのイメージプロファイルパラメーターの実行
実行プロファイルパラメーター	説明
-K8S:ImageProfile	個々のタスクについて、環境レベルのglobal.profileHelm valueを上書きします。エンジンのデフォルトとは異なるイメージプロファイルを使用して特定のタスクを実行するには、このパラメーターを使用します。許容される値: minimal (最小)またはstandard (標準) デフォルト:engine global.profileの設定を継承します。情報メモ重要: global.profile: minimalでエンジンをデプロイする場合、各ビッグデータタスクに対して-K8S:ImageProfile=standardを設定します。ビッグデータジョブは最小イメージとは互換性がなく、標準のベースイメージを使用する必要があります。

異なるJVM設定、ポッド制限、または自動スケーリングパラメーターを持つ別の実行プロファイルを作成するには、[保存]または[保存して別の項目を追加]をクリックします。

実行プロファイルをアップデート

既存の実行プロファイルを変更して、JVM引数、リソース制限、オートスケーリングパラメーター、またはイメージプロファイル設定を調整します。

始める前に

実行プロファイルをアップデートするには、[Run Profiles - Manage] (実行プロファイル - 管理) (TMC_RUN_PROFILE_MANAGEMENT)ユーザー権限が必要です。

手順

[Processing] (処理)ページを開きます。
[Run profiles] (実行プロファイル)タブをクリックします。
編集する実行プロファイルの名前を右クリックしてから、[Edit] (編集)をクリックします。
また、実行プロファイルの名前をクリックして実行プロファイルの詳細パネルを開き、[Edit] (編集)をクリックしてドロワーを開くこともできます。
実行プロファイルの編集(実行プロファイルの名前の変更、説明の編集、処理引数の編集など)を行います。
例

Dynamic Engineの実行プロファイルの処理引数グループ
この実行プロファイルをビッグデータジョブで使用し、かつエンジンがglobal.profile: minimalでデプロイされている場合は、処理引数に-K8S:ImageProfile=standardを必ず設定してください。

情報メモ重要: ビッグデータジョブ(Spark BatchおよびSpark Streaming)は、最小イメージとは互換性がないため、標準のベースイメージを使用する必要があります。実行プロファイルに-K8S:ImageProfile=standardが含まれていない場合、このプロファイルを使用するビッグデータジョブは起動に失敗します。
変更を保存します。

実行プロファイルを削除

システムから実行プロファイルを削除し、そのプロファイルを使用しているタスクを別のプロファイルに割り当て直すか、プロファイルを使用せずに実行するように変更します。

始める前に

実行プロファイルを削除するためには、[Run Profiles - Manage] (実行プロファイル - 管理) (TMC_RUN_PROFILE_MANAGEMENT)ユーザー権限が必要です。

手順

[Processing] (処理)ページを開きます。
[Run profiles] (実行プロファイル)タブをクリックします。
削除する実行プロファイルの名前を右クリックしてから、[Delete] (削除)をクリックします。
この実行プロファイルが既存のタスクで使用されている場合は、次のいずれかのオプションを選択してこれらのタスクを再設定します:
- これらのタスクには実行プロファイルを使用しないでください。
- これらのタスクには別の実行プロファイルを使用し、リストから実行プロファイルを選択します。
エンジンの最後の実行プロファイルを削除する場合、実行の再スケジュールは実行プロファイルではなくデフォルト値を使って行われます。
[Dekete] (削除)をクリックし、削除を確定します。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください