Apache Spark BatchのtCacheClearプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtCacheClearを設定するために使われます。
Spark BatchのtCacheClearコンポーネントは、変換処理ファミリーに属しています。
このフレームワークのコンポーネントは、すべてのサブスクリプションベースのビッグデータ対応のTalend製品およびTalend Data Fabricで使用できます。
基本設定
|
[Output cache] (出力キャッシュ) |
tCacheInがRDDキャッシュを読み取るtCacheOutコンポーネントを選択します。 |
グローバル変数
|
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。 |
使用方法
|
使用ルール |
このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。 このコンポーネントは、tCacheOutと共に使用されます。tCacheInがSpark DAG (有向非巡回グラフ: SparkがSparkアクションのスケジューリングに使用するモデル)のすべてを再計算せずにキャッシュを読み取ることができるように、反復により、tCacheOutは入力データをキャッシュとして保存します。 tCacheClearコンポーネントは、キャッシュに保存されているデータを不要になった時点でメモリから削除します。 このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。 特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。 |