Apache Spark StreamingのtMatchIndexPredictを使う時のメモリ制限
このタスクについて
情報メモ重要: このコンポーネントはTalend Studio 8.0 R2025-03で非推奨となり、Talend Studio 8.0 R2025-07以降は削除されます。
Spark StreamingジョブでtMatchIndexPredictコンポーネントが使用されている時、Elasticsearchとデータを繰り返し交換します。リクエストとレスポンスデータはバッファーキャッシュに保管されます。ジョブ実行の最大メモリサイズに達すると、次のエラーが発生します:
Exception in thread "I/O dispatcher 1329" java.lang.OutOfMemoryError: Direct buffer memory
at java.nio.Bits.reserveMemory(Bits.java:694)
at java.nio.DirectByteBuffer.<init>(DirectByteBuffer.java:123)
at java.nio.ByteBuffer.allocateDirect(ByteBuffer.java:311)