メイン コンテンツをスキップする 補完的コンテンツへスキップ

Apache Spark StreamingのtMatchIndexPredictを使う時のメモリ制限

このタスクについて

Spark StreamingジョブでtMatchIndexPredictコンポーネントが使用されている時、Elasticsearchとデータを繰り返し交換します。リクエストとレスポンスデータはバッファーキャッシュに保管されます。ジョブ実行の最大メモリサイズに達すると、次のエラーが発生します:
Exception in thread "I/O dispatcher 1329" java.lang.OutOfMemoryError: Direct buffer memory
	at java.nio.Bits.reserveMemory(Bits.java:694)
	at java.nio.DirectByteBuffer.<init>(DirectByteBuffer.java:123)
	at java.nio.ByteBuffer.allocateDirect(ByteBuffer.java:311)

手順

  1. [Run job] (ジョブを実行)タブ > [Advanced settings] (詳細設定)に移動します。
  2. [Use specific JVM arguments] (特定のJVM引数を使用)チェックボックスを選択します。
    [Argument] (引数)テーブルが有効化されます。
  3. [New] (新規)をクリックします。
    [Set the VM Argument] (VM引数を設定)ダイアログボックスが表示されます。
  4. -Djdk.nio.maxCachedBufferSize=1048576と入力します。
  5. [OK]をクリックします。
  6. ジョブを保存し、実行します。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください