# Apache Spark StreamingのtJavaプロパティ これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtJavaを設定するために使われます。 Spark StreamingのtJavaコンポーネントは、カスタムコードファミリーに属しています。 このコンポーネントはTalend Real-Time Big Data PlatformとTalend Data Fabricで利用できます。 ## 基本設定 | プロパティ | 説明 | | --- | --- | | [Schema] (スキーマ)と[Edit Schema] (スキーマを編集) | | | [Code] (コード) | 入力リンクからのRDDを処理するため、または新しいRDDをこの入力リンクから作成するためのJavaコードを入力します。

スキーマ、リンクとコンポーネント名を利用してカスタムコードを作成する必要があります。たとえば、このコンポーネントのラベルが*tJava\_1*で、tJava\_1への接続のラベルが*row1*である場合、入力RDDのクラスは*row1Struct*で。入力RDD自体は*rdd\_tJava\_1*変数と共に利用できます。

詳細な手順は、このコンポーネントの[Code] (コード)フィールドに記載のデフォルトのコメントをご覧ください。

Spark Java APIの詳細は、ApacheのSparkのドキュメント(https://spark.apache.org/docs/latest/api/java/index.html)をご覧ください。 | ## 詳細設定 | プロパティ | 説明 | | --- | --- | | Classes (クラス) | [Basic settings] (基本設定)ビューの[Code] (コード)フィールドに書き込まれたコード内で使用する必要のあるクラスを定義します。

シリアライズで最終的な例外の発生を避けるために、[Code] (コード)フィールド内ではなく、このフィールド内で新しいクラスを定義することをお勧めします。 | | [Import] (インポート) | インポートするJavaコード、および必要に応じて[Basic settings] (基本設定)ビューの[Code] (コード)フィールドで使用されている外部ライブラリーを入力します。 | ## 使用方法 | 使用方法のガイダンス | 説明 | | --- | --- | | **使用ルール** | このコンポーネントは、終了コンポーネントとして使用され、入力リンクを必要とします。 | | コードサンプル | [Basic settings] (基本設定)ビューの[Code] (コード)フィールドに次のコードを入力し、入力RDDにカスタム変換を使用して、出力RDDを作成します。mapInToOutは、[Advanced settings] (詳細設定)ビューの[Classes] (クラス)フィールドで定義するクラスです。

```
outputrdd_tJava_1 = rdd_tJava_1.map(new mapInToOut(job));
```

[Advanced settings] (詳細設定)ビューの[Classes] (クラス)フィールドに次のコードを入力して、mapInToOutクラスを定義します。

```
public static class mapInToOut implements
org.apache.spark.api.java.function.Function{

private ContextProperties context = null;
private java.util.List fieldsList;

public mapInToOut(JobConf job) {
this.context = new ContextProperties(job);
}

@Override
public RecordOut_tJava_1 call(inputStruct origStruct) {

if (fieldsList == null) {
this.fieldsList = (new inputStruct()).getSchema()
.getFields();
}

RecordOut_tJava_1 value = new RecordOut_tJava_1();

for (org.apache.avro.Schema.Field field : fieldsList) {
value.put(field.pos(), origStruct.get(field.pos()));
}

return value;

}
}
``` | | [Spark Connection] (Spark接続) | [Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。



この接続は、ジョブごとに有効になります。 |