Apache Spark StreamingのtJavaRowプロパティ
これらのプロパティを使用て、Spark Streamingジョブのフレームワークで実行されているtJavaRowを設定するために使われます。
Spark StreamingのtJavaRowコンポーネントは、カスタムコードファミリーに属しています。
このコンポーネントはTalend Real-Time Big Data PlatformとTalend Data Fabricで利用できます。
基本設定
プロパティ | 説明 |
---|---|
[Schema] (スキーマ)と[Edit Schema] (スキーマを編集) |
|
[Map type] (マップタイプ) |
書き込む必要のあるマップ変換の種類を選択します。これでコンポーネントは、メソッドを自動的に選択し、カスタムコードで使用する変数を宣言できます。 使用できる種類は次のとおりです。
これらのメソッドについては、https://spark.apache.org/docs/latest/api/java/index.htmlでJava APIに関するApache Sparkのドキュメンテーションをご覧ください。 |
[Generate code] (コードの生成) |
[Code] (コード)フィールド内にコードを自動生成するには、このボタンをクリックして、入力スキーマのカラムを出力スキーマのカラムにマッピングします。この生成によって、スキーマの内容は何も変更されません。 生成されたサンプルコードは、事前定義されたどの変数が入力および出力RDDに対するものであるか、また、それらの変数をどう使用したらよいかを示します。 |
[Code] (コード) |
[Map type] (マップの種類) ドロップダウンリストから選択したメソッドのカスタムBodyを書き込みます。入力スキーマと出力スキーマを使用して、入力および出力RDDレコードのカラムを管理する必要があります。このカスタムコードは、RDDレコード内で行ごとに適用されます。 たとえば、入力スキーマにuserカラムが含まれていれば、input.user変数を使用して各入力レコードのuserカラムを取得する必要があります。 カスタムコードの書き込みに使用できる変数については、このフィールドに表示されるデフォルトコメントをご覧ください。 |
詳細設定
プロパティ | 説明 |
---|---|
Import |
インポートするJavaコード、および必要に応じて[Basic settings] (基本設定)ビューの[Code] (コード)フィールドで使用されている外部ライブラリーを入力します。 |
使用方法
使用方法のガイダンス | 説明 |
---|---|
使用ルール |
このコンポーネントは中間ステップとして使用されます。 このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。 特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。 |
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |
[Limitation] (制限事項) |
SparkとJava言語の知識が必要です。 |