Apache Spark StreamingのtFixedFlowInputプロパティ
これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtFixedFlowInputを設定するために使われます。
Spark StreamingのtFixedFlowInputコンポーネントは、その他ファミリーに属しています。
このコンポーネントはTalend Real-Time Big Data PlatformとTalend Data Fabricで利用できます。
基本設定
|
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明で、処理された後に次のコンポーネントに渡されるフィールドの数を定義するものです。スキーマは組み込みか、[Repository] (リポジトリー)にリモートで保存されます。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
|
|
|
[Built-in] (組み込み): このコンポーネントに対してのみ作成されたスキーマがローカルに保管されます。[Basic settings] (基本設定)タブにあるコンポーネントスキーマの詳細は、[Basic settings] (基本設定)をご覧ください。 |
|
|
[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されているので、さまざまなプロジェクトやジョブデザインで再利用できます。[Basic settings] (基本設定)タブにあるコンポーネントスキーマの詳細は、[Basic settings] (基本設定)をご覧ください。 |
|
[Mode] (モード) |
3つのオプションから、使うモードを選択します。 [Use Single Table] (単一のテーブルを使う): 生成するデータを関連する値フィールドに入力します。 [Use Inline Table] (インラインテーブルを使う): 生成する行を追加します。 [Use Inline Content] (インラインコンテンツを使う): [Row] (行)フィールドと[Field Separator] (フィールド区切り)フィールドで定義した区切りで区切って、生成するデータを入力します。 |
|
[Number of rows] (行数) |
生成する行数を入力します。 |
|
[Input repetition interval] (入力繰り返し間隔) |
入力データが次のコンポーネントにもう一度送信される時間間隔をミリ秒単位で入力します。 これにより、データフローのストリームを生成できます。 |
|
値 |
[Edit schema] (スキーマを編集)ボタンを使ってスキーマダイアログボックスで定義したカラムに対応する値を、引用符の間に入力します。 |
使用方法
|
使用ルール |
このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。 このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。 特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。 |
|
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |