Apache Spark BatchのtFixedFlowInputプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtFixedFlowInputを設定するために使われます。
Spark BatchのtFixedFlowInputコンポーネントは、その他ファミリーに属しています。
このフレームワークのコンポーネントは、すべてのサブスクリプションベースのビッグデータ対応のTalend製品およびTalend Data Fabricで使用できます。
基本設定
|
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明で、処理された後に次のコンポーネントに渡されるフィールドの数を定義するものです。スキーマは組み込みか、[Repository] (リポジトリー)にリモートで保存されます。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
|
|
|
[Built-in] (組み込み): このコンポーネントに対してのみ作成されたスキーマがローカルに保管されます。[Basic settings] (基本設定)タブにあるコンポーネントスキーマの詳細は、[Basic settings] (基本設定)をご覧ください。 |
|
|
[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されているので、さまざまなプロジェクトやジョブデザインで再利用できます。[Basic settings] (基本設定)タブにあるコンポーネントスキーマの詳細は、[Basic settings] (基本設定)をご覧ください。 |
|
[Mode] (モード) |
3つのオプションから、使うモードを選択します。 [Use Single Table] (単一のテーブルを使う): 生成するデータを関連する値フィールドに入力します。 [Use Inline Table] (インラインテーブルを使う): 生成する行を追加します。 [Use Inline Content] (インラインコンテンツを使う): [Row] (行)フィールドと[Field Separator] (フィールド区切り)フィールドで定義した区切りで区切って、生成するデータを入力します。 |
|
[Number of rows] (行数) |
生成する行数を入力します。 |
|
値 |
[Edit schema] (スキーマを編集)ボタンを使ってスキーマダイアログボックスで定義したカラムに対応する値を、引用符の間に入力します。 |
詳細設定
|
[Set the number of partitions] (パーティション数の設定) |
入力行を転送するパーティションの数を入力するには、このチェックボックスをオンにします。 このチェックボックスをオフのままにすると、各入力行がパーティションを形成します。たとえば、[Number of rows] (行数)フィールドが5の場合、各行は1つのパーティションとして処理されるため、合計で5つのパーティションになります。 |
使用方法
|
使用ルール |
このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。 このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。 特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。 |
|
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |