tFileOutputParquetの標準プロパティ
これらのプロパティは、標準ジョブのフレームワークで実行されているtFileOutputParquetを設定するために使われます。
標準のtFileOutputParquetコンポーネントは、ファイルファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのサブスクリプションベースのTalend製品で使用できます。
基本設定
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。
スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。変更を加えると、スキーマは自動的に組み込みになります。
このコンポーネントは、ダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、ダイナミックスキーマをご覧ください。 ダイナミックスキーマ機能は、テーブルの不明なカラムを取得するしくみになっており、その他の目的には使用しないことをお勧めします。テーブルの作成には推奨しません。 |
[File name] (ファイル名) |
出力ファイルや使用する変数の名前またはパス。 ジョブで変数を定義して使用する方法は、コンテキストと変数を使用をご覧ください。 情報メモ警告: エラーを避けるために、このフィールドには(相対パスの代わりに)絶対パスを使用します。
|
[Action] (アクション) |
データを書き込む操作を選択します。 [Create] (作成): ファイルを作成してデータを書き込みます。 [Overwrite] (上書き): ファイルが既に存在する場合は上書きします。 |
[Compression] (圧縮) |
デフォルトでは、[Uncompressed] (非圧縮)オプションがアクティブになっています。ただし、GzipまたはSnappyオプションを選択すれば、出力データを圧縮できます。 |
[Use external Hadoop dependencies] (Hadoopの外部依存項目を使用) |
このチェックボックスを選択するとHadoopの外部依存項目が使われます。"file:///path/out.parquet"という形式に従って、[File name] (ファイル名)フィールドにパスを入力します。 |
詳細設定
[Row group size (in bytes)] (行グループサイズ(バイト)) |
行グループサイズをバイトで設定します。 |
[Page size (in bytes)] (ページサイズ(バイト)) |
ページサイズをバイトで設定します。 |
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスを選択すると、ジョブレベルやコンポーネントレベルでジョブ処理メタデータが収集されます。 |
グローバル変数
グローバル変数 |
NB_LINE: 入力コンポーネントによって読み取られた行の数、または出力コンポーネントに転送された行の数。これはAfter変数で、整数を返します。 ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。 FILE_PATH: Boxで処理されているフォルダーまたはファイルを参照するパス。これはFlow変数で、文字列を返します。 Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。 フィールドまたは式に変数を入力する場合は、Ctrl + スペースを押して変数リストにアクセスし、使用する変数を選択します。 変数の詳細は、コンテキストと変数を使用をご覧ください。 |
使用方法
使用ルール |
このコンポーネントは、終了コンポーネントとして使用され、入力リンクを必要とします。 |