tUniqRowの標準プロパティ

[Schema] (スキーマ)と[Edit schema] (スキーマを編集)

• スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

  スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

    変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

  このコンポーネントはダイナミックスキーマ機能の利点を備えているので、ソースファイルから不明なカラムを取得したり、各カラムを個別にマッピングしなくてもソースからカラムを一括してコピーしたりできます。ダイナミックスキーマの詳細は、ダイナミックスキーマをご覧ください。

  ダイナミックスキーマ機能は、テーブルの不明なカラムを取得するしくみになっており、その他の目的には使用しないことをお勧めします。テーブルの作成には推奨しません。

• [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

• [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

[Unique key] (一意キー)

このエリアで、特定のカラムで重複除去を実行する1つ以上のカラムを選択します。

- [Key attribute] (キー属性)チェックボックスをオンにすると、すべてのカラムで重複除去が実行されます。

- [Case sensitive] (大文字と小文字を区別)チェックボックスをオンにすると、大文字小文字が区別されます。

[Only once each duplicated key] (各重複キーを1つに限定)

このチェックボックスをオンにすると、カラムの最初の重複エントリーのみが重複の出力フローに送信するキーとして定義されます。

[Use of disk (suitable for processing large row set)] (ディスクの使用:大量行セットの処理に最適)

このチェックボックスをオンにすると、大量のデータの処理時、ハードディスクに一時ファイルを生成できます。これにより、メモリオーバーフローが原因のジョブ実行エラーを回避できます。このチェックボックスをオンにすると、以下の定義も必要になります:

-[Buffer size in memory] (メモリのバッファーサイズ): ハードディスクに一時ファイルを生成する前に、メモリにバッファリングできる行数を選択します。

-[Directory for temp files] (一時ファイルのディレクトリー): 一時ファイルを保存する場所を設定するために使われます。

[Ignore trailing zeros for BigDecimal] (BigDecimalの末尾のゼロを無視)

このチェックボックスをオンにすると、BigDecimalデータの末尾のゼロが無視されます。

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスをオンにすると、ジョブレベルやコンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

NB_UNIQUES: 一意の行の数。これはAfter変数で、整数を返します。

NB_DUPLICATES: 重複行の数。これはAfter変数で、整数を返します。

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入力する場合は、Ctrl + スペースを押して変数リストにアクセスし、使用する変数を選択します。

変数の詳細は、コンテキストと変数を使用をご覧ください。

使用ルール

このコンポーネントはデータのフローを処理し、入力と出力を必要とするため、中間ステップとして定義されます。