tDQRules / tDataQualityRules

Talend StudioをQlik Talend Data IntegrationまたはTalendアプリに接続させ、データクオリティルールを使ってデータを検証します。

重要: Talend Studio 8.0 R2025-06以降、標準コンポーネントであるtDataQualityRulesは、tDQRulesに置き換えられました。このコンポーネントによって、以下からのルールを使用できるようになります:

Qlik Talend Data Integration。
Talend Cloud Data Inventory。
Talend Cloud Data Stewardship。
Talend Data Stewardship 8.0 R2022-07以降のハイブリッドバージョン

Apache Sparkジョブの場合、Talendアプリで使用できるのはtDataQualityRulesのみです。

各アプリ詳細は、対応するドキュメンテーションをご覧ください:

Qlik Talend Data Integrationについては、Qlik Cloudのドキュメンテーションで検証ルールの操作をご覧ください。
Talend Cloud Data Stewardshipについては、Talend Cloud Data Stewardshipユーザーガイドでデータクオリティルールとはをご覧ください。
Talend Data Stewardship 8.0 R2022-07以降のハイブリッドバージョンについては、Talend Data Stewardshipユーザーガイドのデータクオリティルールとはをご覧ください。ハイブリッドの詳細は、Talend Cloudのハイブリッドとはをご覧ください。
Talend Cloud Data Inventoryについては、Talend Cloud Data Inventoryユーザーガイドでデータクオリティルールとはをご覧ください。このアプリにはTalend Studio 8.0 R2023-06以降で接続できます。

データクオリティルールとは、データが準拠すべき値を定義したビジネス要件のセットのことです。

データクオリティルールを取得してJARファイルにロードするため、tDQRulesはTalend Studioを上記のいずれかのアプリに接続させます。Talend Studioは取得されたライブラリーを使うので、データクオリティルールを自分のデータに適用できます。このコンポーネントがTalendアプリと共に動作するしくみについては、ローカルとクラウド/ハイブリッドプロセスの説明をご覧ください。

コンポーネントがデータを返すカテゴリーとサブカテゴリーは次のとおりです:

出力カテゴリー	tDataQualityRules	tDQRules
[Valid] (有効) そのようなデータは[Main] (メイン)フローに従います。	有効: 条件と検証式を満たすデータ、または代替の検証式のみを満たすデータ。 [Not applicable (NA)] (該当なし): データが条件を満たしていません。このデータにはルールを適用できません。	条件と検証式を満たすデータ、または代替の検証式のみを満たすデータ。
[Invalid] (無効) そのようなデータは[Reject] (リジェクト)フローに従います。	無効: データは条件を満たすものの、検証式は満たしていません。 [Not executable (NE)] (実行不可): データでルールを実行できません。たとえば、データ型が一致しない時です。	無効: データは条件を満たすものの、検証式は満たしていません。 [Not executable (NE)] (実行不可): データでルールを実行できません。たとえば、データ型が一致しない時です。結果がない時は、返すべき結果がないことを意味します。
該当なしこれらのデータはNot_Applicableフローに従います。	このコンポーネントには該当しません	データが条件を満たしていません。このデータにはルールを適用できません。

出力カテゴリー

tDataQualityRules

tDQRules

[Valid] (有効)

そのようなデータは[Main] (メイン)フローに従います。

有効: 条件と検証式を満たすデータ、または代替の検証式のみを満たすデータ。
[Not applicable (NA)] (該当なし): データが条件を満たしていません。このデータにはルールを適用できません。

条件と検証式を満たすデータ、または代替の検証式のみを満たすデータ。

[Invalid] (無効)

そのようなデータは[Reject] (リジェクト)フローに従います。

無効: データは条件を満たすものの、検証式は満たしていません。
[Not executable (NE)] (実行不可): データでルールを実行できません。たとえば、データ型が一致しない時です。

無効: データは条件を満たすものの、検証式は満たしていません。
[Not executable (NE)] (実行不可): データでルールを実行できません。たとえば、データ型が一致しない時です。
結果がない時は、返すべき結果がないことを意味します

。

該当なし

これらのデータはNot_Applicableフローに従います。

このコンポーネントには該当しません

データが条件を満たしていません。このデータにはルールを適用できません。

デフォルトで、このコンポーネントはTalend Studioと共には出荷されていません。機能マネージャーを使ってインストールする必要があります。詳細は、機能マネージャーを使って機能をインストールをご覧ください。

tDQRules / tDataQualityRulesコンポーネントを使用するためには、Qlik Talend Cloud Enterprise Editionが必要です。

Apache Spark tDataQualityRulesは、以下をサポートします:

Apache Spark 3.0以降(ローカルモードの場合)
Apache Spark 3.1または 3.2を伴うCloudera Data Engineeringサービス

標準プロパティ

これらのプロパティは、標準ジョブのフレームワークで実行されているtDQRulesとtDataQualityRulesを設定するために使われます。

標準のtDQRulesコンポーネントとtDataQualityRulesコンポーネントは、データクオリティファミリーに属しています。

重要:

tDataQualityRulesを使用している場合は、tDataQualityRulesの基本設定をご覧ください。Talend Studio 8.0 R2025-06以降、このコンポーネントはtDQRulesと統合されていますが、tDataQualityRulesのプロパティは同じです。これらのプロパティは、使用しているバージョンには依存しません。

tDQRulesの基本設定

プロパティ	説明
Cloud	ルールの取得元としたいアプリを選択します: Qlik Talend Cloud Data Integration Talend Cloud Data InventoryまたはStewardship [Apply] (適用)をクリックし、他の設定を有効にします。 Talend Cloud Data InventoryまたはStewardshipを選択し、tDataQualityRulesを使用している場合は、tDataQualityRulesの基本設定をご覧ください。
[Property Type] (プロパティタイプ)	ファイルパスとスキーマの設定方法を選択します。 Built-In (組み込み): このコンポーネントのファイルパスとスキーマがローカルに設定されます。 [Repository] (リポジトリー): [Repository] (リポジトリー) > [Metadata] (メタデータ)で一元的に保存されたファイルの詳細が、このコンポーネントによって再使用されます。このチェックボックスの横にある [...] ボタンをクリックし、表示された [Repository Content] (リポジトリーのコンテンツ)ダイアログボックスで、再使用するファイルを選択すると、関連するすべてのプロパティに値が自動的に入力されます。
[Schema] (スキーマ)と[Edit schema] (スキーマを編集)	スキーマは行の説明のことで、処理された後に次のコンポーネントに渡されるフィールド(カラム)の数を定義するものです。ジョブで接続している先行コンポーネントからスキーマを取得するためには、[Sync columns] (カラムを同期)をクリックします。 [Schema] (スキーマ)のタイプを選択します。 [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。 [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。 [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。 [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。サポートされているタイプは、Boolean、Date、Double、Dynamic、Float、Integer、Long、Short、Stringです。
URL	情報メモ重要: ルールを取得するためには、[Rules - View] (ルール - 表示)権限が必要です。アプリのURL (`https://qcs.us.qlikcloud.com/`など)を入力します。
API key (APIキー)	APIキーを入力します。APIキーの生成については、APIキーを生成をご覧ください。
[Rule library timestamp] (ルールライブラリーのタイムスタンプ)	URLとトークンを入力したら、[Fetch rules] (ルールをフェッチ)をクリックします。 URLとトークンが正しければ、ルールは`yyyy-MM-dd hh:mm:ss (library_number)`という形式でTalend Studioに取得されます。 [Fetch rules] (ルールをフェッチ)をクリックすると、ルール定義が含まれている`JAR`ファイルが以下で作成されます: `studio-path\configuration\.m2\repository\org\talend\libraries\rule-number` アプリでルールをアップデートする時は、[Fetch rules] (ルールをフェッチ)をクリックして最新バージョンを取得します。
[Rule name] (ルール名)	リストからルールを選択し、[Refresh table] (テーブルを更新)をクリックします。
[Rule content] (ルールコンテンツ)	ルールの変数を入力データに関連付けます。ルールはライブラリーから取得されます。 [Rule variable] (ルール変数): クラウドアプリからの変数。 [Input column] (入力カラム): Talend Studioからの入力カラム。 [Fact column] (ファクトカラム): カラムが動的な場合の、Talend Studioからの入力カラム。利用できるルールや入力カラムがない時は、次の点をご確認ください: [Rule library timestamp] (ルールライブラリーのタイムスタンプ)でルールが取得されていること入力スキーマが正しいこと

tDataQualityRulesの基本設定

プロパティ	説明
Cloud	このオプションはTalend Studio 8.0 R2025-06以降で利用可能です。ルールの取得元としたいアプリを選択します: Qlik Talend Cloud Data Integration Talend Cloud Data InventoryまたはStewardship [Apply] (適用)をクリックし、他の設定を有効にします。 Qlik Talend Cloud Data Integrationを選択し、tDQRulesを使用している場合は、tDQRulesの基本設定をご覧ください。
[Schema] (スキーマ)と[Edit schema] (スキーマを編集)	スキーマは行の説明のことで、処理された後に次のコンポーネントに渡されるフィールド(カラム)の数を定義するものです。ジョブで接続している先行コンポーネントからスキーマを取得するためには、[Sync columns] (カラムを同期)をクリックします。 [Schema] (スキーマ)のタイプを選択します。 [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。 [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。 [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。 [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。サポートされているタイプは、Boolean、Date、Double、Dynamic、Float、Integer、Long、Short、Stringです。
アプリケーション	データクオリティルールの取得元としたいアプリケーションを選択します。
URL	情報メモ重要: ルールを取得するためには、[Rules - View] (ルール - 表示)権限が必要です。選択されたアプリのURL (Qlik Talend Data Integrationの場合は`https://qcs.us.qlikcloud.com/`など)を入力します。 Talendアプリの場合は、次のURLがサポートされています: Talend Cloud Data Stewardship、またはTalend Data Stewardship 8.0 R2022-07以降のハイブリッドバージョン `https://tds.<env>.cloud.talend.com/rulerepository/api/v1 https://tds.<env>.cloud.talend.com/rulerepository/api/v1/ https://tds.<env>.cloud.talend.com/rulerepository https://tds.<env>.cloud.talend.com/rulerepository/ https://tds.<env>.cloud.talend.com (Only for Talend Cloud Data Stewardship) https://tds.<env>.cloud.talend.com/ (Only for Talend Cloud Data Stewardship)` ハイブリッドバージョンを使う場合は、IPアドレスかホスト名でURLを使用できます: `https://ip:19999/rulerepository/api/v1 https://ip:19999/rulerepository/api/v1/ https://ip:19999/rulerepository https://ip:19999/rulerepository/ https://hostname:19999/rulerepository/api/v1 https://hostname:19999/rulerepository/api/v1/ https://hostname:19999/rulerepository https://hostname:19999/rulerepository/` Talend Cloud Data Inventory (Talend Studio 8.0 R2023-06以降): `https://tdc.<env>.cloud.talend.com/rulerepository/api/v1 https://tdc.<env>.cloud.talend.com/rulerepository/api/v1/ https://tdc.<env>.cloud.talend.com/rulerepository https://tdc.<env>.cloud.talend.com/rulerepository/ https://tdc.<env>.cloud.talend.com https://tdc.<env>.cloud.talend.com/`
[Token] (トークン)	トークンを入力します。トークンを生成する場合は、パーソナルアクセストークンを生成をご覧ください。
[DQ rule library timestamp] (DQルールライブラリーのタイムスタンプ)	URLとトークンを入力したら、[Refresh] (更新)をクリックします。 URLとトークンが正しければ、ルールは`yyyy-MM-dd hh:mm:ss (library_number)`という形式でTalend Studioに取得されます。 [Fetch rules] (ルールをフェッチ)をクリックすると、ルール定義が含まれている`JAR`ファイルが以下で作成されます: `studio-path\configuration\.m2\repository\org\talend\libraries\rule-number` クラウドやハイブリッドバージョンでルールをアップデートする場合は、[Refresh] (更新)をクリックして最新バージョンを取得します。
[Configure DQ rules] (DQルールを設定)	ルールの変数を入力データに関連付けます。ルールはライブラリーから取得されます。 [DQ Rule] (DQルール): ルールを選択します。 [Rule variable] (ルール変数): ルールの変数は自動的に取得されます。 [Input column] (入力カラム): 変数を置き換える必要がある値が含まれているカラムを選択します。 [Dynamic column selection] (ダイナミックカラムの選択): ダイナミックカラムを入力カラムとして選択した場合は、そのカラム名を二重引用符で囲んでカラム名を入力します。情報メモ制約事項: ルール変数を1つのカラムにのみ関連付けることができます。[Dynamic column selection] (ダイナミックカラムの選択)にカラムを1つだけ入力してください。利用できるルールや入力カラムがない場合は、次の点をご確認ください。 [DQ rule library timestamp] (DQルールライブラリーのタイムスタンプ)でデータクオリティルールが取得されたこと入力スキーマが正しいこと Talend Studioのデータ型は、アプリのデータ型の一部に関連付けることができます。下のデータ型を関連付けをご覧ください。他のルールを適用する場合は、をクリックします。

データ型を関連付け

関連付けることができるデータ型は次のとおりです。

アプリからのルール変数 *	入力カラム(Talend Studioより)
Number	Double、Float、Integer、Long、Short、String
Boolean	Boolean
Text	文字列
Date	Date
アプリケーションでサポートされる任意のデータ型	ダイナミック
* 次のURLを入力できます。 Talend Cloud Data Stewardship。 Talend Data Stewardship 8.0 R2022-07以降のハイブリッドバージョン Talend Cloud Data Inventory (Talend Studio 8.0 R2023-06以降)

Qlik Talend Data Integrationについては、データクオリティルールを使って作業で、アプリでサポートされているタイプをご覧ください。

詳細設定

プロパティ	説明
[tStatCatcher statistics] (tStatCatcher統計)	このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください