メイン コンテンツをスキップする 補完的コンテンツへスキップ

Talend Cloud Data CatalogアプリケーションとTalend Data Catalogアプリケーション

新機能と改良点

機能 説明

対象製品

データフロー来歴図: モデル間の依存項目を表示

メタデータ管理で、コンテンツやモデル依存項目の来歴のサポートが追加されました。

Talend Data Catalogの全ライセンス

新しいメタモデルの管理 新しいメタモデル管理機能によって、データ管理(参照データ、データクオリティ、データセキュリティ、データ問題管理、ビジネスルールとポリシー、ビジネスプロセスのモデリングと改善、規制遵守など)のためのカスタムモデルを定義し、インポートモデルを拡張できます。
メタモデリング機能は[Manage Metamodel] (メタモデルを管理)ページで利用できます。

Talend Data Catalogの全ライセンス

新しいカスタムビジネスモデル 新しいメタモデリング機能を使えば、カスタムモデル(参照データ、ビジネスポリシーとルール管理、データ問題管理に関連するモデルなど)を定義できます。

カスタムモデルは、[Manage Metamodel] (メタモデルを管理ページで定義されているカスタムモデルタイプのインスタンスです。Talend Cloud Data Catalogではそのようなカスタムモデルに対し、オブジェクトモデリング機能とUMLクラス図のグラフィカルな編集機能が提供されています。

Talend Cloud Data Catalogではまた、標準およびシステムビジネスモデルとモデル拡張機能も提供されています。[Standard] (標準)パッケージに新しいKPIとAcronymオブジェクトを含む用語集モデルが追加されました。

いちど定義すれば、インポートモデルで利用できる機能(データ入力、分析、ワークシートやダッシュボードを使ったレポートなど)をカスタムモデルでも利用できるようになります。
  • オブジェクト詳細ページに新しく追加された[Hierarchies] (階層)タブを使うと、モデルを階層的に探索し、データ入力やレポート作成が容易になりす。
  • Talend Data CatalogまたはTalend Cloud Data CatalogのAdvancedライセンスエディションおよびAdvanced Plusライセンスエディションでは、カスタムモデルでワークフローと公開のプロセスを有効にしてカスタマイズすることで、オブジェクトクラスへの変更を[Workflow] (ワークフロー)タブで制御できるようになります。
  • メタモデルパッケージを使って外部で一括編集やレポーティングするため、メタモデルのサブセットをインポートまたはエクスポートできます。これにより、サードパーティの拡張パッケージを開発および提供し、カスタムモデルの背後にあるツールやアプリケーション(データ問題管理に関するモデルの場合のJIRAなど)と実際のコネクターを定義できます。この機能は[Manage Metamodel] (メタモデルを管理)ページで利用可能です。

Talend Data Catalogの全ライセンス

インポートされた技術モデルの新しい拡張機能 新しいメタモデリング機能を使えば、インポートされたモデルのデータドキュメンテーションを拡張できます。
インポートされたモデルとは、インポートブリッジに関連付けられ、収集プロセスを通じて実装されているモデルのことです。
  • 新しいインポートオブジェクトタイプは[Manage Metamodel] (メタモデルを管理)ページで定義できます。これによって類似のプロファイルオブジェクトをインポートされたオブジェクトタイプのコレクションにグルーピングし、そのコレクションにカスタム属性を同時に適用できるようになります。
  • インポートされたオブジェクトとカスタムオブジェクトの両方についてカスタム属性を定義、適用、再利用できます。インポートされた類似オブジェクトに適用するカスタム属性のスコープを1つずつ再定義する必要がなくなります。
  • カスタムオブジェクトからインポートされたオブジェクトへのカスタム関係を定義することで、たとえばデータアセットでビジネスルールやポリシーを適用できるようになります。

    カスタム関係もセマンティックフローに含まれているよう設定できます。たとえば、[Semantic Flow] (セマンティックフロー)タブではテーブルカラムの用語定義と関連するビジネスルールを確認できます。

  • [Is Defined By] (定義者)という関係を新しく定義すれば、用語ドキュメンテーションのプロセス実装が可能になります。これによって、クラウド移行後にデータドキュメンテーションを新しい実装へ再インポートするなど、技術やアーキテクチャーの継続的変化にプロセスを適応させられるようになります。

Talend Data Catalogの全ライセンス

グローバルロールとオブジェクトロールによる新しいロールベースのアクセスコントロール Talend Cloud Data Catalogで新しいロールベースのアクセスコントロールを利用できるようになりました。
  • グローバルロールは、すべてのカタログアセットに対してユーザーがグローバルで負う責任を規定します。このようなロールは[Manager Global Roles] (グローバルロールを管理)という新しいページで管理します。
  • オブジェクトロールは、特定のカタログアセット(用語集やモデルなど)に対してユーザーが負う責任を規定します。このようなロールは[Manager Object Roles] (オブジェクトロールを管理)という新しいページで管理します。

    オブジェクトロールは、設定マネージャーかリポジトリマネージャーの[Responsibilities] (責任)という新しいタブ、またはオブジェクト詳細ページのオブジェクトに割り当てます。

  • グローバルロールとオブジェクトロールによって、カタログで実行可能なアクション(管理機能や編集機能など)を定義する事前定義済み機能一式を利用できるようになります。
  • 用意されている事前定義済みのグローバルロールとオブジェクトロールは、所属する組織の特定のニーズに合わせてカスタマイズできます。定義済みのロールがハードコードされなくなりました。

    定義済みのグローバルロールとオブジェクトロールをカスタマイズし、機能の割り当てを変更できます。また、ゼロから、あるいは既存のロールに基づいて新しいロールを作成することもできます。

  • ユーザーやユーザーグループをオブジェクトロールまたはグローバルロールに関連付ける場合、この関連付けは「責任」と呼ばれます。

Talend Data Catalogの全ライセンス

新しいデータ分類 データ分類は、カタログにインポートされたデータソースに含まれているエレメントの性質と目的を検出、理解、分類するのに役立ちます。セマンティックタイプがデータクラスに置き換えられました。

データクラスの管理は[Manage Data Classes] (データクラスを管理)という新しいページで行います。

データクラスには次のような種類があります。
  • データ型が改善され、列挙、パターン、正規表現に基づくデータサンプリングとプロファイリング機能を使ってデータの性質を検出できるようになりました。

    新しいマッチングしきい値機能と一意性しきい値機能を使ってマッチングルールを設定できるようになりました。

    新しいコード値の自動学習など、データパターンや列挙で機械学習に基づく新しい自動セマンティック検索を使用できるようになりました。このプロセスにより、Talend Data Catalogが行う自動タグ付けの提案が改善されています。

    データクラスの追加やアップデートを行った後、オンデマンドでサーバー側の再分類機能を使用できるようになりました。変更を反映させるためにデータのサンプリングとプロファイリングを行う必要がなくなりました。

  • 新しいメタデータ型はメタデータの属性によってクラスを検出します。これは、データサンプリングとプロファイリングのプロセスでは識別できない機密データを検出するうえで役立ちます。この機能はメタデータクエリー言語(MQL)によって提供されます。
  • 複合型が改善され、複数のデータクラスに基づくようになりました。
Talend Cloud Data Catalogにはデータ、メタデータ、複合という各タイプの新しいPIIデータクラスが揃っており、これによって機密データを簡単に識別して隠すことができます。

Talend Data Catalogの全ライセンス

新しい秘密度ラベル 新しい秘密度ラベルを使えば機密データを識別できます。
オブジェクト詳細ページの右上に秘密度ラベルのアイコンが新しく表示されます。

このラベルは[Manage Sensitivity Labels] (秘密度ラベルを管理)ページで管理およびカスタマイズします。

これらのラベルは、各オブジェクトに手動でタグを付ける、ワークシートの一括編集機能を使う、データ分類の自動検出を使う、推測済み秘密度ラベルを使うといった方法で適用できます。

Talend Data Catalogの全ライセンス

新しい条件ラベル メタデータクエリー言語(MQL)に基づいて新しい条件付きラベルを定義できます。
このラベルは[Manage Conditional Labels] (条件ラベルを管理)という新しいページで管理および作成します。
条件ラベルは、オブジェクト詳細ページの概要タブにある[Conditional Labels] (条件ラベル)エリアで確認できます。

条件ラベルは、検索結果、ワークシート、データフローの来歴図に表示できます。

Talend Data Catalogの全ライセンス

新しいラベル管理 [Manage Labels] (ラベルを管理)という新しいページで、ラベルの割り当てを確認したり削除したりできるようになりました。

デフォルトでは、[All Labels] (すべてのラベル)ビューでリポジトリー内のラベルがすべて表示されます。また、[Configuration Labels] (設定ラベル)ビューでは、現在の設定内のオブジェクトに割り当てられたラベルを確認することもできます。

Talend Data Catalogの全ライセンス

新しいオブジェクトウォッチャーとメール通知 新しいウォッチャー通知では、あるオブジェクトに特定のイベントが発生した時にそのオブジェクトのウォッチャーに通知できるようになっています。
サーバー側のウォッチャーに対する電子メール通知は、[Manage Email] (メールを管理)ページで有効にします。

オブジェクトロールによるウォッチャーの編集機能や管理機能の設定は、[Manage Object Roles] (オブジェクトロールを管理)ページで行います。

[Manage Users] (ユーザーを管理)ページ、または[User Profile] (ユーザープロファイル)というUIで、ウォッチャー用の通知頻度を設定できます。

オブジェクト詳細ページの右上に秘密度ラベルのアイコンが新しく表示されます。このメニューで、オブジェクトの監視を開始または停止したり、監視者の数を確認したり、オブジェクトの監視者を管理したりできます。
この機能はインポートされたテクニカルモデルとカスタムビジネスモデルで利用できます。マルチモデルの場合は、モデルレベルまたはサブモデルレベルでのみ利用できます。
  • 技術モデルのウォッチャーであれば、インポート後の変更や新しい認証などの変更があった場合、モデル別、およびアクティビティの種類別にメールが届きます。
  • ビジネスモデル、データまたはセマンティックマッピング、物理データモデルのウォッチャーであれば、すべてのレベルのすべての変更についてモデル別にメールが届きます。

変更の概要統計とモデルバージョン比較レポートへのリンクが含まれている電子メールを受信できます。

また、ワークフローの移行、設定変更、サーバーエラーなど、ロールや能力の割り当てに応じて通知メールを受け取ることもできます。

Talend Data Catalogの全ライセンス

Cloudシークレットマネージャーに認証情報を保管する新機能 [Manage Secret Vaults] (シークレットコンテナーを管理)という新しいページで、ブリッジ認証情報(ユーザー、パスワード、プライベートキーなど)をCloudシークレットマネージャーに保管できるようになりました。
Talend Cloud Data Catalogでは、以下のCloudシークレットマネージャーがサポートされています。
  • Amazon AWS Secrets Manager
  • Microsoft Azure Key Vault
  • Google Secret Manager

Talend Data Catalogの全ライセンス

データドキュメンテーションの自動化と生産性の向上 データドキュメンテーションは、テクニカルデータを誰もが理解できるビジネス用語で定義するのに役立ちます。データドキュメンテーションには次のようなカテゴリーがあります。
  • ビジネスドキュメンテーションでは、ローカルドキュメンテーションがビジネス名とビジネスディスクリプション共に提供されます。用語ドキュメンテーションの代わりに使用できます。
  • 用語ドキュメンテーション(以前は用語の分類と呼ばれていました)は、インポートされたオブジェクトを用語集からの用語を使ってドキュメント化できるようにします。本バージョンから[Is Defined By] (定義者)関係が作成されるようになりました。
  • マッピング済みドキュメンテーションは、セマンティックマッピングによって接続されたインポートされたオブジェクトを、用語集の用語またはデータモデルからのエンティティ/属性を使ってドキュメント化できるようにします。
  • 推測済みドキュメンテーションは、インポートされたオブジェクトに関するデータドキュメンテーションを提供します。これは、そのオブジェクトのデータフローパススルー来歴およびインパクトに含まれる他のオブジェクトから自動的に生成されます。この機能により、自動データドキュメンテーションでカバーする範囲が拡大され、多くのデータストアに対応できます。
オブジェクト詳細ページの[Overview] (概観)タブに、新しいビジネス、用語、マッピング、推測済みドキュメンテーションのウィザードが表示されるようになりました。Talend Cloud Data Catalogは、命名基準と監視対象の学習機能を採用することにより技術名に基づいてビジネス名を提案します。また、推測済みドキュメンテーションからビジネスディスクリプションを提案することもできます。

REST API、MQL、ワークシート、ダッシュボードで新しく利用可能となったTerm Documentation属性とInferred Documentation属性を使えば、データドキュメンテーションでカバーする範囲で新しいKPIグラフィカルウィジェットを作成できます。

Talend Data Catalogの全ライセンス

アップデート日のソート機能を追加 オブジェクトエクスプローラー、ワークシート、検索で、結果をアップデート日でソートできるようになりました。

Talend Data Catalogの全ライセンス

データプロファイリングとサンプリングのアーキテクチャーの改善 リモート収集サーバーで集められたデータサンプリングとプロファイリングの結果がサーバー側に保存されるようになりました。これにより、リモート収集サーバーに戻ることなく、自動または(データクラスの作成後など)必要に応じてデータサンプリングとプロファイリングをアップデートできます。

Talend Data Catalogの全ライセンス

メタデータのレポーティングとプレゼンテーションの改善 サーバー間でのデフォルトプレゼンテーションのインポートとエクスポートを[Manage Default Presentations] (デフォルトプレゼンテーションを管理)ページでできるようになりました。

オブジェクト詳細ページのプレゼンテーションに新しいグラフィカルなウィジェットが追加されています。

Talend Data Catalogの全ライセンス

REST API機能の改善 REST APIで次の新機能を利用できるようになりました。
  • MQLクエリー関数にscopeという新しいパラメーターを追加
  • リポジトリーでのメタモデルパッケージの新しいインポート/エクスポート機能
  • リポジトリーでのインポートされたモデルとカスタムモデルの新しいインポート/エクスポート機能
  • ロールでのグローバルロールとオブジェクトロールを管理する新機能
  • データクラスを管理し、セマンティックタイプに代わる新しいデータクラスグループ
  • 秘密度ラベルを使うための新しい秘密度ラベル

詳細は、Talend Cloud Data Catalog REST APIのドキュメンテーションページでSee General Documentationリンクをクリックしてください。

Talend Data Catalogの全ライセンス

メタデータクエリー言語(MQL)の改善 レポート、ダッシュボード、ワークシートでメタデータクエリー言語を使用する際、属性に特殊文字の構文を使用する必要がなくなりました。

ワークシートとダッシュボードでのレポート機能が改善され、データサンプリング、データプロファイリング、データ分類、オブジェクトとグローバルロール、ワークフローアクションに関連するシステムオブジェクトが新しくサポートされました。クエリーで使用できる新しいシステム属性については、以下の新しいワークシート属性を参照してください。

詳細は、Talend Cloud Data Catalog REST APIのドキュメンテーションページでSee General Documentationリンクをクリックしてください。

Talend Data Catalogの全ライセンス

新しいワークシート属性
  • 来歴属性としてHas Semantic UsageHas Semantic DefinitionHas Data LineageHas Data Impactが新しく追加され、未使用のオブジェクトを検出できるようになりました。これらの属性はフィルターとして使うこともできます。

  • データ分類属性として、Data ClassificationsData Classification MatchedData Classification RejectedData Classification Approvedが新しく追加されました。

  • ドキュメンテーション属性として、以下が新しく追加されました。
    • Term Documentation: オブジェクトをドキュメント化する用語(名前と説明)のリストを表示します。
    • Mapped Documentation: オブジェクトをドキュメント化し、セマンティックにマッピングされたオブジェクトのリストを表示します。
    • Inferred Documentation: パススルーデータの来歴や影響を通じてオブジェクトを間接的にドキュメント化した用語のリス トを表示します。
    • Documentation: オブジェクトの要約されたドキュメンテーションを表示します。

      要約されたドキュメンテーションは、次の優先順位に従ってオブジェクトで最初に見つかったドキュメンテーションを返します。[Business Documentation] (ビジネスドキュメンテーション)> [Term Documentation] (用語集ドキュメンテーション) > [Mapped Documentation] (マッピング済みドキュメンテーション) > [Inferred Documentation] (推測済みドキュメンテーション)> [Imported (Documentation)] (インポート済みドキュメンテーション) > [Searched (Documentation)] (検索済み(ドキュメンテーション))

  • 用語集属性として、用語のリストを表示するIs Defined ByLong Descriptionが新しく追加されました。

  • データプロファイリング属性として、Data ProfilingDistinctDuplicateEmptyValidInvalidMinMaxMeanVarianceMedianLower QuantileUpper QuantileAvg LengthMin LengthMax LengthInferred Data Typesが新しく追加されました。

  • ソーシャルキュレーションに関連する属性として、Certified ByEndorsed ByCommented ByWarned Byが新しく追加されました。

    Endorsement CountComment CountWarning Countという新しい属性が、人気のあるオブジェクトと共にワークシートやダッシュボードを作成できるフィルターのリストに追加されました。

  • ワークフロー属性として、Workflow StateWorkflow PublishedWorkflow Deprecation Requestedが新しく追加され、ワークフロープロセスに関与するモデルのすべてのオブジェクトに適用されるようになりました。

  • [Responsibilities] (責任)タブにStewardsという新しい属性が追加されました。

  • Parent Object Name属性とParent Object Type属性が追加されました。

  • オブジェクトロールはカラムやフィルターとして使用できます。たとえばフィルターの場合はexpandedMembersOfRole('Steward') = ANY('Business Users')となり、検索の場合はmembersOfRole('Steward')となります。

  • オブジェクトの関係/子はカラムとして使用できます。

Talend Data Catalogの全ライセンス

サードパーティ製のオープンソースソフトウェア セキュリティの改善と脆弱性への対策として、サードパーティ製のオープンソースソフトウェアはすべて最新バージョンにアップグレードされました。

Talend Data Catalogの全ライセンス

グローバルロールを管理: パフォーマンスの問題

リストパフォーマンスが改善されるよう、[Manager Global Roles] (グローバルロールを管理)グリッドのユーザーやグループのリストがカウントに置き換わりました。

Talend Data Catalogの全ライセンス

サードパーティソフトウェア: Apache Log4j

データクオリティサードパーティソフトウェアの依存項目が削除され、レガシーのlog4j 1.2.17となりました。

TalendオンプレミスData Catalog全ライセンス

モデル / 図 / Erwin DMインポート: エンティティで属性レベルを表示または非表示する変更可能な図のサポート

エンティティで属性レベルを表示または非表示する変更可能な図のサポートが追加されました。

メタデータ管理でインポート済み図の表示レベルメニューが削除されました。

Talend Data Catalogの全ライセンス

REST API: 新機能であるGET/repository/getIdFromStableId

新機能であるGET/repository/getIdFromStableIdが追加されました。

Talend Data Catalogの全ライセンス

セキュリティの脆弱性: Apache Tomcat

Apache Tomcatが9.0.58バージョンにアップグレードされ、複数のバグ修正、改善点、さらに重要な点としてセキュリティの新たな脆弱性(CVE-2020-9484など)に対応するようになりました:

https://tomcat.apache.org/security-9.html

9.0.58バージョンでの全変更リストについては、(中間リリースの)変更ログをご覧ください。

https://tomcat.apache.org/tomcat-9.0-doc/changelog.html

これらのセキュリティ改善点はTDC-8-20220214以降のインストールビルドでのみ利用できます。これらのセキュリティ改善点は累積パッチでは利用できません。

TalendオンプレミスData Catalog全ライセンス

ダッシュボードの属性統計ウィジェット: 新しいツールチップ

このコンテキストに適用できないため、[Empty Values] (空の値)オプションはダッシュボードの[Attribute Statistics] (ダッシュボードの属性統計)ウィジェットから削除されました。

[Unassigned values] (未割り当て値)オプションが動作しないこの問題は修正されました。

残り2つのオプションラベルである[Unassigned values] (未割り当て値)と[Values with Zero Count] (ゼロカウント付きの値)に、ツールチップが追加されました。

Talend Data Catalogの全ライセンス

グループを管理: セッションクッキーを持続させないようにできる新しいオプション

[Use session cookies] (セッションクッキーを使用)という新しいオプションが追加され、ブラウザーセッションの期間中に認証クッキーの寿命を保持できるようになりました。

管理者がこのセキュリティルールを全ユーザーに適用したい場合、このオプションは[Everyone] (全員)グループをはじめどのグループにも適用されますのでご注意ください。

Talend Data Catalogの全ライセンス

データフロー来歴: 双方向のグラフサポート [Data Flow] (データフロー)タブに[Full data lineage] (完全データ来歴)モードが追加されました。

Talend Data Catalogの全ライセンス

オブジェクトエクスプローラー: ナビゲーションツリーのロケーションまたはスコープのピン留めのサポート

ナビゲーションツリーのピン留め機能が新しく追加されました。

Talend Data Catalogの全ライセンス

デプロイ: オブジェクトのロールウィジェットと設定のカスタマイズ

デフォルトで表示するロールをカスタマイズできるよう責任ウィジェットが改善されたほか、ウィジェットのUIが変更されました。

Talend Data Catalogの全ライセンス

CSVへのエクスポート機能を改善

エクスポート済みCSVファイルが改善され、BOM (バイトオーダーマーク)が含まれるようになりました。

Talend Data Catalogの全ライセンス

注目される修正

問題 説明

対象製品

セキュリティの脆弱性: デフォルトプレゼンテーションでのXML外部エンティティ(XXE)の注入

XML解析でセキュリティオプションが有効化されました。

Talend Data Catalogの全ライセンス

プレゼンテーションのカスタマイズ: Microsoft BIフィルタリングでエラーがスローされる

いずれかの子ウィジェットにnull名があるとウィジェットのリストが正しくフィルタリングされない、という問題が解決されました。

Talend Data Catalogの全ライセンス

MQL: Created ByCreated Dateは、カスタムモデルオブジェクト、PDMオブジェクト、セマンティックマッピングオブジェクトとデータマッピングオブジェクトにしか適用できない

Created ByCreated Dateは、カスタムモデルオブジェクト、PDMオブジェクト、セマンティックマッピングオブジェクト、データマッピングオブジェクトのみに制限されています。

Talend Data Catalogの全ライセンス

検索: [Sensitivity] (秘密度)ラベルがフィルターに設定されると検索結果の合計数が表示されなくなる

1-50 of ?というわかりにくいページングメッセージが1-50 of manyに変更されました。

Talend Data Catalogの全ライセンス

モデルエクスプローラー: 頭字語で用語集のスチュワードを設定すると、空ではない設定でObject is not available in this hierarchyと表示される

LuceneNameComparatorで発生したJava NullPointerExceptionが修正されました。

Talend Data Catalogの全ライセンス

LDAP認証: グループの自動割り当てでユーザーが常に管理者グループが割り当てられてしまう

LDAP検索フィルター値から、整合性のない記号が削除されました。

Talend Data Catalogの全ライセンス

MQL: データベーススキーマでParent.Schemasの値がない

データベーススキーマのようなマルチモデルオブジェクトで関連するオブジェクトのプロパティや関連するオブジェクトの関係が値を取得しない、というこの問題は修正されました。

Talend Data Catalogの全ライセンス

MQL: スコープフィルターを使ってマルチモデルデータベースでスキーマを検索すると結果が返されない

スコープフィルターがマルチモデルを作成する場合に値を返さないというこの問題は修正されました。

Talend Data Catalogの全ライセンス

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。