Data Movement gateway のアップグレードとアンインストール

このリリースでは、次の問題が解決されています。

Oracle ソース

• 再実行イベント 11.22 を使用する場合、INSERT の前に圧縮されていない圧縮ページで複数の INSERT を処理すると、INSERT が欠落する問題が発生することがありました。
• まれに、REDO ログ レコード内の DELETE イベントの解析が不正確であると、「REDO ログ DELETE イベントに不明な構造が含まれています」という警告が生成され、その後さまざまな問題が発生することがありました。

SAP Extractor ソース

SAP Java コネクタの正しいバージョンを反映するように、YAML ファイルの説明が更新されました。

Snowflake ターゲット

Data Movement Gateway を使用してプロキシ経由で Snowflake ターゲットに接続すると、以下のエラーで接続に失敗することがありました。

500 Failed to connect to Data Movement Gateway

解決した問題

• Oracle ソース

  • 再実行イベント 11.22 を使用すると、複数の INSERT 操作で INSERT が欠落することがありました。

  • Oracle 19g を 2024 年 7 月のパッチにアップグレードした後、UPDATE 操作がキャプチャされず、次の警告が表示されることがありました。

    A compressed row cannot be parsed

• Snowflake ターゲット

  タスク設定が制御テーブル スキーマを作成するように構成されている場合、タスクが次のエラーで失敗することがありました。

  Failed to delete directory

• スケジュールされた CDC

  タスクが定期的に実行されるようにスケジュールされている場合、次のエラーで失敗することがありました。

  The task stopped abnormally

• 変換タスクとストレージ タスクの停止

  変換タスクとストレージ タスクが、キューに入れられた状態のまま長時間放置されることがありました。

• メタデータ マネージャー

  use_manipulation_pk_for_apply 機能フラグを変更の保存レプリケーションで使用すると、タスクが失敗することがありました。

• SaaS アプリケーション ソースとの問題によるタイムアウトの長期化

  S3 のタイムアウトを 6 時間に延長し、ファイルをダウンロードするためのトークンが失われるなどのタイムアウトが長引くことで発生する問題に対処しました。

拡張機能

• Snowflake ターゲット コネクタにキー ペア認証を追加

  キー/ペアは、サービス アカウントを使用して Snowflake に接続するための、ユーザー/パスワードよりも堅牢な認証方法を提供します。このアプローチは、データのロード (レプリケーショ ンまたはランディングタスク) や変換などのワークロードに推奨されます。

• 複数のテーブルからメタデータを並行して取得するサポート

  以前のバージョンでは、既存のデータセットまたは新しく追加されたデータセットのメタデータを更新すると、エラーが発生して失敗することがありました。この機能強化により、メタデータを複数のテーブルから問題なく並行して取得できるようになりました。

解決した問題

• Google BigQuery で DECIMAL データ型が誤って STRING にマッピングされる

  ソース テーブルに DECIMAL データ型の列 (例: DECIMAL (38, 20)) が含まれている場合、Google BigQuery でのストレージ タスクの準備が次のエラーで失敗します (抜粋)。

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  この問題は、ソースの DECIMAL データ型を Google BigQuery の DECIMAL にマッピングすることで解決されました。

• スキーマ ルール エラー

  データ タスク内の既存のスキーマ ルールを変更すると、次のエラーが発生します。

  QRI SQL error not implemented

• SAP トランスポートから /QTQVC/QRI テーブルが見つかりません

  SAP アプリケーション ソースに接続するランディング タスクを準備する場合、タスクは正常に完了しますが、repsrv.log ログ ファイルに次のエラーが報告されます。

  Invalid object name 'hk1./QTQVC/QRI'

拡張機能

• すべてのテーブルを削除して再作成する必要なく、レプリケーションとレイク ランディング タスクでのメタデータの変更をサポート

  以前は、メタデータの変更が発生すると、メタデータの変更がすべてのテーブルに影響を与えない場合でも、すべてのテーブルがドロップおよび再作成されていました。現在は変更されたテーブルのみがドロップおよび再作成されるため、パフォーマンスが向上しています。

• レプリケーション タスクでの新しいテーブルの自動ロードのサポート

  レプリケーション データ タスク中にソース データベースに作成され、含めるパターンに一致するテーブルが、CDC (変更データ キャプチャ) 中に自動的にキャプチャされるようになりました。

• Microsoft SQL Server (MS-CDC) ソースの強化

  • タイムスタンプとトランザクション ID の保存

    以前は、Microsoft SQL Server (MS-CDC) から複数のトランザクションを読み取る場合、Qlik Talend Data Integration は最初のトランザクションのトランザクション ID とタイムスタンプのみを保持していました。ターゲット上では、これはレコードが単一のトランザクションの一部であるように見えます。現在は、Qlik Talend Data Integration は個々のレコードごとに元のトランザクション ID とタイムスタンプを保持します。これは、変更テーブル のトランザクション ID とタイムスタンプ ヘッダー列の活用を希望する顧客にとってメリットになります。

  • トランザクション ID のバイト順序

    以前は、トランザクション ID のバイトは逆の順序でエンコードされていました。このバージョンから、バイトは正しい順序でエンコードされます。既存の動作の維持を希望する顧客は、内部パラメータを使用して維持することができます。詳細については、Qlik サポートにお問い合わせください。

• MySQL での SHA-2 プラグイン可能な認証のキャッシュのサポート

  Qlik Talend Data Integration は、オンプレミスまたはクラウドの MySQL ソースまたはターゲットを操作するときに、SHA-2 プラグイン可能な認証のキャッシュ (caching_sha2_password) をサポートするようになりました。以前のバージョンでは、ネイティブ プラグイン可能認証 (mysql_native_password) のみがサポートされていました。

• Amazon Redshift データ型マッピングの変更

  BYTES および BLOB データ型は、Amazon Redshift では VARCHAR ではなく VARBYTE にマッピングされるようになりました。

新たに認定されたプラットフォーム、エンドポイント、バージョン

• データ ソース

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 for z/OS 3.1

• ターゲット プラットフォーム

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• ドライバー

  • SQL Server ODBC Driver 18.3

サポート終了

次のデータベース バージョンのサポートは終了しました。

• Oracle 19.x より前のすべての Oracle バージョンおよびドライバー
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 for z/OS: z/OS 2.3

解決した問題

• SAP (アプリケーション) ソース

  キャプチャされたクラスター ドキュメントの変更によって、キャプチャされたすべてのテーブルのすべての行が削除されると、DELETE 操作が失われ、不要なアサーション メッセージが表示されていました。

• セキュリティの脆弱性

  Microsoft Authentication Library for Java (MSAL4J) と Bouncy Castle を既知の脆弱性のないバージョンに更新しました。

• Snowflake ターゲット

  • Snowflake 内部ストレージを使用すると、タスクが失敗することがありました。
  • ターゲット スキーマ名が日本語のカタカナの場合、タスクは失敗します。

• Oracle ソース

  Oracle ソースを使用してタスクを再開すると、タスクは適切なエラーで失敗するのではなく、削除済みのアーカイブされた再実行ログを待機し続けていました。

拡張機能

• Snowflake メタデータ スキーマ

  このバージョンから、Snowflake メタデータ スキーマ (ステージングされたファイル用) が存在しない場合、作成されるようになります。

解決した問題

• [データセットの名前を変更] ルール (テーブル名とスキーマ名を連結したもの) に変更が加えられ、ランディング タスクにビューが追加された後、準備操作が次のエラーで失敗していました。

  QRI SQL error not implemented.

• java_file_factory コンポーネントを既知の脆弱性のないバージョンに更新しました。
• org.postgresql:postgresql を既知の脆弱性のないバージョンに更新しました。
• データを SQL Server に移動する場合、インデックス名が 128 文字を超えると準備操作が失敗していました。この問題は、より短いインデックス名を作成するロジックを変更することで解決されました。

• SQL Server からデータを移動するときに、テーブル定義に列名が見つからないと、repsrv.log ファイルに次のメッセージが表示され、無限通知ループが発生します。

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

拡張機能

• メタデータの並列取得

  複数のテーブルのメタデータを同時に取得するためのサポートが追加されました。

• 監視パフォーマンスの向上

  ランディング タスクとレプリケーション タスクの監視情報が (60 秒ごとではなく) 10 秒ごとに更新されるようになり、現在のステータスがより正確に示されるようになります。

• 新たにサポートされたリージョン

  Qlik Cloud テナント リージョンとして、日本がサポートされるようになりました。

解決した問題

• データ ゲートウェイと Qlik Cloud の間の再試行間隔は継続的に増加しますが、(サービスが再起動されない限り) リセットされることはありません。
• SaaS アプリケーション ソースからデータを移動する場合、リロード中にテーブルがエラー状態になることがありました。

• MySQL ソースを使用したタスクは、CDC 中に次のエラーで失敗することがありました。

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• 以前は、CDC 監査イベントはランディング タスクについてのみ記録されていました。これで、レプリケーション タスクのログも記録されるようになります。
• SQL Server (MS-CDC) からデータを移動する場合、多数のテーブルを含むタスクの開始に数時間かかることがありました。

• ソーステーブルに CLOB 列が含まれており、「LOB サイズの制限」値が 10240 を超えると、Snowflake へのレプリケーションが次のエラーで失敗します。

  Invalid character length: 0

Red Hat 9.x で Data Movement gateway をインストールするためのサポート

お客様は、Red Hat 9.x またはこれに相当する互換性のある Linux の配布で Data Movement gateway をインストールできるようになりました。

設定 Data Movement gateway

Data Movement gateway サービス コマンドへの変更

Data Movement gateway サービスの停止、開始、およびステータス確認のためのコマンドが変更されました。

Data Movement gateway サービス コマンド

Amazon Redshift データ型マッピングへの変更

• Amazon Redshift で VARCHAR(1) にマッピングされていた BOOLEAN データ型は、BOOLEAN にマッピングされるようになります。
• Amazon Redshift で VARCHAR(1) にマッピングされていた BYTES および BLOB データ型は、VARBINARY (長さ) にマッピングされるようになります。

新しくサポートされるようになったデータベース、データベース バージョン、およびドライバー バージョン

このセクションでは、新しくサポートされるようになったデータベース、データベース バージョン、およびドライバー バージョンをリストします。

• 新しくサポートされるようになったデータ ソース バージョンとエディション

  次のデータ ソース バージョンがサポートされるようになりました。

  • Azure Database for MySQL - フレキシブル サーバー (MySQL ソース コネクタ経由でサポート)
  • MariaDB 10.4 - 10.11 (従来は 10.4 と 10.5)

• 新しくサポートされるようになったターゲット データ プラットフォームとエディション

  次のデータ ターゲット バージョンがサポートされるようになりました。

  • Azure Database for MySQL - フレキシブル サーバー (MySQL ターゲット コネクタ経由でサポート)
  • Databricks: Databricks 13.3 LTS および Serverless SQL Warehouse

• 新しくサポートされるようになった SAP HANA ドライバー バージョン

  SAP HANA ソースを使用しており、Red Hat Linux 9.x で Data Movement gateway のインストールを希望するお客様は、SAP HANA ODBC 64-bit Driver バージョン 2.0.19 以降をインストールする必要があります。

サポート終了のデータベースのバージョン

このセクションでは、サポートが終了したデータベースのバージョンに関する情報を提供します。

• 次のデータ ソースのバージョンのサポートは終了しました。

  • Oracle 11.x
  • SAP HANA 1.0

解決した問題

• サーバー パスワードを使用せずに Data Movement gateway をインストールすると、テナント URL とプロキシ URL をコマンド 1 つで構成することができなくなります。
• Salesforce (SaaS アプリケーション) データ ソースからデータを移動すると、多数の重複した警告が発生するため、データ ロードのパフォーマンスに悪影響を及ぼします。
• SaaS アプリケーション データ ソース用の変更を取得するときに、1 つのテーブル用の変更を取得している最中にエラーが発生した場合、そのテーブルは一時停止され、パイプラインから削除されました。これからは、エラーが発生するとタスクはテーブルを一時停止する前に、変更の取得を 3 回試みます。

レプリケーション プロジェクトの新しいデータ レイク ターゲット

Qlik Cloud Data Integration の Replicate プロジェクトでサポートされるターゲットはは継続して拡大しており、Amazon S3に加え、Azure Data Lake Storage (ADLS) と Google Cloud Storage (GCS) を Parquet、JSON、CSV ファイル形式としてデータレイク配信に選択できるようになりました。

解決した問題:

• IBM DB2 for LUW ソース コネクタ

  接続に必要なファイル (SSL クライアント証明書やキーストア ファイルなど) のサイズが 4 KB を超えると、IBM DB2 for LUW への接続に失敗することがありました。

• IBM DB2 for LUW および IBM DB2 for z/OS ソース コネクタ用ドライバー

  ドライバー インストール ユーティリティを使用すると、DB2 ドライバーのインストールに失敗します。

データ パイプライン ターゲットとしての Microsoft Fabric のサポート

Microsoft Fabric は、データ パイプライン プロジェクトのターゲットとして使用でき、拡大を続けるデータ ウェアハウスのリストに加わります。

解決した問題:

ドライバー インストール ユーティリティの Snowflake ドライバーのバージョンを更新しました。

プライベート接続のサポートの拡張

プライベート接続を使用すると、データ トラフィックの安全性と準拠性を確保できます。受信ファイアウォール ポート、プロキシ デバイス、またはルーティング テーブルを開く必要がなく、ネットワーク管理と VPC (仮想プライベート クラウド) のセキュリティの両方が簡素化されます。Qlik Cloud データ統合は、Snowflake、Microsoft SQL Server、Amazon S3 データ パイプライン ターゲットへのプライベート接続をすでにサポートしています。このリリースにより、Databricks、Microsoft Azure Synapse、Google BigQuery、Amazon Redshift にデータを移動するときにも、プライベート接続を使用できるようになります。

PostgreSQL ベースのデータ ソース

• すべての PostgreSQL ベースのデータ ソース - 多重範囲データ型のサポート: 次の多重範囲データ型が、すべての PostgreSQL ベースのデータ ソース (オンプレミスおよびクラウド) でサポートされるようになりました。

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• AWS Aurora Cloud for PostgreSQL データ ソース - 非スーパーユーザー ロールのサポート: PostgreSQL コネクタで指定されたユーザーは、AWS Aurora Cloud for PostgreSQL データ ソースからデータを移動するためにスーパーユーザー ロールを持つ必要がなくなりました。これは、権限を持たないユーザーにスーパーユーザー アクセスを許可することを禁止する企業セキュリティ ポリシーを持つ組織に特に有用です。

Microsoft Azure SQL (MS-CDC) データ ソース: Geo レプリケーションのサポート

Microsoft Azure SQL (MS-CDC) データ ソースからデータを移動する顧客は、Geo レプリカ データベースを使用できるようになりました。

Oracle データ ソース: HSM (ハードウェア セキュリティ モジュール) のサポート

Qlik Cloud データ統合は、CDC 中に Oracle 暗号化テーブル スペースおよび暗号化列からのデータの読み取りをサポートするようになりました。

新しいリージョンのサポート

Qlik Cloud データ統合は、DE および UK リージョンのテナントをサポートするようになりました。

サポートが開始されたバージョンとサードパーティ製ソフトウェア

このセクションでは、サポートが開始されたデータベースとドライバーのバージョンをリストします。

• サポートが開始されたデータ ソース バージョン。次のデータ ソース バージョンがサポートされるようになりました。

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • Db2 13.1 (IBM Db2 for z/OS を使用する場合)
  • iSeries 用 IBM Db2

• サポートが開始されたターゲット データ プラットフォーム バージョン。次のデータ ターゲット バージョンがサポートされるようになりました。

  • Databricks (クラウド ストレージ): Databricks 12.2 LTS および Databricks SQL Serverless

• ドライバーのバージョン。次の ODBC ドライバー バージョンがサポートされるようになりました。

  • IBM Db2 for z/OZ および IBM Db2 for LUW 用 IBM Data Server Client 11.5.8
  • Google Cloud BigQuery 用 Simba ODBC ドライバー 3.0.0.1001
  • MySQL ODBC Unicode ドライバー 64 ビット 8.0.32

Microsoft SQL Server ドライバー - アップグレードが必要です

Microsoft SQL Server との間でデータを移動する場合は、SQL Server ODBC ドライバーのバージョンを 18.x 以降にアップグレードする必要があります。SQL Server ODBC ドライバー 17.x を引き続き使用すると、データ エラーが発生する可能性があります。ドライバーのアップグレードは、ドライバー インストール ユーティリティの使用または手動で実行できます。手順については、「ドライバーのセットアップ」を参照してください。

サポート終了のデータベースのバージョン

このセクションでは、サポートが終了したデータベースのバージョンに関する情報を提供します。

• サポート終了のデータ ソースのバージョン。次のデータ ソースのバージョンのサポートは終了しました。

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• サポート終了のターゲット データ プラットフォーム バージョン。次のデータ ターゲットのバージョンのサポートは終了しました。

  • Databricks 9.1 LTS

2022.11.74

2023 年 8 月 15 日

レプリケーション サポート

Qlik では、迅速なイノベーションと導入を可能にするクラウドファーストのアプローチを採用しています。ただし、クラウドのみを使用するという意味ではありません。お客様の長期的な価値を向上させるための継続的な取り組みの一環として、データ プロジェクト作成時の Replication の新しいユース ケースがリリースされたことを発表いたします。データ ウェアハウスの近代化など、あらゆるデータ統合のニーズに対応するデータ パイプラインを作成する既存の機能に、新しい Replication のユース ケースが追加されました。

レプリケーション プロジェクトは、サポートされているデータ ソースからサポートされているターゲットへのリアルタイム データ レプリケーションをサポートします。

この最新リリース以降、最初のターゲットとして、Microsoft SQL Server のリアルタイムでのデータのレプリケーションをサポートします。オンプレミスの Microsoft SQL Server のサポートに加えて、次のクラウド プロバイダーもサポートされます。

• オンプレミス
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance および Microsoft Azure Database )

Microsoft Azure Synapse Analytics ターゲット - ドライバーのアップグレードが必要

Microsoft Azure Synapse Analytics にデータを移動する顧客は、SQL Server ODBC ドライバーのバージョンを 18.x 以降にアップグレードする必要があります。SQL Server ODBC ドライバー 17.x を引き続き使用すると、データ エラーが発生する可能性があります。ドライバーのアップグレードは、ドライバー インストール ユーティリティの使用または手動で実行できます。手順については、「ドライバーのセットアップ」を参照してください。

SaaS アプリケーション ソース用の新しい「ソースからデータをロード」オプション

新しいソースからデータをロードオプションが導入されました。これにより、顧客はキャッシュされたデータを使用する代わりに、フル ロード中にソースから直接データを読み取ることができます。

ユースケースを含むこのオプションの詳細については、「ランディングの設定」を参照してください。

更新された CA 証明書

Data Movement gateway 2022.11.74 には、Qlik Cloud テナントの認証に必要な更新された CA 証明書が含まれています。更新された CA 証明書は、アイルランドおよびフランクフルトの地域もサポートしています。したがって、アイルランドまたはフランクフルトに Qlik Cloud テナントがあり、Qlik Cloud Data Integration の使用を希望する顧客は、このバージョンへのアップグレードが必要です。

解決した問題

幅の広いテーブルに未使用またはサポートされていない列、あるいはレプリケートされていない LOB 列が含まれている場合、Oracle ソースからデータをランディングするタスクが失敗することがありました。

2022.11.70

**2023 年 6 月 28 日**

改善された SAP クライアント用ドライバー インストール ユーティリティ

以前のバージョンでは、SAP クライアントをインストールする際にお客様は「source arep_login.sh」コマンドを実行する必要がありました。このバージョン以降、このコマンドを実行する必要はなくなりました。

更新された CA 証明書

このバージョンには、Qlik Cloud テナントの認証に必要な更新された CA 証明書が含まれています。

解決した問題

• Data Movement gateway でのレプリケーション タスクに失敗し、自動的に復旧した場合、復旧時の状態は Qlik Cloud 内のランディング データ アセットとやり取りされません。

• Data Movement gateway のエンドツーエンド暗号化は既定では有効でなく、ランタイム フラグによって制御されていました。

2022.11.63

2023 年 5 月 2 日

ドライバー インストール ユーティリティ

このバージョンにより、ドライバーを手動でインストールして構成する必要がなくなるドライバー インストール ユーティリティを導入します。この新しいユーティリティは、インストール処理を短縮し、ユーザー エラーの可能性を大幅に低減します。ユーティリティを実行すると、必要なドライバーが自動的にダウンロードされ、可能な場合はインストールされます。ドライバーがダウンロードされない場合 (DB2 ドライバーにはログインが必要など) は、ドライバーをダウンロードして、データ移動ゲートウェイ マシンにある専用のフォルダーにコピーし、ユーティリティを実行します。

PostgreSQL ドライバーをインストールするためにドライバー インストール ユーティリティを使用する例については、「前提条件」をご覧ください。

Snowflake クラウド データ プラットフォーム

Snowflake コネクタは、4 バイトの絵文字をサポートするようになりました。

データ ソースとしての Azure Database for PostgreSQL - Flexible Server のサポート

PostgreSQL コネクタにより、Azure Database for PostgreSQL - Flexible Server からデータを移動できるようになりました。

データ ソースとしての Cloud SQL for PostgreSQL をサポートする

PostgreSQL コネクタは、Cloud SQL for PostgreSQL からデータを移動できるようになりました。

新規対応データ ソース バージョン

このバージョンにより、次の新規データ ソース バージョンのサポートを導入します。

• PostgreSQL 14
• DB2 (IBM DB2 for z/OS 用) 12.1
• IBM DB2 for z/OS 2.5

新規対応クラウド データ プラットフォーム バージョン

Databricks 11.3 LTS

次のデータ ソース バージョンはサポート終了

次のデータ ソース バージョンに対するサポートは終了しました。

• DB2 (IBM DB2 for z/OS 用) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

解決した問題

このバージョンにより、次の問題が解決されました。

• Oracle データ ソース: タスクを停止して再開する際に、「Failed to set stream position on context」エラーが発生してタスクに失敗する。
• SAP アプリケーション ソース: ランディング タスク中に変更がキャプチャされない。