Qlik Open Lakehouse へのストリーミング データのランディング
データは Amazon S3 にランディングされ、Iceberg オープン テーブル形式に変換するストリーミング変換タスクの準備が整います。Qlik でサポートされているあらゆるストリーミング ソースからデータをランディングできます。
Qlik Open Lakehouse にストリーミング データをランディングするには、事前に設定された Amazon S3 バケットが必要です。Qlik Open Lakehouse は、特に大容量のデータ ソース用に最適化されており、Qlik がサポートするすべてのストリーミング データ ソースと互換性があります。サポートされているストリーミング ソースの詳細については、データ ストリームへの接続を参照してください。
生データは S3 に Avro 形式でランディングされ、ストリーミング変換タスクによって Iceberg 形式に変換されます。Iceberg の仕様により、Amazon Athena、Ahana、Starburst Enterprise など、Trino SQL をネイティブにサポートするあらゆるエンジンからデータを照会できます。必要に応じて、テーブルをクラウド データ ウェアハウスにミラーリングし、データを複製せずにクエリを実行することもできます。
Qlik Open Lakehouse へのランディング データは、AWS Glue Data Catalog ターゲット接続を持つプロジェクトで利用可能です。
準備
-
データ取り込みを実行するには、ストレージ レイクハウス クラスターが必要です。このクラスターは、プロジェクトを作成する前に構成しておく必要があります。
-
設定ウィザードでソースとターゲットの接続設定を構成できますが、設定手順を簡略化するために、タスクを作成する前に実行しておくことをお勧めします。
-
クラウド データ ウェアハウスにデータをミラーリングするには、まず Qlik Open Lakehouse プロジェクトを作成してデータを取り込み、Iceberg オープン テーブル形式を使用してデータを保存する必要があります。ストリーミング変換タスクの後にミラー データ タスクを追加できます。詳細については、「クラウド データ ウェアハウスへのデータのミラーリング」を参照してください。
ストリーミング ランディング タスクの作成
ストリーミング ランディング タスクを作成するには、まず次の手順に従ってプロジェクトを作成します。
-
プロジェクトを作成し、 [ユース ケース] で [データ パイプライン] を選択します。
-
データ プラットフォームで Qlik Open Lakehouse を選択し、データ カタログへの接続を確立します。
-
ランディング ターゲット接続にストレージ エリアを設定します。
-
データの取り込みと最適化を実行するために、ストレージ レイクハウス クラスターを選択します。
-
[作成] をクリックしてプロジェクトを作成します。
プロジェクトでデータをオンボードするか、ランディング タスクを作成すると、ランディング タスクではなくストリーミング ランディング タスクが作成されます。ストリーミング ランディング タスクは、ストリーミング ソースからクラウド ストレージへデータをランディングするという点を除き、通常のランディング タスクと同様に動作します。詳細については、「データ ストリームへの接続」を参照してください。
すべてのファイルは Avro 形式でランディングされます。ランディングされたデータが更新されると、ストリーミング変換タスクがそのランディングデータを取り込み、外部テーブルを更新します。
設定
タスク設定の詳細については、「ストリーミング レイク ランディング設定」を参照してください。