ストリーミング データセットの保存
以下のストリーミング変換タスク設定は、ストリーミング ソースを使用する Qlik Open Lakehouse プロジェクトに適用されます。
ストリーミング変換データ タスクを使用すると、ストリーミング データを保存および変換できます。ストリーミング データには、多くの場合、フラット化が必要なネスト構造や配列が含まれているため、保存の段階で変換機能が必要となります。これらの機能はストリーミング変換タスクで利用でき、ストリーミング データのランディング直後に変換を適用できます。
ストレージの設定
データ プラットフォームが Qlik Open Lakehouse の場合、ストリーミング変換データ タスクのプロパティを設定できます。
-
[Settings] (設定)をクリックします。
一般設定
-
タスクのスキーマ
ストリーミング変換タスクのスキーマの名前を変更できます。デフォルト名は、ストレージ タスクの名前です。
-
内部スキーマ
内部ストレージ データ アセット スキーマの名前を変更できます。デフォルト名は、ストレージ タスクの名前に _internal を追加したものです。
- すべてのテーブルとビューのプレフィックス
このタスクで作成したすべてのテーブルとビューにプレフィックスを設定できます。
情報メモ複数のデータ タスクでデータベース スキーマを使用する場合は、一意のプレフィックスを使用する必要があります。 -
使用するフォルダー
ストリーミング変換タスクのストレージ フォルダーを変更できます。
-
新しいデータセットのロード設定
-
追加のみ
既存のデータを変更せずに新しいレコードを追加します。 重複するレコードが到着した場合でも、キー制約は適用されません。
-
変更を適用 (マージ)
キー項目に基づいて既存のレコードを更新し、新しいレコードを挿入します。
変更のマージを選択した場合、次のオプションも選択できます。
-
削除式を指定してレコードをソフト削除する
削除するレコードをマークするための削除式を定義します。
-
履歴レコードを保持する (タイプ 2)
変更されたレコードの以前のバージョンを保持します。
-
-
-
列のネスト解除
-
ネストされた列を保持する
ネストされたデータを保持する場合に選択します。
-
ネストを解除して個別の列にする
既定の動作として、個別の列にネスト解除されます。
-
-
ターゲット テーブルのパーティション
-
パーティションなし
新しいテーブルはパーティションなしで作成されます。
-
イベント日付でパーティション化
新しいテーブルは、イベントが取り込まれた日付でパーティション化されます。
-
実行時間の設定
-
レイクハウス クラスター
レイクハウス クラスターは変更できますが、ストリーミング ワークロードまたは混合ワークロードをサポートしている必要があります。
スキーマ進化設定
-
ルート レベルでの列の追加
この設定は、ストリーミング ランディング タスクのルート レベルに新しい列が追加された場合に適用されます。
-
ターゲットに適用
ストリーミング ランディング タスクからストリーミング変換タスクに新しいルート レベルの列を自動的に追加します。これは既定の設定です。
-
無視
新しいルート レベルの列は追加されません。
-
タスクを停止
ストリーミング ランディング タスクで新しいルート レベルの列が検出された場合、変換タスクを停止します。
-
-
構造に列を追加
この設定は、ストリーミング ランディング タスク内の既存のネストされた構造に新しい項目が追加される場合に適用されます。
- ターゲットに適用
ランディング構造に追加された新しい項目を、ストリーミング変換タスクにおける既存の構造に自動的に追加します。
-
無視
既存の構造に新しい項目を追加しません。
-
タスクを停止
ストリーミング ランディング タスクで構造内に新しい項目が追加された場合、変換タスクを停止します。
- ターゲットに適用
-
項目のデータ タイプを変更
- 無視
データ型を変更しません。
-
タスクを停止
ストリーミングランディングタスクでデータ型の変更が検出された場合、変換タスクを停止します。
- 無視