データのオンボーディング
Qlik Cloud データ統合 データ プロジェクトでデータ パイプラインを作成する最初のステップは、データのオンボーディングです。これには、オンプレミスのデータ ソースからデータを転送し、読み取りに最適化された形式でのデータセットの保管が含まれます。継続的な変更処理でデータを更新することも、スケジュールされたリロードを使用することもできます。
オンボーディングは 1 回の操作で作成できますが、2 つのステップで実行されます。
-
データのランディング
これには、 ランディング データ タスクを使用して、オンプレミス データ ソースからランディング エリアにデータを継続的に転送することが含まれます。
-
データセットの保管
これは、ランディング データの初期ロードまたは増分ロードを読み取り、ストレージ データ タスクを使用して読み取りに最適化されたフォーマットでデータを適用します。
データをオンボードすると、保管されたデータセットをいくつかの方法で使用できます。
-
分析アプリ内にあるデータセットを使用できます。
-
変換を作成できます。
-
データ マートを作成できます。
データのオンボード
データ プロジェクトでデータのオンボーディングを開始します。データセットは、データ プロジェクトで定義されたクラウド データ ウェアハウスに保存されます。データ プロジェクトの詳細については、「データ パイプラインの作成 」を参照してください。
-
[新規追加] をクリックしてから、 [データのオンボード] をクリックします。
-
オンボーディングの [名前] と [説明] を追加します。
[次へ] をクリックします。
-
ソース接続を選択します。
既存のソース接続を選択するか、ソースへの新しいデータ接続を作成できます。
詳細については、「データ ソースへの接続」を参照してください。
[次へ] をクリックします。
-
ロードするデータを選択します。
詳細については、「データの選択」を参照してください。
[次へ] をクリックします。
更新方法と履歴設定を選択できる [設定] が表示されます。
-
[更新方法] でデータの更新に使用する方法を選択します。
-
変更データキャプチャ (CDC)
データに CDC またはビューをサポートしていないテーブルも含まれている場合、2 つのデータ パイプラインが作成されます。CDC をサポートするすべてのテーブルを含む 1 つのパイプラインと、 [リロードして比較] を使用する他のすべてのテーブルとビューを含む別のパイプライン。
-
リロードして比較
-
-
[履歴] の現在のデータに加えて、過去のデータの履歴をレプリケートする場合に選択します。
準備ができたら、[次へ] をクリックします。
-
データをオンボードするために作成されたデータ タスクをプレビューし、必要に応じて名前を変更します。
ヒント メモこの名前は、ストレージ データ アセットでデータベース スキーマに名前を付けるときに使用されます。スキーマは 1 つのタスクにのみ関連付けることができるため、同じデータ プラットフォームを使用する他のデータ プロジェクトのデータ アセットとの競合を避けるために、一意の名前を使用することを検討してください。 -
作成されたデータ タスクのいずれかを開くか、データ プロジェクトに戻るかを選択します。
準備ができたら、[完了]をクリックします。
これで、オンボーディング データ タスクが作成されました。データのレプリケーションを開始するには、次のことが必要です。
-
ランディング データ タスクを準備して実行します。
詳細については、「データ ソースからのランディング データ」を参照してください。
-
ストレージ データ タスクを準備して実行します。
詳細については、「データセットの保管」を参照してください。
データの選択
特定のテーブルまたはビューを選択することや、選択ルールを使用してテーブルのグループを含めるか除外することができます。
% をワイルドカードとして使用して、スキーマとテーブルの選択基準を定義します。
-
%.% は、すべてのスキーマのすべてのテーブルを定義します。
-
Public.% は、スキーマの [パブリック] のすべてのテーブルを定義します。
[選択基準] により、選択内容に基づいたプレビューが表示されます。
次のいずれかを実行できるようになりました。
-
選択基準に基づいて、テーブルのグループを含めるまたは除外するルールを作成します。
[選択条件からルールを追加] をクリックしてルールを作成し、 [含める] または [除外] のいずれかを選択します。
[選択ルール] の下にルールが表示されます。
-
1 つ以上のデータセットを選択し、 [選択したデータセットを追加] をクリックします。
[明示的に選択したデータセット] の下に、追加されたデータセットが表示されます。
選択ルールは、現在のテーブルとビューのセットにのみ適用され、将来追加されるテーブルとビューには適用されません。