Standard、Premium、または Enterprise サブスクリプションを使用して、データをレプリケートします
Qlik は新しいナビゲーション エクスペリエンスをリリースしましたが、現在はオプションです。テナント管理者が新しいナビゲーションをオンにしている場合:
- データ統合にアクセスするための Launcher メニュー (
) は左上にあります。 - 以前は [新規追加] ボタン (削除されました) を使用して実行されていたアクションは、特定のコンテキスト (たとえば、データ統合 > 接続) に切り替えて [作成 <object>] ボタンをクリックすることによって実行されるようになりました。
変更の詳細な説明については、「新しい Qlik Talend データ統合 プラットフォーム ナビゲーション」を参照してください
レプリケーション タスクを設定するには:
-
[データ統合]>[プロジェクト] で、 [プロジェクトを作成] をクリックします。
-
[新しいプロジェクト] ダイアログで、次の操作を実行します。
- プロジェクトの [名前] を入力します。
- プロジェクトを作成する [スペース] を選択します。
- 必要に応じて [説明] を入力します。
- [ユースケース] として [レプリケーション] を選択します。
- 必要に応じて、何も構成せずに空のプロジェクトを作成する場合は、 [開く] チェック ボックスをオフにします。
-
[作成] をクリックします。
次のいずれかが発生します。
- [新しいプロジェクト] ダイアログの [開く] チェック ボックスがオンになっている場合 (既定)、プロジェクトが開きます。
- [新しいプロジェクト] ダイアログの [開く] チェック ボックスがオフの場合、プロジェクトはプロジェクトのリストに追加されます。プロジェクトの
メニューから [開く] を選択すると、後でプロジェクトを開くことができます。
-
プロジェクトが開いたら、 [データをレプリケートする] をクリックします。
[データをレプリケートする] ウィザードが開きます。
-
[基本設定] タブで、レプリケーション タスクの名前と説明を指定します。[次へ] をクリックします。
-
[ソース接続を選択] タブで、ソース データへの接続を選択します。必要に応じて、 [アクション] 列のメニューから [編集] を選択して、接続設定を編集できます。
データ ソースへの接続をまだ作成していない場合は、タブの右上にある [接続を作成] をクリックして接続を作成する必要があります。
左側のフィルターを使用して、接続のリストをフィルタリングできます。接続は、ソース タイプ、ゲートウェイ、スペース、所有者でフィルタリングできます。接続リストの上にある [すべてのフィルター] ボタンには、現在のフィルターの数が表示されます。このボタンを使用して、左側の [フィルター] パネルを閉じたり開いたりできます。現在アクティブなフィルターは、使用可能な接続のリストの上にも表示されます。
右側のドロップダウン リストから [最終更新日]、 [最終作成日]、または [アルファベット順] を選択してリストを並べ替えることもできます。ソート順を変更するには、リストの右側にある矢印をクリックします。
データ ソース接続を選択した後、必要に応じて、タブの右上にある [接続をテスト] をクリックし (推奨)、[次へ] をクリックします。
-
[データセットを選択] タブで、レプリケーション タスクに含めるテーブルやビューを選択します。データベースからのデータの選択 で説明されているように、ワイルドカードを使用して選択ルールを作成することもできます。
-
[ターゲット接続を選択] タブで、使用可能な接続のリストからターゲットを選択し、[次へ] をクリックします。機能的には、このタブは前述の [ソース接続を選択] タブと同じです。
-
[設定] タブで、必要に応じて次の設定を変更し、[次へ] をクリックします。
レプリケーション モード
情報メモSaaS アプリケーション ソースからレプリケートする場合、フル ロード レプリケーション モードが既定で有効になっており、無効にすることはできません。- フル ロード: 選択したソース テーブルからターゲット プラットフォームにデータをロードし、必要に応じてターゲット テーブルを作成します。フル ロードはタスクの開始時に自動的に実行されますが、必要に応じて手動で実行することもできます。
-
変更を適用: ソース テーブルに加えられた変更を反映して、ターゲット テーブルを最新の状態に保ちます。
-
保存先の変更: ソース テーブルへの変更を変更テーブル (ソース テーブルごとに 1 つ) に保存します。
詳細は、変更の保存をご覧ください。
Data Movement gateway を使用する場合、変更はソースからほぼリアルタイムでキャプチャされます。Data Movement gateway を使用せずに作業する場合 (例: Qlik Talend Cloud スターター サブスクリプションを使用する場合)、変更はスケジューラーの設定に従ってキャプチャされます。既定の変更キャプチャの間隔は 6 時間ごとです。詳細は、Data Movement gateway を使用しない場合のタスクのスケジュール設定をご覧ください。
変更適用モード
情報メモデータ ウェアハウス ターゲットにレプリケートする場合、使用する変更の適用モードを選択することはできません。効率を最大限に高めるために、変更は常にバッチ最適化モードで適用されます。変更は、次のいずれかの方法でターゲット テーブルに適用されます。
- バッチ最適化: これが既定です。このオプションを選択すると、変更はバッチで適用されます。トランザクションをもっとも効率的な方法でバッチにグループ化するための前処理アクションが発生します。
- トランザクション: このオプションを選択すると、各トランザクションをコミットされた順序で個別に適用します。この場合、すべてのテーブルで厳密な参照整合性が確保されます。
ステージング エリアへの接続
以下にリストされているデータ ウェアハウスにレプリケーションする場合は、ステージング エリアを設定する必要があります。データは、ウェアハウスに転送される前にステージング エリアで処理および準備されます。
既存のステージング エリアを選択するか、[新規作成] をクリックして新しいステージング エリアを定義し、クラウド ストレージへの接続 の指示に従います。
接続設定を編集するには、[編集] をクリックします。接続をテストするには (推奨)、[接続のテスト] をクリックします。
どのステージング エリアがどのデータ ウェアハウスでサポートされているかについては、ターゲット プラットフォームのユース ケースとサポートされるバージョン の [ステージング エリアとしてサポート] 列を参照してください。
レプリケーション スケジューラー
情報メモこの設定は、Data Movement gateway を使用せずにデータ ソースにアクセスする場合にのみ関連します。Data Movement gateway の利点とそれを必要とするユース ケースの詳細については、「Qlik Data Gateway - データ移動」を参照してください。-
毎回データをレプリケートする: データ ソースから変更をキャプチャする頻度をスケジュールし、開始時刻と開始日を設定できます。 ソース データセットが CDC (変更データ キャプチャ) をサポートしている場合は、ソース データへの変更のみがレプリケーションされ、対応するターゲット テーブルに適用されます。ソース データセットが CDC をサポートしていない場合 (ビューなど)、すべてのソース データを対応するターゲット テーブルに再ロードすることによって変更が適用されます。一部のソース データセットが CDC をサポートし、一部がサポートしない場合は、2 つの個別のサブタスクが作成されます ( [変更の適用] または [変更の保存] レプリケーション オプションが選択されていると想定)。 1 つは CDC をサポートしないデータセットを再ロードするためのもので、もう 1 つは CDC をサポートするデータセットへの変更をキャプチャするためのものです。
タスクのセットアップ ウィザードを使用すると、基本的な 1 時間間隔でスケジュールを設定できます。タスクの設定が完了したら、Data Movement gateway を使用しない場合のタスクのスケジュール設定 で説明されているように、さまざまなスケジュール オプションを検討できます。
データ ソースの種類とサブスクリプション ティアに応じた最小スケジュール間隔の詳細については、「許容される最小スケジュール間隔」を参照してください。
-
[概要] タブに、データ パイプラインのビジュアルが表示されます。選択したデータセットの一部が CDC をサポートしていない場合は、CDC タスク用とリロード タスク用の 2 つのパイプラインが表示されます。[<名前> データ タスクを開く]、または [Do nothing] (何もしない) を選択し、 [作成] をクリックします。
選択に応じて、タスクが開かれるか、プロジェクトのリストが表示されます。
-
タスクを開くことを選択した場合、 [データセット] タブには、選択したソース テーブルの構造とメタデータが表示されます。これには、明示的にリストされたすべてのテーブルと、選択ルールに一致するテーブルが含まれます。
データ ソースからさらにテーブルを追加する場合は、 [ソース データの選択] をクリックします。
-
必要に応じて、 データ レプリケーション タスクの設定 の説明に従ってタスク設定を変更します。
-
データセットの変換を実行し、データをフィルタリングし、列を追加できます。
詳細については、「データセットの管理」を参照してください。
-
必要な変換を追加したら、[データセットの検証] をクリックしてデータセットを検証できます。検証に失敗した場合は、先に進む前にエラーを修正してください。
詳細については、「データセットの検証と調整」を参照してください。
-
準備ができたら、 [準備] をクリックしてデータ タスクをカタログ化し、実行の準備をします。
-
データ タスクの準備が完了したら、[実行] をクリックします。
タスクの復元、およびタスクを実行するその他の方法については、「詳細な実行オプション」を参照してください。
-
レプリケーション タスクが開始され、 [モニター] で進行状況を確認できます。詳細については、「個々のデータ タスクの監視」を参照してください。
データセットのロードの優先度の設定
各データセットにロード優先度を割り当てることで、データ タスクでのデータセットのロード順を制御できます。この機能は、大きなデータセットの前に小さなデータセットをロードする場合などに便利です。
-
[ロードの優先度] をクリックします。
-
各データセットのロードの優先度を選択します。
既定のロードの優先度は [標準] です。データセットは次の優先順位でロードされます。
-
最高
-
より高く
-
高
-
標準
-
低
-
より低く
-
最低
同じ優先度のデータセットは順不同でロードされます。
-
-
[OK] をクリックします。
メタデータの更新
タスクのメタデータを更新して、タスクの [設計] ビューのソースのメタデータの変更に合わせることができます。Metadata Manager を使用する SaaS アプリケーションの場合、データ タスクでメタデータを更新する前に、Metadata Manager を更新する必要があります。
-
次のいずれかを実行できます:
-
[...] をクリックし、 [メタデータを更新] をクリックして、タスク内のすべてのデータセットのメタデータを更新します。
-
[データセット] 内のデータセットで [...] をクリックし、 [メタデータを更新] をクリックして、単一のデータセットのメタデータを更新します。
画面の下部にある [メタデータを更新] でメタデータの更新のステータスを確認できます。メタデータが最後に更新された日時は
で確認できます。 -
-
変更を適用するには、データ タスクを準備します。
データ タスクを準備し、変更を適用すると、変更は [メタデータを更新] から削除されます。
変更をプロパゲートするには、このタスクを使用するストレージ タスクを準備する必要があります。
列が削除されると、ストレージから履歴データが失われないように、Null 値を使用した変換が追加されます。
制限事項
-
同じ時間スロットで、それ以前に削除された列を含む名前変更は、同じデータ型とデータ長である場合、削除された列の名前変更に変換されます。
前: a b c d
後: a c1 d
この例では、b が削除され、c の名前が c1 に変更され、b と c のデータ型とデータ長は同じになります。
これは、b から c1 への名前変更と c の削除として識別されます。
-
最後の列が削除され、その前の列の名前が変更された場合でも、最後の列の名前変更は認識されません。
前: a b c d
後: a b c1
この例では、d が削除され、c の名前が c1 に変更されました。
これは、c と d の削除と c1 の追加として識別されます。
-
新しい列は最後に追加されると想定されます。途中に次の列と同じデータ型の列が追加されると、削除と名前変更として解釈される可能性があります。