SaaSアプリケーションへの接続
Qlik Talend Data Integration では、多数の SaaS アプリケーションからデータをランディングまたはレプリケートできます。
サポート対象のすべてのアプリケーションを確認するには、Supported SaaS applications にアクセスしてください。
増え続けるクラウド アプリケーション ソース用のコネクタを迅速に開発するために、Qlik は標準 API と生成 AI テクノロジーを使用して Qlik Talend Data Integration 用のアプリケーション コネクタを作成しています。
コネクタの分類
新しいコネクタの提供を早めるために、最初に特定のユース ケース向けのコネクタをいくつか開発し、その後 Lite ラベルまたは マークを付けてリリースします。
Lite コネクタには簡略化された一般提供 (GA) プロセスがありますが、主要なデータの整合性、セキュリティ、信頼性の問題については、他のコネクタと同じサービス レベル アグリーメント (SLA) に従います。Lite コネクタが一般提供されると、Qlik によって完全にサポートされます。
Qlik が顧客から十分なフィードバックを収集し、追加のユース ケースを検証できるようになると、Lite コネクタは標準コネクタにアップグレードされます。
分類 | 標準 | Lite |
---|---|---|
分類化 |
|
処理速度が速いソース:
|
一般提供 | 厳格な QA および試験プロセスを通じて、品質とすべての主要な技術的問題を徹底的に検証し特定します。問題は、弊社のサポート SLA に従って対応および対処されます。 | GA プロセスを簡素化し、ユーザーにとっての価値を実現するまでの時間を短縮します。主要なデータの整合性、セキュリティ、信頼性の問題については、標準コネクタと同じ SLA に従います。 |
ユース ケース | 完全またはほぼ完全なユース ケースを対象とする。 |
部分的または特定のユース ケースを対象とする。 |
SLA | 価格プランに基づく完全な SLA。 |
価格プランに基づく完全な SLA。 拡張機能の応答時間は異なる。 |
価格 | 毎月の使用容量に基づく。 | 毎月の使用容量に基づく。 |
SaaS アプリケーションへの接続
ユースケースに応じて、SaaS アプリケーションに接続するために Data Movement gateway を設定する必要があります。詳細については、「どのようなときに Data Movement gateway が必要ですか?」を参照してください。
Qlik は新しいナビゲーション エクスペリエンスをリリースしましたが、現在はオプションです。テナント管理者が新しいナビゲーションをオンにしている場合:
- データ統合にアクセスするための Launcher メニュー (
) は左上にあります。
- 以前は [新規追加] ボタン (削除されました) を使用して実行されていたアクションは、特定のコンテキスト (たとえば、データ統合 > 接続) に切り替えて [作成 <object>] ボタンをクリックすることによって実行されるようになりました。
変更の詳細な説明については、「新しい Qlik Talend データ統合 プラットフォーム ナビゲーション」を参照してください
-
SaaS アプリケーションに接続する最初のステップとして、データ ソースに接続を追加します。これには複数の方法があります。
-
[接続] で、[接続を作成] をクリックします。
-
ソース接続がリストされている場所 (たとえば、データ タスク セットアップ ウィザード内) で [接続を作成] をクリックします。
[カテゴリ] で [アプリケーション] を選択して、コネクタのリストを SaaS アプリケーション コネクタでフィルタリングします。
最近使用したコネクタから選択することもできます。
-
-
接続先のアプリケーションを選択します。
-
接続の詳細を入力して、接続を認証します。接続の詳細と認証プロセスは、SaaS アプリケーションごとに異なります。
詳細については、SaaSアプリケーションへの接続 に移動してデータ ソースを選択してください。
[接続メタデータを開く] を選択し、準備ができたら [作成] をクリックします。
-
メタデータ マネージャーが表示され、接続のメタデータを定義できます。
[メタデータを生成] をクリックして、ソース データのサンプリングに基づいてメタデータを作成します。
メタデータのロードの詳細については、「メタデータを生成するためのデータ スキャン」を参照してください。
-
使用するソース データセットを選択して、[OK] をクリックします。
-
データをスキャンするためのオプションを選択します。フル スキャンまたはクイック スキャンを実行できます。
フルスキャンのほうが正確ですが、処理に時間がかかる場合があります。フル スキャンを選択した場合、このデータはデータをランディングするときの初期ロードで使用されます。
既定のメタデータを設定することもできます。
準備ができたら、[メタデータを生成] をクリックします。
メタデータの生成が完了したら、ランディング タスクまたはオンボーディング タスクで接続を使用できます。
変更処理
データ タスクの [設定] で、使用する更新方法を設定できます。データ タスクが準備されると、更新方法の変更はできません。使用できる更新方法は、タスクがランディング、レプリケーション、またはデータ レイクのデータのランディングのいずれであるかによって異なります。
ランディング方法を更新
-
変更データキャプチャ (CDC)
フル ロードでランディングを開始します。ランディングされたデータは、日付項目に基づいた増分ローディングによって最新に保たれます。CDC は、すべてのデータ ソースでサポートされていない可能性があります。
情報メモDELETE 操作はサポートされていません。つまり、ソースで行が削除されても、ランディング データでは削除されません。削除処理が重要な場合は、代わりに [リロードして比較] を使用してください。Data Movement gateway を使用する場合は、[設定] > [実行時間] でソースから変更を読み取る間隔を設定します。Data Movement gateway を使用しない場合は、スケジューラを使用して間隔を設定します。詳細については、「Data Movement gateway を使用しない場合の CDC タスクのスケジュール設定」を参照してください。
-
リロードして比較
ランディングはソースからのみフル ロードを実行します。これは、ソースが CDC をサポートしていない場合や、DELETE 操作 (CDC ではサポートされていない) をターゲットにプロパゲートする場合に役立ちます。リロードと比較は、サポートされている任意のデータ ソースで使用でき、定期的に実行するようにスケジュールできます。
データベースまたはデータ ウェアハウス ターゲットにレプリケートする場合の更新方法
- フル ロード: 選択したソース テーブルからターゲット プラットフォームにデータをロードし、必要に応じてターゲット テーブルを作成します。フル ロードはタスクの開始時に自動的に実行されますが、必要に応じて手動で実行することもできます。
-
変更を適用: ソース テーブルに加えられた変更を反映して、ターゲット テーブルを最新の状態に保ちます。
-
保存先の変更: ソース テーブルへの変更を変更テーブル (ソース テーブルごとに 1 つ) に保存します。
詳細は、変更の保存をご覧ください。
Data Movement gateway を使用する場合、変更はソースからほぼリアルタイムでキャプチャされます。Data Movement gateway を使用せずに作業する場合 (例: Qlik Talend Cloud スターター サブスクリプションを使用する場合)、変更はスケジューラーの設定に従ってキャプチャされます。既定の変更キャプチャの間隔は 6 時間ごとです。詳細は、Data Movement gateway を使用しない場合のタスクのスケジュール設定をご覧ください。
クラウド ストレージ (データ レイク) にレプリケートする場合の更新方法
-
変更データキャプチャ (CDC): データ レイクのランディング タスクは、フル ロードから開始されます (その間、選択されたすべてのテーブルがランディングされます)。ランディング データは、CDC (変更データ キャプチャ) テクノロジーを使用して最新の状態に保たれます。
情報メモDDL 操作の CDC (変更データ キャプチャ) はサポートされていません。Data Movement gateway を使用する場合、変更はソースからほぼリアルタイムでキャプチャされます。Data Movement gateway を使用せずに作業する場合、変更はスケジューラーの設定に従ってキャプチャされます。既定の変更キャプチャの間隔は 1 時間ごとです。詳細は、Data Movement gateway を使用しない場合のタスクのスケジュール設定をご覧ください。
- リロード: 選択したソーステーブルからターゲットプラットフォームへのデータのフル ロードを実行し、必要に応じてターゲット テーブルを作成します。フル ロードはタスクの開始時に自動的に実行されますが、必要に応じて手動で実行することや、定期的に実行するようにスケジュールすることもできます。
クラウド ストレージにレプリケーションを設定する手順は、サブスクリプション ティアに応じて異なります。
- Standard、Enterprise、Premium サブスクリプションを利用している場合は、「Standard、Premium、または Enterprise サブスクリプションを使用して、データ レイクにデータをランディングします」を参照してください
- Starter サブスクリプションを利用している場合は、「Qlik Talend Cloud スターター サブスクリプションを利用したデータのレプリケート」を参照してください
制限事項
SaaS アプリケーションによって返される一部のテーブルは、変更データ キャプチャ (CDC) でサポートされていません。この場合、[検証エラー] に警告メッセージが表示されます。次のいずれかの方法が可能です。
-
データ タスクからテーブルを削除します。
-
データ タスクの更新方法を [リロードして比較] に変更します。
メタデータの管理
データ ソースへの接続を作成するときは、含まれるデータセットのメタデータも定義する必要があります。メタデータは、適切なターゲット テーブルを正規化して定義するためのスキーマを生成するときに使用されます。メタデータを使用すると、ターゲットへのレプリケーションで使用する列を選択できます。ネストされた構造がソースから返されると、出力テーブルは正規化され、データの粒度は保持されます。
次のいずれかの方法が可能です。
-
ソーステーブルからデータをサンプリングしてメタデータを生成します
-
同じタイプのデータ ソースを持つ接続からエクスポートされたメタデータをインポートします。
[接続] で管理する接続の [メタデータ] をクリックすると、接続のメタデータを管理できます。
メタデータを生成するためのデータ スキャン
メタデータを生成するときに、データのフル スキャンを実行するか、[メタデータ ローディング] でクイック スキャンを実行するかを選択できます。
-
[フル データ スキャン] のほうが正確ですが、処理に時間がかかる場合があります。
-
[クイック データ スキャン] は、データのサンプルに基づきます。こちらのほうが短時間ですが、精度は劣ります。[データ サンプルの数] を使用して、スキャンで使用するデータ サンプルの数を選択できます。精度を向上させるには、数値を上げます。
データ サンプルに含まれるレコードの数は、使用されるデータ ソースに応じて異なります。
[文字列のサイズ] の設定方法も選択できます。
-
固定
固定文字列のサイズを 1 ~ 10000 の範囲で設定します。
-
データ値に基づく
文字列のサイズを、データ サンプルの項目で観測された最長値に、乗算の値を掛けた値に設定します。
サンプルのすべての行で項目が空の場合、文字列のサイズは、値がない場合の既定サイズの値に設定されます。
データセットの選択
メタデータにデータセットを追加できます。
-
[データセットを選択] をクリックします。
メタデータに追加するデータセットを選択できるようになりました。メタデータにデータセットがすでに含まれている場合は、リロードされます。
終了したら、[OK] をクリックします。
データセットの削除
-
メタデータからデータセットを削除するには、データセット上で [...] をクリックし、[削除] をクリックします。
データセットの列の編集
データセットの列を編集して、キーとして設定すること、NULL にすること、またはデータ型を変更することができます。
-
データセットを選択します。
-
編集する列を選択します。
-
[編集] をクリックします。
データセットの列の削除
-
データセットを選択します。
-
削除する列を選択します。
-
[削除] をクリックします。
メタデータのエクスポートとインポート
接続からメタデータをエクスポートし、別の接続にインポートできます。
-
[メタデータをエクスポート] をクリックしてメタデータをエクスポートします。
-
[メタデータをインポート] をクリックして、エクスポートされたメタデータ ファイルからメタデータを追加します。メタデータ ファイルは、同じ種類のデータ ソースからエクスポートされている必要があります。同じ名前のテーブルが存在する場合は、インポート時にスキップするか、既存のメタデータを上書きできます。
メタデータのリロード
ソース データに構造的な変更があった場合は、接続のメタデータをリロードする必要があります。
-
すべてのデータセットのメタデータをリロードするには、[メタデータをリロード] をクリックします。
-
特定のデータセットをリロードするには、データセット上で [...] をクリックし、[メタデータをリロード] をクリックします。
メタデータのロードの詳細については、「メタデータを生成するためのデータ スキャン」を参照してください。