# データ パイプライン プロジェクトの設定 Qlik Talend Data Integration でデータ パイプライン プロジェクトの設定を変更できます。プロパティは、プロジェクトと含まれるすべてのデータ タスクに共通です。一部の設定は、特定のデータ プラットフォームでのみ使用できます。 * プロジェクトで [設定] をクリックします。 ## データ ウェアハウスのデータ パイプライン プロジェクトに関する設定 ### データ プラットフォーム 次の設定を変更できます。 * [Connection] (接続) プロジェクトの接続。 * ステージング エリアへの接続 データ プラットフォームが Snowflake の場合、このオプションは使用できません。 情報メモたとえば、プロジェクトのプラットフォーム タイプを Snowflake から Google BigQuery に変更することはできません。 ### メタデータ 内部アーティファクトのサフィックスと、作成されるビューのデフォルトのサフィックスを設定できます。 * アーティファクトの設定 * すべてのスキーマのプレフィックス: プロジェクト内で作成されるデータ スキーマに追加するプレフィックス。これは、インポートしたプロジェクトがエクスポートしたプロジェクトと同じクラウド データ ウェアハウスにある場合に便利です。 * 内部スキーマのサフィックス: 内部アーティファクトの格納に使用されるスキーマに適用するサフィックス。 * スキーマ名を既定で大文字化: すべてのスキーマ名の既定の大文字/小文字の表記。データベースが大文字と小文字を強制するように設定されている場合、このオプションは効果がありません。 * 外部ビューのサフィックス プロジェクトに含まれるデータ タスクで作成されるビューの既定の接尾辞を設定します。 ### 新しいタスクのデフォルト設定 プロジェクトで作成されるデータ タスクのデフォルト値を設定できます。データ タスクを作成すると、値を変更できます。 デフォルトのデータベースを設定して、すべてのタイプのデータ タスクのターゲット アーティファクトを作成できます。 #### ランディング タスクのデフォルト デフォルトのデータベース プロジェクトのデフォルトのデータベースを使用するか、他のデータベースを指定することができます。 Data Movement gatewayを使用する場合にプロキシ経由でターゲットにアクセスする 情報メモこのオプションは、Data Movement gateway 経由でターゲットにアクセスする場合にのみ使用できます。 * Data Movement gateway を使用する場合は、プロキシ経由で接続します Data Movement gateway を使用すると、プロキシを介してターゲット プラットフォームとステージング プラットフォーム (領域) に接続できます。 Data Movement gateway でプロキシ サーバーを使用するための設定の詳細については、「[Qlik Cloud テナントとプロキシ サーバーの設定](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/dm-gateway-setting-up.htm#Setting)」を参照してください。 * ターゲット プラットフォーム 情報メモSnowflake、Google BigQuery、および Databricks を使用する際に利用できます。 * ステージング プラットフォーム 情報メモAzure Synapse Analytics、Amazon Redshift、および Databricks を使用する際に利用できます。 #### ストレージ タスクのデフォルト * 履歴データ ストア (タイプ 2) 過去の変更データを保持して、特定の時点でのデータを簡単に再作成できるようにすることができます。履歴ビューとライブ履歴ビューを使用して、履歴データを表示できます。 * ライブ ビュー ライブ ビューには、テーブルを変更テーブルからの変更とマージする選択した各ソース テーブルのビューが表示されます。これにより、次の適用サイクルを待たずに、クエリにデータのライブ ビューが提供されます。 デフォルトのデータベース プロジェクトのデフォルトのデータベースを使用するか、他のデータベースを指定することができます。 カタログ * カタログに公開する このオプションを選択して、データのこのバージョンをデータセットとしてカタログに公開します。カタログのコンテンツは、このタスクを次回準備する際に更新されます。 デフォルトのビュー タイプ 情報メモSnowflake データプラットフォームを使用している場合にのみ利用できます。 * 標準ビュー 標準ビューを使用して、クエリの結果をテーブルのように表示します。 * Snowflake セキュア ビュー 基礎となるテーブルのすべてのユーザーに公開すべきではない機密データへのアクセスを制限するために作成されたビューなど、データのプライバシーまたは機密情報の保護のために指定されたビューには、Snowflake のセキュア ビューを使用します。Snowflake セキュアビューは、標準ビューよりも実行速度が遅くなる場合があります。 #### 登録済みデータ タスクのデフォルト設定 デフォルトのデータベース プロジェクトのデフォルトのデータベースを使用するか、他のデータベースを指定できます。 カタログ * カタログに公開する このオプションを選択して、データのこのバージョンをデータセットとしてカタログに公開します。カタログのコンテンツは、このタスクを次回準備する際に更新されます。 増分ロードの設定 これらの設定は、[高基準値を使用した増分] が選択されたときに利用できます。 * 変更テーブル 変更が同一テーブル内にある場合、[変更は同一テーブル内] を選択します。 そうでない場合、[変更は同一テーブル内] の選択をクリアしてから、変更テーブル パターンを指定します。 * 基準値列 [名前] で基準値列の名前を設定します。 * 「開始日」列 開始時刻で、または選択した列を使って「開始日」を示すことができます。 [選択された「開始日」列] を選択した場合、[「開始日」パターン] を定義する必要があります。 * 論理的な削除 [変更に論理的な削除を含む] を選択して、表示数式を定義することによって、変更に論理的な削除を含めることができまｓ。 この表示数式は、変更が論理的な削除である場合に「True」と評価されます。 Example: ${is\_deleted} = 1 * 前画像 前画像を選択して、表示数式を定義することにより、変更テーブルの変更で前画像レコードをフィルタリングして除外できます。 更新前の画像が行に含まれている場合、評価数式は True と評価されます。 例: ${header\_\_change\_oper} = 'B' #### 変換タスクのデフォルト * 履歴データ ストア (タイプ 2) 過去の変更データを保持して、特定の時点でのデータを簡単に再作成できるようにすることができます。履歴ビューとライブ履歴ビューを使用して、履歴データを表示できます。 実体化 * 非マテリアライズド (ビューのみ) このオプションを選択すると、オンザフライで変換を実行するビューのみが作成されます。 * マテリアライズド (テーブルとビュー) このオプションを選択すると、テーブルとビューの両方が作成されます。 デフォルトのデータベース プロジェクトのデフォルトのデータベースを使用するか、他のデータベースを指定できます。 カタログ * カタログに公開する このオプションを選択して、データのこのバージョンをデータセットとしてカタログに公開します。カタログのコンテンツは、このタスクを次回準備する際に更新されます。 デフォルトのビュー タイプ 情報メモSnowflake データプラットフォームを使用している場合にのみ利用できます。 * 標準ビュー 標準ビューを使用して、クエリの結果をテーブルのように表示します。 * Snowflake セキュア ビュー 基礎となるテーブルのすべてのユーザーに公開すべきではない機密データへのアクセスを制限するために作成されたビューなど、データのプライバシーまたは機密情報の保護のために指定されたビューには、Snowflake のセキュア ビューを使用します。Snowflake セキュアビューは、標準ビューよりも実行速度が遅くなる場合があります。 デフォルトのテーブル タイプ 情報メモSnowflake データプラットフォームを使用している場合にのみ利用できます。 これらの設定は、データ プラットフォームとして Snowflake を使用するプロジェクトでのみ使用できます。 * [Table type] (テーブルタイプ) 使用するテーブル タイプを選択できます。 * Snowflake テーブル * Snowflake 管理の Iceberg テーブル [Snowflake 外部ボリューム] で外部ボリュームのデフォルト名を設定する必要があります。 * 使用するクラウド ストレージ フォルダー ステージング エリアにデータをランディングするときに使用するフォルダーを選択できます。 * 既定のフォルダー 既定の名前 <project name>/<data task name> のフォルダーが作成されます。 * ルート フォルダー ストレージのルート フォルダーにデータを保存します。 * フォルダー 使用するフォルダーの名前を指定します。 * Snowflake Open Catalog と同期 これを有効にすると、Snowflake Open Catalog がクラウド ファイル ストレージ内のファイルを管理できるようになります。 #### データ マート タスクのデフォルト デフォルトのデータベース プロジェクトのデフォルトのデータベースを使用するか、他のデータベースを指定できます。 カタログ * カタログに公開する このオプションを選択して、データのこのバージョンをデータセットとしてカタログに公開します。カタログのコンテンツは、このタスクを次回準備する際に更新されます。 #### ランタイムのデフォルト プロジェクトに含まれるデータ アセットのデフォルトの実行時間パフォーマンス設定を定義できます。 ランディングのデフォルト * [並列実行] でのデータベース接続の最大数を設定することができます。 [](https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-project-settings.htm)ストレージのデフォルト * デフォルトのスケジュール設定を時間ベースのスケジュールに設定できます。これは、作成された各ストレージ タスクのデフォルト値になります。 * プロジェクト プラットフォームが Snowflake の場合、デフォルトのデータ ウェアハウスを設定できます。 [](https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-project-settings.htm)変換のデフォルト * デフォルトのスケジュール設定は、時間ベースのスケジュール、または [入力データ タスクのいずれかが正常に完了した場合] に設定できます。これは、作成された各変換タスクのデフォルト値になります。 * プロジェクト プラットフォームが Snowflake の場合、デフォルトのデータ ウェアハウスを設定できます。 [](https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-project-settings.htm)データ マートのデフォルト * デフォルトのスケジュール設定は、時間ベースのスケジュール、または [入力データ タスクのいずれかが正常に完了した場合] に設定できます。これは、作成された各データ マート タスクのデフォルト値になります。 * プロジェクト プラットフォームが Snowflake の場合、デフォルトのデータ ウェアハウスを設定できます。 [](https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-project-settings.htm)ミラーのデフォルト * プロジェクト プラットフォームが Snowflake の場合、デフォルトのデータ ウェアハウスを設定できます。 ## Qlik Open Lakehouse のデータ パイプライン プロジェクトに関する設定 ### データ プラットフォーム 次の設定を変更できます。 * データ カタログ接続: リストで、既存の接続を選択するか、[新規作成] をクリックして新しいデータ カタログ接続を追加します。既存の接続を編集し、 [接続をテスト] をクリックして、接続が機能することを確認することもできます。 * ランディング ターゲット接続: データをランディングする S3 バケットを選択するか、[新規作成] をクリックして新しいバケットの場所を追加します。既存の接続を編集し、 [接続をテスト] をクリックして、接続が機能することを確認することもできます。 情報メモたとえば、プロジェクトのプラットフォーム タイプを Snowflake から Google BigQuery に変更することはできません。 ### メタデータ 内部アーティファクトのサフィックスと、作成されるビューのデフォルトのサフィックスを設定できます。 * アーティファクトの設定 * すべてのスキーマのプレフィックス: プロジェクト内で作成されるデータ スキーマに追加するプレフィックス。これは、インポートしたプロジェクトがエクスポートしたプロジェクトと同じクラウド データ ウェアハウスにある場合に便利です。 * 内部スキーマのサフィックス: 内部アーティファクトの格納に使用されるスキーマに適用するサフィックス。 * スキーマ名を既定で大文字化: すべてのスキーマ名の既定の大文字/小文字の表記。データベースが大文字と小文字を強制するように設定されている場合、このオプションは効果がありません。 * 外部ビューのサフィックス プロジェクトに含まれるデータ タスクで作成されるビューの既定の接尾辞を設定します。 * ハッシュ 機密情報のマスキングなどを目的として、列をハッシュ化する際に使用するハッシュ ソルト文字列を設できます。この設定により、入力列にハッシュ ソルト文字列を連結した後に、入力列の SHA-256 ハッシュが生成されます。 プロジェクト ID をソルト文字列として使用するか、カスタム ソルト文字列を設定できます。 ### 新しいタスクのデフォルト設定 プロジェクトで作成されるデータ タスクのデフォルト値を設定できます。データ タスクを作成すると、値を変更できます。 デフォルトのデータベースを設定して、すべてのタイプのデータ タスクのターゲット アーティファクトを作成できます。 #### レイク ランディング タスクのデフォルト 使用するフォルダー ファイルを書き込むバケット フォルダーに応じて、次のいずれかを選択します。 * 既定のフォルダー 既定のフォルダー形式は <your-project-name>/<your-task-name> です。 * ルート フォルダー ファイルはルート バケット フォルダーに書き込まれます。 * フォルダー フォルダーの名前を指定します。フォルダーがまだ存在しない場合は、データ タスクの実行中に作成されます。 情報メモ フォルダー名に特殊文字 (@、#、! など) を含めることはできません。 #### ストレージ タスクのデフォルト * 履歴データ ストア (タイプ 2) 過去の変更データを保持して、特定の時点でのデータを簡単に再作成できるようにすることができます。履歴ビューとライブ履歴ビューを使用して、履歴データを表示できます。 カタログ * カタログに公開する このオプションを選択して、データのこのバージョンをデータセットとしてカタログに公開します。カタログのコンテンツは、このタスクを次回準備する際に更新されます。 ステージング エリアで使用するフォルダー ファイルを書き込むバケット フォルダーに応じて、次のいずれかを選択します。 * 既定のフォルダー 既定のフォルダー形式は <your-project-name>/<your-task-name> です。 * ルート フォルダー ファイルはルート バケット フォルダーに書き込まれます。 * フォルダー フォルダーの名前を指定します。フォルダーがまだ存在しない場合は、データ タスクの実行中に作成されます。 情報メモ フォルダー名に特殊文字 (@、#、! など) を含めることはできません。 #### ストリーミング ランディング タスクのデフォルト プロジェクトで作成されるストリーミング ランディング タスクのデフォルト値を設定できます。 使用するフォルダー ファイルを書き込むバケット フォルダーに応じて、次のいずれかを選択します。 * 既定のフォルダー 既定のフォルダー形式は <your-project-name>/<your-task-name> です。 * ルート フォルダー ファイルはルート バケット フォルダーに書き込まれます。 * フォルダー フォルダーの名前を指定します。フォルダーがまだ存在しない場合は、データ タスクの実行中に作成されます。 情報メモ フォルダー名に特殊文字 (@、#、! など) を含めることはできません。 フォルダーの保持 データを保持する期間を選択します。 * データおよびメタデータは削除されません データもメタデータも削除されません。 * 保持期間の終了後にデータおよびメタデータを削除 データおよびメタデータは、保持期間の経過後に削除されます。 * 保持期間の終了後にメタデータを削除: データは外部システムによって削除されます。 この期間が経過すると、メタデータは削除されます。基盤となるデータ (S3 オブジェクトなど) は、Qlik によって削除されるのではなく、外部システムによって削除されます。 #### ストリーミング変換タスクのデフォルト プロジェクトで作成されるストリーミング変換タスクのデフォルト値を設定できます。 カタログ * カタログに公開する このオプションを選択して、データのこのバージョンをデータセットとしてカタログに公開します。カタログのコンテンツは、このタスクを次回準備する際に更新されます。 使用するフォルダー ファイルを書き込むバケット フォルダーに応じて、次のいずれかを選択します。 * 既定のフォルダー 既定のフォルダー形式は <your-project-name>/<your-task-name> です。 * ルート フォルダー ファイルはルート バケット フォルダーに書き込まれます。 * フォルダー フォルダーの名前を指定します。フォルダーがまだ存在しない場合は、データ タスクの実行中に作成されます。 情報メモ フォルダー名に特殊文字 (@、#、! など) を含めることはできません。 テーブル定義 このプロジェクトのすべてのストリーミング変換タスクについて、標準ビューでデフォルトで表示されるヘッダー列を設定します。 * hdr\_\_from\_timestamp このオプションが有効な場合、hdr\_\_from\_timestamp ヘッダー列が標準ビューに表示されます。さらに、オンボーディング ウィザードで [イベント取り込み日でパーティション化] が選択されている場合、hdr\_\_from\_timestamp が既定のパーティション列として使用されます。この設定は、タスクまたはデータセットのレベルで上書きできます。 情報メモこの設定にかかわらず、履歴ビューにはすべての標準ビュー ヘッダー列が常に含まれます。 ### ランタイム プロジェクトに含まれるデータ タスクのデフォルトの実行時間パフォーマンス設定を定義できます。 #### レイク ランディング タスクのデフォルト * [並列実行] でのデータベース接続の最大数を設定できます。 #### ストレージ タスクのデフォルト レイクハウス クラスター 必要に応じて、ストレージ タスク用に専用の[レイクハウス クラスター](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/lakehouse-cluster.htm)を選択します。 #### ストリーミング ランディング タスクのデフォルト リーダーの数 使用するリーダーの数を選択します。値は 1 から 1,000 の範囲で指定する必要があります。 レイクハウス クラスター 必要に応じて、ストレージ タスク用に専用の[レイクハウス クラスター](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/lakehouse-cluster.htm)を選択します。 #### ストリーミング変換タスクのデフォルト レイクハウス クラスター 必要に応じて、ストレージ タスク用に専用の[レイクハウス クラスター](https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/lakehouse-cluster.htm)を選択します。 [](https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-project-settings.htm)ミラーのデフォルト * プロジェクト プラットフォームが Snowflake の場合、デフォルトのデータ ウェアハウスを設定できます。