# Настройки проекта конвейера данных Вы можете изменить настройки проекта конвейера данных в Qlik Talend Data Integration. Свойства являются общими для проекта и всех включенных задач данных. Некоторые настройки доступны только для определенных платформ данных. * Нажмите Настройки в проекте. ## Настройки для проектов конвейера данных хранилища данных ### Платформа данных Вы можете изменить следующие настройки: * Подключение Подключение для проекта. * Подключение к области подготовки Этот параметр недоступен, если платформой данных является Snowflake. Примечание к информацииНевозможно изменить тип платформы проекта, например, с Snowflake на Google BigQuery. ### Метаданные Вы можете задать суффикс для внутренних артефактов и суффиксы по умолчанию для создаваемых представлений. * Настройки артефактов * Префикс для всех схем: Префикс, добавляемый к схемам данных, которые создаются в проекте. Это полезно, когда импортированный проект находится в том же облачном хранилище данных, что и экспортированный проект. * Суффикс для внутренней схемы: Суффикс, который будет использоваться для схем, предназначенных для хранения внутренних артефактов. * Регистр имени схемы по умолчанию: Регистр по умолчанию для всех имен схем. Если база данных настроена на принудительное использование определенного регистра, этот параметр не будет иметь эффекта. * Суффиксы для внешних представлений Задайте суффиксы по умолчанию для представлений, которые создаются в задачах данных, включенных в проект. ### Настройки по умолчанию для новых задач Вы можете задать значения по умолчанию для задач данных, создаваемых в проекте. При создании задачи данных вы можете изменить это значение. Вы можете задать базу данных по умолчанию для создания целевых артефактов для всех типов задач данных. #### Настройки по умолчанию для задач промежуточного хранения База данных по умолчанию Вы можете использовать базу данных проекта по умолчанию или указать другую базу данных. Доступ к целевому объекту через прокси-сервер при использовании Шлюз движения данных Примечание к информацииЭтот параметр доступен только при доступе к целевым объектам через Шлюз движения данных. * При использовании Data Movement gateway подключаться через прокси-сервер к При использовании Шлюз движения данных вы можете подключаться к целевой платформе и платформе (области) подготовки через прокси-сервер. Для получения дополнительной информации о настройке Шлюз движения данных для использования прокси-сервера см. [Настройка клиента Qlik Cloud и прокси-сервера](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/dm-gateway-setting-up.htm#Setting). * Целевая платформа Примечание к информацииДоступно при использовании Snowflake, Google BigQuery и Databricks. * Платформа подготовки Примечание к информацииДоступно при использовании Azure Synapse Analytics, Amazon Redshift и Databricks. #### Настройки по умолчанию для задач хранения * Хранилище исторических данных (тип 2) Вы можете сохранять исторические данные об изменениях, чтобы легко воссоздавать данные в том виде, в каком они были в определенный момент времени. Для просмотра исторических данных можно использовать представления истории и представления истории в реальном времени. * Представления в реальном времени Представления в реальном времени отображают представление для каждой выбранной исходной таблицы, которое объединяет таблицу с изменениями из таблицы изменений. Это обеспечивает запросы представлением данных в реальном времени без необходимости ждать следующего цикла применения. База данных по умолчанию Вы можете использовать базу данных проекта по умолчанию или указать другую базу данных. Каталог * Опубликовать в каталоге Выберите этот параметр, чтобы опубликовать эту версию данных в Каталог в качестве набора данных. Содержимое каталога будет обновлено при следующей подготовке этой задачи. Тип представления по умолчанию Примечание к информацииДоступно только при использовании платформы данных Snowflake. * Стандартные представления Используйте стандартные представления для отображения результатов запроса так, как если бы это была таблица. * Безопасные представления Snowflake Используйте безопасные представления Snowflake для представлений, предназначенных для обеспечения конфиденциальности данных или защиты конфиденциальной информации, например, для представлений, созданных для ограничения доступа к конфиденциальным данным, которые не должны быть доступны всем пользователям базовых таблиц. Безопасные представления Snowflake могут выполняться медленнее, чем стандартные представления. #### Настройки по умолчанию для задач зарегистрированных данных База данных по умолчанию Вы можете использовать базу данных проекта по умолчанию или указать другую базу данных. Каталог * Опубликовать в каталоге Выберите этот параметр, чтобы опубликовать эту версию данных в Каталог в качестве набора данных. Содержимое каталога будет обновлено при следующей подготовке этой задачи. Настройки инкрементальной загрузки Эти настройки доступны, если выбрано Инкрементальная с использованием верхнего предела. * Таблицы изменений Если изменения находятся в той же таблице, выберите Изменения находятся в той же таблице. Если нет, очистите Изменения находятся в той же таблице и укажите шаблон таблицы изменений. * Столбец предела Задайте имя столбца предела в поле Имя. * Столбец «С даты» Вы можете указать «С даты» по времени начала или с помощью выбранного столбца. Если вы выберете Выбранный столбец «С даты», необходимо определить Шаблон «С даты». * Мягкие удаления Вы можете включить мягкие удаления в изменения, выбрав Изменения включают мягкие удаления и определив выражение индикации. Выражение индикации должно принимать значение True, если изменение является мягким удалением. Пример: ${is\_deleted} = 1 * Образ до Вы можете отфильтровать записи образа до в изменениях таблиц изменений, выбрав Образ до и определив выражение индикации. Выражение индикации должно принимать значение True, если строка содержит образ до обновления. Пример: ${header\_\_change\_oper} = 'B' #### Настройки по умолчанию для задач преобразования * Хранилище исторических данных (тип 2) Вы можете сохранять исторические данные об изменениях, чтобы легко воссоздавать данные в том виде, в каком они были в определенный момент времени. Для просмотра исторических данных можно использовать представления истории и представления истории в реальном времени. Материализация * Нематериализованные (только представления) Выберите этот параметр, чтобы создавать только представления, выполняющие преобразования на лету. * Материализованные (таблицы и представления) Выберите этот параметр, чтобы создавать как таблицы, так и представления. База данных по умолчанию Вы можете использовать базу данных проекта по умолчанию или указать другую базу данных. Каталог * Опубликовать в каталоге Выберите этот параметр, чтобы опубликовать эту версию данных в Каталог в качестве набора данных. Содержимое каталога будет обновлено при следующей подготовке этой задачи. Тип представления по умолчанию Примечание к информацииДоступно только при использовании платформы данных Snowflake. * Стандартные представления Используйте стандартные представления для отображения результатов запроса так, как если бы это была таблица. * Безопасные представления Snowflake Используйте безопасные представления Snowflake для представлений, предназначенных для обеспечения конфиденциальности данных или защиты конфиденциальной информации, например, для представлений, созданных для ограничения доступа к конфиденциальным данным, которые не должны быть доступны всем пользователям базовых таблиц. Безопасные представления Snowflake могут выполняться медленнее, чем стандартные представления. Тип таблицы по умолчанию Примечание к информацииДоступно только при использовании платформы данных Snowflake. Эти параметры доступны только в проектах, где в качестве платформы данных используется Snowflake. * Тип таблицы Можно выбрать, какой тип таблицы использовать. * Таблицы Snowflake * Таблицы Iceberg под управлением Snowflake Необходимо задать имя по умолчанию для внешнего тома в поле Внешний том Snowflake. * Папка облачного хранилища для использования Выберите папку, которая будет использоваться при промежуточном хранении данных в промежуточной области. * Папка по умолчанию Создается папка с именем, заданным по умолчанию: <имя проекта>/<имя задачи данных>. * Корневая папка Данные сохраняются в корневой папке хранилища. * Папка Укажите имя используемой папки. * Синхронизировать с Snowflake Open Catalog Включите этот параметр, чтобы позволить Snowflake Open Catalog управлять файлами в облачном хранилище файлов. #### Настройки по умолчанию для задач витрины данных База данных по умолчанию Вы можете использовать базу данных проекта по умолчанию или указать другую базу данных. Каталог * Опубликовать в каталоге Выберите этот параметр, чтобы опубликовать эту версию данных в Каталог в качестве набора данных. Содержимое каталога будет обновлено при следующей подготовке этой задачи. #### Настройки среды выполнения по умолчанию Вы можете определить настройки производительности среды выполнения по умолчанию для ресурсов данных, включенных в проект. Настройки промежуточного хранения по умолчанию * Вы можете задать максимальное количество подключений к базе данных в разделе Параллельное выполнение. [](https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-project-settings.htm)Настройки хранения по умолчанию * Вы можете задать настройки расписания по умолчанию на основе времени. Это будет значением по умолчанию для каждой созданной задачи хранения. * Вы можете задать хранилище данных по умолчанию, если платформой проекта является Snowflake. [](https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-project-settings.htm)Настройки преобразования по умолчанию * Вы можете задать настройки расписания по умолчанию на основе времени или При успешном завершении любой задачи входных данных. Это будет значением по умолчанию для каждой созданной задачи преобразования. * Вы можете задать хранилище данных по умолчанию, если платформой проекта является Snowflake. [](https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-project-settings.htm)Настройки витрины данных по умолчанию * Вы можете задать настройки расписания по умолчанию на основе времени или При успешном завершении любой задачи входных данных. Это будет значением по умолчанию для каждой созданной задачи витрины данных. * Вы можете задать хранилище данных по умолчанию, если платформой проекта является Snowflake. [](https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-project-settings.htm)Настройки зеркалирования по умолчанию * Вы можете задать хранилище данных по умолчанию, если платформой проекта является Snowflake. ## Настройки для проектов конвейера данных Открытое озеро данных Qlik ### Платформа данных Вы можете изменить следующие настройки: * Подключение к каталогу данных: Выберите существующее подключение или нажмите Создать новое, чтобы добавить новое подключение к каталогу данных. Вы также можете отредактировать существующее подключение и проверить, работает ли подключение, нажав Проверить подключение. * Подключение к целевому объекту промежуточного хранения: Выберите блок S3 для промежуточного хранения данных или нажмите Создать новое, чтобы добавить новое местоположение блока. Вы также можете отредактировать существующее подключение и проверить, работает ли подключение, нажав Проверить подключение. Примечание к информацииНевозможно изменить тип платформы проекта, например, с Snowflake на Google BigQuery. ### Метаданные Вы можете задать суффикс для внутренних артефактов и суффиксы по умолчанию для создаваемых представлений. * Настройки артефактов * Префикс для всех схем: Префикс, добавляемый к схемам данных, которые создаются в проекте. Это полезно, когда импортированный проект находится в том же облачном хранилище данных, что и экспортированный проект. * Суффикс для внутренней схемы: Суффикс, который будет использоваться для схем, предназначенных для хранения внутренних артефактов. * Регистр имени схемы по умолчанию: Регистр по умолчанию для всех имен схем. Если база данных настроена на принудительное использование определенного регистра, этот параметр не будет иметь эффекта. * Суффиксы для внешних представлений Задайте суффиксы по умолчанию для представлений, которые создаются в задачах данных, включенных в проект. * Хэш Вы можете задать строку соли хэша, которая будет использоваться при хэшировании столбца, например, для маскировки конфиденциальной информации. Это сгенерирует хэш SHA-256 входного столбца после его объединения со строкой соли хэша. Вы можете использовать идентификатор проекта в качестве строки соли или задать пользовательскую строку соли. ### Настройки по умолчанию для новых задач Вы можете задать значения по умолчанию для задач данных, создаваемых в проекте. При создании задачи данных вы можете изменить это значение. Вы можете задать базу данных по умолчанию для создания целевых артефактов для всех типов задач данных. #### Настройки по умолчанию для задач промежуточного хранения в озере Используемая папка Выберите один из следующих вариантов в зависимости от того, в какую папку блока вы хотите записать файлы: * Папка по умолчанию Формат папки по умолчанию: <имя-вашего-проекта>/<имя-вашей-задачи> * Корневая папка Файлы будут записаны в корневую папку блока. * Папка Укажите имя папки. Папка будет создана во время выполнения задачи данных, если она еще не существует. Примечание к информации Имя папки не может содержать специальные символы (например, @, #, ! и так далее). #### Настройки по умолчанию для задач хранения * Хранилище исторических данных (тип 2) Вы можете сохранять исторические данные об изменениях, чтобы легко воссоздавать данные в том виде, в каком они были в определенный момент времени. Для просмотра исторических данных можно использовать представления истории и представления истории в реальном времени. Каталог * Опубликовать в каталоге Выберите этот параметр, чтобы опубликовать эту версию данных в Каталог в качестве набора данных. Содержимое каталога будет обновлено при следующей подготовке этой задачи. Используемая папка в области подготовки Выберите один из следующих вариантов в зависимости от того, в какую папку блока вы хотите записать файлы: * Папка по умолчанию Формат папки по умолчанию: <имя-вашего-проекта>/<имя-вашей-задачи> * Корневая папка Файлы будут записаны в корневую папку блока. * Папка Укажите имя папки. Папка будет создана во время выполнения задачи данных, если она еще не существует. Примечание к информации Имя папки не может содержать специальные символы (например, @, #, ! и так далее). #### Настройки по умолчанию для задач потокового промежуточного хранения Вы можете задать значения по умолчанию для задач потокового промежуточного хранения, созданных в проекте. Используемая папка Выберите один из следующих вариантов в зависимости от того, в какую папку блока вы хотите записать файлы: * Папка по умолчанию Формат папки по умолчанию: <имя-вашего-проекта>/<имя-вашей-задачи> * Корневая папка Файлы будут записаны в корневую папку блока. * Папка Укажите имя папки. Папка будет создана во время выполнения задачи данных, если она еще не существует. Примечание к информации Имя папки не может содержать специальные символы (например, @, #, ! и так далее). Хранение папки Выберите, как долго хранить данные: * Данные и метаданные не удаляются Ни данные, ни метаданные не удаляются. * Удалить данные и метаданные по истечении периода хранения Данные и метаданные удаляются по истечении периода хранения. * Удалить метаданные по истечении периода хранения. Данные удаляются внешней системой. Метаданные очищаются по истечении этого периода. Базовые данные, например объект S3, не удаляются Qlik, а удаляются внешней системой. #### Настройки по умолчанию для задач потокового преобразования Вы можете задать значения по умолчанию для задач потокового преобразования, созданных в проекте. Каталог * Опубликовать в каталоге Выберите этот параметр, чтобы опубликовать эту версию данных в Каталог в качестве набора данных. Содержимое каталога будет обновлено при следующей подготовке этой задачи. Используемая папка Выберите один из следующих вариантов в зависимости от того, в какую папку блока вы хотите записать файлы: * Папка по умолчанию Формат папки по умолчанию: <имя-вашего-проекта>/<имя-вашей-задачи> * Корневая папка Файлы будут записаны в корневую папку блока. * Папка Укажите имя папки. Папка будет создана во время выполнения задачи данных, если она еще не существует. Примечание к информации Имя папки не может содержать специальные символы (например, @, #, ! и так далее). Определения таблиц Настройте столбцы заголовка стандартного представления, которые по умолчанию отображаются в стандартных представлениях для всех задач потокового преобразования в этом проекте. * hdr\_\_from\_timestamp Если эта опция включена, столбец заголовка hdr\_\_from\_timestamp будет отображаться в стандартных представлениях. Кроме того, если в мастере настройки выбрано Секционировать по дате приема события, hdr\_\_from\_timestamp будет использоваться в качестве столбца секционирования по умолчанию. Эту настройку можно переопределить на уровне задачи или набора данных. Примечание к информацииПредставления истории всегда включают все столбцы заголовков стандартного представления, независимо от этой настройки. ### Среда выполнения Вы можете определить настройки производительности среды выполнения по умолчанию для задач данных, включенных в проект. #### Настройки по умолчанию для задач промежуточного хранения в озере * Вы можете задать максимальное количество подключений к базе данных в разделе Параллельное выполнение. #### Настройки по умолчанию для задач хранения Кластер Lakehouse При необходимости выберите выделенный [кластер Lakehouse](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/lakehouse-cluster.htm) для задач хранения. #### Настройки по умолчанию для задач потокового промежуточного хранения Количество модулей чтения Выберите количество используемых модулей чтения. Значение должно быть от 1 до 1000. Кластер Lakehouse При необходимости выберите выделенный [кластер Lakehouse](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/lakehouse-cluster.htm) для задач хранения. #### Настройки по умолчанию для задач потокового преобразования Кластер Lakehouse При необходимости выберите выделенный [кластер Lakehouse](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/lakehouse-cluster.htm) для задач хранения. [](https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-project-settings.htm)Настройки зеркалирования по умолчанию * Вы можете задать хранилище данных по умолчанию, если платформой проекта является Snowflake.