Настройки проекта конвейера данных

Вы можете изменить настройки проекта конвейера данных в Qlik Talend Data Integration. Свойства являются общими для проекта и всех включенных задач данных. Некоторые настройки доступны только для определенных платформ данных.

Нажмите Настройки в проекте.

Настройки для проектов конвейера данных хранилища данных

Платформа данных

Вы можете изменить следующие настройки:

Подключение

Подключение для проекта.
Подключение к области подготовки

Этот параметр недоступен, если платформой данных является Snowflake.

Невозможно изменить тип платформы проекта, например, с Snowflake на Google BigQuery.

Метаданные

Вы можете задать суффикс для внутренних артефактов и суффиксы по умолчанию для создаваемых представлений.

Настройки артефактов
- Префикс для всех схем: Префикс, добавляемый к схемам данных, которые создаются в проекте. Это полезно, когда импортированный проект находится в том же облачном хранилище данных, что и экспортированный проект.
- Суффикс для внутренней схемы: Суффикс, который будет использоваться для схем, предназначенных для хранения внутренних артефактов.
- Регистр имени схемы по умолчанию: Регистр по умолчанию для всех имен схем. Если база данных настроена на принудительное использование определенного регистра, этот параметр не будет иметь эффекта.
Суффиксы для внешних представлений

Задайте суффиксы по умолчанию для представлений, которые создаются в задачах данных, включенных в проект.

Настройки по умолчанию для новых задач

Вы можете задать значения по умолчанию для задач данных, создаваемых в проекте. При создании задачи данных вы можете изменить это значение.

Вы можете задать базу данных по умолчанию для создания целевых артефактов для всех типов задач данных.

Настройки по умолчанию для задач промежуточного хранения

База данных по умолчанию

Вы можете использовать базу данных проекта по умолчанию или указать другую базу данных.

Доступ к целевому объекту через прокси-сервер при использовании Шлюз движения данных

Этот параметр доступен только при доступе к целевым объектам через Шлюз движения данных.

При использовании Data Movement gateway подключаться через прокси-сервер к

При использовании Шлюз движения данных вы можете подключаться к целевой платформе и платформе (области) подготовки через прокси-сервер.

Для получения дополнительной информации о настройке Шлюз движения данных для использования прокси-сервера см. Настройка клиента Qlik Cloud и прокси-сервера.
- Целевая платформа
  
  Примечание к информацииДоступно при использовании Snowflake, Google BigQuery и Databricks.
- Платформа подготовки
  
  Примечание к информацииДоступно при использовании Azure Synapse Analytics, Amazon Redshift и Databricks.

Настройки по умолчанию для задач хранения

Хранилище исторических данных (тип 2)

Вы можете сохранять исторические данные об изменениях, чтобы легко воссоздавать данные в том виде, в каком они были в определенный момент времени. Для просмотра исторических данных можно использовать представления истории и представления истории в реальном времени.
Представления в реальном времени

Представления в реальном времени отображают представление для каждой выбранной исходной таблицы, которое объединяет таблицу с изменениями из таблицы изменений. Это обеспечивает запросы представлением данных в реальном времени без необходимости ждать следующего цикла применения.

База данных по умолчанию

Вы можете использовать базу данных проекта по умолчанию или указать другую базу данных.

Каталог

Опубликовать в каталоге

Выберите этот параметр, чтобы опубликовать эту версию данных в Каталог в качестве набора данных. Содержимое каталога будет обновлено при следующей подготовке этой задачи.

Тип представления по умолчанию

Доступно только при использовании платформы данных Snowflake.

Стандартные представления

Используйте стандартные представления для отображения результатов запроса так, как если бы это была таблица.
Безопасные представления Snowflake

Используйте безопасные представления Snowflake для представлений, предназначенных для обеспечения конфиденциальности данных или защиты конфиденциальной информации, например, для представлений, созданных для ограничения доступа к конфиденциальным данным, которые не должны быть доступны всем пользователям базовых таблиц. Безопасные представления Snowflake могут выполняться медленнее, чем стандартные представления.

Настройки по умолчанию для задач зарегистрированных данных

База данных по умолчанию

Вы можете использовать базу данных проекта по умолчанию или указать другую базу данных.

Каталог

Опубликовать в каталоге

Выберите этот параметр, чтобы опубликовать эту версию данных в Каталог в качестве набора данных. Содержимое каталога будет обновлено при следующей подготовке этой задачи.

Настройки инкрементальной загрузки

Эти настройки доступны, если выбрано Инкрементальная с использованием верхнего предела.

Таблицы изменений

Если изменения находятся в той же таблице, выберите Изменения находятся в той же таблице.

Если нет, очистите Изменения находятся в той же таблице и укажите шаблон таблицы изменений.
Столбец предела

Задайте имя столбца предела в поле Имя.
Столбец «С даты»

Вы можете указать «С даты» по времени начала или с помощью выбранного столбца.

Если вы выберете Выбранный столбец «С даты», необходимо определить Шаблон «С даты».
Мягкие удаления

Вы можете включить мягкие удаления в изменения, выбрав Изменения включают мягкие удаления и определив выражение индикации.

Выражение индикации должно принимать значение True, если изменение является мягким удалением.

Пример: ${is_deleted} = 1
Образ до

Вы можете отфильтровать записи образа до в изменениях таблиц изменений, выбрав Образ до и определив выражение индикации.

Выражение индикации должно принимать значение True, если строка содержит образ до обновления.

Пример: ${header__change_oper} = 'B'

Настройки по умолчанию для задач преобразования

Хранилище исторических данных (тип 2)

Вы можете сохранять исторические данные об изменениях, чтобы легко воссоздавать данные в том виде, в каком они были в определенный момент времени. Для просмотра исторических данных можно использовать представления истории и представления истории в реальном времени.

Материализация

Нематериализованные (только представления)

Выберите этот параметр, чтобы создавать только представления, выполняющие преобразования на лету.
Материализованные (таблицы и представления)

Выберите этот параметр, чтобы создавать как таблицы, так и представления.

База данных по умолчанию

Вы можете использовать базу данных проекта по умолчанию или указать другую базу данных.

Каталог

Опубликовать в каталоге

Выберите этот параметр, чтобы опубликовать эту версию данных в Каталог в качестве набора данных. Содержимое каталога будет обновлено при следующей подготовке этой задачи.

Тип представления по умолчанию

Доступно только при использовании платформы данных Snowflake.

Стандартные представления

Используйте стандартные представления для отображения результатов запроса так, как если бы это была таблица.
Безопасные представления Snowflake

Используйте безопасные представления Snowflake для представлений, предназначенных для обеспечения конфиденциальности данных или защиты конфиденциальной информации, например, для представлений, созданных для ограничения доступа к конфиденциальным данным, которые не должны быть доступны всем пользователям базовых таблиц. Безопасные представления Snowflake могут выполняться медленнее, чем стандартные представления.

Тип таблицы по умолчанию

Доступно только при использовании платформы данных Snowflake.

Эти параметры доступны только в проектах, где в качестве платформы данных используется Snowflake.

Тип таблицы

Можно выбрать, какой тип таблицы использовать.
- Таблицы Snowflake
- Таблицы Iceberg под управлением Snowflake
  
  Необходимо задать имя по умолчанию для внешнего тома в поле Внешний том Snowflake.
Папка облачного хранилища для использования

Выберите папку, которая будет использоваться при промежуточном хранении данных в промежуточной области.
- Папка по умолчанию
  
  Создается папка с именем, заданным по умолчанию: <имя проекта>/<имя задачи данных>.
- Корневая папка
  
  Данные сохраняются в корневой папке хранилища.
- Папка
  
  Укажите имя используемой папки.
Синхронизировать с Snowflake Open Catalog

Включите этот параметр, чтобы позволить Snowflake Open Catalog управлять файлами в облачном хранилище файлов.

Настройки по умолчанию для задач витрины данных

База данных по умолчанию

Вы можете использовать базу данных проекта по умолчанию или указать другую базу данных.

Каталог

Опубликовать в каталоге

Выберите этот параметр, чтобы опубликовать эту версию данных в Каталог в качестве набора данных. Содержимое каталога будет обновлено при следующей подготовке этой задачи.

Настройки среды выполнения по умолчанию

Вы можете определить настройки производительности среды выполнения по умолчанию для ресурсов данных, включенных в проект.

Настройки промежуточного хранения по умолчанию

Вы можете задать максимальное количество подключений к базе данных в разделе Параллельное выполнение.

Настройки хранения по умолчанию

Вы можете задать настройки расписания по умолчанию на основе времени. Это будет значением по умолчанию для каждой созданной задачи хранения.
Вы можете задать хранилище данных по умолчанию, если платформой проекта является Snowflake.

Настройки преобразования по умолчанию

Вы можете задать настройки расписания по умолчанию на основе времени или При успешном завершении любой задачи входных данных. Это будет значением по умолчанию для каждой созданной задачи преобразования.
Вы можете задать хранилище данных по умолчанию, если платформой проекта является Snowflake.

Настройки витрины данных по умолчанию

Вы можете задать настройки расписания по умолчанию на основе времени или При успешном завершении любой задачи входных данных. Это будет значением по умолчанию для каждой созданной задачи витрины данных.
Вы можете задать хранилище данных по умолчанию, если платформой проекта является Snowflake.

Настройки зеркалирования по умолчанию

Вы можете задать хранилище данных по умолчанию, если платформой проекта является Snowflake.

Настройки для проектов конвейера данных Открытое озеро данных Qlik

Платформа данных

Вы можете изменить следующие настройки:

Подключение к каталогу данных: Выберите существующее подключение или нажмите Создать новое, чтобы добавить новое подключение к каталогу данных. Вы также можете отредактировать существующее подключение и проверить, работает ли подключение, нажав Проверить подключение.
Подключение к целевому объекту промежуточного хранения: Выберите блок S3 для промежуточного хранения данных или нажмите Создать новое, чтобы добавить новое местоположение блока. Вы также можете отредактировать существующее подключение и проверить, работает ли подключение, нажав Проверить подключение.

Невозможно изменить тип платформы проекта, например, с Snowflake на Google BigQuery.

Метаданные

Вы можете задать суффикс для внутренних артефактов и суффиксы по умолчанию для создаваемых представлений.

Настройки артефактов
- Префикс для всех схем: Префикс, добавляемый к схемам данных, которые создаются в проекте. Это полезно, когда импортированный проект находится в том же облачном хранилище данных, что и экспортированный проект.
- Суффикс для внутренней схемы: Суффикс, который будет использоваться для схем, предназначенных для хранения внутренних артефактов.
- Регистр имени схемы по умолчанию: Регистр по умолчанию для всех имен схем. Если база данных настроена на принудительное использование определенного регистра, этот параметр не будет иметь эффекта.
Суффиксы для внешних представлений

Задайте суффиксы по умолчанию для представлений, которые создаются в задачах данных, включенных в проект.

Хэш

Вы можете задать строку соли хэша, которая будет использоваться при хэшировании столбца, например, для маскировки конфиденциальной информации. Это сгенерирует хэш SHA-256 входного столбца после его объединения со строкой соли хэша.

Вы можете использовать идентификатор проекта в качестве строки соли или задать пользовательскую строку соли.

Настройки по умолчанию для новых задач

Вы можете задать базу данных по умолчанию для создания целевых артефактов для всех типов задач данных.

Настройки по умолчанию для задач промежуточного хранения в озере

Используемая папка

Выберите один из следующих вариантов в зависимости от того, в какую папку блока вы хотите записать файлы:

Папка по умолчанию

Формат папки по умолчанию: <имя-вашего-проекта>/<имя-вашей-задачи>
Корневая папка

Файлы будут записаны в корневую папку блока.
Папка

Укажите имя папки. Папка будет создана во время выполнения задачи данных, если она еще не существует.

Примечание к информации Имя папки не может содержать специальные символы (например, @, #, ! и так далее).

Настройки по умолчанию для задач хранения

Хранилище исторических данных (тип 2)

Вы можете сохранять исторические данные об изменениях, чтобы легко воссоздавать данные в том виде, в каком они были в определенный момент времени. Для просмотра исторических данных можно использовать представления истории и представления истории в реальном времени.

Каталог

Опубликовать в каталоге

Выберите этот параметр, чтобы опубликовать эту версию данных в Каталог в качестве набора данных. Содержимое каталога будет обновлено при следующей подготовке этой задачи.

Используемая папка в области подготовки

Выберите один из следующих вариантов в зависимости от того, в какую папку блока вы хотите записать файлы:

Папка по умолчанию

Формат папки по умолчанию: <имя-вашего-проекта>/<имя-вашей-задачи>
Корневая папка

Файлы будут записаны в корневую папку блока.
Папка

Укажите имя папки. Папка будет создана во время выполнения задачи данных, если она еще не существует.

Примечание к информации Имя папки не может содержать специальные символы (например, @, #, ! и так далее).

Настройки по умолчанию для задач потокового промежуточного хранения

Вы можете задать значения по умолчанию для задач потокового промежуточного хранения, созданных в проекте.

Используемая папка

Выберите один из следующих вариантов в зависимости от того, в какую папку блока вы хотите записать файлы:

Папка по умолчанию

Формат папки по умолчанию: <имя-вашего-проекта>/<имя-вашей-задачи>
Корневая папка

Файлы будут записаны в корневую папку блока.
Папка

Укажите имя папки. Папка будет создана во время выполнения задачи данных, если она еще не существует.

Примечание к информации Имя папки не может содержать специальные символы (например, @, #, ! и так далее).

Хранение папки

Выберите, как долго хранить данные:

Данные и метаданные не удаляются

Ни данные, ни метаданные не удаляются.
Удалить данные и метаданные по истечении периода хранения

Данные и метаданные удаляются по истечении периода хранения.
Удалить метаданные по истечении периода хранения. Данные удаляются внешней системой.

Метаданные очищаются по истечении этого периода. Базовые данные, например объект S3, не удаляются Qlik, а удаляются внешней системой.

Настройки по умолчанию для задач потокового преобразования

Вы можете задать значения по умолчанию для задач потокового преобразования, созданных в проекте.

Каталог

Опубликовать в каталоге

Выберите этот параметр, чтобы опубликовать эту версию данных в Каталог в качестве набора данных. Содержимое каталога будет обновлено при следующей подготовке этой задачи.

Используемая папка

Выберите один из следующих вариантов в зависимости от того, в какую папку блока вы хотите записать файлы:

Папка по умолчанию

Формат папки по умолчанию: <имя-вашего-проекта>/<имя-вашей-задачи>
Корневая папка

Файлы будут записаны в корневую папку блока.
Папка

Укажите имя папки. Папка будет создана во время выполнения задачи данных, если она еще не существует.

Примечание к информации Имя папки не может содержать специальные символы (например, @, #, ! и так далее).

Определения таблиц

Настройте столбцы заголовка стандартного представления, которые по умолчанию отображаются в стандартных представлениях для всех задач потокового преобразования в этом проекте.

hdr__from_timestamp

Если эта опция включена, столбец заголовка hdr__from_timestamp будет отображаться в стандартных представлениях. Кроме того, если в мастере настройки выбрано Секционировать по дате приема события, hdr__from_timestamp будет использоваться в качестве столбца секционирования по умолчанию. Эту настройку можно переопределить на уровне задачи или набора данных.

Примечание к информацииПредставления истории всегда включают все столбцы заголовков стандартного представления, независимо от этой настройки.

Среда выполнения

Вы можете определить настройки производительности среды выполнения по умолчанию для задач данных, включенных в проект.

Настройки по умолчанию для задач промежуточного хранения в озере

Вы можете задать максимальное количество подключений к базе данных в разделе Параллельное выполнение.

Настройки по умолчанию для задач хранения

Кластер Lakehouse

При необходимости выберите выделенный кластер Lakehouse для задач хранения.

Настройки по умолчанию для задач потокового промежуточного хранения

Количество модулей чтения

Выберите количество используемых модулей чтения. Значение должно быть от 1 до 1000.

Кластер Lakehouse

При необходимости выберите выделенный кластер Lakehouse для задач хранения.

Настройки по умолчанию для задач потокового преобразования

Кластер Lakehouse

При необходимости выберите выделенный кластер Lakehouse для задач хранения.

Настройки зеркалирования по умолчанию

Вы можете задать хранилище данных по умолчанию, если платформой проекта является Snowflake.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице или с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом!

Оставьте свой отзыв здесь