Параметры проекта конвейера данных

Параметры проекта конвейера данных можно изменить в Qlik Talend Data Integration. Свойства являются общими для проекта данных и всех содержащихся в нем задач данных. Некоторые параметры доступны только для определенных платформ данных.

Нажмите Параметры в проекте.

Платформа данных

Следующие параметры могут быть изменены.

Подключение

Подключение для проекта.
Подключение к промежуточной области:

этот параметр недоступен, если платформа данных — Snowflake.

Невозможно изменить тип платформы в проекте, например, с Snowflake на Google BigQuery.

Метаданные

Задайте суффикс для внутренних артефактов и суффиксы по умолчанию для создаваемых видов.

Параметры внутренних артефактов

Задайте суффикс, который будет применяться к схемам, используемым для хранения внутренних артефактов, в параметре Суффикс схемы.
Суффиксы внешних видов

Задайте суффиксы по умолчанию для видов, которые создаются в задачах данных, содержащихся в проекте данных.

Значения по умолчанию для задач данных

Задайте значения по умолчанию для задач данных, содержащихся в проекте. Значения можно изменить при создании задачи данных.

Также можно настроить базу данных по умолчанию, чтобы создавать целевые артефакты для всех типов задач данных.

Параметры по умолчанию для промежуточного хранения

Этот вариант доступен только при использовании Data Movement Gateway для доступа к целям.

Прокси-сервер при использовании шлюза для перемещения данных

Можно выбрать использование прокси-сервера при подключении шлюза Перемещение данных к облачному хранилищу данных и хранилищу.

Для получения дополнительной информации о настройке шлюза Перемещение данных для использования прокси-сервера см. раздел Настройка клиента Qlik Cloud и прокси-сервера.
- Использовать прокси-сервер для подключения к облачному хранилищу данных
  
  Примечание к информацииОпция доступна при использовании Snowflake, Google BigQuery и Databricks.
- Использовать прокси-сервер для подключения к хранилищу
  
  Примечание к информацииОпция доступна при использовании Azure Synapse Analytics, Amazon Redshift и Databricks.

Значения по умолчанию для хранения

Хранилище исторических данных (тип 2)

Чтобы упростить воссоздание данных в том виде, в каком они выглядели в определенный момент времени, сохраняйте исторические данные об изменениях. Используйте виды истории и виды истории в реальном времени, чтобы просматривать исторические данные.
Виды в реальном времени

Виды в реальном времени показывают для каждой выбранной исходной таблицы вид, объединяющий таблицу с данными из таблицы изменений. Благодаря этому при выполнении запросов используется вид данных в реальном времени, так что не требуется ждать следующего цикла применения.

База данных по умолчанию

Можно использовать базу данных по умолчанию проекта или указать другую базу данных.

Каталог

Опубликовать в каталоге

Установите этот флажок, чтобы опубликовать эту версию данных в Каталог как набор данных. Содержимое каталога будет обновлено в следующий раз при подготовке этого задания.

Значения по умолчанию для преобразования

Хранилище исторических данных (тип 2)

Чтобы упростить воссоздание данных в том виде, в каком они выглядели в определенный момент времени, сохраняйте исторические данные об изменениях. Используйте виды истории и виды истории в реальном времени, чтобы просматривать исторические данные.

Материализация

Нематериализованный (только виды)

Выберите этот вариант, чтобы создавать виды, которые выполняют преобразования на ходу.
Материализованный (таблицы и виды)

Выберите этот вариант, чтобы создавать и таблицы, и виды.

База данных по умолчанию

Можно использовать базу данных по умолчанию проекта или указать другую базу данных.

Каталог

Опубликовать в каталоге

Установите этот флажок, чтобы опубликовать эту версию данных в Каталог как набор данных. Содержимое каталога будет обновлено в следующий раз при подготовке этого задания.

Значения по умолчанию для киоска данных

База данных по умолчанию

Можно использовать базу данных по умолчанию проекта или указать другую базу данных.

Каталог

Опубликовать в каталоге

Установите этот флажок, чтобы опубликовать эту версию данных в Каталог как набор данных. Содержимое каталога будет обновлено в следующий раз при подготовке этого задания.

Значения по умолчанию зарегистрированных данных

База данных по умолчанию

Можно использовать базу данных по умолчанию проекта или указать другую базу данных.

Каталог

Опубликовать в каталоге

Установите этот флажок, чтобы опубликовать эту версию данных в Каталог как набор данных. Содержимое каталога будет обновлено в следующий раз при подготовке этого задания.

Параметры инкрементальной загрузки

Эти параметры доступны, когда выбран вариант Инкрементальное с использованием верхнего предела.

Таблицы изменений

Если изменения находятся в одной и той же таблице, установите флажок Изменения в одной таблице.

Если нет, снимите флажок Изменения в одной таблице и задайте шаблон таблицы изменений.
Столбец предела

Задайте имя столбца предела в поле Имя.
Столбец «Дата начала»

Поле «Дата начала» можно заполнить, указав время начала или используя выбранный столбец.

Если выбран вариант Выбранный столбец «Дата начала», необходимо определить Шаблон столбца «Дата начала».
Обратимые удаления

В изменения можно включить обратимые удаления, установив флажок Изменения включают обратимые удаления и задав определение выражения индикации.

Выражение индикации должно принимать значение «Истина», если изменение является обратимым удалением.

Пример: ${is_deleted} = 1
Предыдущий образ

Можно отфильтровать записи предыдущего образа в таблицах изменений, установив флажок Предыдущий образ и определив выражение индикации.

Выражение индикации должно принимать значение «Истина», если строка содержит образ до обновления.

Пример: ${header__change_oper} = 'B'

Время выполнения

Задайте параметры времени выполнения по умолчанию для ресурсов данных, содержащихся в проекте.

Параметры по умолчанию для промежуточного хранения

Максимальное количество подключений к базе данных можно задать в поле Параллельное выполнение.

Значения по умолчанию для хранения

Можно задать повременный график в качестве настройки планирования по умолчанию. Это будет значение по умолчанию для каждой создаваемой задачи хранения.
Если платформа в проекте — Snowflake, можно настроить хранилище данных по умолчанию.

Значения по умолчанию для преобразования

Можно задать в качестве настройки планирования по расписанию повременный график или параметр При успешном завершении любой задачи ввода данных. Это будет значение по умолчанию для каждой создаваемой задачи преобразования.
Если платформа в проекте — Snowflake, можно настроить хранилище данных по умолчанию.

Значения по умолчанию для киоска данных

Можно задать в качестве настройки планирования по умолчанию повременный график или параметр При успешном завершении любой задачи ввода данных. Это будет значение по умолчанию для каждой создаваемой задачи киоска данных.
Если платформа в проекте — Snowflake, можно настроить хранилище данных по умолчанию.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице и с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом, чтобы мы смогли ее исправить!

Оставьте свой отзыв здесь