Знакомство с Qlik Talend Data Integration

С помощью Qlik Talend Data Integration можно доставлять данные, готовые для использования, в Qlik Cloud или в облачные хранилища данных, такие как Snowflake, Google Cloud BigQuery и Azure Synapse Analytics. Источники данных могут быть локальными или облачными. Актуальность данных можно поддерживать без ручного вмешательства с помощью технологии CDC (Change Data Capture, захват данных изменений) или пакетной технологии, такой как запланированные перезагрузки. Можно создавать конвейеры данных, выполнять преобразования, соответствующие целевому назначению, и создавать киоски данных.

Чтобы перейти на главную страницу Qlik Talend Data Integration, выберите Интеграция данных в меню средства запуска ().

Для получения дополнительной информации об архитектуре Qlik Talend Data Integration см. раздел Архитектура базы данных в облачном хранилище данных.

Варианты подписки

Подписки Qlik Talend Cloud основаны на модели объема, в которой стоимость определяется в зависимости от объема Перемещение данных.

Qlik Talend Cloud предоставляется в четырех уровнях подписки: Starter, Standard, Premium и Enterprise. Более продвинутые версии предоставляют более расширенные источники данных и преобразования. Это включает возможности, предоставляемые в рамках Qlik Cloud и Talend Cloud. Все подписки включают Аналитика Qlik Cloud Standard.

Для получения дополнительной информации о вариантах подписки см. раздел Варианты подписки Qlik Talend Cloud.

Пространства данных

Пространства данных — это управляемые пространства клиента Qlik Cloud, которые используются для создания и хранения проектов. Внутри пространства можно также создавать новые подключения с помощью коннекторов и управлять доступом к шлюзам движения данных. Все ресурсы данных создаются в пространстве проекта, к которому они относятся.

Для получения дополнительной информации см. раздел Работа в пространствах в Qlik Talend Data Integration.

Проекты

Проект служит для создания потока интеграции данных с использованием задач данных. Проект связан с платформой данных, которая используется в качестве целевого объекта для всех выходных данных. Проект можно создать в любом из следующих случаев использования:

• Конвейер данных

  Создавайте простой линейный конвейер или сложный конвейер, использующий несколько источников данных и генерирующий множество выходных данных.

  Создание конвейера данных

• Репликация

  Выполняйте репликацию данных из поддерживаемого источника в любую поддерживаемую цель или поместите данные на промежуточное хранение в озеро.

  Создание задачи репликации данных

Задача данных

Задача данных — это основная составляющая работы в проекте. В проекте можно создавать задачи данных следующих типов. Чтобы создать новую задачу данных, нажмите Добавить на верхней панели, а затем выберите соответствующую задачу.

Задачи данных в проектах «Конвейер данных»

• Промежуточное хранение

  Скопируйте данные из источника данных в область промежуточного хранения. Источники данных могут быть локальными или облачными. Область промежуточного хранения может быть облачным целевым местоположением или блоком данных Amazon S3 (только при создании наборов данных QVD).

  Можно обеспечивать актуальность данных без ручного вмешательства с помощью технологии CDC или путем выполнения полной загрузки, запланировав периодические перезагрузки.

  Промежуточное хранение данных, полученных из источников данных

• Зарегистрированные данные

  Регистрируйте данные, которые уже существуют в рамках платформы данных. Это позволяет использовать данные, добавленные в систему не только с помощью Qlik Talend Data Integration, но другими средствами, такими как Qlik Replicate.

  Регистрация данных, которые уже существуют в пределах платформы данных

• Хранение

  Создавайте готовые к использованию наборы данных в облачном хранилище данных или в Qlik Cloud из данных, скопированных задачей промежуточного хранения данных. Актуальность наборов данных поддерживается с помощью данных промежуточного хранения без ручного вмешательства.

  Хранение наборов данных

• Преобразование

  Создавайте многократно используемые преобразования данных на основе правил и пользовательского SQL как часть конвейера данных. Можно выполнять преобразования на уровне строк и создавать наборы данных, которые материализуются как таблицы или создаются как виды, выполняющие преобразования в реальном времени.

  Преобразование данных

• Киоск данных

  Создавайте киоски данных для эффективного использования задач хранения или преобразования данных. Можно создать любое количество киосков данных в зависимости от потребностей вашего бизнеса. В идеальном случае ваши киоски данных должны содержать репозитории сводных данных, собранных для анализа на уровне определенного отдела или подразделения организации.

  Создание киосков данных и управление ими

Задачи данных в проектах репликации

• Репликация

  Выполняйте репликацию данных из поддерживаемого источника в любую поддерживаемую цель.

  Создание задачи репликации данных

• Промежуточное хранение в озере данных

  Помещайте данные на промежуточное хранение в озеро данных.

  Промежуточное хранилище данных в озере данных при использовании подписки Standard, Premium или Enterprise

Мониторинг задач данных

Можно отслеживать состояние и ход выполнения задач данных с помощью видов мониторинга. Вид мониторинга позволяет просматривать состояние всех задач данных в клиенте или отфильтрованного подмножества задач. Можно создать несколько видов для отслеживания различных аспектов конвейеров данных. Для получения дополнительной информации см. раздел Мониторинг и организация задач данных.

Продукты данных

Наборы данных, зарегистрированные из проекта данных или ручной загрузки и добавленные в Каталог, затем можно группировать и упаковывать в виде продукта данных. Можно группировать наборы данных, к примеру, по области бизнеса и сделать их доступными на торговой площадке данных для использования потребителями аналитики в приложениях. Для получения дополнительной информации см. раздел Working with data products.

Подключения

Подключения используются для предоставления доступа задачам данных к источникам данных, а также к внешним хранилищам и целевым платформам для доставки данных и преобразований методом отталкивания.

Управление подключениями

Нажмите Подключения слева, чтобы просмотреть все подключения.

• Подключения, которые принадлежат вам, можно редактировать.

  Примечание к информацииТакже можно редактировать все подключения в пространстве данных, где вы являетесь владельцем или имеете роль «Может управлять».

  Щелкните ..., а затем Изменить.

• Подключение можно проверить.

  Щелкните ..., а затем Проверка подключения.

• Подключение можно удалить.

  Щелкните ..., а затем Удалить.

Создание подключения

Создавать подключения можно несколькими способами:

• Щелкните Подключения слева, а затем выберите Создать подключение.

• нажмите Создать в мастерах настройки задачи данных, где требуется выбрать подключение к данным;

• В виде Подключения нажмите Создать подключение.

Можно фильтровать коннекторы по следующим критериям:

• Категория

  Хранилище данных, Облачное хранилище, База данных и Приложение.

• Тип

  Источник и Цель

Также можно выбрать коннекторы из списка недавно использованных.

Потребуется выбрать нужный тип источника данных, а затем ввести адрес и данные для проверки подлинности.

См. также:

• Qlik Data Gateway — Data Movement.
• Настройка подключений к источникам данных