Знакомство с Интеграция данных Qlik Cloud

С помощью Интеграция данных Qlik Cloud можно доставлять данные, готовые для использования, в Qlik Cloud или в облачные хранилища данных, такие как Snowflake, Google Cloud BigQuery и Azure Synapse Analytics. Источники данных могут быть локальными или облачными. Актуальность данных можно поддерживать без ручного вмешательства с помощью технологии CDC (Change Data Capture, захват данных изменений) или пакетной технологии, такой как запланированные перезагрузки. Можно создавать конвейеры данных, выполнять преобразования, соответствующие целевому назначению, и создавать киоски данных.

Чтобы перейти на главную страницу Интеграция данных Qlik Cloud, выберите Интеграция данных в меню средства запуска ().

Для получения дополнительной информации об архитектуре Интеграция данных Qlik Cloud см. раздел Архитектура базы данных в облачном хранилище данных.

Варианты подписки

Подписки Интеграция данных Qlik Cloud основаны на модели объема, в которой стоимость определяется в зависимости от объема Перемещение данных.

Предлагаются три уровня подписки Интеграция данных Qlik Cloud: Standard, Premium и Enterprise. Более продвинутые версии предоставляют более расширенные источники данных и преобразования. Все подписки включают Аналитика Qlik Cloud Standard.

Для получения дополнительной информации о вариантах подписки см. раздел Варианты подписки Интеграция данных Qlik Cloud.

Пространства данных

Пространства данных — это управляемые пространства клиента Qlik Cloud, которые используются для создания и хранения проектов данных. Внутри пространства можно также создавать новые подключения к данным с помощью коннекторов и управлять доступом к Data Movement Gateway. Все ресурсы данных создаются в пространстве проекта данных, к которому они относятся.

Для получения дополнительной информации см. раздел Работа в пространствах в Интеграция данных Qlik Cloud.

Проекты данных

Проект данных служит для создания потока интеграции данных с использованием задач данных. Проект данных связан с платформой данных, которая используется в качестве целевого объекта для всех выходных данных. Проект данных можно создать в любом из следующих случаев использования:

• Конвейер данных

  Создавайте простой линейный конвейер или сложный конвейер, использующий несколько источников данных и генерирующий множество выходных данных.

  Создание конвейера данных

• Репликация

  Выполняйте репликацию данных из поддерживаемого источника в любую поддерживаемую цель или поместите данные на промежуточное хранение в озеро.

  Создание задачи репликации данных

Задача данных

Задача данных — это основная составляющая работы в проекте данных. В проекте данных можно создавать задачи данных следующих типов. Чтобы создать новую задачу данных, нажмите Добавить на верхней панели, а затем выберите соответствующую задачу.

Задачи данных в проектах «Конвейер данных»

• Промежуточное хранение

  Скопируйте данные из источника данных в область промежуточного хранения. Источники данных могут быть локальными или облачными. Область промежуточного хранения может быть облачным целевым местоположением или блоком данных Amazon S3 (только при создании наборов данных QVD).

  Можно обеспечивать актуальность данных без ручного вмешательства с помощью технологии CDC или путем выполнения полной загрузки, запланировав периодические перезагрузки.

  Промежуточное хранение данных, полученных из источников данных

• Зарегистрированные данные

  Регистрируйте данные, которые уже существуют в рамках платформы данных. Это позволяет использовать данные, добавленные в систему не только с помощью Интеграция данных Qlik Cloud, но другими средствами, такими как Qlik Replicate.

  Регистрация данных, которые уже существуют в пределах платформы данных

• Хранение

  Создавайте готовые к использованию наборы данных в облачном хранилище данных или в Qlik Cloud из данных, скопированных задачей промежуточного хранения данных. Актуальность наборов данных поддерживается с помощью данных промежуточного хранения без ручного вмешательства.

  Хранение наборов данных

• Преобразование

  Создавайте многократно используемые преобразования данных на основе правил и пользовательского SQL как часть конвейера данных. Можно выполнять преобразования на уровне строк и создавать наборы данных, которые материализуются как таблицы или создаются как виды, выполняющие преобразования в реальном времени.

  Преобразование данных

• Киоск данных

  Создавайте киоски данных для эффективного использования задач хранения или преобразования данных. Можно создать любое количество киосков данных в зависимости от потребностей вашего бизнеса. В идеальном случае ваши киоски данных должны содержать репозитории сводных данных, собранных для анализа на уровне определенного отдела или подразделения организации.

  Создание киосков данных и управление ими

Задачи данных в проектах «Репликация данных»

• Репликация

  Выполняйте репликацию данных из поддерживаемого источника в любую поддерживаемую цель.

  Репликация данных

• Промежуточное хранение в озере данных

  Помещайте данные на промежуточное хранение в озеро данных.

  Промежуточное хранение данных в озере данных

Мониторинг задач данных

Можно отслеживать состояние и ход выполнения задач данных с помощью видов мониторинга. Вид мониторинга позволяет просматривать состояние всех задач данных в клиенте или отфильтрованного подмножества задач. Можно создать несколько видов для отслеживания различных аспектов конвейеров данных. Для получения дополнительной информации см. раздел Мониторинг и организация задач данных.

Подключения

Подключения к данным используются для предоставления доступа задачам данных к источникам данных, а также к внешним хранилищам и облачным платформам данных для доставки данных и преобразований методом push-down.

Подключения может обновлять только их владелец.

Просмотр подключений

Щелкните Подключения к данным в меню слева на главной странице Интеграция данных Qlik Cloud, чтобы просмотреть все подключения к данным.

• Подключения, которые принадлежат вам, можно редактировать.

  Щелкните ..., а затем Изменить.

• Подключение можно проверить.

  Щелкните ..., а затем Проверка подключения.

• Подключение можно удалить.

  Щелкните ..., а затем Удалить.

Создание подключения

Для создания нового подключения выполните одно из следующих действий.

• Нажмите Добавить на верхней панели, а затем выберите Подключение к данным.

• Нажмите Создать, а затем выберите подключение к данным.

• Нажмите Создать подключение, после чего появится список подключений к источнику.

• Нажмите Создать подключение в виде Подключения к данным.

Можно фильтровать коннекторы по следующим критериям:

• Категория

  Хранилище данных, Облачное хранилище, База данных и Приложение.

• Тип

  Источник и Цель

Также можно выбрать коннекторы из списка недавно использованных.

Потребуется выбрать нужный тип источника данных, а затем ввести адрес и данные для проверки подлинности.

См. также:

• Qlik Data Gateway — Data Movement.
• Подключение к источникам данных