Перейти к основному содержимому

Данные промежуточного хранения

Первым этапом передачи данных являет промежуточное хранение. Это подразумевает непрерывный перенос данных из локального источника данных в область промежуточного хранения с использованием задачи Qlik Replicate. Задачу репликации контролирует ресурс данных промежуточного хранения в Qlik Cloud Data Services.

Прежде чем создавать ресурс данных промежуточного хранения, необходимо создать задачу Qlik Replicate, как описано в разделе Создание задачи репликации. Необходимо также иметь роль Может использовать в пространстве, в котором находится ресурс Enterprise Manager.

Можно использовать два разных типа областей промежуточного хранения.

  • Amazon S3

    При размещении данных на промежуточное хранение в блоке Amazon S3 их можно использовать для создания таблиц QVD, готовых для аналитики.

  • Snowflake

    При размещении данных на промежуточное хранение в Snowflake можно хранить таблицы Snowflake.

Создание и настройка ресурса данных промежуточного хранения

  1. Щелкните Добавить новый на главной странице Data Services и выберите Создать ресурс данных.
  2. В диалоговом окне Создание ресурса данных введите следующую информацию:

    • Имя: Имя ресурса данных промежуточного хранения.

    • Пространство: пространство данных, в котором требуется создать ресурс данных промежуточного хранения.

    • Тип ресурса: выберите Промежуточное хранение.

    Можно добавлять теги, чтобы упростить поиск ресурсов данных на главной странице Data Services.

    Выберите Открыть, чтобы открыть ресурс данных промежуточного хранения после создания.

    Щелкните команду Создать.

  3. Щелкните Выберите задачу Replicate.

  4. Выберите ресурс Enterprise Manager, который требуется использовать.

    Подсказка: Этот ресурс создается, как описано в разделе Подключение Qlik Cloud и Qlik Enterprise Manager.
  5. Выберите Сервер Replicate, который содержит нужную задачу. Можно выбрать конкретный сервер или Все.

    Список доступных задач репликации заполняется при выборе сервера.

    Примечание: Задачу репликации необходимо создать заранее, как описано в Создание задачи репликации, чтобы она была доступной.
  6. Выберите задачу репликации.

  7. Щелкните Выбрать.

  8. Щелкните команду Сохранить.

Теперь создан ресурс данных промежуточного хранения в облаке, который должен находиться в состоянии Готово к выполнению с указанием, что ресурс данных еще не каталогизирован.

Можно выполнить любое из действий:

  • Запустите ресурс данных промежуточного хранения в облаке, который инициирует репликацию. Ресурс также будет каталогизирован.

  • Каталогизируйте ресурс данных промежуточного хранения в облаке. Благодаря этому ресурс данных промежуточного хранения в облаке будет доступен в качестве источника для ресурса данных хранилища без запуска передачи данных.

    Щелкните Каталогизировать, чтобы каталогизировать ресурс данных.

    Предупреждение: Когда ресурс данных каталогизирован, изменения в исходные данные, которые затрагивают выборку таблиц или структуру ресурса данных, внести невозможно. Также нельзя изменить целевую папку. Любое подобное изменение требует повторного создания ресурса данных и всех ресурсов, которые его используют и уже каталогизированы.

Когда ресурс сохранен и каталогизирован, отображается состояние Готово к выполнению с указанием того, что ресурс успешно каталогизирован. Теперь можно выполнить следующие действия:

  • Предварительно просмотрите структуру и метаданные таблиц ресурса данных.

    Щелкните Таблицы.

  • Запустите ресурс данных для запуска задачи репликации, которая переносит данные непрерывно из локального источника данных в область промежуточного хранения.

    Щелкните Запустить.

  • Создайте ресурс данных хранилища на основе этого ресурса данных промежуточного хранения. Ресурс данных хранилища преобразует данные в области промежуточного хранения в таблицы, готовые для аналитики. Репликация и преобразование начнутся только после запуска ресурсов данных.

    Для получения дополнительной информации см. Создание ресурса данных для создания таблиц QVD.

Запуск ресурса данных промежуточного хранения

Теперь можно запустить ресурс данных промежуточного хранения. Это запустит задачу репликации, которая переносит данные из локального источника данных в область промежуточного хранения.

  1. Щелкните Запустить.

Репликация должна теперь запуститься, и связанная задача Qlik Replicate должна выполняться. Во-первых, источник данных копируется полностью, а затем отслеживаются изменения. В течение этого времени ресурс данных будет иметь состояние Выполняется. Это означает, что изменения постоянно отслеживаются и при обнаружении передаются. Это позволяет поддерживать данные промежуточного хранения в области промежуточного хранения в актуальном состоянии.

На главной странице Data Services можно просмотреть состояние, дату и время обновления данных промежуточного хранения и количество таблиц с ошибками. Также можно открыть ресурс данных и перейти на вкладку Таблицы для просмотра базовых метаданных таблиц.

Можно отслеживать подробный ход выполнения, открыв задачу репликации в Qlik Enterprise Manager и выбрав представление Мониторинг.

Если используется Qlik Cloud Landing (Amazon S3), при перезагрузке таблиц создается новая копия полной загрузки. Это означает, что можно без проблем перезагружать таблицы, пока целевые приложения считывают изменения.

Операции над ресурсом данных промежуточного хранения

Над ресурсом данных промежуточного хранения можно выполнить следующие операции в меню ресурса.

  • Открыть

    Это открывает ресурс данных промежуточного хранения. Можно просмотреть структуру таблицы и сведения о ресурсе данных.

  • Изменить

    Можно изменить имя и описание ресурса, а также добавить теги.

  • Остановить

    Можно остановить операцию над ресурсом данных. Это останавливает задачу Replicate, область промежуточного хранения не обновляется измененными данными.

  • Возобновить

    Можно возобновить операцию над ресурсом данных с того момента, когда она была остановлена. Это также возобновляет работу задачи Replicate.

  • Удалить

    Можно удалить ресурс данных.

    Примечание: Данные в области промежуточного хранения не удаляются. Их необходимо удалить вручную.

Рекомендуется не выполнять задачу из Qlik Enterprise Manager, за исключением перезагрузки таблиц.

Операции по перезагрузке цели на задаче Qlik Replicate

Если требуется выполнить операцию Перезагрузить цель в рамках задачи Qlik Replicate, необходимо удалить и создать повторно ресурсы данных промежуточного хранения и постоянного хранилища, которые считывают данные из этой задачи, во избежание потери данных.

  1. Остановите задачу Replicate, если она еще не остановлена.

  2. Удалите ресурс данных промежуточного хранения и ресурс данных хранения.

  3. Создайте новый ресурс данных промежуточного хранения с помощью задачи Replicate.

  4. Создайте новый ресурс данных хранилища, который использует ресурс данных промежуточного хранения.

  5. Запустите новый ресурс данных промежуточного хранения.

  6. Запустите новый ресурс данных хранилища.

Обслуживание области промежуточного хранения

Не поддерживается автоматическая очистка области промежуточного хранения. Это может отразиться на производительности.
Рекомендуется выполнять ручную очистку данных старой полной загрузки и изменений в данных в области промежуточного хранения.

  • Amazon S3

    Если имеется несколько папок с данными полной загрузки, можно удалить все папки, кроме самой последней. Также можно удалить разделы обработанных изменений в данных.

  • Snowflake

    Записи таблицы изменений, которые были обработаны, можно удалить.