Хранение наборов данных

Наборы данных можно сохранять, используя задачу хранения данных. Задача хранения данных использует данные, которые были переданы на промежуточное хранение в облако задачей промежуточного хранения данных. Таблицы можно использовать, например, в аналитическом приложении.

• Можно спроектировать задачу хранения данных, если статус задачи промежуточного хранения данных не ниже чем Готово к подготовке.

• Можно подготовить задачу хранения данных, если статус задачи промежуточного хранения данных не ниже чем Готово к выполнению.

Задача хранения данных будет использовать тот же режим работы (Полная загрузка или Полная загрузка и CDC), что и использованная задача промежуточного хранения данных. В этих двух режимах работы используются разные свойства конфигурации, а также разные параметры мониторинга и управления. Если используется задача промежуточного хранения данных с режимом «только полная загрузка» в облачном целевом местоположении, задача хранения данных будет создавать виды таблиц промежуточного хранения, а не физические таблицы.

Создание задачи хранения данных

Задачу хранения данных можно создать тремя способами:

• Нажмите на ... рядом с задачей промежуточного хранения данных и выберите Хранить данные, чтобы создать задачу хранения данных на основе ресурса данных промежуточного хранения.

• Нажмите Добавить (Add new) и затем Хранить данные. В этом случае нужно указать, какую задачу промежуточного хранения данных требуется использовать.

• Задача хранения данных создается при подключении данных. Она подключается к задаче промежуточного хранения данных, также создаваемой во время подключения данных.

  Для получения дополнительной информации см. раздел Подключение данных.

Если создана задача хранения данных:

1. Откройте задачу хранения данных, нажав ... и выбрав Открыть.
   Откроется задача хранения данных; можно проверить полученные наборы данных, составленные на основе таблиц из ресурса данных промежуточного хранения.

2. Убедитесь, что в добавленных наборах данных сделаны необходимые изменения, такие как преобразования, фильтры и добавление столбцов.

   Для получения дополнительной информации см. раздел Управление наборами данных.

3. При добавлении преобразований можно подтвердить наборы данных, нажав Проверить наборы данных. Прежде чем продолжить, необходимо устранить ошибки, обнаруженные при проверке.

   Для получения дополнительной информации см. раздел Проверка и исправление наборов данных.

4. Создание модели данных

   Нажмите модель, чтобы задать связи между наборами данных модели.

   Для получения дополнительной информации см. раздел Создание модели данных.

5. Нажмите Подготовить, чтобы подготовить задачу данных и все необходимые артефакты. Эта операция может занять некоторое время.

   Прогресс можно отслеживать с помощью индикатора Ход подготовки в нижней части экрана.

6. Задача данных готова к запуску, если имеет статус Готово к выполнению.

   Нажмите Запустить.

   Теперь задача данных начнет создавать наборы данных, предназначенные для хранения данных.

Сохранение исторических данных

Чтобы легко воссоздавать данные в том виде, в каком они выглядели в определенный момент времени, сохраняйте исторические данные (данные типа 2) об изменениях. При этом также создается хранилище всех исторических данных (HDS, historical data store).

• Поддерживаются медленно изменяющиеся измерения типа 2.

• При слиянии измененных записей создается новая запись для хранения измененных данных, а старая запись остается нетронутой.

• Новым записям HDS автоматически присваиваются метки времени, что позволяет создавать анализ трендов и другие ориентированные на время аналитические киоски данных.

Чтобы включить исторические данные, нажмите:

• Репликация с текущими данными и историей предыдущих данных в окне Настройки при подключении данных

• Хранить исторические записи и архив записей об изменениях в диалоговом окне Настройки при создании задачи хранения

Данные HDS хранятся в предшествующей таблице во внутренней схеме данных. Используйте виды истории и виды истории в реальном времени во внешней схеме данных, чтобы просматривать исторические данные.

• Вид истории объединяет данные из текущей и предшествующей таблиц. Этот вид включает все изменения, которые объединяются.

• Вид истории в реальном времени объединяет данные из текущей и предшествующей таблиц, а также из таблицы изменений. Этот вид также включает все изменения, которые еще не объединены.

Для получения дополнительной информации см. раздел Архитектура базы данных в облачном хранилище данных.

Планирование задачи хранения

Можно запланировать периодическое обновление задачи хранения.

• Если задача промежуточного хранения данных ввода использует режим Полная загрузка и CDC, можно настроить только повременный график.

• Если задача промежуточного хранения данных ввода использует режим Полная загрузка, можно задать повременный график или настроить выполнение задачи после завершения задачи промежуточного хранения данных ввода.

  Примечание к информацииКогда запускается повременный график с задачей промежуточного хранения данных ввода с использованием режима Полная загрузка, рассматривайте каждую заполненную таблицу в промежуточном хранилище как доступную, пока не завершилось выполнение задачи промежуточного хранения. Это позволяет выполнять задачи промежуточного хранения и хранения одновременно, благодаря чему сокращается общее время загрузки.

Нажмите на ... рядом с задачей данных и выберите Планирование, чтобы создать график. Настройка планирования по умолчанию наследуется из параметров проекта данных. Для получения дополнительной информации о настройках по умолчанию см. раздел Значения по умолчанию для хранения. Чтобы активировать график, необходимо, чтобы переключатель Планирование всегда находился в положении Вкл.

Повременные графики

Можно использовать повременный график для выполнения задачи хранения данных независимо от типа промежуточного хранения.

• Выберите значение В определенное время в поле Запустить задачу данных.

Можно настроить ежечасный, ежедневный, еженедельный или ежемесячный график.

Графики на основе событий

• Выберите значение При успешном завершении любой задачи ввода данных в поле Запустить задачу данных.

Задача хранения будет выполняться каждый раз, после успешного завершения промежуточного хранения данных ввода.

Мониторинг задачи хранения

Для проверки состояния и хода выполнения задачи хранения нажмите Мониторинг.

Для получения дополнительной информации см. раздел Мониторинг индивидуальной задачи данных.

Устранение неполадок с задачами хранения данных

Когда возникают проблемы с одной или несколькими таблицами в задаче хранения данных, может потребоваться перезагрузить или воссоздать данные. Это можно сделать несколькими способами. Рассматривайте варианты в следующем порядке:

1. Можно перезагрузить набор данных в месте промежуточного хранения. Перезагрузка набора данных в месте промежуточного хранения запустит процесс сравнения в хранилище и исправит данные, сохранив историю типа 2. Этот вариант также следует рассматривать, когда:

   • Полная загрузка была выполнена очень давно, и имеется большое количество изменений.

   • Если записи полной загрузки и таблицы изменений, которые были обработаны, были удалены в рамках обслуживания области промежуточного хранения.

   Промежуточное хранение данных, полученных из источников данных

2. Можно перезагрузить данные из задачи хранения данных.

   Если исторические данные включены, перезагрузка в хранилище может привести к потере исторических данных. Если это представляет проблему, тогда попробуйте перезагрузить данные в место промежуточного хранения из источника.

   Перезагрузка данных

3. Можно воссоздать таблицы. Воссоздание наборов данных из источника.

   • Щелкните ..., а затем Воссоздать таблицы. При воссоздании таблицы нижестоящая задача будет реагировать, как в случае усечения и перезагрузки исходных наборов данных.

Перезагрузка данных

Можно выполнить перезагрузку таблиц вручную. Это полезно, когда возникают проблемы в одной или нескольких таблицах.

1. Откройте задачу данных и перейдите вкладку Мониторинг.

2. Выберите таблицы, которые необходимо перезагрузить.

3. Щелкните Перезагрузить таблицы.

Перезагрузка происходит при следующем запуске задачи и выполняется в следующем порядке:

1. Таблицы усекаются.

2. Данные из места промежуточного хранения загружаются в таблицу.

3. Загружаются изменения, накопленные с момента последней перезагрузки.

Нижестоящие задачи будут перезагружены для применения изменений и предотвращения датирования задним числом. Если перезагрузка выполняется путем усечения и перезагрузки, все нижестоящие объекты также будут перезагружены этим способом.

Воздействие на нижестоящие объекты зависит от типа выполненной операции перезагрузки и от ближайшего нижестоящего типа набора данных. Стандартная обработка означает, что набор данных будет реагировать и обрабатывать данные, используя метод, настроенный для этого конкретного набора данных.

• В нижестоящих задачах преобразования:

  Преобразования набора данных перезагружаются методом усечения и загрузки.

  Преобразования SQL и потоки преобразования перезагружаются путем сравнения с полной загрузкой и применения изменений.

• Задачи киоска данных, следующие непосредственно за задачей хранения, перезагружаются путем усечения и загрузки.

Можно отменить перезагрузку для таблиц, ожидающих перезагрузки, нажав Отменить перезагрузку. Это не повлияет на уже перезагруженные таблицы. Перезагрузки, выполняемые в данный момент, будут завершены.

Настройки хранения

Можно задать свойства для задачи хранения данных, когда в качестве платформы данных используется облачное хранилище данных. Если в качестве платформы данных используется Qlik Cloud, выберите Настройки хранилища для проектов данных при использовании платформы данных Qlik Cloud.

• Нажмите Параметры.

Общие параметры

• База данных

  База данных, которая будет использоваться в источнике данных.

• Схема задачи

  Можно изменить имя схемы задачи хранения данных. Имя по умолчанию – имя задачи хранения.

• Внутренняя схема

  Вы можете изменить имя схемы ресурса внутреннего хранилища. Имя по умолчанию – имя задачи хранения, к которому добавлена строка _internal.

• Префикс для всех таблиц и видов

  Можно задать префикс для всех таблиц и видов, создаваемых с помощью этой задачи.

  Примечание к информацииНеобходимо использовать уникальный префикс, когда требуется использовать схему базы данных в нескольких задачах данных.

• История

  Чтобы упростить воссоздание данных в том виде, в каком они выглядели в определенный момент времени, сохраняйте исторические данные об изменениях. Используйте виды истории и виды истории в реальном времени, чтобы просматривать исторические данные. Выберите Ведение исторических записей и изменение архива записей, чтобы активировать исторические данные об изменениях.

• При сравнении хранилища с промежуточным хранением необходимо выбрать, как обращаться с записями, которые отсутствуют в промежуточном хранении.

  • Пометить как удаленный

    Записи, которые отсутствуют в промежуточном хранении, удаляются обратимым образом.

  • Сохранить

    Все записи, отсутствующие в промежуточном хранении, сохраняются.

  Примечание к информацииНаборы данных в задаче хранения данных должны иметь набор первичных ключей. В противном случае для задачи хранения данных каждый раз будет выполняться первичная загрузка данных промежуточного хранения.

Параметры видов

• Виды в реальном времени

  Для чтения таблиц с минимальной задержкой используйте виды, транслируемые в реальном времени.

  Для получения дополнительной информации о видах в реальном времени см. раздел Использование видов в реальном времени.

  Примечание к информацииДанные в видах реального времени, обрабатываются непрерывно, поэтому такие виды менее эффективны и более требовательны к ресурсам, чем стандартные виды.

Параметры времени выполнения

• Параллельное выполнение

  Позволяет задать максимальное число подключений для полной загрузки (число от 1 до 5).

• Хранилище

  Имя облачного хранилища данных. Параметр применим только для Snowflake.

Параметры каталога

• Опубликовать в каталоге

  Установите этот флажок, чтобы опубликовать эту версию данных в Каталог как набор данных. Содержимое каталога будет обновлено в следующий раз при подготовке этого задания.

Для получения дополнительной информации о каталоге см. раздел Изучение данных с помощью инструментов каталогизации.

Настройки хранилища для проектов данных при использовании платформы данных Qlik Cloud

Можно настроить, какая папка должна использоваться в хранилище, когда в качестве платформы данных выбрана Qlik Cloud.

1. Нажмите Параметры.

2. Выберите, какая папка будет использоваться в хранилище.

3. В заключение нажмите OK.

Операции с задачей хранения данных

С задачей хранения данных можно выполнять следующие операции в меню задачи.

• Открыть

  Это открывает задачу хранения данных. Можно просмотреть структуру таблиц и сведения о задаче данных, а также отслеживать состояние для полной загрузки и пакетов изменений.

• Изменить

  Можно изменить имя и описание задачи, а также добавить теги.

• Удалить

  Можно удалить задачу данных.

• Подготовить

  Эта операция позволяет подготовить задачу к выполнению. Это включает:

  • проверку допустимости дизайна,

  • создание или изменение физических таблиц и видов в соответствии с дизайном,

  • создание кода SQL для задачи данных,

  • создание или изменение записей каталога для выходных наборов данных задачи.

  Прогресс можно отслеживать с помощью индикатора Ход подготовки в нижней части экрана.

• Проверить наборы данных

  Проверяются все наборы данных, содержащиеся в задаче данных.

  Разверните раздел Проверить и исправить, чтобы просмотреть все ошибки проверки и изменения дизайна.

• Воссоздание таблиц

  Воссоздание наборов данных из источника. При воссоздании таблицы нижестоящая задача будет реагировать, как в случае усечения и перезагрузки исходных наборов данных. Для получения дополнительной информации см. раздел Устранение неполадок с задачами хранения данных.

• Остановить

  Можно остановить выполнение задачи данных. Задача данных перестанет обновлять таблицы.

  Примечание к информацииЭтот параметр доступен, когда выполняется задача данных.

• Возобновить

  Можно возобновить операцию задачи данных с того момента, когда она была остановлена.

  Примечание к информацииЭтот параметр доступен, когда задача данных остановлена.

• Преобразование данных

  Создавайте многократно используемые преобразования на уровне строк на основе правил и пользовательского SQL. При этом создается задача данных для преобразования.

  Преобразование данных

• Создать киоск данных

  Создание киоска данных для эффективного использования задач данных. Эта задача предполагает создание задачи данных для киоска данных.

  Создание киосков данных и управление ими

Ограничения

• Если задача данных содержит наборы данных, а в подключении меняются какие-либо параметры, например имя пользователя, база данных или схема, предполагается, что соответствующие данные хранятся в новом месте. Если же это не так, можно сделать следующее:

  • Переместить данные в источнике в новое место.

  • Создайте новую задачу данных с теми же настройками.

• Невозможно изменить первичные ключи в задачах хранения, если в проекте выбрана цель Qlik Cloud (QVD). Обновите первичные ключи в задаче промежуточного хранения, повторно создайте задачу промежуточного хранения, затем повторно создайте задачу хранения.