Перейти к основному содержимому Перейти к дополнительному содержимому

Хранение наборов данных

Наборы данных можно сохранять, используя задачу хранения данных. Задача хранения данных использует данные, которые были переданы на промежуточное хранение в облако задачей промежуточного хранения данных. Таблицы можно использовать, например, в аналитическом приложении.

  • Можно спроектировать задачу хранения данных, если статус задачи промежуточного хранения данных не ниже чем Готово к подготовке.

  • Можно подготовить задачу хранения данных, если статус задачи промежуточного хранения данных не ниже чем Готово к выполнению.

Задача хранения данных будет использовать тот же режим работы (Полная загрузка или Полная загрузка и CDC), что и использованная задача промежуточного хранения данных. В этих двух режимах работы используются разные свойства конфигурации, а также разные параметры мониторинга и управления. Если используется задача промежуточного хранения данных с режимом «только полная загрузка» в облачном целевом местоположении, задача хранения данных будет создавать виды таблиц промежуточного хранения, а не физические таблицы.

Примечание к информацииЗадачи данных работают в контексте их владельца. Для получения дополнительной информации о необходимых ролях и разрешениях см. раздел Роли и разрешения в пространстве данных.

Создание задачи хранения данных

Задачу хранения данных можно создать тремя способами:

  • Нажмите на ... рядом с задачей промежуточного хранения данных и выберите Хранить данные, чтобы создать задачу хранения данных на основе ресурса данных промежуточного хранения.

  • Нажмите Добавить (Add new) и затем Хранить данные. В этом случае нужно указать, какую задачу промежуточного хранения данных требуется использовать.

  • Задача хранения данных создается при подключении данных. Она подключается к задаче промежуточного хранения данных, также создаваемой во время подключения данных.

    Для получения дополнительной информации см. раздел Подключение данных.

Если создана задача хранения данных:

  1. Откройте задачу хранения данных, нажав ... и выбрав Открыть.
    Откроется задача хранения данных; можно проверить полученные наборы данных, составленные на основе таблиц из ресурса данных промежуточного хранения.

  2. Убедитесь, что в добавленных наборах данных сделаны необходимые изменения, такие как преобразования, фильтры и добавление столбцов.

    Для получения дополнительной информации см. раздел Управление наборами данных.

  3. При добавлении преобразований можно подтвердить наборы данных, нажав Проверить наборы данных. Прежде чем продолжить, необходимо устранить ошибки, обнаруженные при проверке.

    Для получения дополнительной информации см. раздел Проверка и исправление наборов данных.

  4. Создание модели данных

    Нажмите модель, чтобы задать связи между наборами данных модели.

    Для получения дополнительной информации см. раздел Создание модели данных.

  5. Нажмите Подготовить, чтобы подготовить задачу данных и все необходимые артефакты. Эта операция может занять некоторое время.

    Прогресс можно отслеживать с помощью индикатора Ход подготовки в нижней части экрана.

  6. Задача данных готова к запуску, если имеет статус Готово к выполнению.

    Нажмите Запустить.

    Теперь задача данных начнет создавать наборы данных, предназначенные для хранения данных.

Сохранение исторических данных

Чтобы легко воссоздавать данные в том виде, в каком они выглядели в определенный момент времени, сохраняйте исторические данные (данные типа 2) об изменениях. При этом также создается хранилище всех исторических данных (HDS, historical data store).

  • Поддерживаются медленно изменяющиеся измерения типа 2.

  • При слиянии измененных записей создается новая запись для хранения измененных данных, а старая запись остается нетронутой.

  • Новым записям HDS автоматически присваиваются метки времени, что позволяет создавать анализ трендов и другие ориентированные на время аналитические киоски данных.

Чтобы включить исторические данные, нажмите:

  • Репликация с текущими данными и историей предыдущих данных в окне Настройки при подключении данных

  • Хранить исторические записи и архив записей об изменениях в диалоговом окне Настройки при создании задачи хранения

Примечание к информацииИсторические данные недоступны при использовании Qlik Cloud в качестве платформы данных.

Данные HDS хранятся в предшествующей таблице во внутренней схеме данных. Используйте виды истории и виды истории в реальном времени во внешней схеме данных, чтобы просматривать исторические данные.

  • Вид истории объединяет данные из текущей и предшествующей таблиц. Этот вид включает все изменения, которые объединяются.

  • Вид истории в реальном времени объединяет данные из текущей и предшествующей таблиц, а также из таблицы изменений. Этот вид также включает все изменения, которые еще не объединены.

Для получения дополнительной информации см. раздел Архитектура базы данных в облачном хранилище данных.

Планирование задачи хранения

Можно запланировать периодическое обновление задачи хранения.

  • Если задача промежуточного хранения данных ввода использует режим Полная загрузка и CDC, можно настроить только повременный график.

  • Если задача промежуточного хранения данных ввода использует режим Полная загрузка, можно задать повременный график или настроить выполнение задачи после завершения задачи промежуточного хранения данных ввода.

    Примечание к информацииКогда запускается повременный график с задачей промежуточного хранения данных ввода с использованием режима Полная загрузка, рассматривайте каждую заполненную таблицу в промежуточном хранилище как доступную, пока не завершилось выполнение задачи промежуточного хранения. Это позволяет выполнять задачи промежуточного хранения и хранения одновременно, благодаря чему сокращается общее время загрузки.

Нажмите на ... рядом с задачей данных и выберите Планирование, чтобы создать график. Настройка планирования по умолчанию наследуется из параметров проекта данных. Для получения дополнительной информации о настройках по умолчанию см. раздел Значения по умолчанию для хранения. Чтобы активировать график, необходимо, чтобы переключатель Планирование всегда находился в положении Вкл.

Повременные графики

Можно использовать повременный график для выполнения задачи хранения данных независимо от типа промежуточного хранения.

  • Выберите значение В определенное время в поле Запустить задачу данных.

Можно настроить ежечасный, ежедневный, еженедельный или ежемесячный график.

Графики на основе событий

  • Выберите значение При успешном завершении любой задачи ввода данных в поле Запустить задачу данных.

Задача хранения будет выполняться каждый раз, после успешного завершения промежуточного хранения данных ввода.

Примечание к информацииЭтот параметр недоступен, когда задача промежуточного хранения данных ввода использует режим Полная загрузка и CDC, так как промежуточное хранение осуществляется непрерывно.

Мониторинг задачи хранения

Для проверки состояния и хода выполнения задачи хранения нажмите Мониторинг.

Для получения дополнительной информации см. Мониторинг индивидуальной задачи данных.

Настройки хранения

Можно задать свойства для задачи хранения данных, когда в качестве платформы данных используется облачное хранилище данных. Если в качестве платформы данных используется Qlik Cloud, выберите Настройки хранилища для проектов данных при использовании платформы данных Qlik Cloud.

  • Нажмите Параметры.

Примечание к предупреждениюЕсли задача уже запущена, то для изменения параметров (за исключением параметров времени выполнения) необходимо повторно создать наборы данных.

Общие параметры

  • База данных

    База данных, которая будет использоваться в источнике данных.

  • Схема задачи данных

    Можно изменить имя схемы задачи хранения данных. Имя по умолчанию – имя задачи хранения.

  • Внутренняя схема

    Вы можете изменить имя схемы ресурса внутреннего хранилища. Имя по умолчанию – имя задачи хранения, к которому добавлена строка _internal.

  • Префикс для всех таблиц и видов

    Можно задать префикс для всех таблиц и видов, создаваемых с помощью этой задачи.

    Примечание к информацииНеобходимо использовать уникальный префикс, когда требуется использовать схему базы данных в нескольких задачах данных.
  • История

    Чтобы упростить воссоздание данных в том виде, в каком они выглядели в определенный момент времени, сохраняйте исторические данные об изменениях. Используйте виды истории и виды истории в реальном времени, чтобы просматривать исторические данные. Выберите Ведение исторических записей и изменение архива записей, чтобы активировать исторические данные об изменениях.

  • При сравнении хранилища с промежуточным хранением необходимо выбрать, как обращаться с записями, которые отсутствуют в промежуточном хранении.

    • Пометить как удаленный

      Записи, которые отсутствуют в промежуточном хранении, удаляются обратимым образом.

    • Сохранить

      Все записи, отсутствующие в промежуточном хранении, сохраняются.

    Примечание к информацииНаборы данных в задаче хранения данных должны иметь набор первичных ключей. В противном случае для задачи хранения данных каждый раз будет выполняться первичная загрузка данных промежуточного хранения.

Параметры видов

  • Виды в реальном времени

    Для чтения таблиц с минимальной задержкой используйте виды, транслируемые в реальном времени.

    Для получения дополнительной информации о видах в реальном времени см. раздел Использование видов в реальном времени.

    Примечание к информацииДанные в видах реального времени, обрабатываются непрерывно, поэтому такие виды менее эффективны и более требовательны к ресурсам, чем стандартные виды.

Параметры времени выполнения

  • Интервал применения

    Он определяет, как часто измененные данные применяются к таблице хранилища. Максимальное значение: 168 часов/10080 минут.

    Рекомендуется не устанавливать значение этого интервала ниже значения частоты обновления в задаче промежуточного хранения источника. Более частое применение данных также увеличивает потребление ресурсов в облачном целевом местоположении.

    В качестве альтернативы, если периодически требуются данные с низкой латентностью, можно оставить высокое значение параметра Интервал применения и использовать виды в реальном времени.

  • Параллельное выполнение

    Позволяет задать максимальное число подключений для передачи данных в режиме полной загрузки (число от 1 до 5).

  • Хранилище

    Имя облачного хранилища данных. Параметр применим только к хранилищам Snowflake.

Настройки хранилища для проектов данных при использовании платформы данных Qlik Cloud

Можно настроить, какая папка должна использоваться в хранилище, когда в качестве платформы данных выбрана Qlik Cloud.

  1. Нажмите Параметры.

  2. Выберите, какая папка будет использоваться в хранилище.

  3. В заключение нажмите OK.

Операции с задачей хранения данных

С задачей хранения данных можно выполнять следующие операции в меню задачи.

  • Открыть

    Это открывает задачу хранения данных. Можно просмотреть структуру таблиц и сведения о задаче данных, а также отслеживать состояние для полной загрузки и пакетов изменений.

  • Изменить

    Можно изменить имя и описание задачи, а также добавить теги.

  • Удалить

    Можно удалить задачу данных.

  • Подготовить

    Эта операция позволяет подготовить задачу к выполнению. Она включает:

    • проверку допустимости дизайна,

    • создание или изменение физических таблиц и видов в соответствии с дизайном,

    • создание кода SQL для задачи данных,

    • создание или изменение записей каталога для выходных наборов данных задачи.

    Прогресс можно отслеживать с помощью индикатора Ход подготовки в нижней части экрана.

  • Проверить наборы данных

    Проверяются все наборы данных, содержащиеся в задаче данных.

    Разверните раздел Проверить и исправить, чтобы просмотреть все ошибки проверки и изменения дизайна.

  • Воссоздание таблиц

    Воссоздание наборов данных из источника.

    Также необходимо воссоздать все последующие задачи данных, которые потребляют эту задачу данных.

  • Остановить

    Можно остановить выполнение задачи данных. Задача данных перестанет обновлять таблицы.

    Примечание к информацииЭтот параметр доступен, когда выполняется задача данных.
  • Возобновить

    Можно возобновить операцию задачи данных с того момента, когда она была остановлена.

    Примечание к информацииЭтот параметр доступен, когда задача данных остановлена.
  • Преобразование данных

    Создавайте многократно используемые преобразования на уровне строк на основе правил и пользовательского SQL. При этом создается задача данных для преобразования.

    Преобразование данных

  • Создать киоск данных

    Создание киоска данных для эффективного использования задач данных. Эта задача предполагает создание задачи данных для киоска данных.

    Создание киосков данных и управление ими

Ограничения

  • Если задача данных содержит наборы данных, а в подключении меняются какие-либо параметры, например имя пользователя, база данных или схема, предполагается, что соответствующие данные хранятся в новом месте. Если же это не так, можно сделать следующее:

    • Переместить данные в источнике в новое место.

    • Создайте новую задачу данных с теми же настройками.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице и с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом, чтобы мы смогли ее исправить!