Хранение наборов данных
Наборы данных можно сохранять, используя задачу хранения данных. Задача хранения данных использует данные, которые были переданы на промежуточное хранение в облако задачей промежуточного хранения данных. Таблицы можно использовать, например, в аналитическом приложении.
-
Можно спроектировать задачу хранения данных, если статус задачи промежуточного хранения данных не ниже чем Готово к подготовке.
-
Можно подготовить задачу хранения данных, если статус задачи промежуточного хранения данных не ниже чем Готово к выполнению.
Задача хранения данных будет использовать тот же режим работы (Полная загрузка или Полная загрузка и CDC), что и использованная задача промежуточного хранения данных. В этих двух режимах работы используются разные свойства конфигурации, а также разные параметры мониторинга и управления. Если используется задача промежуточного хранения данных с режимом «только полная загрузка» в облачном целевом местоположении, задача хранения данных будет создавать виды таблиц промежуточного хранения, а не физические таблицы.
Создание задачи хранения данных
Задачу хранения данных можно создать тремя способами:
-
Нажмите на ... рядом с задачей промежуточного хранения данных и выберите Хранить данные, чтобы создать задачу хранения данных на основе ресурса данных промежуточного хранения.
-
Нажмите Добавить (Add new) и затем Хранить данные. В этом случае нужно указать, какую задачу промежуточного хранения данных требуется использовать.
-
Задача хранения данных создается при подключении данных. Она подключается к задаче промежуточного хранения данных, также создаваемой во время подключения данных.
Для получения дополнительной информации см. раздел Подключение данных.
Если создана задача хранения данных:
-
Откройте задачу хранения данных, нажав ... и выбрав Открыть.
Откроется задача хранения данных; можно проверить полученные наборы данных, составленные на основе таблиц из ресурса данных промежуточного хранения. -
Убедитесь, что в добавленных наборах данных сделаны необходимые изменения, такие как преобразования, фильтры и добавление столбцов.
Для получения дополнительной информации см. раздел Управление наборами данных.
-
При добавлении преобразований можно подтвердить наборы данных, нажав Проверить наборы данных. Прежде чем продолжить, необходимо устранить ошибки, обнаруженные при проверке.
Для получения дополнительной информации см. раздел Проверка и исправление наборов данных.
-
Создание модели данных
Нажмите модель, чтобы задать связи между наборами данных модели.
Для получения дополнительной информации см. раздел Создание модели данных.
-
Нажмите Подготовить, чтобы подготовить задачу данных и все необходимые артефакты. Эта операция может занять некоторое время.
Прогресс можно отслеживать с помощью индикатора Ход подготовки в нижней части экрана.
-
Задача данных готова к запуску, если имеет статус Готово к выполнению.
Нажмите Запустить.
Теперь задача данных начнет создавать наборы данных, предназначенные для хранения данных.
Сохранение исторических данных
Чтобы легко воссоздавать данные в том виде, в каком они выглядели в определенный момент времени, сохраняйте исторические данные (данные типа 2) об изменениях. При этом также создается хранилище всех исторических данных (HDS, historical data store).
-
Поддерживаются медленно изменяющиеся измерения типа 2.
-
При слиянии измененных записей создается новая запись для хранения измененных данных, а старая запись остается нетронутой.
-
Новым записям HDS автоматически присваиваются метки времени, что позволяет создавать анализ трендов и другие ориентированные на время аналитические киоски данных.
Чтобы включить исторические данные, нажмите:
-
Репликация с текущими данными и историей предыдущих данных в окне Настройки при подключении данных
-
Хранить исторические записи и архив записей об изменениях в диалоговом окне Настройки при создании задачи хранения
Данные HDS хранятся в предшествующей таблице во внутренней схеме данных. Используйте виды истории и виды истории в реальном времени во внешней схеме данных, чтобы просматривать исторические данные.
-
Вид истории объединяет данные из текущей и предшествующей таблиц. Этот вид включает все изменения, которые объединяются.
-
Вид истории в реальном времени объединяет данные из текущей и предшествующей таблиц, а также из таблицы изменений. Этот вид также включает все изменения, которые еще не объединены.
Для получения дополнительной информации см. раздел Архитектура базы данных в облачном хранилище данных.
Планирование задачи хранения
Можно запланировать периодическое обновление задачи хранения.
-
Если задача промежуточного хранения данных ввода использует режим Полная загрузка и CDC, можно настроить только повременный график.
-
Если задача промежуточного хранения данных ввода использует режим Полная загрузка, можно задать повременный график или настроить выполнение задачи после завершения задачи промежуточного хранения данных ввода.
Примечание к информацииКогда запускается повременный график с задачей промежуточного хранения данных ввода с использованием режима Полная загрузка, рассматривайте каждую заполненную таблицу в промежуточном хранилище как доступную, пока не завершилось выполнение задачи промежуточного хранения. Это позволяет выполнять задачи промежуточного хранения и хранения одновременно, благодаря чему сокращается общее время загрузки.
Нажмите на ... рядом с задачей данных и выберите Планирование, чтобы создать график. Настройка планирования по умолчанию наследуется из параметров проекта данных. Для получения дополнительной информации о настройках по умолчанию см. раздел Значения по умолчанию для хранения. Чтобы активировать график, необходимо, чтобы переключатель Планирование всегда находился в положении Вкл.
Повременные графики
Можно использовать повременный график для выполнения задачи хранения данных независимо от типа промежуточного хранения.
-
Выберите значение В определенное время в поле Запустить задачу данных.
Можно настроить ежечасный, ежедневный, еженедельный или ежемесячный график.
Графики на основе событий
-
Выберите значение При успешном завершении любой задачи ввода данных в поле Запустить задачу данных.
Задача хранения будет выполняться каждый раз, после успешного завершения промежуточного хранения данных ввода.
Мониторинг задачи хранения
Для проверки состояния и хода выполнения задачи хранения нажмите Мониторинг.
Для получения дополнительной информации см. раздел Мониторинг индивидуальной задачи данных.
Устранение неполадок с задачами хранения данных
Когда возникают проблемы с одной или несколькими таблицами в задаче хранения данных, может потребоваться перезагрузить или воссоздать данные. Это можно сделать несколькими способами. Рассматривайте варианты в следующем порядке:
-
Можно перезагрузить набор данных в месте промежуточного хранения. Перезагрузка набора данных в месте промежуточного хранения запустит процесс сравнения в хранилище и исправит данные, сохранив историю типа 2. Этот вариант также следует рассматривать, когда:
-
Полная загрузка была выполнена очень давно, и имеется большое количество изменений.
-
Если записи полной загрузки и таблицы изменений, которые были обработаны, были удалены в рамках обслуживания области промежуточного хранения.
Промежуточное хранение данных, полученных из источников данных
-
-
Можно перезагрузить данные из задачи хранения данных.
Если исторические данные включены, перезагрузка в хранилище может привести к потере исторических данных. Если это представляет проблему, тогда попробуйте перезагрузить данные в место промежуточного хранения из источника.
-
Можно воссоздать таблицы. Воссоздание наборов данных из источника.
Этот вариант следует рассматривать в последнюю очередь, поскольку также потребуется воссоздать все последующие задачи данных, которые потребляют эту задачу данных.
-
Щелкните ..., а затем Воссоздать таблицы.
-
Перезагрузка данных
Можно выполнить перезагрузку таблиц вручную. Это полезно, когда возникают проблемы в одной или нескольких таблицах.
-
Откройте задачу данных и перейдите вкладку Мониторинг.
-
Выберите таблицы, которые необходимо перезагрузить.
-
Щелкните Перезагрузить таблицы.
Перезагрузка происходит при следующем запуске задачи и выполняется в следующем порядке:
-
Таблицы усекаются.
-
Данные из места промежуточного хранения загружаются в таблицу.
-
Загружаются изменения, накопленные с момента последней перезагрузки.
Как правило, вместо этого рекомендуется перезагрузить набор данных на промежуточном хранении. В особенности, это касается следующих случаев:
-
Если исторические данные включены, перезагрузка в хранилище может привести к потере исторических данных. Перезагрузка набора данных в месте промежуточного хранения запустит процесс сравнения в хранилище и исправит данные, сохранив историю типа 2.
-
Когда полная загрузка была выполнена очень давно, и имеется большое количество изменений.
-
Если записи полной загрузки и таблицы изменений, которые были обработаны, были удалены в рамках обслуживания области промежуточного хранения.
Нижестоящие задачи будут перезагружены для применения изменений и предотвращения датирования задним числом. Если перезагрузка выполняется путем усечения и перезагрузки, все нижестоящие объекты также будут перезагружены этим способом.
Воздействие на нижестоящие объекты зависит от типа выполненной операции перезагрузки и от ближайшего нижестоящего типа набора данных. Стандартная обработка означает, что набор данных будет реагировать и обрабатывать данные, используя метод, настроенный для этого конкретного набора данных.
-
В нижестоящих задачах преобразования:
Преобразования набора данных перезагружаются методом усечения и загрузки.
Преобразования SQL и потоки преобразования перезагружаются путем сравнения с полной загрузкой и применения изменений.
-
Задачи киоска данных, следующие непосредственно за задачей хранения, перезагружаются путем усечения и загрузки.
Можно отменить перезагрузку для таблиц, ожидающих перезагрузки, нажав Отменить перезагрузку. Это не повлияет на уже перезагруженные таблицы. Перезагрузки, выполняемые в данный момент, будут завершены.
Настройки хранения
Можно задать свойства для задачи хранения данных, когда в качестве платформы данных используется облачное хранилище данных. Если в качестве платформы данных используется Qlik Cloud, выберите Настройки хранилища для проектов данных при использовании платформы данных Qlik Cloud.
-
Нажмите Параметры.
Общие параметры
-
База данных
База данных, которая будет использоваться в источнике данных.
-
Схема задачи данных
Можно изменить имя схемы задачи хранения данных. Имя по умолчанию – имя задачи хранения.
-
Внутренняя схема
Вы можете изменить имя схемы ресурса внутреннего хранилища. Имя по умолчанию – имя задачи хранения, к которому добавлена строка _internal.
- Префикс для всех таблиц и видов
Можно задать префикс для всех таблиц и видов, создаваемых с помощью этой задачи.
Примечание к информацииНеобходимо использовать уникальный префикс, когда требуется использовать схему базы данных в нескольких задачах данных. -
История
Чтобы упростить воссоздание данных в том виде, в каком они выглядели в определенный момент времени, сохраняйте исторические данные об изменениях. Используйте виды истории и виды истории в реальном времени, чтобы просматривать исторические данные. Выберите Ведение исторических записей и изменение архива записей, чтобы активировать исторические данные об изменениях.
-
При сравнении хранилища с промежуточным хранением необходимо выбрать, как обращаться с записями, которые отсутствуют в промежуточном хранении.
-
Пометить как удаленный
Записи, которые отсутствуют в промежуточном хранении, удаляются обратимым образом.
-
Сохранить
Все записи, отсутствующие в промежуточном хранении, сохраняются.
Примечание к информацииНаборы данных в задаче хранения данных должны иметь набор первичных ключей. В противном случае для задачи хранения данных каждый раз будет выполняться первичная загрузка данных промежуточного хранения. -
Параметры видов
-
Виды в реальном времени
Для чтения таблиц с минимальной задержкой используйте виды, транслируемые в реальном времени.
Для получения дополнительной информации о видах в реальном времени см. раздел Использование видов в реальном времени.
Примечание к информацииДанные в видах реального времени, обрабатываются непрерывно, поэтому такие виды менее эффективны и более требовательны к ресурсам, чем стандартные виды.
Параметры времени выполнения
-
Параллельное выполнение
Позволяет задать максимальное число подключений для передачи данных в режиме полной загрузки (число от 1 до 5).
-
Хранилище
Имя облачного хранилища данных. Параметр применим только к хранилищам Snowflake.
Настройки хранилища для проектов данных при использовании платформы данных Qlik Cloud
Можно настроить, какая папка должна использоваться в хранилище, когда в качестве платформы данных выбрана Qlik Cloud.
-
Нажмите Параметры.
-
Выберите, какая папка будет использоваться в хранилище.
-
В заключение нажмите OK.
Операции с задачей хранения данных
С задачей хранения данных можно выполнять следующие операции в меню задачи.
-
Открыть
Это открывает задачу хранения данных. Можно просмотреть структуру таблиц и сведения о задаче данных, а также отслеживать состояние для полной загрузки и пакетов изменений.
-
Изменить
Можно изменить имя и описание задачи, а также добавить теги.
-
Удалить
Можно удалить задачу данных.
-
Подготовить
Эта операция позволяет подготовить задачу к выполнению. Это включает:
-
проверку допустимости дизайна,
-
создание или изменение физических таблиц и видов в соответствии с дизайном,
-
создание кода SQL для задачи данных,
-
создание или изменение записей каталога для выходных наборов данных задачи.
Прогресс можно отслеживать с помощью индикатора Ход подготовки в нижней части экрана.
-
-
Проверить наборы данных
Проверяются все наборы данных, содержащиеся в задаче данных.
Разверните раздел Проверить и исправить, чтобы просмотреть все ошибки проверки и изменения дизайна.
-
Воссоздание таблиц
Воссоздание наборов данных из источника.
Также необходимо воссоздать все последующие задачи данных, которые потребляют эту задачу данных.
-
Остановить
Можно остановить выполнение задачи данных. Задача данных перестанет обновлять таблицы.
Примечание к информацииЭтот параметр доступен, когда выполняется задача данных. -
Возобновить
Можно возобновить операцию задачи данных с того момента, когда она была остановлена.
Примечание к информацииЭтот параметр доступен, когда задача данных остановлена. -
Преобразование данных
Создавайте многократно используемые преобразования на уровне строк на основе правил и пользовательского SQL. При этом создается задача данных для преобразования.
-
Создать киоск данных
Создание киоска данных для эффективного использования задач данных. Эта задача предполагает создание задачи данных для киоска данных.
Ограничения
-
Если задача данных содержит наборы данных, а в подключении меняются какие-либо параметры, например имя пользователя, база данных или схема, предполагается, что соответствующие данные хранятся в новом месте. Если же это не так, можно сделать следующее:
-
Переместить данные в источнике в новое место.
-
Создайте новую задачу данных с теми же настройками.
-