Загрузка локальных данных с помощью Qlik DataTransfer

Qlik DataTransfer загружает данные из локальных источников данных в Qlik Cloud. Qlik DataTransfer может обеспечить доступ к локальным источникам данных, которые иначе были бы недоступны для Qlik Sense SaaS. Qlik DataTransfer может загружать данные также из приложений Qlik Sense Desktop и Qlik Sense Enterprise on Windows в Qlik Sense SaaS.

Qlik DataTransfer позволяет загружать данные из локальных источников данных в Qlik Sense SaaS. Данные можно загружать в Qlik Cloud вручную или автоматически по графику.

Можно загружать данные из следующих видов источников данных в пространства:

• Подключения к данным

  Можно выбрать таблицы и поля из источников данных ODBC и REST, которые доступны в локальном развертывании.

• Приложения Qlik

  Данные можно переносить из Qlik Sense или приложения QlikView. Приложение может содержать объединенные и преобразованные данные из нескольких источников данных.

• Папки данных

  Можно переносить данные из локальной папки или общей сетевой папки. Если папка контролируется, новые или обновленные файлы переносятся в Qlik Cloud автоматически.

Можно выбрать до 10 зависимых приложений на каждый источник данных для подключений к данным и приложений Qlik. Зависимые приложения автоматически перезагружаются при каждой загрузке источников данных в Qlik Cloud. Перезагрузки в Qlik DataTransfer не учитываются в ограничениях на перезагрузку в Qlik Cloud. Перезагрузки зависимых приложений в Qlik Cloud учитываются в ограничениях на перезагрузку.

Подключения к данным

Для загрузки данных из подключения с помощью коннекторов Qlik можно использовать раздел Подключения к данным. Например, могут иметься подключения, которые доступны только локально, такие как ODBC DSN. С помощью Qlik DataTransfer можно подключиться к данным, загрузить их и затем отправить в виде файла QVD в Qlik Cloud.

Другой вариант — добавить файл QVD в локальную папку. Это удобно, если требуется синхронизировать файл QVD с облачным хранилищем.

Для управления подключениями к данным используется раздел Подключения к данным. Подключения к данным можно добавлять, изменять и удалять. Можно также вручную загрузить наборы данных, выбрав подключение к данным и нажав Загрузить. Для просмотра сведений о последней загрузке можно выбрать подключение к данным и нажать Сведения о последней загрузке.

В разделе Подключения к данным можно использовать новые или существующие подключения. При добавлении данных подключения можно создать новые подключения. Создать и просмотреть подключения можно также в разделе Сведения о подключении.

Для получения дополнительной информации о настройке определенных коннекторов см. раздел Коннекторы Qlik (только английский язык). Для получения информации о настройке подключений ODBC DSN см. ODBC.

Загрузка подключений к данным

1. Нажмите Подключения к данным.
2. Нажмите Добавить.
3. Введите имя данных о подключении.
4. Выберите место назначения.

5. Выберите целевое пространство или папку назначения.

   Примечание к информации

   Целевое пространство Личное ― это личное пространство владельца ключа API.

6. При желании добавьте префикс.

   Префиксы добавляются к имени файла QVD в месте назначения.

7. Выполните одно из следующих действий:
   • Для добавления данных подключения из существующего подключения выберите подключение.
   • Для добавления нового подключения нажмите Создание подключения, выберите тип подключения, введите параметры подключения и нажмите Создать.
8. Выберите таблицы и поля для загрузки.
9. При необходимости выберите приложения, которые будут перезагружаться каждый раз при загрузке этого источника данных.
10. Нажмите Подтвердить.

Приложения Qlik

Можно извлекать и загружать данные из файлов приложений Qlik Sense и QlikView (QVF и QVW). При загрузке данных приложения Qlik DataTransfer выполняет скрипт загрузки данных приложения в QVF. Затем все таблицы извлекаются с помощью загрузки двоичного файла и сохраняются в файле QVD. Для файлов QVW Qlik DataTransfer только извлекает все таблицы с помощью загрузки двоичного файла и сохраняет их в файлах QVW. После этого файл QVD загружается в Qlik Cloud.

Другой вариант — добавить файл QVD в локальную папку. Это удобно, если требуется синхронизировать файл QVD с облачным хранилищем.

Данные приложения полезны, когда необходимо выполнить преобразование данных и процедуры загрузки перед тем, как добавить данные в приложение. Например, для повышения производительности приложения можно выполнить инкрементную загрузку данных в приложение в Qlik Sense Desktop, а затем использовать Qlik DataTransfer, чтобы загрузить полученные данные в Qlik Cloud.

Можно использовать наборы данных приложения, чтобы обеспечить доступ Qlik Sense SaaS к источникам данных, которые были ранее недоступны, путем их загрузки в локальное приложение Qlik Sense. Например, приложения Qlik Sense Desktop могут подключиться к источникам данных OLE DB.Qlik DataTransfer позволяет загружать данные OLE DB из настольного приложения и выгружать их в Qlik Cloud.

Для управления данными приложений используется раздел Приложения Qlik. Данные приложений можно добавлять, изменять и удалять. Можно также вручную загрузить наборы данных, выбрав данные приложения и нажав Загрузить. Для просмотра сведений о последней загрузке данных можно выбрать набор данных приложения и нажать Сведения о последней загрузке.

Qlik DataTransfer может обновить данные только перед загрузкой в файлах QVF, созданных в Qlik Sense Desktop. Qlik DataTransfer не обновляет данные в приложении перед загрузкой для файлов QVF, созданных в Qlik Sense Enterprise on Windows и загруженных из Qlik Sense SaaS. Если нужно обновить данные в загруженном приложении Qlik Sense перед загрузкой, необходимо добавить подключения и источники данных в приложение в Qlik Sense Desktop.

Загрузка данных приложения

Выполните следующие действия.

1. Нажмите Приложения Qlik.
2. Нажмите Добавить.
3. Введите имя данных приложения.
4. Выберите место назначения.

5. Выберите целевое пространство или папку назначения.

   Примечание к информации

   Целевое пространство Личное ― это личное пространство владельца ключа API.

6. При желании добавьте префикс.

   Префиксы добавляются к имени файла QVD в месте назначения.

7. Нажмите Далее.

8. Введите путь к файлу приложения Qlik и нажмите Подтвердить.

   По умолчанию приложения Qlik Sense Desktop хранятся в папке C:\Users\%USERPROFILE%\Documents\Qlik\Sense\Apps.

   Приложения Qlik Sense Enterprise on Windows хранятся в папках с общей устойчивостью, настроенных во время установки.

   По умолчанию приложения QlikView хранятся в папке C:\ProgramData\QlikTech\Documents

9. При необходимости выберите приложения, которые будут перезагружаться каждый раз при загрузке этого источника данных.
10. Нажмите Подтвердить.

Папки данных

Вы можете выбрать папки, содержащие файлы данных, для загрузки в Qlik Cloud. Qlik DataTransfer контролирует выбранные папки. При изменении данных в этих файлах или добавлении новых файлов в папку Qlik DataTransfer автоматически загружает обновленные файлы в Qlik Cloud.

Qlik DataTransfer поддерживает общие сетевые папки, но не поддерживает сопоставленные сетевые папки. Например, папка \\share\data будет поддерживаться. Если папку \\share сопоставить с Z:\, папка Z:\data не будет поддерживаться.

Qlik DataTransfer контролирует и загружает файлы в выбранной папке и ее подпапках. Когда файлы загружаются в Qlik Cloud, по умолчанию к ним добавляются префиксы — имена папок. В качестве примера рассмотрим контролируемую папку My Folder. Эта папка содержит файл Sample.csv во вложенной папке My SubFolder. В Qlik Cloud загруженный файл будет называться My Folder_My Subfolder_Sample.csv. Можно добавить пользовательский префикс или отказаться от добавления префиксов.

Для управления папками данных используется раздел Папки данных. Папки можно добавлять, а также изменять или удалять выбранные папки. Можно также вручную загрузить файлы папки данных, выбрав папку данных и нажав Загрузить.

Загрузка папок данных

Выполните следующие действия.

1. В Qlik DataTransfer выберите Папки данных.
2. Нажмите Добавить.
3. Введите имя.
4. Введите полный путь к папке в файловой системе.

5. Выберите целевое пространство.

   Примечание к информации

   Целевое пространство Личное ― это личное пространство владельца ключа API.

6. При необходимости выберите приложения, которые будут перезагружаться каждый раз при загрузке этого источника данных.

7. Выберите тип префикса.

   Префиксы добавляются к имени файла в месте назначения. Когда файлы загружаются в Qlik Cloud, по умолчанию к ним добавляются префиксы — имена папок.

8. Нажмите Подтвердить.

Планирование загрузок

Можно запланировать автоматические загрузки приложения и наборов данных подключения через регулярные интервалы времени. Если выбраны какие-либо зависимые приложения для источников данных, они автоматически перезагрузятся после запланированной загрузки.

Для просмотра сведений о последней загрузке можно выбрать задачу и нажать Сведения о последнем выполнении. Для просмотра сведений о последней загрузке можно выбрать набор данных приложения и нажать Сведения о последней загрузке. Журналы находятся в папке C:\ProgramData\Qlik\DataTransfer\Log.

Выполните следующие действия.

1. В Qlik DataTransfer выберите Запланированные загрузки.
2. Нажмите Добавить.
3. Введите имя.
4. Выберите источник данных для загрузки.
5. Выберите интервал повторения и укажите дату и время.
6. Нажмите Сохранить.

Ограничения

Qlik DataTransfer имеет следующие ограничения:

• Максимально допустимый размер контролируется платформой Qlik Cloud и соблюдается в Qlik DataTransfer.

• В наборе данных можно загрузить не более 200 таблиц или файлов. Если в наборе данных больше 200 таблиц или файлов, будут загружены только первые 200. Например, это применимо к тем случаям, когда выбрано больше 200 таблиц в подключении к данным или приложении Qlik или добавлена папка данных, в которой больше 200 файлов.

• Qlik DataTransfer оценивает время, необходимое для завершения загрузки файла. Это время так называемое «время жизни» (TTL, time-to-live). Загрузка каждого файла должна завершиться быстрее расчетного значения TTL или 3 дней.

• Qlik DataTransfer не поддерживает подключения к файлам в Essbase или Dropbox.
• Файлы, удаленные из папки данных, необходимо удалить из пространств, в которые они были загружены, вручную.

• Qlik DataTransfer может перезагружать данные в файле QVF, только если он был создан с помощью Qlik Sense Desktop. Если Qlik DataTransfer установлен на сервере, необходимо скопировать файлы QVF на сервер. Все источники данных, которые используются в файле QVF, должны быть доступны для скрипта загрузки QVF, когда он выполняется на сервере с помощью Qlik DataTransfer.

• Приложения QlikView не перезагружаются автоматически через Qlik DataTransfer при обновлении источников данных в приложениях новыми данными. Приложения QlikView необходимо перезагрузить и сохранить вручную, чтобы Qlik DataTransfer загрузил данные в Qlik Cloud.