# Ввод данных в хранилище данных Ввод данных – это первый шаг, необходимый для создания конвейера данных в проекте Qlik Talend Data Integration. В этом случае данные передаются из источника данных и наборы данных сохраняются в формате, оптимизированном для чтения. Можно обновлять данные путем непрерывной обработки изменений или использовать запланированные перезагрузки. Создание подключения данных производится за одну отдельную операцию, однако выполнение производится за два действия. * Промежуточное хранение данных Это подразумевает непрерывный перенос данных из локального источника данных в область промежуточного хранения с использованием задачи промежуточного хранения данных. [Промежуточное хранение данных, полученных из источников данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Landing-data-data-sources.htm) Также можно поместить данные на промежуточное хранение в хранилище в озере данных, при этом данные помещаются в облачное хранилище файлов. Это доступно для проектов Snowflake, где в качестве цели промежуточного хранения выбрано Облачное хранилище файлов. [Промежуточное хранение данных в хранилище в озере данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Lake-landing.htm). * Хранение наборов данных Это подразумевает чтение начальной загрузки данных для промежуточного хранения или инкрементальных загрузок, а также применение данных в оптимизированном для чтения формате с использованием задачи хранения данных. [Хранение наборов данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Storage/generating-datasets.htm) При наличии подключенных данных сохраненные наборы данных можно использовать разными способами. * Наборы данных можно использовать в аналитическом приложении. * Можно создавать преобразования. * Можно создать киоск данных. [Посмотреть видеоролик](https://play.vidyard.com/JuMjxW2bpT48iqGEXkePHy) ## Подключенные данные Подключение данных запускается в проекте. Наборы данных сохраняются в облачном хранилище данных, указанном в проекте. Для получения дополнительной информации о проектах см. раздел [Создание проектов конвейеров данных и управление ими](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-projects.htm). 1. В проекте щелкните Создать, затем Подключить данные. Примечание к подсказкеТакже можно щелкнуть the Значок «Дополнительно» icon на существующем источнике в проекте и затем выбрать Подключить данные. 2. Введите Имя и Описание для подключения. Нажмите Далее. 3. Выберите подключение источника. Можно выбрать существующее подключение источника или создать новое подключение к источнику. Для получения дополнительной информации см. раздел [Настройка подключений к источникам данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/connecting-data-2.htm). Нажмите Далее. 4. Выберите данные для загрузки. Для получения дополнительной информации см. раздел [Выбор данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Onboarding/Onboarding-data.htm#Selectin). Нажмите Далее. Откроется окно Параметры, в котором можно выбрать метод обновления и параметры истории. 5. Выберите метод, который будет использоваться для обновления данных, в разделе Метод обновления. * Захват изменений данных (CDC) Если данные также содержат таблицы, которые не поддерживают CDC, или виды, будет создано два конвейера данных. Один конвейер данных со всеми таблицами, поддерживающими CDC, и второй конвейер с остальными таблицами и видами, которые используют режим Перезагрузка и сравнение. * Перезагрузка и сравнение 6. При подключении к Snowflake можно выбрать один из следующих методов загрузки: * Массовая загрузка (по умолчанию) Если выбрана Массовая загрузка, после создания задачи параметры загрузки можно изменить в настройках задачи во вкладке Загрузка данных. * Snowpipe Streaming Примечание к информации Метод Snowpipe Streaming доступен, если выполнены следующие условия: * Используется метод обновления Захват данных изменений (CDC). * В коннекторе Snowflake в качестве Механизма аутентификации используется Пара ключей. * Если используется Шлюз движения данных: требуется версия 2024.11.45 или выше. Прежде чем выбрать метод Snowpipe Streaming, ознакомьтесь с [ограничениями и условиями](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/snowflake-target.htm#Limitati2) использования этого метода. Если выбран метод Snowpipe Streaming, при выборе метода обновления Перезагрузка и сравнение будет автоматически выбран метод загрузки Массовая загрузка. Основные причины, почему следует выбрать метод загрузки Snowpipe Streaming вместо Массовой загрузки: * Менее затратный метод: так как хранилище Snowflake не используется, операционные расходы должны быть значительно ниже (но не всегда, так как расходы также зависят от конкретного сценария использования). * Меньше задержка: данные передаются напрямую в целевые таблицы (нет промежуточного хранения), поэтому репликация из источника данных в целевую систему должна происходить быстрее. Примечание к подсказкеПри использовании Snowpipe Streaming первичная полная загрузка может выполняться значительно медленнее, чем с методом Массовая загрузка. Для оптимизации производительности загрузки, в частности при загрузке больших наборов данных, рекомендуется использовать Snowpipe Streaming вместе с [функцией параллельной загрузки](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Table-settings-landing.htm). 7. В разделе Журнал выберите, нужно ли реплицировать историю предшествующих данных в дополнение к текущим. По окончании нажмите Далее. 8. Если не используется Шлюз движения данных для доступа к источнику данных, следующий раздел будет отображаться в параметрах: Планировщик репликаций * Репликация данных каждые: Можно запланировать, как часто должны захватываться изменения из источника данных, и задать Время начала и Дату начала. Если исходные наборы данных поддерживают CDC (Захват изменений данных), только изменения в исходных данных будут реплицированы в соответствующие целевые таблицы. Если исходные наборы данных не поддерживают CDC (например, «Виды»), изменения будут применены путем перезагрузки всех исходных данных в соответствующие целевые таблицы. Если одни исходные наборы данных поддерживают CDC, а другие нет, будут созданы две подзадачи: одна для перезагрузки наборов данных, которые не поддерживают CDC, а другая для захвата изменений наборов данных, которые поддерживают CDC. Мастер настройки подключения позволяет запланировать интервал, равный одному часу. После завершения мастера подключения можно изучить различные варианты планирования, как описано в [Параметры репликации](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/replicating-settings.htm#Scheduli). Для получения информации о минимальных интервалах планирования в зависимости от типа источника данных и уровня подписки см. раздел [Минимально допустимые интервалы планирования](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/Admin/subscription-options-QTC.htm#Minimum). 9. Проверьте задачи данных, созданные для подключения данных, и, если нужно, переименуйте. Примечание к подсказкеЭти имена используются при присвоении имен схемам баз данных в задаче данных хранилища. Рекомендуется использовать уникальные имена, чтобы избежать конфликтов с задачами данных в других проектах, использующих эту же платформу. 10. Выберите, нужно ли открыть любую из созданных задач данных или вернуться в проект. По завершении нажмите кнопку Готово. Задачи подключения данных созданы. Чтобы начать репликацию данных, необходимо: * подготовить и запустить задачу промежуточного хранения данных. Для получения дополнительной информации см. раздел [Промежуточное хранение данных, полученных из источников данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Landing-data-data-sources.htm). * подготовить и запустить задачу хранения данных. Для получения дополнительной информации см. [Хранение наборов данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Storage/generating-datasets.htm) ### Выбор данных Можно выбрать определенные таблицы или виды, а также использовать правила выбора для включения или исключения групп таблиц. Примечание к информацииCDC не поддерживается для видов. Чтобы задать критерий выборки для схем и таблиц, используйте знак подстановки %. * %.% позволяет выбрать все таблицы во всех схемах. * Public.% определяет все таблицы в схеме Public. Критерий выбора позволяет просмотреть результат в зависимости от выбранных условий. Можно выполнить любое из действий: * Создать правило для включения или исключения группы таблиц, удовлетворяющих критерию выбора. Нажмите Добавить правило из критериев выбора, чтобы добавить правило, и выберите Включить или Исключить. Правила отображаются в разделе Правило выбора. * Выберите один или несколько наборов данных и нажмите Добавить выбранные наборы данных. Добавленные наборы данных отображаются в Явно выбранные наборы данных. Правила выбора применяются только к текущему набору таблиц и видов, однако они не будут применяться к таблицам и видам, добавляемым позже. Связанные учебные материалы: * [Использование службы интеграции данных Qlik Cloud для импорта и преобразования данных](https://help.qlik.com/lnk/Qlik_cloud_data_integration_onboard_transform) ## Подробнее * [Использование службы интеграции данных Qlik Cloud для импорта и преобразования данных](https://help.qlik.com/lnk/Qlik_cloud_data_integration_onboard_transform)