# Создание витрины знаний Создавая витрины знаний, можно преобразовывать структурированные и неструктурированные данные в векторный формат и сохранять их в векторных базах данных. Это позволяет извлекать расширенный контекст с помощью функциональности семантического поиска для использования в качестве контекста для приложений генерации с дополненной выборкой (RAG). RAG оптимизирует вывод большой языковой модели (LLM), предоставляя модели LLM вместе с запросом дополнительный контекст. ## Требования * Вам нужна подписка Qlik Talend Cloud Enterprise. * Поддерживается на платформах Snowflake и Databricks. Snowflake Iceberg не поддерживается. * Требуется управляемый клиентом шлюз данных. Для Databricks требуется Шлюз данных Qlik — движение данных версия 2024.11.95 или выше. ## Установка Шлюз данных Qlik — движение данных Чтобы использовать витрины знаний, необходимо подключиться к векторным базам данных и подключениям к LLM, для чего требуется специальная установка Шлюз данных Qlik — движение данных. Для получения дополнительной информации см. раздел [Настройка Шлюз данных Qlik — движение данных для киосков баз знаний](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/gateways-for-knowledge-mart.htm). ## Просмотр и загрузка файлов журналов Вы можете просматривать и загружать файлы журналов для витрин знаний. Для получения дополнительной информации см. раздел [Поиск и устранение неисправностей Шлюз движения данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/dm-gateway-troubleshooting.htm). ## Предварительные требования В качестве источника для витрин знаний можно использовать задачи данных следующих типов: * Хранение * Преобразовать Перед созданием витрин знаний необходимо выполнить в задачах, поставляющих данные, следующее: * Заполните наборы данных данными, которые вы хотите использовать в своей витрине знаний. Для получения дополнительной информации см. раздел [Ввод данных в хранилище данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Onboarding/Onboarding-data.htm). * создать реляционную модель набора данных для определения отношений между исходными наборами данных. Для получения дополнительной информации см. раздел [Создание модели данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Create-data-model.htm). Примечание к предупреждениюВсе исходные наборы данных должны иметь ключи. ### Настройка Databricks для витрин знаний Если в качестве платформы данных используется Databricks, для создания витрин знаний необходимо настроить Databricks. * Создайте хранилище SQL в Databricks. Рекомендуется использовать бессерверные вычисления. Вы также должны настроить Безопасность данных для хранилищ SQL и бессерверных вычислений, чтобы включить интеграцию хранилища. * Создайте конечную точку в Векторном поиске. Вы ссылаетесь на имя этой конечной точки в настройках векторной базы данных в задаче витрин знаний. Выберите Тип в зависимости от требований к производительности, Стандартный подходит для большинства вариантов использования. При необходимости определите политику использования бессерверных ресурсов для связывания тегов с целью распределения затрат. * Настройте модели Databricks в Serving. В разделе Конечные точки обслуживания вы можете использовать встраивания LLM и модели чата, доступные в Databricks. Убедитесь, что вы подтвердили модели, которые планируете использовать в своем конвейере данных. Вы также можете создать конечную точку обслуживания для пользовательской модели или использовать базовую модель, например, OpenAI или Azure OpenAI. Модель встраивания: databricks-gte-large-en Модель чата/завершения: databricks-meta-llama-3-1-405b-instruct ## Ограничения Исходные наборы данных можно использовать с ограничениями, если: * они созданы преобразованием SQL или потоком преобразования * являются нематерилизованными * хранилище исторических данных (тип 2) отключено Считается, что эти наборы данных обновляются при каждом запуске, что может повлиять на эффективность и стоимость. Эти ограничения можно обойти следующим образом: * Изменить исходные наборы данных на наборы, которые должны быть материализованы. * Использовать прямые преобразования наборов данных. * Создать глобальные правила, преобразующие множество наборов данных. Задачи хранилища знаний можно экспортировать и импортировать только между проектами, использующими один и тот же тип платформы данных. Экспорт проекта с задачами knowledge mart из Snowflake и импорт его в Databricks, или экспорт из Databricks и импорт в Snowflake, не поддерживается. ### Поддерживаемый формат кодирования Файлы должны иметь формат UTF-8. Другие форматы могут быть неверно интерпретированы. Примечание к информацииQlik добавляет 2 правила преобразования, которые удаляют все двоичное содержимое из выходных данных: QLIK\_\_REMOVE\_BLOB\_COLUMNS и QLIK\_\_REMOVE\_BYTES\_COLUMNS. ### Поддерживаемые символы В именах файлов и папок могут содержаться следующие символы: * [0-9], [a-Z], [A-Z] * ! - \_ . \* ' () Могут поддерживаться и другие специальные символы, но из-за значительной обработки специальных символов рекомендуется использовать только символы из списка выше. ### Отношения * Невозможно связать данные из двух наборов данных. Создайте задачу преобразования, в ней определите отношение в модели данных и используйте это преобразование как источник для другой задачи. * Если два набора данных связаны в модели данных отношением, в задании будут доступны оба набора данных, даже если выбран только один из них. ## Удаление задачи Вы можете удалить задачу данных, если она не запущена и нет зависимостей от последующих задач в том же проекте. * В представлении проекта конвейера проекта нажмите the Дополнительно icon на задаче и выберите Удалить. Артефакты (таблицы и виды), созданные задачей, также будут удалены, если вы не выберете их сохранение. Примечание к информацииИмейте в виду, что сохраненные вами артефакты больше не будут обновляться задачей. Если для задачи установлено значение Удалить и создать индекс, индекс удаляется только в том случае, если вы выбрали удаление артефактов. Если вы выберете сохранение артефактов, индекс будет сохранен. ## Изменение подключений или шлюза данных Если вы измените векторное подключение или векторный шлюз данных, вы должны подготовить задачу снова. ## Поиск и устранение неисправностей ### Файлы, перемещенные в OneDrive, не распознаются File knowledge mart Если файлы перемещаются или синхронизируются с OneDrive с использованием параметров, сохраняющих старую дату создания и изменения файла, файл не распознается как новый файл. Измените дату изменения файла на текущую дату. ### Ошибка выполнения при использовании Pinecone Значения NULL в столбцах метаданных не поддерживаются Pinecone. Результатом будет ошибка выполнения. * Преобразуйте значения NULL в другие значения, например, в пустую строку или слово NULL, при преобразовании перед хранилищем знаний. * Используйте другую векторную базу данных. * Не используйте столбец в качестве метаданных.