# Tworzenie hurtowni wiedzy Hurtownie wiedzy umożliwiają osadzanie i przechowywanie ustrukturyzowanych oraz nieustrukturyzowanych danych w wektorowej bazie danych. Umożliwia to pobieranie rozszerzonego kontekstu przy użyciu funkcji wyszukiwania semantycznego w celu wykorzystania go jako kontekstu dla aplikacji do generowania wspomaganego wyszukiwaniem (RAG). Dane wyjściowe są w formacie `JSON`. InformacjaJest potrzebna subskrypcja Qlik Talend Cloud Enterprise. ## Wymagania * Jest potrzebna subskrypcja Qlik Talend Cloud Enterprise. * Obsługiwane na platformach Snowflake i Databricks. Snowflake Iceberg nie jest obsługiwany. * Wymagana jest brama danych zarządzana przez klienta. Databricks wymaga Brama danych Qlik — ruch danych w wersji 2024.11.95 lub nowszej. ## Instalowanie aplikacji Brama danych Qlik — ruch danych Przed utworzeniem hurtowni wiedzy należy zainstalować określoną bramę Brama danych Qlik — ruch danych. Więcej informacji zawiera temat [Konfigurowanie Brama danych Qlik — ruch danych na potrzeby hurtowni wiedzy](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/gateways-for-knowledge-mart.htm). ## Obsługiwane połączenia Aby uzyskać informacje na temat obsługiwanych: * Wektorowych baz danych, zobacz [Łączenie się z wektorowymi bazami danych](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/connecting-vector-databases.htm). * Połączeń z LLM, zobacz [Łączenie się z połączeniami z LLM](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/connecting-llm-connections.htm). * Pamięci masowych plików, zobacz [Łączenie z pamięcią masową plików](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/connecting-file-storage.htm). ## Tworzenie danych 1. Kliknij Projekty potoków w lewym menu i otwórz projekt. 2. Na stronie Projekt potoku można wygenerować i opublikować dokumenty w wektorowej bazie danych. Wykonaj jedną z tych czynności: * Kliknij Utwórz nową > Hurtownia wiedzy. * Kliknij the Ikona Działania icon zadania danych > Hurtownia wiedzy. Zostanie otwarte okno potwierdzenia. 3. Wprowadź nazwę. 4. Wprowadź opis. Jest to opcjonalne. 5. Wybierz miejsce przechowywania dokumentów z listy rozwijanej Przechowuj wektory w. Aby przechowywać dokumenty wraz z projektem, wybierz Platformę projektu danych. 6. W przypadku wybrania opcji Zewnętrzna wektorowa baza danych utwórz lub wybierz połączenie z wektorową bazą danych. Dokumenty i wektory będą przechowywane w tej wektorowej bazie danych. 7. Utwórz lub wybierz połączenie z LLM. To połączenie jest wymagane do korzystania z wyszukiwania semantycznego. 8. Kliknij Utwórz. 9. Po utworzeniu danych dodaj dokumenty. ## Dodawanie dokumentów InformacjaObsługiwany jest tylko format tekstowy. Na przykład nie można wyodrębnić tekstu z diagramów lub grafik. 1. Na karcie Zestawy danych na stronie Zadanie danych kliknij przycisk Dodaj w lewym panelu. 2. Wybierz bazowy zestaw danych, na podstawie którego zostanie wygenerowany dokument. Dla każdego rekordu zostanie utworzony dokument. Na przykład w przypadku listy pacjentów zostanie utworzony dokument dla każdego pacjenta. 3. Pole Nazwa schematu dokumentu jest wstępnie wypełnione nazwą wybranego podstawowego zestawu danych. W razie potrzeby zmień jego nazwę. 4. Wprowadź opis. Jest to opcjonalne. 5. Wybierz dane, które chcesz dołączyć, aby wzbogacić dokument. 6. Kliknij przycisk OK. Nastąpi powrót do karty Schematy dokumentów. 7. Wybierz kartę Zestawy danych. 8. W lewym panelu wybierz zestaw danych, który wcześniej wybrano jako podstawowy. 9. Aby usunąć dane, których nie chcesz uwzględniać w dokumentach, zaznacz pole wyboru i kliknij przycisk Usuń. 10. Wybierz Metadane dla wszystkich pól, które chcesz zdefiniować jako metadane. Możesz filtrować według metadanych przed wysłaniem danych do LLM. InformacjaW Databricks metadane są implementowane przez pojedyncze pole zawierające reprezentację JSON klucza i wartości wybranych pól metadanych. 11. Aby usprawnić wyszukiwanie semantyczne wykonywane przez LLM, należy zmienić nazwy danych, których nazwy nie są wystarczająco jasne. Przykład: Zmień nazwę dt na data. 12. Po usunięciu i zmianie nazwy danych odpowiednio do potrzeb kliknij the Ikona Działania icon po prawej stronie > Przygotuj. Dokumenty są generowane w formacie `JSON`. 13. Po wygenerowaniu dokumentów: 1. Wybierz kartę Zestawy danych. 2. Aby zweryfikować dokumenty przed uruchomieniem zadania, kliknij Wyświetl dane, aby wyświetlić próbkę danych. 3. Kliknij Uruchom. Dokumenty są przesyłane do wektorowej bazy danych lub platformy danych w zależności od konfiguracji. Transfer jest zakończony, gdy przycisk Uruchom jest aktywny. Aby upewnić się, że wszystko zostało przeniesione, możesz zadać pytania dotyczące swoich danych. Więcej informacji zawiera temat [Używanie asystenta testu](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/KnowledgeMart/Test-Assistant.htm). ## Pełne ładowanie i przechwytywanie zmian danych (CDC) Obsługiwane jest pełne ładowanie i CDC. Pełne ładowanie: dokument jest generowany dla każdej instancji dokumentu i zostanie wysłany do celu. CDC: dokument jest generowany ponownie po każdej zmianie w bazie lub powiązanym elemencie. Nowy dokument jest tworzony po dodaniu wpisu do elementu bazowego. Jeśli żadnych wpisów w elementach powiązanych nie można połączyć z podmiotem bazowym, nie pojawią się one w dokumentach. ## Aktualizacja danych wejściowych Po zaktualizowaniu danych wejściowych należy uruchomić zadanie danych, aby przenieść zmiany do wektorowej bazy danych lub platformy danych. ## Nazwa indeksu Każda hurtownia wiedzy ma nazwę indeksu, która jest używana do wyszukiwania semantycznego. Podczas konfigurowania zadań do zapisu w tym samym indeksie należy skonfigurować te same parametry LLM dla zadań. Jeśli dokumenty mają znajdować się w tym samym indeksie, muszą mieć tę samą nazwę indeksu. Aby edytować nazwę indeksu: 1. Na stronie Zadanie danych kliknij przycisk Ustawienia. 2. Wybierz kartę Ustawienia wektorowej bazy danych. 3. Edytuj Nazwę indeksu. 4. Kliknij przycisk OK. ## Wyświetlanie informacji o zadaniu Kliknij the Informacje icon na pasku menu, aby wyświetlić informacje o zadaniu, takie jak: * Właściciel * Przestrzeń * Platforma danych * Identyfikator projektu * Identyfikator czasu wykonania zadania danych ## Ustawienia Ustawienia hurtowni wiedzy można wyświetlać i edytować. Na stronie Zadanie danych kliknij the More Horizontal icon > Ustawienia. InformacjaPonieważ ustawienia zależą od pamięci masowej (Databricks, Snowflake itp.), w poniższych tabelach opisano ustawienia, które są zawsze dostępne. Dostępnych może być więcej ustawień. W tej tabeli opisano ustawienia karty PołączeniaPołączenia. | Ustawienia | Opis | | --- | --- | | Połączenie źródłowe | Połączenie źródłowe. | | Przechowuj wektory w | Z listy rozwijanej wybierz:

| | Połączenie z wektorową bazą danych

To ustawienie jest dostępne po wybraniu ustawienia Zewnętrzna wektorowa baza danych dla opcji Przechowuj wektory w. | Połączenie z wektorową bazą danych.

Więcej informacji zawiera temat [Łączenie się z wektorowymi bazami danych](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/connecting-vector-databases.htm). | | Połączenie z LLM | Połączenie z LLM

Więcej informacji zawiera temat [Łączenie się z połączeniami z LLM](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/connecting-llm-connections.htm).

Jeśli chcesz używać Databricks jako połączenia LLM, skonfiguruj Punkt końcowy obsługi modelu osadzania i Punkt końcowy obsługi modelu ukończenia podczas tworzenia hurtowni wiedzy. Więcej informacji zawiera [dokumentacja Databricks](https://docs.databricks.com/aws/en/machine-learning/model-serving/create-foundation-model-endpoints#create-an-external-model-serving-endpoint). | W tej tabeli opisano ustawienia karty Ustawienia platformyUstawienia platformy. | Ustawienia | Opis | | --- | --- | | Schemat zadania dotyczącego danych | Nazwa schematu zadania danych. | | Schemat wewnętrzny | Nazwa schematu wewnętrznego. | | Sufiks dla wszystkich tabel i widoków | Prefiks do rozwiązywania konfliktów między kilkoma zadaniami dotyczącymi danych | W tej tabeli opisano ustawienia karty Ustawienia wektorowej bazy danychUstawienia wektorowej bazy danych. | Ustawienia | Opis | | --- | --- | | Schemat indeksu

To ustawienie nie jest dostępne po wybraniu ustawienia Zewnętrzna wektorowa baza danych dla opcji Przechowuj wektory w. | Nazwa schematu indeksu. | | Nazwa indeksu | Nazwa indeksu. | | Jeżeli indeks już istnieje | Gdy wiele zadań zapisuje dane do tego samego indeksu, wybierz, czy indeks ma zostać usunięty, czy nie:

| | Punkt końcowy wyszukiwania wektorowego Databricks | Nazwa punktu końcowego wyszukiwania wektorowego utworzonego w Databricks. Więcej informacji zawiera temat [Konfigurowanie Databricks dla hurtowni wiedzy](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/KnowledgeMart/Creating-knowledge-marts.htm#Configur).

InformacjaDotyczy tylko projektów używających Databricks jako platformy danych. | W tej tabeli opisano ustawienia karty Środowisko uruchomieniaŚrodowisko uruchomienia. | Ustawienia | Opis | | --- | --- | | Wykonanie równoległe | Maksymalna liczba połączeń z bazą danych.

Wprowadź wartość od 1 do 50. | | Rozmiar zbiorczy | W przypadku hurtowni wiedzy rozmiar zbiorczy to liczba dokumentów ładowanych w każdym żądaniu zbiorczym.

W przypadku hurtowni wiedzy opartych na plikach rozmiar zbiorczy to liczba dokumentów ładowanych w każdym żądaniu zbiorczym.

W Snowflake i Databricks rozmiar zbiorczy nie jest wymagany, ponieważ wszystko jest ładowane w jednym zapytaniu. | | Maksymalna liczba rekordów do załadowania | 0 oznacza, że załadowane zostały wszystkie rekordy. | W tej tabeli opisano ustawienia karty WidokiWidoki dla Snowflake. | Ustawienia | Opis | | --- | --- | | Widoki standardowe | Użyj standardowych widoków, aby wyświetlić wyniki zapytania tak, jakby była to tabela. | | Bezpieczne widoki Snowflake | Używaj funkcji bezpiecznych widoków Snowflake w przypadku widoków przeznaczonych do ochrony prywatności danych lub poufnych informacji, takich jak widoki utworzone w celu ograniczenia dostępu do poufnych danych, które nie powinny być dostępne dla wszystkich użytkowników tabel bazowych.

Bezpieczne widoki Snowflake mogą być wykonywane wolniej niż widoki standardowe. | W tej tabeli opisano ustawienia karty Asystent testuAsystent testu. | Ustawienia | Opis | | --- | --- | | Liczba dokumentów w kontekście | Liczba pasujących dokumentów, które zostaną przekazane do modelu jako kontekst. | | Szablon promptu | Wprowadź szablon, który AI musi stosować, aby filtrować dokumenty do uwzględnienia. | | Filter | Wprowadź wyrażenie, aby filtrować dokumenty do uwzględnienia.

Ponieważ filtr jest oparty na metadanych, a hurtownie wiedzy oparte na plikach nie mają metadanych, należy dokładnie przemyśleć konfigurowany filtr. Bardziej odpowiednie może być wykluczanie danych zamiast ich uwzględniania.

Więcej informacji zawiera temat [Używanie asystenta testu](https://help.qlik.com/pl-PL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/KnowledgeMart/Test-Assistant.htm). | | Pobieranie dokumentu | Wybierz opcję z listy rozwijanej:

| | Generowanie odpowiedzi | Wybierz opcję z listy rozwijanej:

|