Tworzenie hurtowni wiedzy

Utworzenie hurtowni wiedzy umożliwia osadzanie i przechowywanie ustrukturyzowanych oraz nieustrukturyzowanych danych w wektorowej bazie danych. Umożliwia to pobieranie rozszerzonego kontekstu przy użyciu funkcji wyszukiwania semantycznego w celu wykorzystania go jako kontekstu dla aplikacji do generowania wspomaganego wyszukiwaniem (RAG).

RAG optymalizuje dane wyjściowe LLM poprzez dostarczanie dodatkowego kontekstu do LLM wraz z zapytaniem.

Instalowanie aplikacji Qlik Data Gateway - Data Movement

Aby korzystać z hurtowni wiedzy, należy połączyć się z wektorowymi bazami danych i połączeniami LLM, co wymaga zainstalowania określonej bramy Qlik Data Gateway - Data Movement. Więcej informacji zawiera temat Konfigurowanie Qlik Data Gateway - Data Movement na potrzeby hurtowni wiedzy.

Przeglądanie i pobieranie dzienników

Można przeglądać i pobierać dzienniki hurtowni danych. Więcej informacji zawiera temat Rozwiązywanie problemów Data Movement gateway.

Wymagania wstępne

Jako źródła dla knowledge martu można użyć zadań danych następujących typów:

• Pamięć masowa

• Transformacja

Przed utworzeniem knowledge martu należy wykonać następujące czynności w zadaniach danych źródłowych:

• Wypełnienie zestawów danych danymi, których chcesz użyć w swoim knowledge marcie. Więcej informacji zawiera temat Dołączanie danych do hurtowni danych.

• Utworzenie relacyjnego modelu zestawu danych w celu zdefiniowania relacji między źródłowymi zestawami danych. Więcej informacji zawiera temat Tworzenie modelu danych.

  OstrzeżenieWszystkie źródłowe zestawy danych muszą mieć klucze.

Ograniczenia

Istnieją ograniczenia w przypadku korzystania ze źródłowych zestawów danych spełniających wszystkie te warunki:

• Utworzone przez transformację SQL lub przepływ transformacji

• Niezmaterializowane

• Magazyn danych historycznych (typ 2) wyłączony

Te zestawy danych są aktualizowane przy każdym uruchomieniu, co może wpływać na wydajność i koszty. Można to złagodzić:

• Zmieniając źródłowe zestawy danych, które mają zostać zmaterializowane.

• Korzystając z jawnych przekształceń zestawu danych.

• Tworząc globalne reguły przekształcania wielu zestawów danych.

Obsługiwany format kodowania

Pliki muszą być poprawnie zakodowane w UTF-8. Inne formaty mogą być błędnie interpretowane.

Obsługiwane znaki

Nazwy plików i folderów mogą zawierać następujące znaki:

• [0-9], [a-Z], [A-Z]
• ! - _ . * ' ()

Inne znaki specjalne mogą być obsługiwane, ale ze względu na pracochłonną obsługę znaków specjalnych zaleca się używanie tylko znaków z powyższej listy.

Relacje

• Nie jest możliwe powiązanie danych z dwóch zestawów danych. Utwórz zadanie transformacji, w którym zdefiniujesz relację w modelu danych i użyj zadania transformacji jako źródła dla zadania.

• Gdy dwa zestawy danych są powiązane w modelu danych, oba zestawy danych będą dostępne w zadaniu, nawet jeśli wybrano tylko jeden z nich.

Zmiana połączeń lub bramy danych

Jeśli zmienisz połączenie wektorowe lub bramę danych wektorowych, musisz ponownie przygotować zadanie.

Rozwiązywanie problemów

Pliki przeniesione do usługi OneDrive nie są rozpoznawane przez File knowledge mart

Możliwa przyczyna  

Jeśli pliki są przenoszone lub synchronizowane z usługą OneDrive przy użyciu opcji zachowujących starą datę utworzenia i modyfikacji pliku, plik nie jest rozpoznawany jako nowy plik.

Proponowane działanie  

Zmień datę modyfikacji pliku na bieżącą datę.

Błąd wykonania podczas używania Pinecone

Możliwa przyczyna  

Wartości NULL w kolumnach metadanych nie są obsługiwane przez Pinecone. Rezultatem byłby błąd wykonania.

Proponowane działanie  

• Przekształć wartości NULL na inne wartości, na przykład pusty ciąg znaków lub słowo NULL, w transformacji przed hurtownią wiedzy.

• Użyj innej bazy danych wektorowych.

• Nie używaj kolumny jako metadanych.