Bilgi birikimi ambarı oluşturma
Bilgi birikimi ambarları, yapılandırılmış verilerinizi bir vektör veritabanına yerleştirmenize ve depolamanıza olanak tanır. Bu, artırılmış bağlamın, Almayla Artırılmış Üretim (RAG) uygulamaları için bir bağlam olarak kullanılmak üzere anlamsal arama özellikleriyle alınmasını sağlar.
Çıktı JSON biçimindedir.
Gereksinimler
-
Qlik Talend Cloud Enterprise aboneliğine ihtiyacınız vardır.
-
Snowflake ve Databricks platformlarında desteklenir. Snowflake Iceberg desteklenmez.
-
Müşteri tarafından yönetilen bir veri ağ geçidi gereklidir.
Databricks, Qlik Data Gateway - Veri Hareketi sürüm 2024.11.95 veya sonraki bir sürümü gerektirir.
Qlik Data Gateway - Veri Hareketi uygulamasını yükleme
Bir bilgi birikimi ambarı oluşturmadan önce, belirli bir Qlik Data Gateway - Veri Hareketi yüklemeniz gerekir. Daha fazla bilgi için şuraya bakın: Bilgi birikimi ambarları için Qlik Data Gateway - Veri Hareketi ayarlama.
Desteklenen bağlantılar
Desteklenen şu öğeler hakkında bilgi için:
- Vektör veritabanları, bkz. Vektör veritabanlarına bağlanma.
- LLM bağlantıları, bkz. LLM bağlantılarına bağlanma.
- Dosya depolama alanı, bkz. Dosya depolamasına bağlanma.
Veri oluşturma
- Sol menüdeki Projeler'e tıklayın ve bir proje açın.
- Proje sayfasından bir vektör veritabanına belge oluşturabilir ve yayınlayabilirsiniz. Şu iki eylemden birini yapın:
- Yeni oluştur > Bilgi bankası ambarı'na tıklayın.
- Veri görevi
> Bilgi bankası ambarı seçeneğine tıklayın.
Yapılandırma penceresi açılır.
- Bir ad girin.
- Açıklama girin. Bu isteğe bağlıdır.
- Vektörleri şurada sakla: açılır listesinden belgelerin depolanacağı yeri seçin. Belgeleri projeyle birlikte saklamak için Veri projesi platformu'nu seçin.
- Harici vektör veritabanını seçtiyseniz bir Vektör veritabanı bağlantısı oluşturun veya seçin. Belgeler ve vektörler bu vektör veritabanında saklanacaktır.
- Bir LLM bağlantısı oluşturun veya seçin. Bu bağlantı anlamsal aramayı kullanmak için gereklidir.
- Oluştur'a tıklayın.
- Veriler oluşturulduğunda, belgeleri ekleyin.
Belge ekleme
- Veri görevi sayfasının Veri kümeleri sekmesinde, sol paneldeki Ekle'ye tıklayın.
- Belgenin oluşturulacağı temel veri kümesini seçin. Her kayıt için bir belge oluşturulacaktır. Örneğin, bir hasta listesi için, her hastaya yönelik olarak bir belge oluşturulacaktır.
- Belge şeması adı alanı, seçilen temel veri kümesinin adıyla önceden doldurulur. Gerekirse yeniden adlandırın.
- Açıklama girin. Bu isteğe bağlıdır.
- Belgeyi zenginleştirmek için eklemek istediğiniz verileri seçin.
- Tamam'a tıklayın. Belge şemaları sekmesine geri dönersiniz.
- Veri kümeleri sekmesini seçin.
- Sol panelde, daha önce temel veri kümesi olarak seçtiğiniz veri kümesini seçin.
- Belgelere dahil etmek istemediğiniz verileri kaldırmak için onay kutusunu seçin ve Kaldır'a tıklayın.
- LLM tarafından gerçekleştirilen anlamsal aramayı iyileştirmek için, adları yeterince açık olmayan verileri yeniden adlandırın.
Örnek: dt öğesini date olarak yeniden adlandırın.
- Verileri gerektiği gibi kaldırıp yeniden adlandırdığınızda, sağdaki > Hazırla öğesine tıklayın. Belgeler
JSONbiçiminde oluşturulmaktadır. - Belgeler oluşturulduğunda:
- Veri kümeleri sekmesini seçin.
- Görevi çalıştırmadan önce belgelerinizi doğrulamak için Verileri görüntüle'ye tıklayarak bir veri örneği görüntüleyin.
- Çalıştır'a tıklayın. Belgeler, yapılandırmaya bağlı olarak vektör veritabanına veya veri platformuna aktarılmaktadır.
Çalıştır düğmesi etkin olduğunda aktarım tamamlanır.
Her şeyin aktarıldığından emin olmak için verileriniz hakkında sorular sorabilirsiniz. Daha fazla bilgi için şuraya bakın: Test asistanını kullanma.
Tam yük ve Değişiklik Verisi Yakalama (CDC)
Tam yük ve CDC desteklenmektedir.
Tam yük: Her belge örneği için bir belge oluşturulur ve hedefe gönderilir.
CDC: Bir belge, temel veya ilgili varlıktaki herhangi bir değişiklikten sonra yeniden oluşturulur.
Temel varlığa bir giriş eklendiğinde yeni bir belge oluşturulur. İlgili varlıklardaki hiçbir giriş bir temel varlığa bağlanamazsa belgelerde görünmez.
Giriş verilerini güncelleme
Giriş verilerini güncellediğinizde, değişiklikleri vektör veritabanına veya veri platformuna aktarmak için veri görevini çalıştırmanız gerekir.
Dizin adı
Her bilgi birikimi ambarının anlamsal arama için kullanılan bir dizin adı vardır.
Görevleri aynı dizine yazacak şekilde yapılandırdığınızda, görevler için aynı LLM parametrelerini yapılandırmanız gerekir.
Belgelerinizin aynı dizinde yer almasını istiyorsanız aynı dizin adına sahip olmaları gerekir.
Dizin adını düzenlemek için:
- Veri görevi sayfasında Ayarlar'a tıklayın.
- Vektör veritabanı ayarları sekmesini seçin.
- Dizin adı'nı düzenleyin.
- Tamam üzerine tıklayın.
Ayarlar
Bir bilgi birikimi ambarının ayarlarını görüntüleyebilir ve düzenleyebilirsiniz.
Veri görevi sayfasından > Ayarlar'a tıklayın.
| Ayarlar | Açıklama |
| Kaynak bağlantısı | Kaynak bağlantısı. |
| Vektörleri şurada sakla: | Açılan listeden bir şunu seçin:
|
| Vektör veritabanı bağlantısı Bu ayar, Vektörleri şurada sakla: için Harici vektör veritabanı seçildiğinde kullanılabilir. | Vektör veritabanı bağlantısı. Daha fazla bilgi için şuraya bakın: Vektör veritabanlarına bağlanma. |
| LLM bağlantısı | LLM bağlantısı. Daha fazla bilgi için şuraya bakın: LLM bağlantılarına bağlanma. Databricks'i bir LLM bağlantısı olarak kullanmak istediğinizde, bilgi birikimi ambarı oluştururken Ekleme modeli hizmet uç noktası'nı ve Tamamlama modeli hizmet uç noktası'nı yapılandırın. Daha fazla bilgi için Databricks belgelerine bakın. |
| Ayarlar | Açıklama |
| Veri görevi şeması | Veri görevi şemasının adı. |
| Dahili şema | Dahili şemanın adı. |
| Tüm tablo ve görünümler için ön ek | Birden çok veri görevi arasındaki çakışmaları çözümlemek ön ek. |
| Ayarlar | Açıklama |
| Dizin şeması Bu ayar, Vektörleri şurada sakla: için Harici vektör veritabanı seçildiğinde kullanılamaz. | Dizin şemasının adı. |
| Dizin adı | Dizinin adı. |
| Dizin zaten mevcutsa | Aynı dizine birden fazla görev yazıldığında, dizinin silinmesi gerekip gerekmediğini seçin:
|
| Databricks vektör arama uç noktası | Databricks'te oluşturulan vektör arama uç noktasının adı. Daha fazla bilgi için şuraya bakın: Bilgi birikimi ambarları için Databricks platformunu yapılandırma . Bilgi notuYalnızca Databricks'i veri platformu olarak kullanan projeler için geçerlidir. |
| Ayarlar | Açıklama |
| Paralel yürütme | Maksimum veritabanı bağlantısı sayısı. 1 ile 50 arasında bir değer girin. |
| Toplu boyut | Bilgi birikimi ambarı için yığın boyutu, her bir yığın talebinde yüklenen belge sayısıdır. Dosya tabanlı bilgi birikimi ambarları için yığın boyutu, her bir yığın talebinde yüklenen dosya sayısıdır. Snowflake ve Databricks'te, her şey tek bir sorguda yüklendiğinden yığın boyutu gerekli değildir. |
| Yüklenecek maksimum kayıt sayısı | 0, tüm kayıtların yüklendiği anlamına gelir. |
| Ayarlar | Açıklama |
| Standart görünümler | Bir sorgunun sonuçlarını bir tabloymuş gibi görüntülemek için standart görünümleri kullanın. |
| Snowflake güvenli görünümleri | Temel tabloların tüm kullanıcılarına açık olmaması gereken hassas verilere erişimi sınırlamak üzere oluşturulan görünümler gibi veri gizliliği veya hassas bilgi koruması için belirlenmiş görünümler için Snowflake güvenli görünümlerini kullanın. Snowflake güvenli görünümleri Standart görünümlere göre daha yavaş çalışabilir. |
| Ayarlar | Açıklama |
| Bağlamdaki belge sayısı | Bağlam olarak modele aktarılacak alakalı belgelerin sayısı. |
| Komut istemi şablonu | Yapay zekanın dahil edilecek belgeleri filtrelemek için izlemesi gereken şablonu girin. |
| Filtre | Dahil edilecek belgeleri filtrelemek için ifadeyi girin. Filtre, meta verilere dayandığından ve dosya tabanlı bilgi birikimi ambarlarında meta veri olmadığından, yapılandırdığınız filtreyi dikkatlice düşünün. Verileri dahil etmek yerine hariç tutmak daha uygun olabilir. Daha fazla bilgi için bk. Test asistanını kullanma. |
| Belge alma | Açılan listeden seçeneği seçin:
|
| Yanıt oluşturma | Açılan listeden seçeneği seçin:
|