Bir Qlik Açık Göl Evi içinde akış kaynakları için veri kümesi mimarisi
Last updated: 25.08.2026Akış kaynakları Qlik Açık Göl Evi'da kendi mimarilerine sahiptir, çünkü verileri yerleştirme demetine yüklemek için Data Movement gateway'e ihtiyaç duymazlar, ancak lakehouse kümesi tarafından desteklenirler.
Dosya adında bir veri deseni içeren dosyalardan veri aldığınızda, bu, lakehouse kümesinin S3'te hedeflenmiş liste işlemleri gerçekleştirmesini sağlar ve dosya listesini okuma süresini önemli ölçüde hızlandırır. Ayrıca, Qlik Açık Göl Evi tarih desenine göre gelecek dosyaları tahmin edebilir. Akış yerleştirme görevi, her seferinde tüm demeti listelemek zorunda değildir, bunun yerine S3'ten dosyaları belirli bir tarih aralığında talep edebilir. Daha küçük bir dosya listesine sahip olmak, daha iyi performans sağlar. İsteğe bağlı Yüklemeden sonra sil ayarı, küçük bir dosya sayısını korumak için kullanılabilir. Hiçbir tam yük gerçekleştirilmez, ilk kayıtlar eklenmiş değişiklikler olarak kabul edilir.
Bir Qlik Açık Göl Evi, Akış Dönüştürme görevi depolama görevini değiştirir. Bu görev, aktarılmış verileri Iceberg tabloları olarak dönüştürmek ve depolamak için kullanılır. Bir Akış Dönüştürme görevi yalnızca bir Akış yerleştirme görevinden sonra eklenebilir. Akış Dönüştürme görevi, kayıtları güncellemek için iki modu destekler:
- Yalnızca ekle: Mevcut verileri değiştirmeden yeni kayıtlar ekler ve çoğalt kayıtlar gelirse anahtar kısıtlamaları uygulanmaz.
-
Değişiklikleri uygula (Birleştir): Anahtar alanlara dayanarak mevcut kayıtları günceller ve yeni kayıtlar ekler. Bu mod size yumuşak silme kullanma veya geçmiş verileri (2. Tür) saklama seçeneği sunar.
Akış Dönüştürme görevi, kaynak ve hedef arasında eşleme yapan ve şema evrimi yetenekleri içeren hedef tabanlı bir görevdir. İç içe yapıların açılması ve dizilerin düzleştirilmesi dahil olmak üzere genişletilmiş dönüştürme yetenekleri sunar. Akış Dönüştürme görevinde kullanabileceğiniz işlevler hakkında daha fazla bilgi için Dönüştürme işlevleri bakın.
Bir akış kaynağından veri alırken, depolama maliyetlerini kontrol etmek ve sorgu performansını optimize etmek için Iceberg bölümleme, saklama yönetimi, sütun sıralama ve anlık görüntü süre sonu ayarlarını yapılandırabilirsiniz.
Yalnızca Ekle modunda akışlı Qlik Açık Göl Evi veri İşlem hattının mimarisi
Merge modunda bir akışlı Qlik Açık Göl Evi veri işlem hattının mimarisi
Yerleştirme tabloları
Aşağıdaki üstbilgi sütunları yerleştirme tablolarına eklenir. Bu sütunlar her zaman yerleştirme verilerinde bulunur, ancak varsayılan olarak aşağı akış Akış Dönüştürme görevine dahil edilmez. Bunları Akış Dönüştürme görevine Kaynaktan sütun ekle seçeneğini kullanarak ekleyebilir veya bir sütun eklerken veya düzenlerken ifade oluşturucuda bunlara başvurabilirsiniz.
| Alan | Tür | Açıklama |
|---|---|---|
| hdr__kafka_partition | Uzun | Kafka bölümü |
| hdr__kafka_topic | Dize | Kafka konusu |
| hdr__kafka_offset | Uzun | Bölmedeki devam eden değer |
| hdr__kafka_key | Dize | Base64 kodlanmış anahtar. Mevcut değilse NULL dizesi olarak ayarla. |
| hdr__kafka_headers | Dize |
Tüm mesaj üst bilgileriyle JSON. Mevcut değilse NULL dizesi olarak ayarla. |
| Alan | Tür | Açıklama |
|---|---|---|
| hdr__kinesis_stream | Dize | Amazon Kinesis klasör |
| hdr__kinesis_shard | Dize | Amazon Kinesis parçacığı |
| hdr__kinesis_offset | Dize | Amazon Kinesis ofset |
| Alan | Tür | Açıklama |
|---|---|---|
| hdr__file_name | Dize | Dosya adı |
| hdr__file_size | Uzun | Dosya boyutu (bayt cinsinden). |
Şemalar
Dahili bir şemada ve bir veri görevi şemasında yapıtlar oluşturulur.
-
Dahili şema, çoklu bölmelere sahip bir fiziksel tablo içerir.
-
Veri görevi şeması veri tüketmek için kullanabileceğiniz görünümleri içerir.
Bir şema birden fazla veri göreviyle ilişkilendirildiğinde, her veri görevinin tablolar ve görünümler için benzersiz bir önek kullanması gerekir. Öneki veri görevi ayarlarından ayarlayabilirsiniz.
Ad çakışmaları için yalnızca dahili şemalar kontrol edilir. Diğer şemalar için, tablo adlarında ad çakışması olmadığından emin olmalısınız. En iyi uygulama, dahili şemayı _internal eklenerek veri görevi şemasıyla aynı şekilde adlandırmaktır. Bu, her şema ve ön ek kombinasyonunun benzersiz olmasını sağlar.
Tablolar
Her bir kaynak tablo için, dahili şemada _internal son ekiyle bir tablo oluşturulur, şu biçimde:
<INTERNAL_SCHEMA>.<TABLE_NAME>_internal
Bu tablo, Değişiklikleri uygula (Birleştir) modunda, her biri verilerin nasıl işlendiği ve saklandığı konusunda farklı bir amaca hizmet eden beş bölme içerir. Her bölme, veri yaşam döngüsündeki rolüne bağlı olarak tablo sütunlarının bir alt kümesinden yararlanır. Yalnızca Ekle modunda tablo bölmelere sahip değildir ve Mevcut bölme (ODS) gibi davranır.
Dahili veri kümesi, kaynak sisteminizden gelen verileri verimli bir şekilde yönetmek, gerçek zamanlı alımı ve geçmiş takibini desteklemek üzere yapılandırılmıştır. Veri akışı, her biri aşağıda açıklanan çeşitli özel bölmeler aracılığıyla yönetilir:
-
Değişiklikler bölmesi – Gerçek zamanlı alım
Kaynak sistemdeki tüm değişiklikler (eklemeler, güncellemeler ve silmeler) ilk olarak Changes bölmesine eklenir.
-
Ham bir değişiklik günlüğü olarak işlevi gören bölme, herhangi bir dönüşüm gerçekleşmeden önce kaynak etkinliğinin eksiksiz bir akışını sağlar.
-
Her değişiklik, nasıl işlendiğini gösteren bir türle (I, U veya D) etiketlenir.
-
Olaylar meydana geldikçe kaynaktan kaydedilir. Bölme neredeyse gerçek zamanlı olarak güncellenir.
-
Changes bölmesi, Göl evi veri yerleştirme görevinde aşağıdaki ayarlar uygulandığında kullanılabilir.
-
Genel sekmesinde, Güncelleme yöntemi CDC olarak ayarlanır.
-
Tam yük etkinleştirilir.
-
-
-
Asset_state bölmesi - İlerlemeyi takip etme
Değişiklikler alındıkça, Asset_state bölmesi iki önemli zaman damgasını günlüğe kaydeder:
-
Değişikliklerin Changes bölmesine en son ne zaman eklendiği.
-
Değişikliklerin Current bölmesine en son ne zaman eklendiği.
Bu, senkronizasyon işlem hattına tam görünürlük sağlar ve gecikmelerin izlenmesine veya sorun giderilmesine yardımcı olur.
-
-
Mevcut bölme (ODS) – Kaynağın en son kopyası
Kaynak verilerin güncel, sorgu için optimize edilmiş bir kopyasını korumak üzere Changes bölmesindeki değişiklikler periyodik olarak Current bölmeye uygulanır.
-
Bu güncellemeleri uygulamak için bir arka plan görevi otomatik olarak çalışır. Bu, sabit bir program yerine biriken değişikliklerin hacmine dayanır.
-
İlk tam yük doğrudan Current bölmesine yazılır.
-
Bu bölme, verilerin mevcut durumunu yansıtır ve verimli sorgulama için tasarlanmıştır.
-
-
Önceki bölme (HDS) – Geçmiş veriler
Current bölmesinde bir kayıt güncellendiğinde veya silindiğinde, önceki sürümün bir kopyası Prior bölmeye yazılır.
-
Kayıtlar, değişiklik geçmişi ve verilerin geçerli olduğu tarih aralığı dahil olmak üzere meta veriler içerir.
-
Bu, Tip 2 yavaş değişen boyutu (SCD2) destekler.
-
Prior bölme, Depolama verileri görev ayarlarının Genel sekmesinde Geçmiş kayıtlarını ve değişiklik kayıtları arşivini tut etkinleştirildiğinde kullanılabilir.
-
Bir kaydın güncellenmiş bir sürümü Current bölmeye girdiğinde, önceki kayıt geçmiş izleme için Prior bölmeye taşınır.
-
-
Yeniden yükleme bölmesi
Reload bölmesi, manuel veya programlı tam yeniden yüklemeler sırasında geçici bir hazırlama alanı işlevi görür:
-
Yeni veriler ilk olarak Reload bölmesine yazılır.
-
Düzenli bakım görevleri, bekleyen tüm değişiklikleri duraklatılmadan önce temizler.
-
Veriler Current bölmeyle karşılaştırılır ve yalnızca farklar Current bölmeye taşınır.
-
İşlem tamamlandığında Reload bölmesi silinir.
Bu işlem, tam yeniden yükleme işlemleri sırasında ana veri kümesinde en az kesinti olmasını sağlar.
-
Current bölme
| Alan | Tür | Açıklama |
|---|---|---|
| hdr__key_hash | VARBINARY (20) | Tüm kayıt birincil anahtarlarının karma değeri. Karma biçimi SHA1'dir. Sütunlar geri boşluk karakteri ile ayrılır. |
| hdr__from_timestamp | TIMESTAMP |
UTC olarak zaman damgası:
|
| hdr__operation | VARCHAR (1) |
Bu kaydın son işlemi.
|
| hdr__inserted_timestamp | TIMESTAMP | Anahtar ilk kez eklendiğindeki UTC zaman damgası Tam yükleme kullanılırken tam yüklemenin başlangıç zamanı. |
| hdr__modified_timestamp | TIMESTAMP | Son güncelleme yapıldığında UTC zaman damgası. |
Prior bölme
| Alan | Tür | Açıklama |
|---|---|---|
| hdr__key_hash | VARBINARY (20) | Tüm kayıt birincil anahtarlarının karma değeri. |
| hdr__from_timestamp | TIMESTAMP | UTC olarak zaman damgası. |
| hdr__to_timestamp | TIMESTAMP | UTC olarak zaman damgası. |
| hdr__operation | STRING (1) |
Bu kaydın son işlemi.
|
| hdr__was_current_from_timestamp | TIMESTAMP | Kaydın ilk kez güncel olduğu zamanın UTC olarak zaman damgası. |
| hdr__was_current_to_timestamp | TIMESTAMP | Kaydın son kez güncel olduğu zamanın UTC olarak zaman damgası. |
Changes bölme
| Alan | Tür | Açıklama |
|---|---|---|
| hdr__change_identifier | VARCHAR (50) |
Değişiklik tanımlayıcısı iki parçalı bir dizedir:
|
| hdr__operation | VARCHAR (1) |
Bu kaydın son işlemi.
|
| hdr__timestamp | TIMESTAMP | UTC olarak zaman damgası. |
| hdr__key_hash | BINARY (20) | Tüm kayıt birincil anahtarlarının karma değeri. |
| hdr__inserted_timestamp | TIMESTAMP | Değişikliğin Qlik tarafından işlendiği zamanın UTC zaman damgası. |
Asset_state bölme
| Alan | Tür | Açıklama |
|---|---|---|
| hdr__apply_change_identifier | VARCHAR (50) | Current bölmeye uygulanan en son değişikliğin değişiklik tanımlayıcısı. |
| hdr__copy_change_identifier | VARCHAR (50) | Changes bölmesine eklenen en son değişikliğin değişiklik tanımlayıcısı. |
Reload bölme
Reload bölmesi tarafından kullanılan sütunlar Current bölmeyle aynıdır.
Görünümler
Oluşturulan tüm görünümler neredeyse gerçek zamanlı olarak güncellenir. Sorgulama ve raporlamayı basitleştirmek için aşağıdaki görünümler kullanılabilir:
Mevcut
Geçerli görünüm, verilerin en son durumunu yansıtır. Bu görünüm, kaynak tablonun neredeyse gerçek zamanlı olarak güncellenen bir kopyasını temsil eder. Current bölmedeki ve Changes bölmedeki verileri birleştirir.
Ad: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>
Tablo yapısına üst bilgi sütunu eklenmedi.
Geçmiş
Veri görevi ayarlarında Geçmiş etkinleştirilirse veri varlığı şemasında seçili her kaynak tablo için bir geçmiş görünümü oluşturulur. Geçmiş görünümü, Prior bölmedeki ve Changes bölmedeki verileri birleştirir. Denetim veya tarihsel analiz için ideal olan eksiksiz bir değişiklik zaman çizelgesi sağlar.
Ad: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>_<Suffix for history views>
Aşağıdaki üstbilgi alanları Geçmiş görünümüne eklenir:
| Alan | Tür | Açıklama |
|---|---|---|
| hdr__key_hash | BINARY (20) | Tüm kayıt birincil anahtarlarının karma değeri. |
| hdr__from_timestamp | TIMESTAMP | Değişikliğin kaynak sistemde gerçekleştiği zamanın zaman damgası. Bu, kullanıcının değişikliği ilk olarak ne zaman yaptığını yansıtır. |
| hdr__to_timestamp | TIMESTAMP | Değişikliğin kaynak sistemde geri alındığı veya güncellendiği zaman damgası. |
| hdr__store | VARCHAR (10) |
Kaydın durduğu yeri gösterir:
|
| hdr__operation | STRING (1) |
Bu kaydın son işlemi.
|
| hdr__deleted | BIT | hdr__operation değerinin D veya d olmasına bağlı olarak kaydın geçici olarak mı silindiğini gösterir. |
| hdr__was_current_from_timestamp | TIMESTAMP | Bu satırın Current bölmeye girdiği zaman (UTC). Bu genellikle depolama işinin çalıştırıldığı ve değişikliğin uygulandığı zamandır. |
| hdr__was_current_to_timestamp | TIMESTAMP | Satırın, örneğin daha yeni bir sürüm nedeniyle Current tablosundan kaldırıldığı zaman (UTC). |
Görünümlerde üst bilgi sütunlarını gösterme
Başlık sütunlarının gösterilip gösterilmeyeceğini kontrol edebilirsiniz. Seçenekler görev türüne göre farklılık gösterir.
Akış yerleştirme görevi
Başlık sütunlarını göstermek için, Arama kutusunun sağındaki Başlık sütunlarını göster seçeneğini açık konuma getirin.
Akış dönüştürme görevi
Arama kutusunun sağında aşağıdaki seçeneklere sahip bir açılır liste bulunmaktadır.
-
Üstbilgi sütunlarını gizle: Varsayılan.
-
Başlık sütunlarını göster
-
Standart: Standart görünümler için üst bilgi sütunlarını göstermek üzere seçin.
-
Geçmiş: Geçmiş görünümleri için üstbilgi sütunlarını göstermek üzere seçin. Bu seçeneğin yalnızca Geçmiş veri deposu oluştur (2. Tür) görev veya veri kümesi ayarlarında etkinleştirilmişse kullanılabilir olacağını unutmayın.
-
Mevcut başlık sütunlarının açıklaması için bkz. Yerleştirme tabloları ve Görünümler.