Bir bulut veri deposundaki veri kümesi mimarisi

Qlik Cloud Veri Entegrasyonu, bir veri işlem hattı oluşturup, bu hattı yöneterek ve denetleyerek kullanıcılara veri dağıtmanıza izin verir. Bir bulut veri deposunda Qlik Cloud Veri Entegrasyonu ile veri kümeleri oluşturduğunuzda, depolama tabloları, değişiklik tabloları ve görünümler oluşturulur.

Sezgisel ve yönlendirici bir arayüz veri işlem hatları geliştirmenize, modellemenize ve yürütmenize yardımcı olur. Çalışan veri depoları (ODS) ve geçmişe yönelik veri depoları (HDS) için manuel kodlama olmadan otomatik olarak şemalar oluşturun.

Tam boyutta görüntülemek için tıklayın — Qlik Data Gateway - Veri Hareketi ve CDC kullanan bir Qlik Cloud Veri Entegrasyonu işlem hattının mimarisi

Yerleştirme

Qlik Cloud Veri Entegrasyonu içindeki yerleştirme görevi, veri kaynaklarından yerleştirme bölgesine sürekli veri yerleştirmeyi denetler. Diyagramdaki örnekte, verileri güncel tutmak için CDC kullanan veri kaynaklarına erişmek üzere Qlik Data Gateway - Veri Hareketi kullanma anlatılmaktadır. Qlik Cloud kaynak bağlantılarını, düzenli olarak yeniden yüklenmek üzere zamanlanabilecek tam yüklemeler gerçekleştirmek için de kullanabilirsiniz.

Bilgi notuYerleştirme bölgesindeki tablolar, Qlik Cloud Veri Entegrasyonu Depolaması veri görevleri tarafından dahili kullanım için oluşturulur. Yerleştirme tablolarını başka herhangi bir aşağı akış süreçte kullanmayın.
Depolama

Depolama görevi verilerin depolama tablolarına ne zaman uygulandığını denetler ve tablolar ve harici görünümler oluşturup bunları yönetir.
Harici görünümler

Verileri tüketirken, en iyi uygulama görünümleri kullanmaktır. Görünümler, gelişmiş veri eşzamanlılığı dahil olmak üzere tablolara göre çeşitli avantajlar sağlar.

Canlı görünümler kullanma

Canlı görünümleri kullanarak gerek şimdiki verilere (ODS) gerekse geçmiş verilere (HDS) erişebilirsiniz. Canlı görünümler, henüz şimdiki ve önceki tablolara uygulanmamış değişiklik tablolarından veriler içerir. Bu, değişen verileri sık sık uygulamak zorunda kalmadan daha düşük gecikmeli verileri görmenizi sağlar. Birleştirmeyi geciktirme imkanı, hedef platformda işlem gereğinin azalıp maliyetlerin düşmesini sağlar.

Canlı görünümlerin bir başka avantajı, işlem katmanının her zaman çalışmasının gerekmemesidir.

Yerleştirme, hızlı uygulama için yalnızca INSERT işlemlerini gerçekleştirdiğinden küçük olabilen açık bir depoya işaret edebilir.
Günde örneğin bir kez çalışan depolama işlemi işlem için büyük bir işlem katmanını uyandırabilir.
Değişikliklerin gün boyu uygulanması gerekmediğinden gecikme süresi kısalabilir. Değişiklikler tablosuna yeni kayıtlar eklendiğinde, bunlar canlı görünümlerde hemen kullanılabilir.

Şemalar

Dahili bir şemada ve bir veri görevi şemasında yapıtlar oluşturulur.

Dahili şema fiziksel veri tablolarını içerir.
Veri görevi şeması veri tüketmek için kullanabileceğiniz görünümleri içerir.

Bir şema birden fazla veri göreviyle ilişkilendirildiğinde, her veri görevinin tablolar ve görünümler için benzersiz bir önek kullanması gerekir. Öneki veri görevi ayarlarından ayarlayabilirsiniz.

Ad çakışmaları için yalnızca dahili şemalar kontrol edilir. Diğer şemalar için, tablo adlarında ad çakışması olmadığından emin olmalısınız. En iyi uygulama, dahili şemayı _internal eklenerek veri görevi şemasıyla aynı şekilde adlandırmaktır. Bu, her şema ve ön ek kombinasyonunun benzersiz olmasını etkili bir şekilde sağlar.

Tüm tablolar ve görünümler Qlik Cloud Veri Entegrasyonu tarafından yönetilir. Başka araçları kullanarak verileri değiştirmeyin.

Tablolar

Aşağıdaki tablolar dahili şemada oluşturulur.

Geçerli tablo (ODS)

Bu tablo, en son uygulama aralığında değişikliklerle güncellenen veri kaynağının çoğaltmasını içerir.
Önceki tablo (HDS)

Bu tablo 2. tür geçmiş verilerini içerir Yalnızca veri görev ayarlarında Geçmiş etkinse oluşturulur.

Bir kaynak tablo kaydı güncellendiğinde, her seferinde önceki tabloya yeni bir kayıt eklenir. Geçmiş kaydı, önceki güncel kaydın bir kopyasıdır ve neyin güncellendiğini ve ne zaman geçerli olduğunu da içerir.

Geçmiş verilerini görüntülemek için bir geçmiş görünümü veya bir geçmiş canlı görünümü kullanın. Daha fazla bilgi edinmek için bk. Geçmiş görünümü ve Geçmiş canlı görünümü.
Değişiklikler tablosu

Bu tablo, henüz geçerli tabloya uygulanmamış tüm değişiklikleri içerir. Yalnızca Tam yükleme ve CDC yerleştirme modu kullanılırsa oluşturulur.

Görünümler

Aşağıdaki görünümler veri varlığı şemasında oluşturulur. Hangi görünümlerin oluşturulacağı, canlı görünümleri ve geçmişi etkinleştirmenize ve değişiklik işleme kullanmanıza bağlıdır.

Geçerli görünüm
Canlı görünüm
Değişiklikler görünümü
Geçmiş görünümü
Geçmiş canlı görünümü

Geçerli görünüm

Adlandırma: <HARİCİ_ŞEMA>.[<ÖNEK>]<TABLO_ADI>_current

Aşağıdaki üstbilgi sütunları tablo yapısına eklenir.

Tablo başlığı alanları

Alan	Tür	Açıklama
hdr__key_hash	varbinary(20)	Tüm kayıt birincil anahtarlarının karma değeri. Karma biçimi SHA1'dir. Sütunlar geri boşluk karakteri ile ayrılır. Bu sütun Veri ambarı veri görevlerinde oluşturulmaz.
hdr__key_id	int64	Kayıt başına artırılan sıra. Bu sütun yalnızca Veri ambarı veri görevlerinde oluşturulur.
hdr__from_timestamp	zaman damgası	UTC olarak zaman damgası Tam yüklemeden alınan veriler için tam yükleme başlangıç zamanı olacaktır. Değişiklik tablolarından gelen bir değişiklik için, kaydın zaman damgası alanı olacaktır.
hdr__operation	string(1)	Bu kaydın son işlemi. D - değişiklik tablosundan silindi. U - değişiklik tablosundan güncellendi. I - değişiklik tablosundan eklendi. L - tam yük görevi tarafından eklendi. d - karşılaştırma ve uygulamadan silindi. u - karşılaştırma ve uygulamadan güncellendi. i - karşılaştırma ve uygulamadan eklendi.
hdr__inserted_timestamp	zaman damgası	Anahtar ilk kez eklendiğindeki UTC zaman damgası Tam yükleme kullanılırken tam yüklemenin başlangıç zamanı.
hdr__modified_timestamp	zaman damgası	Son güncelleme uygulandığındaki UTC zaman damgası

Canlı görünüm

Canlı görünümler; seçilen her kaynak tablo için, tabloyu değişiklik tablosundaki değişikliklerle birleştiren bir görünüm gösterir. Bu, bir sonraki uygulama döngüsünü beklemek zorunda kalmadan verilerin canlı görüntüsünü içeren sorgular sağlar. Değişiklik tablosu görünümünden birleştirilen değişiklikler, tablolar arasındaki işlemler açısından tutarlıdır.

Canlı görünümler yalnızca veri görevinin ayarlarında Canlı görünümler etkinleştirilirse oluşturulur.

Adlandırma: <HARİCİ_ŞEMA>.[<ÖNEK>]<TABLO_ADI><Canlı görünümler için sonek>

Tablo başlığı alanları

Alan	Tür	Açıklama
hdr__key_hash	varbinary(20)	Tüm kayıt birincil anahtarlarının karma değeri. Karma biçimi SHA1'dir. Sütunlar geri boşluk karakteri ile ayrılır. Bu sütun Veri ambarı veri görevlerinde oluşturulmaz.
hdr__key_id	int64	Kayıt başına artırılan sıra. Bu sütun yalnızca Veri ambarı veri görevlerinde oluşturulur.
hdr__from_timestamp	zaman damgası	UTC olarak zaman damgası Tam yüklemeden alınan veriler için tam yükleme başlangıç zamanı olacaktır. Değişiklik tablolarından gelen bir değişiklik için, kaydın zaman damgası alanı olacaktır.
hdr__operation	string(1)	Bu kaydın son işlemi. D - değişiklik tablosundan silindi. U - değişiklik tablosundan güncellendi. I - değişiklik tablosundan eklendi. L - tam yük görevi tarafından eklendi. d - karşılaştırma ve uygulamadan silindi. u - karşılaştırma ve uygulamadan güncellendi. i - karşılaştırma ve uygulamadan eklendi.
hdr__inserted_timestamp	zaman damgası	Anahtar ilk kez eklendiğindeki UTC zaman damgası Tam yükleme kullanılırken tam yüklemenin başlangıç zamanı.
hdr__modified_timestamp	zaman damgası	Son güncelleme uygulandığındaki UTC zaman damgası
hdr__store	varchar(10)	Kaydın durduğu yeri gösterir. CURRENT - kayıt geçerli fiziksel tabloda duruyorsa. CHANGES - kayıt değişiklik tablosunda duruyorsa.

Değişiklikler görünümü

Bu, seçilen her kaynak tablo için yerleştirme şemasındaki değişim tablosunun bir görünümüdür.

Adlandırma: <HARİCİ_ŞEMA>.[<ÖNEK>]<TABLO_ADI>_changes

Aşağıdaki üst bilgi alanları tablo yapısına eklenir.

Değişiklik tablosu üst bilgi alanları

Alan	Tür	Açıklama
hdr__change_identifier	string(50)	Değişiklik tanımlayıcısı iki parçalı bir dizedir: Toplu iş çalıştırma başlangıcının 1/1/1970'ten başlayarak saniye olarak zaman damgası (10 rakamlı dize) Çoğaltma ağ geçidinin değiştirme sırası (35 karakter)
hdr__operation	string(1)	Bu kaydın son işlemi. D - değişiklik tablosundan silindi. U - değişiklik tablosundan güncellendi. I - değişiklik tablosundan eklendi. L - tam yük görevi tarafından eklendi. d - karşılaştırma ve uygulamadan silindi. u - karşılaştırma ve uygulamadan güncellendi. i - karşılaştırma ve uygulamadan eklendi.
hdr__timestamp	zaman damgası	UTC olarak zaman damgası.
hdr__key_hash	binary(20)	Tüm kayıt birincil anahtarlarının karma değeri. Bu sütun Veri ambarı veri görevlerinde oluşturulmaz.
hdr__key_id	int64	Kayıt başına artırılan sıra. Bu sütun yalnızca Veri ambarı veri görevlerinde oluşturulur.

Geçmiş görünümü

Veri görevi ayarlarında Geçmiş etkinleştirilirse veri varlığı şemasında seçili her kaynak tablo için bir geçmiş görünümü oluşturulur. Aşağıdaki üstbilgi alanları eklenir.

Adlandırma: <HARİCİ_ŞEMA>.[<ÖNEK>]<TABLO_ADI><Geçmiş görünümleri için sonek>

Geçmiş görünümü üstbilgi alanları

Alan	Tür	Açıklama
hdr__key_hash	binary(20)	Tüm kayıt birincil anahtarlarının karma değeri. Bu sütun Veri ambarı veri görevlerinde oluşturulmaz.
hdr__key_id	int64	Kayıt başına artırılan sıra. Bu sütun yalnızca Veri ambarı veri görevlerinde oluşturulur.
hdr__store	varchar(10)	Kaydın durduğu yeri gösterir. CURRENT - kayıt geçerli fiziksel tabloda duruyorsa. PRIORS - Kayıt geçmiş verilerinin öncekiler tablosunda duruyorsa.
hdr__operation	string(1)	Bu kaydın son işlemi. D - değişiklik tablosundan silindi. U - değişiklik tablosundan güncellendi. I - değişiklik tablosundan eklendi. L - tam yük görevi tarafından eklendi. d - karşılaştırma ve uygulamadan silindi. u - karşılaştırma ve uygulamadan güncellendi. i - karşılaştırma ve uygulamadan eklendi.
hdr__deleted	bit	hdr__operation değerinin D veya d olmasına bağlı olarak kaydın geçici olarak mı silindiğini gösterir.
hdr__was _current_from_timestamp	zaman damgası	Kaydın ilk kez güncel olduğu zamann UTC olarak zaman damgası
hdr__was _current_to_timestamp	zaman damgası	Kaydın son kez güncel olduğu zamanın UTC olarak zaman damgası.

Geçmiş canlı görünümü

Değişiklik tablosundaki değişikliklerle birleştirilen seçili her kaynak tablo için veri varlığı şemasında bir geçmiş canlı görünümü oluşturulur. Aşağıdaki üstbilgi alanları eklenir.

Adlandırma: <HARİCİ_ŞEMA>.[<ÖNEK>]<TABLO_ADI><Canlı geçmiş görünümleri için sonek>

Canlı geçmiş görünümleri üstbilgi alanları

Alan	Tür	Açıklama
hdr__key_hash	binary(20)	Tüm kayıt birincil anahtarlarının karma değeri. Bu sütun Veri ambarı veri görevlerinde oluşturulmaz.
hdr__key_id	int64	Kayıt başına artırılan sıra. Bu sütun yalnızca Veri ambarı veri görevlerinde oluşturulur.
hdr__store	varchar(10)	Kaydın durduğu yeri gösterir. CURRENT - kayıt geçerli fiziksel tabloda duruyorsa. PRIORS - Kayıt geçmiş verilerinin öncekiler tablosunda duruyorsa. CHANGES - kayıt değişiklik tablosunda duruyorsa.
hdr__operation	string(1)	Bu kaydın son işlemi. D - değişiklik tablosundan silindi. U - değişiklik tablosundan güncellendi. I - değişiklik tablosundan eklendi. L - tam yük görevi tarafından eklendi. d - karşılaştırma ve uygulamadan silindi. u - karşılaştırma ve uygulamadan güncellendi. i - karşılaştırma ve uygulamadan eklendi.
hdr__deleted	bit	hdr__operation değerinin D veya d olmasına bağlı olarak kaydın geçici olarak mı silindiğini gösterir.

Bu sayfa size yardımcı oldu mu?

Bu sayfa veya içeriği ile ilgili bir sorun; bir yazım hatası, eksik bir adım veya teknik bir hata bulursanız, bize bildirin, düzeltelim!

Geri bildiriminizi buradan iletin