Bir bulut veri deposunda veri kümesi mimarisi

Qlik Talend Data Integration, verileri tüketicilere kadar ulaştıran bir analitik veri işlem hattı oluşturmanıza, yönetmenize ve kontrol etmenize olanak tanır. Qlik Talend Data Integration ile bir bulut veri deposunda veri kümeleri oluşturduğunuzda, depolama tabloları, değişiklik tabloları ve görünümler oluşturulur.

Sezgisel ve yönlendirmeli bir kullanıcı arayüzü, veri işlem hatları oluşturmanıza, modellemenize ve yürütmenize yardımcı olur. Manuel kodlama olmadan operasyonel veri depoları (ODS) ve geçmiş veri depoları (HDS) için otomatik olarak şemalar oluşturun.

Tam boyutta görüntülemek için tıklayın — Qlik Data Gateway - Veri Hareketi ve CDC kullanan bir Qlik Talend Data Integration veri işlem hattı için mimari

Yerleştirme

Qlik Talend Data Integration içindeki yerleştirme görevi, verilerin veri kaynaklarından yerleştirme bölgesine sürekli olarak yerleştirilmesini kontrol eder. Şemadaki örnek, verileri güncel tutmak amacıyla CDC kullanarak veri kaynaklarına erişmek için Qlik Data Gateway - Veri Hareketi kullanımını açıklamaktadır. Ayrıca, periyodik olarak yeniden yüklenecek şekilde zamanlanabilen tam yükler gerçekleştirmek için Qlik Cloud kaynak bağlantılarını kullanabilirsiniz.

Veri Hareketi ağ geçidi öğesini ne zaman kullanmanız gerektiği hakkında bilgi için bkz. Veri Hareketi ağ geçidi ne zaman gereklidir?

Bilgi notuYerleştirme bölgesindeki tablolar, Qlik Talend Data Integration Depolama veri görevleri tarafından dahili kullanım için oluşturulur. Yerleştirme tablolarını başka hiçbir aşağı akış sürecinde kullanmayın.
Depolama

Depolama görevi, verilerin depolama tablolarına ne zaman uygulanacağını kontrol eder ve tabloları ile harici görünümleri oluşturup yönetir.
Harici görünümler

Verileri tüketirken en iyi uygulama görünümleri kullanmaktır. Görünümler, tablolar üzerinde geliştirilmiş veri eşzamanlılığı da dahil olmak üzere çeşitli avantajlar sağlar.

Canlı görünümleri kullanma

Canlı görünümleri kullanarak hem mevcut verilere (ODS) hem de geçmiş verilere (HDS) erişebilirsiniz. Canlı görünümler, değişiklik tablolarından henüz mevcut veya önceki tablolara uygulanmamış verileri içerir. Bu, değiştirilen verileri sık sık uygulamak zorunda kalmadan verileri daha düşük gecikmeyle görmenizi sağlar. Birleştirmeyi geciktirme yeteneği, hedef platformda maliyetlerin ve işleme gereksinimlerinin azaltılmasına olanak tanır.

Canlı görünümlerin bir diğer avantajı da işlem katmanının her zaman çalışmasına gerek olmamasıdır.

Yerleştirme, hızlı yürütme için yalnızca INSERT işlemlerini gerçekleştirdiğinden küçük olabilen açık bir veri deposunu işaret edebilir.
Örneğin günde bir kez çalışan depolama süreci, işleme için büyük bir işlem katmanını uyandırabilir.
Artık gün boyunca değişiklikleri uygulamamız gerekmediğinden gecikme süresi iyileştirilebilir. Eklenen yeni kayıtlar değişiklikler tablosunda mevcut olduğunda, canlı görünümlerde hemen kullanılabilir hale gelirler.

video thumbnail

Şemalar

Eserler bir dahili şema ve bir veri görevi şemasında oluşturulur.

Dahili şema fiziksel veri tablolarını içerir.
Veri görevi şeması, verileri tüketmek için kullanabileceğiniz görünümleri içerir.

Bir şema birden fazla veri göreviyle ilişkilendirildiğinde, her veri görevi tablolar ve görünümler için benzersiz bir önek kullanmalıdır. Öneki veri görevi ayarlarında ayarlayabilirsiniz.

Yalnızca dahili şemalar adlandırma çakışmaları açısından kontrol edilir. Diğer şemalar için tablo adlarında adlandırma çakışması olmadığından emin olmalısınız. En iyi uygulama, dahili şemayı veri görevi şemasıyla aynı şekilde adlandırmak ve sonuna _internal eklemektir. Bu, her şema ve önek kombinasyonunun benzersiz olmasını etkili bir şekilde sağlayacaktır.

Qlik Talend Data Integration tarafından oluşturulan şemalar, görevleri veya projeleri sildiğinizde silinmez.

Tüm tablolar ve görünümler Qlik Talend Data Integration tarafından yönetilir. Verileri diğer araçları kullanarak değiştirmeyin.

Tablolar

Aşağıdaki tablolar dahili şema içinde oluşturulur.

Dahili şema içindeki tablolar önceden haber verilmeksizin değiştirilebilir. Mümkün olan yerlerde verileri tüketmek için öncelikle görünümleri kullanmalısınız.

Mevcut tablo (ODS)

Bu tablo, en son uygulama aralığı sırasında değişikliklerle güncellenen veri kaynağının kopyasını içerir.
Önceki tablo (HDS)

Bu tablo tip 2 geçmiş verilerini içerir. Yalnızca veri görevi ayarlarında Geçmiş etkinleştirilmişse oluşturulur.

Bir kaynak tablo kaydı güncellendiğinde, önceki tabloya her seferinde yeni bir kayıt eklenir. Geçmiş kaydı, neyin güncellendiğini ve ne zaman geçerli olduğunu da içeren önceki mevcut kaydın bir kopyasıdır.

Geçmiş verilerini görüntülemek için bir geçmiş görünümü veya geçmiş canlı görünümü kullanın. Daha fazla bilgi için bkz. Geçmiş görünümü ve Geçmiş canlı görünümü.
Değişiklikler tablosu

Bu tablo, mevcut tabloya henüz uygulanmamış tüm değişiklikleri içerir. Yalnızca Tam yük ve CDC yerleştirme modu kullanılıyorsa oluşturulur.

Daha önce silinmiş bir kaydı yeniden eklediğinizde ve kayıtlar aynı birincil anahtar değerine sahip olduğunda. hdr__operation değeri U - güncellendi olacaktır.

hdr__ ile başlayan sütun adları, Qlik Talend Data Integration tarafından başlık sütunlarında kullanılmak üzere ayrılmıştır. Daha fazla bilgi için bkz. Belirsiz sütun adları.

Mevcut tablo

Adlandırma: <INTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>_current

Aşağıdaki başlık sütunları tablo yapısına eklenir.

Mevcut tablo başlık alanları

Alan	Tür	Açıklama
hdr__key_hash	varbinary(20)	Tüm kayıt birincil anahtarlarının karması. Karma biçimi SHA1'dir. Sütunlar bir geri al karakteriyle ayrılır. Bu sütun Veri reyonu veri görevlerinde oluşturulmaz.
hdr__key_id	int64	Kayıt başına artırılan dizi. Bu sütun yalnızca Veri reyonu veri görevlerinde oluşturulur.
hdr__from_timestamp	timestamp	UTC cinsinden zaman damgası Tam yükten alınan veriler için, tam yük başlangıç zamanı olacaktır. Değişiklik tabloları aracılığıyla gelen bir değişiklik için, kaydın zaman damgası alanı olacaktır.
hdr__operation	string(1)	Bu kaydın en son işlemi. D - değişiklik tablosundan silindi. U - değişiklik tablosundan güncellendi. I - değişiklik tablosundan eklendi. L - tam yük görevi tarafından eklendi. d - karşılaştır ve uyguladan silindi. u - karşılaştır ve uyguladan güncellendi. i - karşılaştır ve uyguladan eklendi.
hdr__inserted_timestamp	timestamp	Anahtarın ilk eklendiği zamanın UTC zaman damgası. Tam yük kullanıldığında, tam yükün başlangıç zamanı.
hdr__modified_timestamp	timestamp	Son güncellemenin uygulandığı zamanın UTC zaman damgası.

Önceki tablo

Aşağıdaki başlık alanları eklenir.

Adlandırma: <INTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>_prior

Önceki tablo başlık alanları

Alan	Tür	Açıklama
hdr__key_hash	varbinary(20)	Tüm kayıt birincil anahtarlarının karması. Bu sütun Veri reyonu veri görevlerinde oluşturulmaz.
hdr__key_id	int64	Kayıt başına artırılan dizi. Bu sütun yalnızca Veri reyonu veri görevlerinde oluşturulur.
hdr__from_timestamp	timestamp	UTC cinsinden zaman damgası
hdr__to_timestamp	timestamp	UTC cinsinden zaman damgası
hdr__operation	string(1)	Bu kaydın en son işlemi. D - değişiklik tablosundan silindi. U - değişiklik tablosundan güncellendi. I - değişiklik tablosundan eklendi. L - ilk yükleme tarafından eklendi. d - karşılaştır ve uyguladan silindi. u - karşılaştır ve uyguladan güncellendi. i - karşılaştır ve uyguladan eklendi.
hdr__was_current_from_timestamp	timestamp	Kaydın ilk kez geçerli olduğu zaman için UTC cinsinden zaman damgası.
hdr__was_current_to_timestamp	timestamp	Kaydın son kez geçerli olduğu zaman için UTC cinsinden zaman damgası.

Değişiklikler tablosu

Adlandırma: <INTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>_ct

Aşağıdaki başlık alanları tablo yapısına eklenir.

Değişiklik tablosu başlık alanları

Alan	Tür	Açıklama
hdr__change_identifier	varchar(50)	Değişiklik tanımlayıcısı iki bölümden oluşan bir dizedir: 1/1/1970'ten bu yana milisaniye cinsinden toplu iş çalıştırma başlangıç zaman damgası (10 basamaklı dize) Çoğaltma ağ geçidinden değişiklik dizisi (35 karakter)
hdr__operation	varchar(1)	Bu kaydın en son işlemi. D - değişiklik tablosundan silindi. U - değişiklik tablosundan güncellendi. I - değişiklik tablosundan eklendi. d - karşılaştır ve uyguladan silindi. u - karşılaştır ve uyguladan güncellendi. i - karşılaştır ve uyguladan eklendi.
hdr__timestamp	timestamp	UTC cinsinden zaman damgası.
hdr__key_hash	binary(20)	Tüm kayıt birincil anahtarlarının karması. Bu sütun Veri reyonu veri görevlerinde oluşturulmaz.
hdr__key_id	int64	Kayıt başına artırılan dizi. Bu sütun yalnızca Veri reyonu veri görevlerinde oluşturulur.

Görünümler

Aşağıdaki görünümler veri görevi hedef şemasında oluşturulur. Hangi görünümlerin oluşturulacağı, canlı görünümleri ve geçmişi etkinleştirip etkinleştirmediğinize ve değişiklik işlemeyi kullanıp kullanmadığınıza bağlıdır.

Standart görünüm
Canlı görünüm
Değişiklikler görünümü
Geçmiş görünümü
Geçmiş canlı görünümü

hdr__ ile başlayan tüm başlık sütunu adları ayrılmıştır. Bir depolama görevinde bir görünüm tüketirseniz, depolama görevi aynı başlık sütunlarına sahip görünümler oluşturacağından, adlandırma çakışmasını önlemek için depolama görevinde tüketilen başlık sütunlarını yeniden adlandırmanız gerekir.

Standart görünüm

Adlandırma: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>

Tablo yapısına hiçbir başlık sütunu eklenmez.

Canlı görünüm

Canlı görünümler, seçilen her kaynak tablo için tabloyu değişiklik tablosundaki değişikliklerle birleştiren bir görünüm gösterir. Bu, sorgulara bir sonraki uygulama döngüsünü beklemek zorunda kalmadan verilerin canlı bir görünümünü sağlar. Değişiklik tablosu görünümünden birleştirilen değişiklikler tablolar arasında işlem tutarlı değildir.

Canlı görünümler yalnızca veri görevinin ayarlarında Canlı görünümler seçeneğini etkinleştirirseniz oluşturulur.

Adlandırma: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>< Canlı görünümler için sonek>

Tablo başlık alanları

Alan	Tür	Açıklama
hdr__key_hash	varbinary(20)	Tüm kayıt birincil anahtarlarının karması. Karma biçimi SHA1'dir. Sütunlar bir geri al karakteriyle ayrılır. Bu sütun Veri reyonu veri görevlerinde oluşturulmaz.
hdr__key_id	int64	Kayıt başına artırılan dizi. Bu sütun yalnızca Veri reyonu veri görevlerinde oluşturulur.
hdr__from_timestamp	timestamp	UTC cinsinden zaman damgası Tam yükten alınan veriler için, tam yük başlangıç zamanı olacaktır. Değişiklik tabloları aracılığıyla gelen bir değişiklik için, kaydın zaman damgası alanı olacaktır.
hdr__operation	string(1)	Bu kaydın en son işlemi. D - değişiklik tablosundan silindi. U - değişiklik tablosundan güncellendi. I - değişiklik tablosundan eklendi. L - tam yük görevi tarafından eklendi. d - karşılaştır ve uyguladan silindi. u - karşılaştır ve uyguladan güncellendi. i - karşılaştır ve uyguladan eklendi.
hdr__inserted_timestamp	timestamp	Anahtarın ilk eklendiği zamanın UTC zaman damgası. Tam yük kullanıldığında, tam yükün başlangıç zamanı.
hdr__modified_timestamp	timestamp	Son güncellemenin uygulandığı zamanın UTC zaman damgası.
hdr__store	varchar(10)	Bu, kaydın nerede bulunduğunu gösterir. CURRENT - kayıt mevcut fiziksel tabloda bulunuyorsa. CHANGES - kayıt değişiklik tablosunda bulunuyorsa.

Değişiklikler görünümü

Bu, seçilen her kaynak tablo için yerleştirme şemasındaki değişiklik tablosunun bir görünümüdür.

Adlandırma: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>_changes

Aşağıdaki başlık alanları tablo yapısına eklenir.

Değişiklikler görünümü başlık alanları

Alan	Tür	Açıklama
hdr__change_identifier	string(50)	Değişiklik tanımlayıcısı iki bölümden oluşan bir dizedir: 1/1/1970'ten bu yana milisaniye cinsinden toplu iş çalıştırma başlangıç zaman damgası (10 basamaklı dize) Çoğaltma ağ geçidinden değişiklik dizisi (35 karakter)
hdr__from_timestamp	timestamp	UTC cinsinden zaman damgası Tam yükten alınan veriler için, tam yük başlangıç zamanı olacaktır. Değişiklik tabloları aracılığıyla gelen bir değişiklik için, kaydın zaman damgası alanı olacaktır.
hdr__to_timestamp	timestamp	UTC cinsinden zaman damgası Tam yükten alınan veriler için, tam yük başlangıç zamanı olacaktır. Değişiklik tabloları aracılığıyla gelen bir değişiklik için, kaydın zaman damgası alanı olacaktır.
hdr__operation	string(1)	Bu kaydın en son işlemi. D - değişiklik tablosundan silindi. U - değişiklik tablosundan güncellendi. I - değişiklik tablosundan eklendi. L - tam yük görevi tarafından eklendi. d - karşılaştır ve uyguladan silindi. u - karşılaştır ve uyguladan güncellendi. i - karşılaştır ve uyguladan eklendi.
hdr__timestamp	timestamp	UTC cinsinden zaman damgası.
hdr__key_hash	binary(20)	Tüm kayıt birincil anahtarlarının karması. Bu sütun Veri reyonu veri görevlerinde oluşturulmaz.
hdr__key_id	int64	Kayıt başına artırılan dizi. Bu sütun yalnızca Veri reyonu veri görevlerinde oluşturulur.

Geçmiş görünümü

Veri görevi ayarlarında Geçmiş etkinleştirilmişse, seçilen her kaynak tablo için veri varlığı şeması içinde bir geçmiş görünümü oluşturulur. Aşağıdaki başlık alanları eklenir.

Adlandırma: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>< Geçmiş görünümleri için sonek>

Geçmiş görünümü başlık alanları

Alan	Tür	Açıklama
hdr__key_hash	binary(20)	Tüm kayıt birincil anahtarlarının karması. Bu sütun Veri reyonu veri görevlerinde oluşturulmaz.
hdr__key_id	int64	Kayıt başına artırılan dizi. Bu sütun yalnızca Veri reyonu veri görevlerinde oluşturulur.
hdr__from_timestamp	timestamp	UTC cinsinden zaman damgası Tam yükten alınan veriler için, tam yük başlangıç zamanı olacaktır. Değişiklik tabloları aracılığıyla gelen bir değişiklik için, kaydın zaman damgası alanı olacaktır.
hdr__to_timestamp	timestamp	UTC cinsinden zaman damgası Tam yükten alınan veriler için, tam yük başlangıç zamanı olacaktır. Değişiklik tabloları aracılığıyla gelen bir değişiklik için, kaydın zaman damgası alanı olacaktır.
hdr__was_current_from_timestamp	timestamp	Kaydın ilk kez geçerli olduğu zaman için UTC cinsinden zaman damgası.
hdr__was_current_to_timestamp	timestamp	Kaydın son kez geçerli olduğu zaman için UTC cinsinden zaman damgası.
hdr__store	varchar(7)	Bu, kaydın nerede bulunduğunu gösterir. CURRENT - kayıt mevcut fiziksel tabloda bulunuyorsa. PRIORS - kayıt geçmiş verileriyle birlikte öncekiler tablosunda bulunuyorsa.
hdr__operation	string(1)	Bu kaydın en son işlemi. D - değişiklik tablosundan silindi. U - değişiklik tablosundan güncellendi. I - değişiklik tablosundan eklendi. L - tam yük görevi tarafından eklendi. d - karşılaştır ve uyguladan silindi. u - karşılaştır ve uyguladan güncellendi. i - karşılaştır ve uyguladan eklendi.
hdr__deleted	bit	hdr__operation değerinin D veya d olmasına bağlı olarak kaydın geçici olarak silinip silinmediğini gösterir.

Geçmiş canlı görünümü

Değişiklik tablosundaki değişikliklerle birleştirilen seçilen her kaynak tablo için veri varlığı şeması içinde bir geçmiş canlı görünümü oluşturulur. Aşağıdaki başlık alanları eklenir.

Adlandırma: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>< Canlı geçmiş görünümleri için sonek>

Canlı geçmiş görünümü başlık alanları

Alan	Tür	Açıklama
hdr__key_hash	binary(20)	Tüm kayıt birincil anahtarlarının karması. Bu sütun Veri reyonu veri görevlerinde oluşturulmaz.
hdr__key_id	int64	Kayıt başına artırılan dizi. Bu sütun yalnızca Veri reyonu veri görevlerinde oluşturulur.
hdr__store	varchar(10)	Bu, kaydın nerede bulunduğunu gösterir. CURRENT - kayıt mevcut fiziksel tabloda bulunuyorsa. PRIORS - kayıt geçmiş verileriyle birlikte öncekiler tablosunda bulunuyorsa. CHANGES - kayıt değişiklik tablosunda bulunuyorsa.
hdr__operation	string(1)	Bu kaydın en son işlemi. D - değişiklik tablosundan silindi. U - değişiklik tablosundan güncellendi. I - değişiklik tablosundan eklendi. L - tam yük görevi tarafından eklendi. d - karşılaştır ve uyguladan silindi. u - karşılaştır ve uyguladan güncellendi. i - karşılaştır ve uyguladan eklendi.
hdr__deleted	bit	hdr__operation değerinin D veya d olmasına bağlı olarak kaydın geçici olarak silinip silinmediğini gösterir.

Bu sayfa size yardımcı oldu mu?

Bu sayfa veya içeriği ile ilgili bir sorun; bir yazım hatası, eksik bir adım veya teknik bir hata bulursanız lütfen bize bildirin!

Geri bildiriminizi buradan iletin