Bir bulut veri deposundaki veri kümesi mimarisi
Qlik Talend Data Integration, bir veri işlem hattı oluşturup, bu hattı yöneterek ve denetleyerek kullanıcılara veri dağıtmanıza izin verir. Bir bulut veri deposunda Qlik Talend Data Integration ile veri kümeleri oluşturduğunuzda, depolama tabloları, değişiklik tabloları ve görünümler oluşturulur.
Sezgisel ve yönlendirici bir arayüz veri işlem hatları geliştirmenize, modellemenize ve yürütmenize yardımcı olur. Çalışan veri depoları (ODS) ve geçmişe yönelik veri depoları (HDS) için manuel kodlama olmadan otomatik olarak şemalar oluşturun.
Qlik Data Gateway - Veri Hareketi ve CDC kullanan bir Qlik Talend Data Integration işlem hattının mimarisi
-
Yerleştirme
Qlik Talend Data Integration içindeki yerleştirme görevi, veri kaynaklarından yerleştirme bölgesine sürekli veri yerleştirmeyi denetler. Diyagramdaki örnekte, verileri güncel tutmak için CDC kullanan veri kaynaklarına erişmek üzere Qlik Data Gateway - Veri Hareketi kullanma anlatılmaktadır. Qlik Cloud kaynak bağlantılarını, düzenli olarak yeniden yüklenmek üzere zamanlanabilecek tam yüklemeler gerçekleştirmek için de kullanabilirsiniz.
Ne zaman Veri Hareketi ağ geçidi kullanmanız gerektiğine dair bilgi için bkz. Veri Hareketi ağ geçidi ne zaman gereklidir?.
Bilgi notuYerleştirme bölgesindeki tablolar, Qlik Talend Data Integration Depolaması veri görevleri tarafından dahili kullanım için oluşturulur. Yerleştirme tablolarını başka herhangi bir aşağı akış süreçte kullanmayın. -
Depolama
Depolama görevi verilerin depolama tablolarına ne zaman uygulandığını denetler ve tablolar ve harici görünümler oluşturup bunları yönetir.
-
Harici görünümler
Verileri tüketirken, en iyi uygulama görünümleri kullanmaktır. Görünümler, gelişmiş veri eşzamanlılığı dahil olmak üzere tablolara göre çeşitli avantajlar sağlar.
Canlı görünümler kullanma
Canlı görünümleri kullanarak gerek şimdiki verilere (ODS) gerekse geçmiş verilere (HDS) erişebilirsiniz. Canlı görünümler, henüz şimdiki ve önceki tablolara uygulanmamış değişiklik tablolarından veriler içerir. Bu, değişen verileri sık sık uygulamak zorunda kalmadan daha düşük gecikmeli verileri görmenizi sağlar. Birleştirmeyi geciktirme imkanı, hedef platformda işlem gereğinin azalıp maliyetlerin düşmesini sağlar.
Canlı görünümlerin bir başka avantajı, işlem katmanının her zaman çalışmasının gerekmemesidir.
-
Yerleştirme, hızlı uygulama için yalnızca INSERT işlemlerini gerçekleştirdiğinden küçük olabilen açık bir depoya işaret edebilir.
-
Günde örneğin bir kez çalışan depolama işlemi işlem için büyük bir işlem katmanını uyandırabilir.
-
Değişikliklerin gün boyu uygulanması gerekmediğinden gecikme süresi kısalabilir. Değişiklikler tablosuna yeni kayıtlar eklendiğinde, bunlar canlı görünümlerde hemen kullanılabilir.
Şemalar
Dahili bir şemada ve bir veri görevi şemasında yapıtlar oluşturulur.
-
Dahili şema fiziksel veri tablolarını içerir.
-
Veri görevi şeması veri tüketmek için kullanabileceğiniz görünümleri içerir.
Bir şema birden fazla veri göreviyle ilişkilendirildiğinde, her veri görevinin tablolar ve görünümler için benzersiz bir önek kullanması gerekir. Öneki veri görevi ayarlarından ayarlayabilirsiniz.
Ad çakışmaları için yalnızca dahili şemalar kontrol edilir. Diğer şemalar için, tablo adlarında ad çakışması olmadığından emin olmalısınız. En iyi uygulama, dahili şemayı _internal eklenerek veri görevi şemasıyla aynı şekilde adlandırmaktır. Bu, her şema ve ön ek kombinasyonunun benzersiz olmasını etkili bir şekilde sağlar.
Tablolar
Aşağıdaki tablolar dahili şemada oluşturulur.
-
Geçerli tablo (ODS)
Bu tablo, en son uygulama aralığında değişikliklerle güncellenen veri kaynağının çoğaltmasını içerir.
-
Önceki tablo (HDS)
Bu tablo 2. tür geçmiş verilerini içerir Yalnızca veri görev ayarlarında Geçmiş etkinse oluşturulur.
Bir kaynak tablo kaydı güncellendiğinde, her seferinde önceki tabloya yeni bir kayıt eklenir. Geçmiş kaydı, önceki güncel kaydın bir kopyasıdır ve neyin güncellendiğini ve ne zaman geçerli olduğunu da içerir.
Geçmiş verilerini görüntülemek için bir geçmiş görünümü veya bir geçmiş canlı görünümü kullanın. Daha fazla bilgi edinmek için bk. Geçmiş görünümü ve Geçmiş canlı görünümü.
-
Değişiklikler tablosu
Bu tablo, henüz geçerli tabloya uygulanmamış tüm değişiklikleri içerir. Yalnızca Tam yükleme ve CDC yerleştirme modu kullanılırsa oluşturulur.
Görünümler
Aşağıdaki görünümler veri görevi hedef şemasında oluşturulur. Hangi görünümlerin oluşturulacağı, canlı görünümleri ve geçmişi etkinleştirmenize ve değişiklik işleme kullanmanıza bağlıdır.
-
Geçerli görünüm
-
Canlı görünüm
-
Değişiklikler görünümü
-
Geçmiş görünümü
-
Geçmiş canlı görünümü
Geçerli görünüm
Adlandırma: <HARİCİ_ŞEMA>.[<ÖNEK>]<TABLO_ADI>_current
Aşağıdaki üstbilgi sütunları tablo yapısına eklenir.
| Alan | Tür | Açıklama |
|---|---|---|
| hdr__key_hash | varbinary(20) |
Tüm kayıt birincil anahtarlarının karma değeri. Karma biçimi SHA1'dir. Sütunlar geri boşluk karakteri ile ayrılır. Bu sütun Veri ambarı veri görevlerinde oluşturulmaz. |
| hdr__key_id | int64 |
Kayıt başına artırılan sıra. Bu sütun yalnızca Veri ambarı veri görevlerinde oluşturulur. |
| hdr__from_timestamp | zaman damgası |
UTC olarak zaman damgası
|
| hdr__operation | string(1) |
Bu kaydın son işlemi.
|
| hdr__inserted_timestamp | zaman damgası | Anahtar ilk kez eklendiğindeki UTC zaman damgası Tam yükleme kullanılırken tam yüklemenin başlangıç zamanı. |
| hdr__modified_timestamp | zaman damgası | Son güncelleme uygulandığındaki UTC zaman damgası |
Canlı görünüm
Canlı görünümler; seçilen her kaynak tablo için, tabloyu değişiklik tablosundaki değişikliklerle birleştiren bir görünüm gösterir. Bu, bir sonraki uygulama döngüsünü beklemek zorunda kalmadan verilerin canlı görüntüsünü içeren sorgular sağlar. Değişiklik tablosu görünümünden birleştirilen değişiklikler, tablolar arasındaki işlemler açısından tutarlıdır.
Canlı görünümler yalnızca veri görevinin ayarlarında Canlı görünümler etkinleştirilirse oluşturulur.
Adlandırma: <HARİCİ_ŞEMA>.[<ÖNEK>]<TABLO_ADI><Canlı görünümler için sonek>
| Alan | Tür | Açıklama |
|---|---|---|
| hdr__key_hash | varbinary(20) |
Tüm kayıt birincil anahtarlarının karma değeri. Karma biçimi SHA1'dir. Sütunlar geri boşluk karakteri ile ayrılır. Bu sütun Veri ambarı veri görevlerinde oluşturulmaz. |
| hdr__key_id | int64 |
Kayıt başına artırılan sıra. Bu sütun yalnızca Veri ambarı veri görevlerinde oluşturulur. |
| hdr__from_timestamp | zaman damgası |
UTC olarak zaman damgası
|
| hdr__operation | string(1) |
Bu kaydın son işlemi.
|
| hdr__inserted_timestamp | zaman damgası | Anahtar ilk kez eklendiğindeki UTC zaman damgası Tam yükleme kullanılırken tam yüklemenin başlangıç zamanı. |
| hdr__modified_timestamp | zaman damgası | Son güncelleme uygulandığındaki UTC zaman damgası |
| hdr__store | varchar(10) |
Kaydın durduğu yeri gösterir.
|
Değişiklikler görünümü
Bu, seçilen her kaynak tablo için yerleştirme şemasındaki değişim tablosunun bir görünümüdür.
Adlandırma: <HARİCİ_ŞEMA>.[<ÖNEK>]<TABLO_ADI>_changes
Aşağıdaki üst bilgi alanları tablo yapısına eklenir.
| Alan | Tür | Açıklama |
|---|---|---|
| hdr__change_identifier | string(50) |
Değişiklik tanımlayıcısı iki parçalı bir dizedir:
|
| hdr__from_timestamp | zaman damgası |
UTC olarak zaman damgası
|
| hdr__to_timestamp | zaman damgası |
UTC olarak zaman damgası
|
| hdr__operation | string(1) |
Bu kaydın son işlemi.
|
| hdr__timestamp | zaman damgası |
UTC olarak zaman damgası. |
| hdr__key_hash | binary(20) |
Tüm kayıt birincil anahtarlarının karma değeri. Bu sütun Veri ambarı veri görevlerinde oluşturulmaz. |
| hdr__key_id | int64 |
Kayıt başına artırılan sıra. Bu sütun yalnızca Veri ambarı veri görevlerinde oluşturulur. |
Geçmiş görünümü
Veri görevi ayarlarında Geçmiş etkinleştirilirse veri varlığı şemasında seçili her kaynak tablo için bir geçmiş görünümü oluşturulur. Aşağıdaki üstbilgi alanları eklenir.
Adlandırma: <HARİCİ_ŞEMA>.[<ÖNEK>]<TABLO_ADI><Geçmiş görünümleri için sonek>
| Alan | Tür | Açıklama |
|---|---|---|
| hdr__key_hash | binary(20) |
Tüm kayıt birincil anahtarlarının karma değeri. Bu sütun Veri ambarı veri görevlerinde oluşturulmaz. |
| hdr__key_id | int64 |
Kayıt başına artırılan sıra. Bu sütun yalnızca Veri ambarı veri görevlerinde oluşturulur. |
| hdr__store | varchar(10) |
Kaydın durduğu yeri gösterir.
|
| hdr__operation | string(1) |
Bu kaydın son işlemi.
|
| hdr__deleted | bit |
hdr__operation değerinin D veya d olmasına bağlı olarak kaydın geçici olarak mı silindiğini gösterir. |
| hdr__was _current_from_timestamp | zaman damgası |
Kaydın ilk kez güncel olduğu zamann UTC olarak zaman damgası |
| hdr__was _current_to_timestamp | zaman damgası |
Kaydın son kez güncel olduğu zamanın UTC olarak zaman damgası. |
Geçmiş canlı görünümü
Değişiklik tablosundaki değişikliklerle birleştirilen seçili her kaynak tablo için veri varlığı şemasında bir geçmiş canlı görünümü oluşturulur. Aşağıdaki üstbilgi alanları eklenir.
Adlandırma: <HARİCİ_ŞEMA>.[<ÖNEK>]<TABLO_ADI><Canlı geçmiş görünümleri için sonek>
| Alan | Tür | Açıklama |
|---|---|---|
| hdr__key_hash | binary(20) |
Tüm kayıt birincil anahtarlarının karma değeri. Bu sütun Veri ambarı veri görevlerinde oluşturulmaz. |
| hdr__key_id | int64 |
Kayıt başına artırılan sıra. Bu sütun yalnızca Veri ambarı veri görevlerinde oluşturulur. |
| hdr__store | varchar(10) |
Kaydın durduğu yeri gösterir.
|
| hdr__operation | string(1) |
Bu kaydın son işlemi.
|
| hdr__deleted | bit |
hdr__operation değerinin D veya d olmasına bağlı olarak kaydın geçici olarak mı silindiğini gösterir. |