Ana içeriğe geç

Snowflake Depolama veri varlığı oluşturmak işlemeyi değiştirir

Veri Hizmetleri ana sayfasında, gezinme çubuğundan erişebileceğiniz bir depolama veri varlığı oluşturursunuz. Depolama veri varlığı, Snowflake yerleştirme alanından verileri alır ve analiz için tablolara dönüştürür. Veriler, girdi veri varlığındaki değişikliklerden tablolara CDC (Değişim Verisi Yakalama) kullanılarak periyodik olarak uygulanır. Depolanan tablolardaki verilere daha çok yönlü erişim sağlamak için görünümler de oluşturulur.

Giriş

Snowflake içinde veri ürettiğinizde, depolama tabloları, değişiklik tabloları ve görünümler oluşturulur. Verileri tüketirken, en iyi uygulama görünümleri kullanmaktır. Görünümler, gelişmiş veri eşzamanlılığı dahil olmak üzere tablolara göre çeşitli avantajlar sağlar. Hangi görünümü kullanacağınızdan emin değilseniz, önce tablolar için standart görünümü deneyin.

Değişim işleme kullanarak bir yerleştirme veri varlığından okuyan depolama veri varlığı tarafından oluşturulan Snowflake tabloları ve görünümleri.

Aşağıdaki tablolar ve görünümler her zaman oluşturulur:

  • Tablolar

    Tablolar, depolanan fiziksel verileri içerir.

  • Tablolar için standart görünümler

    Tablolar için standart görünümler, yalnızca tablolara uygulanan verileri görmenize izin verir. Bu, henüz uygulanmamış en son değişiklik tablosu verilerini içermediği anlamına gelir. Tutarlılığa, gecikmeden daha yüksek öncelik verildiğinde standart görünümler kullanılabilir.

  • Değişiklik tablosu görünümleri

    Bu, yerleştirme şemasındaki değişiklik tablosunun bir görünümüdür.

Aşağıdaki gelişmiş görünümleri oluşturmayı da seçebilirsiniz:

  • Üst bilgi içeren standart görünümler

    Bu, depolama verileri varlığı tarafından oluşturulan ek üst bilgi alanlarına sahip bir tablo için standart görünümdür.

  • Canlı görünümler

    Canlı görünümler, henüz uygulanmamış değişiklik tabloları için veriler içerir. Bu, değişen verileri sık sık uygulamak zorunda kalmadan daha düşük gecikmeli verileri görmenizi sağlar. Canlı görüntüler, standart görünümlerden daha az verimlidir ve daha fazla kaynak gerektirir.

Oluşturulan tablolar ve görünümler hakkında daha ayrıntılı bilgi için bkz. Snowflake içinde oluşturulan tabloların ve görünümlerin yapısı.

Bir Snowflake depolama veri varlığı oluşturma

  1. Data Integration Ana Sayfasında Yeni ekle'ye tıklayın ve ardından Veri varlığı oluştur'u seçin.
  2. Veri varlığı oluştur iletişim kutusunda aşağıdaki alanları doldurun:

    • Ad: Veri varlığının adı.

    • Alan: Veri varlığının hedef alanını belirtin.

    • Varlık türü: Depolama (Snowflake) seçeneğini belirleyin.

    • Veri varlığı oluşturulduğunda açmak için 'ı seçin.

    Hazır olduğunuzda Oluştur'u tıklayın.

  3. Kaynak verileri seç'e tıklayın.

  4. Depolama veri varlığı için kaynak olarak kullanmak istediğiniz yerleştirme veri varlığını seçin ve ardından Seç'e tıklayın. Görev türü Tam yükleme + CDC olan bir yerleştirme veri varlığı seçin. Görev türü liste görünümünde gösterilir.

    Ayarlar iletişim kutusu görüntülenir.

  5. Depolama için ayarları yapılandırın

    • Bağlantı

      Depolama Snowflake veritabanına yazma iznine ve yerleştirme veri varlığı tarafından kullanılan Snowflake veritabanı için okuma iznine sahip veri bağlantısını seçin. Bir veri bağlantınız yoksa oluşturmanız gerekir.

      Not: OAuth kimlik doğrulaması Karma veri teslimi için desteklenmez.

      Daha fazla bilgi için bkz. Snowflake bağlantısı oluşturma (yalnızca İngilizce).

    • Dahili şema

      Bu, tabloların oluşturulacağı şemanın adıdır.

    • Veri varlığı şeması

      Bu, görünümlerin oluşturulacağı şemanın adıdır.

    Not: Dahili şema ve Veri varlığı şeması ile aynı şemayı kullanabilirsiniz, ancak bunları ayrı tutmak şemalara farklı erişimler ayarlamanıza olanak tanır. Örneğin, tüm müşteriler için Dahili şema'ya erişimi kısıtlayabilir ve Veri varlığı şeması'na erişim verebilirsiniz.
  6. Tablolar ve görünümler için ayarları yapılandırın

    Aşağıdakiler her zaman oluşturulur:

    • Tablolar

    • Tablolar için standart görünümler

    • Değişiklik tabloları için standart görünümler

    Ayrıca aşağıdaki görünümleri oluşturmayı da seçebilirsiniz:

    • Üst bilgi içeren standart görünümler

    • Canlı görünümler

  7. Önekler ve son ekler için ayarları yapılandırın

    Bu veri varlığı tarafından oluşturulan kaynakları tanımlamak için bir ön ek ayarlayabilirsiniz. Bu, tabloları ve görünümleri önek ile ayırt edebileceğiniz için aynı şemayı birden çok veri varlığında yeniden kullanmanıza da olanak tanır.

    Oluşturulan görünümler için son ekleri de ayarlayabilirsiniz.

  8. Çalışma zamanı için ayarları yapılandırın

    • Uygulama aralığını dakika olarak ayarlayabilirsiniz.

      Bu, değiştirilen verilerin depolama tablosuna ne sıklıkta uygulanacağını belirler. Aralık 1 dakika ile 1440 dakika (7 gün) arasında olabilir.

      Bu aralığı ilgili Qlik Replicate görevindeki güncelleme sıklığından daha düşük bir değere ayarlamamanızı öneririz. Verileri daha sık uygulamak, Snowflake kaynağının maliyetini de artıracaktır.

      Alternatif olarak, zaman zaman düşük gecikmeli verilere ihtiyacınız varsa Uygulama aralığını yüksek tutabilir ve canlı görünümleri kullanabilirsiniz.

    • Paralel yürütme'de maksimum veritabanı bağlantısı sayısını ayarlayabilirsiniz.

    Çalışma zamanı parametreleri, veri varlığı kataloğa eklenip çalıştırıldıktan sonra değiştirilebilir. Değişiklik bir sonraki fiili işlemeyi etkileyecektir.

  9. Ayarlarınızı onaylamak için Tamam'a tıklayın. Artık veri setleri oluşturmaya başlamadan önce tablo yapısını önizleyebilirsiniz.

  10. Veri varlığınızı kaydetmek için Kaydet'e tıklayın.

  11. Veri setleri oluşturmaya başlamak için Çalıştır'a tıklayın.

Halihazırda tam bir yerleştirme verisi yüklediyseniz, şimdi Snowflake tabloları oluşturulur ve verilerle doldurulur.

Tablo oluşturmayı izleme

İzle'ye tıklayarak tablo oluşturma işleminin durumunu ve ilerlemesini izleyebilirsiniz. İlk yükleme çalışırken, Tam yükleme durumu'nda ilerlemeyi görüntüleyebilirsiniz. Değişiklikler işlendiğinde, Son değişiklik grubu'nun durumunu ve ilerlemesini de görüntüleyebilirsiniz.

Her tablo veya değişiklik için aşağıdaki ayrıntıları görüntüleyebilirsiniz:

  • Durum

    Bu, bu tablonun veya değişikliğin mevcut durumunu gösterir.

    • Tamamlandı - Yükleme veya değişiklik başarıyla tamamlandı.

    • Yükleniyor - Tablo veya değişiklik işleniyor.

    • Kuyruğa alındı - Tablo veya değişiklik işlenmeyi bekliyor.

    • Hata - Tablo veya değişiklik işlenirken bir hata oluştu.

  • Başlatıldı

    Yükleme veya değişiklik işlemenin başladığı saat.

  • Bitti

    Yükleme veya değişiklik işlemenin sona erdiği saat.

  • Süre

    ss:dd:ss biçiminde, yükleme veya değişiklik işleme süresi.

  • İşlenen kayıtlar

    Yüklemede veya değişiklikte işlenen kayıt sayısı.

  • Hız (kayıt/saniye)

    Yük tamamlanana kadar verimlilik güncellenmez.

  • Mesaj

    Yükleme veya değişiklik başarıyla işlenmediyse hata mesajı görüntüler.

Yerleştirme alanı çoğaltma görevi tarafından güncellendikçe tablolar sürekli olarak yeni verilerle güncellenecektir. Her toplu işlem, belirli bir zaman aralığındaki kayıtlarla ilgilidir. En son toplu işlemin zaman aralığını Son değişiklik grubu içinde görebilirsiniz.

Veri varlığı kartını Veri Hizmetleri ana sayfasından da kontrol edebilirsiniz. Veriler şuna güncellendi: için son güncellemenin tarihi ve saati gösterildiğinde, tablolar analiz hub'ında Veri altında bulunmalıdır.

Veri varlığı şuna güncellendi: bölümünde görüntülenen zamana kadar tüm kaynak işlemlerinden elde edilen veriler bu veri varlığından tüketim için kullanılabilir. Bu bilgiler, tüm tablolar yüklendikten ve ilk değişiklik grubu uygulandıktan sonra bir veri varlığı için kullanılabilir. Canlı görünümler oluşturmayı seçtiyseniz, canlı görünümlerin ne zaman güncellendiğini de görüntüleyebilirsiniz.

İlk yükleme tamamlanmadan önce bir grup değişiklik varsa, ilk yükleme tamamlanana ve ilk değişiklik grubu uygulanana kadar varlık kartındaki Veriler şuna güncellendi: değeri güncellenmez. Örneğin, 1 milyon sipariş içeren bir sipariş tablosu ve 10 milyon sipariş ayrıntısı içeren bir sipariş ayrıntıları tablosu barındıran bir veri varlığı yüklediğinizi varsayalım. Tabloların tam olarak yüklenmesi sırasıyla 10 ve 20 dakika sürer. Önce sipariş tablosu yüklenir, ardından sipariş ayrıntıları tablosu gelir. Sipariş tablosu yüklenirken yeni bir sipariş girildi. Yani sipariş detayları yüklendiğinde, henüz sipariş tablosunda yer almayan yeni sipariş ayrıntılarını içerebilir. Sipariş ve sipariş ayrıntıları tabloları yalnızca ilk değişiklik grubu uygulandıktan sonra senkronize olur ve aynı zamana tam olarak güncellenir.

Not: Tablo oluşturmaya başladığınızda ayarları veya dahil edilen veri setlerini değiştirmek mümkün değildir.

Depolama veri varlığı ile ilgili işlemler

Veri Hizmetleri ana sayfasındaki varlık menüsünde, bir depolama veri varlığı ile ilgili olarak aşağıdaki işlemleri yapabilirsiniz.

  • Bu, depolama veri varlığını açar. Tablo yapısını ve veri varlığıyla ilgili ayrıntıları görüntüleyebilir, tam yükleme ve değişiklik gruplarının durumunu izleyebilirsiniz.

  • Düzenle

    Varlığın adını ve açıklamasını düzenleyebilir, etiketler ekleyebilirsiniz.

  • Durdur

    Veri varlığının çalışmasını durdurabilirsiniz. Veri varlığı, tabloları güncelleme işlemine devam etmez.

  • Sürdür

    Bir veri varlığının çalışmasını durdurulduğu noktadan devam ettirebilirsiniz.

  • Sil

    Veri varlığını silebilirsiniz.

Tabloları yeniden yükleme

Veri varlığı açıkken ve uygulama çalışırken bir depolama veri varlığındaki tabloları yeniden yükleyebilirsiniz. Yeniden yükleme, sonraki toplu değişiklik işlendiğinde başlar.

Yerleştirme verileri 96 saatten eskiyse, bu veri varlığını çalıştırmadan önce bu veri varlığına veri sağlayan yerleştirme veri varlığındaki tabloları yeniden yüklemeniz gerekir.

  • Tüm tabloları yeniden yüklemek için:

    ve ardından Yeniden Yükle'ye tıklayın.

  • Belirli tabloları yeniden yüklemek için:

    1. Monitör sekmesini açın.

    2. Yeniden yüklemek istediğiniz tabloları seçin.

    3. Tabloları yeniden yükle'ye tıklayın.

Replicate görevinde bir hata varsa, depolama veri varlığında yeniden yükleme gerçekleştirebilmeniz için Replicate görevinden yerleştirme veri varlığını yeniden yüklemeniz gerekir.

Snowflake içinde oluşturulan tabloların ve görünümlerin yapısı

Bu bölümde, veri varlığı şemasında ve dahili şemada oluşturulan tabloların ve görünümlerin yapısı açıklanmaktadır.

Tüm tablolar ve görünümler Qlik Veri Hizmetleri tarafından yönetilir. Başka araçları kullanarak verileri değiştirmeyin.

Tablolar

Tablolar dahili şemada oluşturulur.

Adlandırma: <DAHİLİ_ŞEMA>.[<ÖN_EK>]<TABLO_ADI><tablolar için son ek>

Aşağıdaki üst bilgi alanları tablo yapısına eklenir.

Tablo başlığı alanları
Alan Tür Açıklama
hdr__key_hash varbinary(20)

Tüm kayıt birincil anahtarlarının karma değeri.

Karma biçimi SHA1'dir. Alanlar bir geri al karakteri ile ayrılır.

hdr__timestamp zaman damgası

UTC olarak zaman damgası

  • Tam yüklemeden alınan veriler için tam yükleme başlangıç zamanı olacaktır.

  • Değişiklik tablolarından gelen bir değişiklik için, kaydın zaman damgası alanı olacaktır.

hdr__operation varchar(1)

Bu kaydın son işlemi.

  • U - değişiklik tablosundan güncellendi.

  • I - değişiklik tablosundan eklendi.

  • L - tam yük görevi tarafından eklendi.

Yerleştirme verilerindeki silme işlemleri kalıcı silme işlemlerine dönüştürülür.

Varlık durumu tablosu

Varlık durumu tablosu dahili şemada oluşturulur. İşlem tutarlılığı için, en son uygulanan sırayı ve Qlik Replicate tarafından bildirilen son sırayı korumak için kullanılır. Veri varlığındaki tüm nesneler aynı varlık durumu tablosunu kullanır.

Adlandırma: <DAHİLİ_ŞEMA>.[<ÖN_EK>]VARLIK_DURUMU__<VERİ_VARLIĞI_KİMLİĞİ>

Varlık durumu tablosu alanları
Alan Tür Açıklama
hdr__dataset_id varbinary(20)

Veri seti kimliği.

hdr__change_seq varchar(35)

Uygulanan son değişiklik sırası.

hdr__timestamp zaman damgası

UTC olarak, yapılan son işlemin zamanı.

Tablolar için standart görünümler

Seçilen her kaynak tablo için veri varlığı şemasında üst bilgileri olan standart bir görünüm oluşturulur. Bu görünüm tablo yapısındaki tüm özgün alanları içerir, ancak dahili şemada tabloya eklenen üst bilgi alanlarını içermez.

Adlandırma: <VERİ_VARLIĞI_ŞEMASI>.[<ÖN_EK>]<TABLO_ADI>< Tabloların standart görünümleri için son ek>

Üst bilgi içeren standart görünümler

Seçilen her kaynak tablo için isteğe bağlı olarak veri varlığı şemasında üst bilgileri olan standart bir görünüm oluşturulur. Bu görünüm, tabloya eklenen üst bilgi başlık alanlarını içerir.

Adlandırma: <VERİ_VALIĞI_ŞEMASI>.[<ÖN_EK>]<TABLO_ADI>< Üst bilgileri olan standart görünümler için son ek>

Canlı görünümler

Canlı görünümler; seçilen her kaynak tablo için, tabloyu değişiklik tablosundaki değişikliklerle birleştiren bir görünüm gösterir. Bu, bir sonraki uygulama döngüsünü beklemek zorunda kalmadan verilerin canlı görüntüsünü içeren sorgular sağlar. Değişiklik tablosu görünümünden birleştirilen değişiklikler, Çoğalt'taki olayları kullanan tablolar arasında işlem açısından tutarlıdır. Veri varlığı şemasında canlı görünümler oluşturulur.

Canlı görünüm veri varlıkları, değişiklik olması durumunda varsayılan olarak her 1 dakikada bir Snowflake işlemi gerçekleştirir. Bu Qlik Replicate içinden değiştirilebilir.

Adlandırma: <VERİ_VALIĞI_ŞEMASI>.[<ÖN_EK>]<TABLO_ADI><Canlı görünümler için son ek>

Değişiklik tablosu görünümleri

Bu, seçilen her kaynak tablo için yerleştirme şemasındaki değişim tablosunun bir görünümüdür.

Adlandırma: <VERİ_VARLIĞI_ŞEMASI>.[<ÖN_EK>]<TABLO_ADI><Değişim tablosu görünümleri için son ek>

Aşağıdaki üst bilgi alanları tablo yapısına eklenir.

Değişiklik tablosu üst bilgi alanları
Alan Tür Açıklama
hdr__change_seq varchar(35) Sırayı Qlik Replicate öğesinden değiştirin.
hdr__operation varchar(1)

Bu kaydın son işlemi.

  • U - güncellendi.

  • I - eklendi.

  • D - silindi.

hdr__timestamp zaman damgası

Qlik Replicate öğesinden UTC olarak zaman damgası.

hdr__key_hash varbinary(20)

Qlik Replicate değişiklik tablosundaki tüm kayıt birincil anahtarlarının karma değeri.