Verileri bir bulut veri deposuna yansıtma

Yansıtma görevleri, size ait Qlik Açık Göl Evi hedefinden depolanan verileri Snowflake'ten sorgulamanızı sağlar. Veriler tekrarlanmadan Snowflake'e yansıtılır. Yansıtılmış tablolar, depolama ve mühendislik maliyetlerinin minimum düzeyde olmasını ve tek bir doğruluk kaynağının korunmasını sağlar.

Verilerinizi bir Qlik Açık Göl Evi hedefine ekledikten sonra, ayna tabloları kullanarak verilerinizi Snowflake'e yansıtabilirsiniz. Iceberg'deki veriler, Amazon Athena gibi Iceberg'i yerel olarak destekleyen bir sorgu motoru kullanılarak sorgulanabilir. Ancak yansıtma tabloları, açık Iceberg göl evi mimarisini uygulamak ama sorgu altyapınız olarak Snowflake'i kullanmaya devam etmek istediğinizde idealdir. Yansıtma veri görevi, Iceberg tablolarını harici tablolar olarak bildirerek Snowflake'te erişilebilir hale getirme işlemini otomatikleştirir. Snowflake, Iceberg tablosunu harici bir tablo olarak ifade eder çünkü tabloyu yönetmez, sadece ondan okur. Harici tablolar, verileri veya tablolarınızın yönetimini Snowflake'e taşımadan Iceberg verilerinizi Snowflake'te sorgulamanıza olanak tanır.

Verileri yansıtmak için Snowflake'te Iceberg tablolarının bulunduğu ve depolama görevi tarafından güncellenen S3 demetine işaret eden harici bir birim oluşturursunuz. Daha sonra Qlik Açık Göl Evi projeniz tarafından kullanılan veri kataloğuna (örneğin AWS Glue Data Catalog) işaret eden bir Snowflake katalog entegrasyonu oluşturursunuz.

Yansıtma görevi, Snowflake'te harici tabloları oluşturmak için gerekli DDL deyimlerini yürütür. Tablo (şema), değişiklikler ve geçmiş tablolarıyla birlikte Snowflake'te görüntülenir, ancak tablo tanımına bakarsanız harici tablonun üstünde oluşturulan bir görünüm olarak görüntülenir. Snowflake kullanıcıları görünümleri, veriler kendi Snowflake ortamlarında depolanıyormuş gibi sorgulayabilir. Yansıtılmış veriler yüksek performans sunar, çünkü Qlik verileri yönetmeye ve optimize etmeye devam eder.

Yenileme mekanizması

Snowflake, Iceberg içindeki mevcut verilerin en son anlık görüntüsünü yansıtan meta verilere işaret eder. Meta verileri yenilemenin iki yolu vardır:

1. Qlik-managed: Bu seçenek aktif bir Snowflake deposu gerektirir ve izleme ve veri önizleme içerir. Aşağı akış dönüşümleri oluşturmak, görevi izlemek ve zamanlamak istediğinizde bu seçeneği belirleyin. Qlik, meta veri yenileme işleminin sahibidir, böylece bunu manuel olarak, örneğin her 30 dakikada bir çalışacak şekilde yapılandırabilirsiniz. Bu seçenek, tüm tabloların meta verileri eş zamanlı olarak güncellendiğinden, özellikle çoklu tablo dönüşümleri için önemlidir. Snowflake tarafından yönetilen yenilemenin sunduğu gerçek zamanlı kazancın bir kısmını kaybedebilirsiniz, ancak tablolar arasındaki tutarlılığı korursunuz. Çoklu tablo dönüşümleri için yenilemeyi gereken sıklıkta tetikleyebilirsiniz. Qlik, zamanlanmış yansıtma görevini takip eden aşağı akış dönüştürme görevlerinde olay tabanlı tetikleme ayarlamanızı önerir.

2. Snowflake yönetimli: Bir bilgi işlem deposu gerektirmeden veya etkinleştirmeden Snowpipe altyapısından yararlanan sunucusuz bir işlem. Bu seçenek, aşağı akış dönüşümlerine ihtiyaç duymadığınızda önerilir. Yenileme aralığı, Snowflake katalog entegrasyonunu oluşturduğunuzda yapılandırılır. Otomatik yenilemenin durumunu izlemek için Snowflake'te SYSTEM$AUTO_REFRESH_STATUS değerini sorgulayın. Qlik, sürecin sahipliğini kaybeder ve bu tür görevleri izleyemez.

Bir proje içindeki her yansıtma görevi kendi yenileme mekanizmasıyla yapılandırılabilir: iki yansıtma görevi oluşturursanız biri Qlik tarafından yönetilen yenilemeyi, diğeri ise Snowflake tarafından yönetilen yenilemeyi kullanabilir.

Şema değişimi

Depolama görevinden veya dolaylı olarak açılış görevinden manuel olarak sütun ya da tablo ekler veya çıkarırsanız değişiklikler otomatik olarak yansıtma görevi tasarımına yansıtılır. Değişiklikleri yansıtılmış tabloya uygulamak için görevi hazırlamanız gerekir. Yansıtma ve depolama görevleri ayarlarında şema evrimi etkinleştirilirse depolama görevinde otomatik olarak algılanan tüm şema değişiklikleri yansıtma tablolarına uygulanır.

Ön koşullar

Bir Yansıtma veri görevi yalnızca Qlik Açık Göl Evi projesinde bir depolama görevi oluşturulduktan sonra eklenebilir. Bir depolama görevi birden fazla Yansıtma veri görevine sahip olabilir. Bir yansıtma veri görevi yalnızca bir depolama göreviyle ilişkilendirilebilir.

Verilerinizi Snowflake'e yansıtmak için şunlara ihtiyacınız vardır:

• Verilerinizi yansıtmak istediğiniz Snowflake veritabanına bir bağlantı. İsteğe bağlı olarak, yansıtma görevi oluşturma sırasında yeni bir bağlantı oluşturabilirsiniz. Gereksinimler, Snowflake ile bağlantı kurma talimatlarında bulunabilir.

• Snowflake harici hacmi. Bu, Snowflake'e S3 konumunuza kısıtlı erişim sağlar. Birimi yapılandırmak üzere Amazon S3 için harici bir birim yapılandır bölümüne bakın.

• Bir AWS Glue Veri Kataloğu entegrasyonu. Bu, Snowflake'in nesne deponuzda Iceberg açık tablo biçiminde tutulan verilere bağlanmasını sağlar. Katalog entegrasyonu yapılandırmak için bkz. AWS Glue için katalog entegrasyonu yapılandır.

Bir yansıtma verisi görevi oluşturma

Verileri Snowflake'e yansıtmak için aşağıdakileri yapın:

1. Yansıtmak istediğiniz veriler için depolama görevini içeren projeyi açın.

2. Depolama görevinde Daha fazla eylem öğesine tıklayın. Yansıtma verisi'ni seçin ve yapılandırın:

• Ad: Yansıtma göreviniz için bir ad girin.

• Açıklama: İsteğe bağlı olarak, görevin amacını açıklayın.

• Bağlantı: 

  • Mevcut bir bağlantıyı kullanmak için Seç'e tıklayarak Güvenli kaynak bağlantısı iletişim kutusunu açın. Bağlantınızın bulunduğu Alan'ı seçin, ardından bağlantıyı seçin. Bağlantı özelliklerini değiştirmek için Düzenle'ye tıklayın.

  • Yeni bir bağlantı oluşturmak için Bağlantı oluştur iletişim kutusunu açmak üzere Bağlantı oluştur'a tıklayın ve talimatları izleyin.

• Veritabanı: Verileri yansıtmak istediğiniz veritabanının adını girin.

• Snowflake harici birimi: Snowflake'te oluşturulan harici birimin adını girin.

• Snowflake katalog entegrasyonu: Snowflake'te oluşturulan katalog entegrasyonunun adını girin.

3. Snowflake'te verilerinizin nasıl yenilenmesini istediğinizi seçin:

• Qlik tarafından yönetilen: Aşağı akış dönüşümleri oluşturmak istiyorsanız bu seçeneği belirleyin. Bu, aktif bir Snowflake deposu gerektirir ve Qlik tarafından izlenir.

• Snowflake tarafından yönetilen: Aşağı akış dönüşümleri gerçekleştirmek istemiyorsanız bu seçeneği belirleyin. Bir Snowflake deposu gerekli değildir ve bu nedenle Qlik tarafından izlenmez. Bu, Snowflake'te yönetilir ve izlenir.

4. İşlem hattınızdaki depolama görevine eklemek için yansıtma görevini oluşturun.

5. Yansıtma görevinde Daha fazla eylem'e tıklayın ve Aç'ı seçin. Tasarım görünümünü görüntülediğinizden emin olun.

6. Kullanılabilir veri kümelerinin bir alt kümesini seçmek için Kaynak veri seç'e tıklayın ve istenmeyen veri kümelerini kaldırın.

7. Snowflake'te harici tabloyu oluşturmak ve verileri yansıtmak için Hazırla'ya tıklayın.

Dönüştürmeler gerçekleştirme

Verilerinizi dönüştürmeniz gerekiyorsa bir Snowflake projesi oluşturabilir ve kaynak olarak Qlik Açık Göl Evi projenizdeki bir yansıtma veri görevini kullanabilirsiniz. Mevcut bir projedeki verileri kullanarak bir dönüştürme görevi oluşturmak için Projeler arası işlem hatları oluşturma bölümüne bakın.

Bir yansıtma verisi görevini silme

Bir yansıtma görevini sildiğinizde, harici tablolar ve görünümler Snowflake'ten silinir ve artık sorgulanamaz. Bir yansıtma görevi kendisinden okuma yaparken bir depolama görevi silinemez.

Bir yansıtma verisi görevini silmek için aşağıdakileri yapın:

1. Silmek istediğiniz Yansıtma verileri görevinde, görev üzerindeki Daha fazla eylem menüsüne tıklayın ve Sil'i seçin.

2. Onay diyalog penceresinde Sil'e tıklayın.