Verileri buluta alma

Bir Qlik Açık Göl Evi projesinde bir veri işlem hattı oluşturmanın ilk adımı verilerin buluta alınmasıdır. Bu süreç, verilerin kaynaktan aktarılmasını ve veri kümelerinin optimize edilmiş Iceberg tabloları biçiminde depolanmasını içerir. Veri kaynaklarından gelen değişiklikler, verimli mini partiler halinde depolama tablolarına sürekli olarak uygulanır.

Sisteme alma tek bir işlemde oluşturulur, ancak iki adıma gerçekleştirilir.

• Verilerin yerleştirilmesi

  Bu, verilerin bir Yerleştirme veri görevi kullanılarak şirket içi veri kaynağından bir yerleştirme alanına sürekli aktarılmasını içerir.

  Veri kaynaklarından veri yerleştirme

  Ayrıca, verilerin S3 dosya depolama alanına yerleştirildiği bir göl evine veri yerleştirebilirsiniz.

  Verileri Qlik Açık Göl Evi hedefine yerleştirme

• Veri kümelerini saklama

  Bu, yerleştirme verilerinin ilk yükünün veya artımlı yüklerin okunmasını ve verilerin bir Depolama verisi görevi kullanılarak okuma için optimize edilmiş biçimde uygulanmasını içerir.

  Veri kümelerini saklama

Verileri buluta aldığınızda depolanan veri kümelerini birkaç şekilde kullanabilirsiniz.

• Veri kümelerini bir analiz uygulamasında kullanabilirsiniz.

• Doğrudan Depolama veri görevine bir Yansıtma veri görevi ekleyerek verileri Snowflake'e yansıtabilirsiniz.

• İlk sisteme alma projenizdeki verileri kullanan bir projeler arası işlem hattı oluşturarak Snowflake'teki verileri dönüştürebilirsiniz.

Verileri buluta al

Verileri buluta almayı bir projede başlatabilirsiniz. Veri kümeleri, projede tanımlanan S3 konumunda depolanır. Projeler hakkında daha fazla bilgi için bkz. Bir veri işlem hattı projesi oluşturma.

1. Projenizde Oluştur'a, sonra Verileri buluta al'a tıklayın.

   İpucu notuAyrıca projede mevcut bir kaynak üzerinde seçeneğine tıklayıp ardından Verileri bulut al'a tıklayabilirsiniz.

2. Buluta alma için Ad ve Açıklama ekleyin.

   İleri'ye tıklayın.

3. Kaynak bağlantısını seçin.

   Mevcut bir kaynak bağlantısını seçebilir veya kaynağa yeni bir bağlantı oluşturabilirsiniz.

   Daha fazla bilgi için bk. Veri kaynakları ile bağlantılar ayarlama.

   İleri'ye tıklayın.

4. Yüklenecek verileri seçin.

   Verileri seçme

   İleri'ye tıklayın.

   Güncelleme yöntemini ve geçmiş ayarlarını seçebileceğiniz Ayarlar görüntülenir.

5. Güncelleme yöntemi'nde verileri güncellemek için hangi yöntemin kullanılacağını seçin:

   • Değişiklik verisi yakalama (CDC)

     Verileriniz CDC'yi desteklemeyen görünümler veya tablolar içeriyorsa iki veri işlem hattı oluşturulacaktır: CDC'yi destekleyen tüm tabloları içeren bir işlem hattı ve Yeniden yükle ve karşılaştır seçeneğini kullanan diğer tüm tablolar ve görünümlerin bulunduğu başka bir işlem hattı.

   • Yeniden yükleme ve karşılaştırma

6. Geçmiş'teki geçerli verilere ek olarak önceki verilerin geçmişini de çoğaltmak istiyorsanız seçin.

7. Hazır olduğunuzda İleri'ye tıklayın.

8. Buluta alma için oluşturulan veri görevlerinin ön izlemesini yapın ve istiyorsanız bunları yeniden adlandırın.

   İpucu notuAdlar, Depolama veri görevinde veritabanı şemaları adlandırılırken kullanılır. Aynı veri platformunu kullanan başka projelerdeki veri görevleri ile çakışmalardan kaçınmak için benzersiz adlar kullanmayı düşünün.

9. Oluşturulan veri görevlerinden herhangi birini açmayı mı yoksa projeye geri dönmeyi mi istediğinizi seçin.

   Hazır olduğunuzda Son'a tıklayın.

10. Şimdi verileri alma görevleri oluşturulur. Veri çoğaltmaya başlamak için yapmanız gerekenler:

11. Yerleştirme veri görevini hazırlayıp çalıştırın.

    Daha fazla bilgi için şuraya bakın: Veri kaynaklarından veri yerleştirme.

12. Depolama veri görevini hazırlayıp çalıştırın.

    Daha fazla bilgi için şuraya bakın: Veri kümelerini saklama.

Verileri seçme

Belirli tabloları veya görünümleri seçebilir veya tablo gruplarını dahil etmek veya hariç tutmak için seçim kurallarını kullanabilirsiniz.

Şemalara ve tablolara yönelik seçim ölçütleri tanımlamak için joker karakter olarak % kullanın.

• %.% tüm tablolardaki tüm şemaları tanımlar.

• Public.%, Public içindeki tüm şemaları tanımlar.

Seçim ölçütleri seçimlerinize bağlı olarak size bir önizleme sunar.

Artık şunları yapabilirsiniz:

• Seçim kriterlerine göre bir grup tabloyu dahil etmek veya hariç tutmak için bir kural seçin.

  Kural oluşturmak için Seçim kriterlerinden kural ekle'ye tıklayın ve Dahil et'i veya Hariç tut'u seçin.

  Kuralı Seçim kuralları altında görebilirsiniz.

• Bir veya daha fazla veritabanını seçin ve Seçili veri kümelerini ekle'ye tıklayın.

  Eklenen veri kümelerini Açık olarak seçilen veri kümeleri altında görebilirsiniz.

Seçim kuralları yalnızca geçerli tablo ve görünüm kümesine uygulanır; gelecekte eklenen tablo ve görünümlere uygulanmaz.