Verileri buluta alma
Bir Qlik Açık Göl Evi projesinde bir veri işlem hattı oluşturmanın ilk adımı verilerin buluta alınmasıdır. Bu süreç, verilerin kaynaktan aktarılmasını ve veri kümelerinin optimize edilmiş Iceberg tabloları biçiminde depolanmasını içerir.
Sisteme alma tek bir işlemde oluşturulur, ancak iki adıma gerçekleştirilir. Veri kaynağı türü (CDC veya akış), projenizdeki görevleri belirler:
CDC kaynakları
-
Verilerin yerleştirilmesi
Bu, verilerin sürekli mini gruplar halinde şirket içi veri kaynağından bir yerleştirme alanına, bir Yerleştirme veri görevi kullanılarak aktarılmasını içerir.
Veri kaynaklarından veri yerleştirme
Ayrıca, verilerin S3 dosya depolama alanına yerleştirildiği bir göl evine veri yerleştirebilirsiniz.
-
Veri kümelerini saklama
Bu, yerleştirme verilerinin ilk yükünün veya artımlı yüklerin okunmasını ve verilerin bir Depolama verisi görevi kullanılarak okuma için optimize edilmiş biçimde uygulanmasını içerir.
Akış kaynakları
-
Verilerin yerleştirilmesi
Bu, verileri kaynaktan bir yerleştirme alanına, bir Akış yerleştirme veri görevi kullanılarak sürekli olarak akışla aktarmayı içerir.
-
Veri kümelerini saklama
Bu, yerleştirme verilerinin ilk yükünü okumayı ve bir Depolama Veri Dönüştürme görevi kullanarak verileri okuma için optimize edilmiş biçimde uygulamayı içerir.
Buluta alınan verileri kullanma
Verileri buluta aldığınızda, depolanan veri kümelerini çeşitli şekillerde kullanabilirsiniz, bunlar arasında:
-
Veri kümelerini bir analiz uygulamasında kullanabilirsiniz.
-
CDC kaynakları için doğrudan Depolama veri görevine veya akış kaynakları için Akış Dönüştürme görevine bir Yansıtma veri görevi ekleyerek verileri Amazon Redshift ve Snowflake dahil olmak üzere bir veya daha fazla bulut veri deposuna yansıtabilirsiniz.
Daha fazla bilgi için şuraya bakın: Verileri bir bulut veri deposuna yansıtma.
-
İlk sisteme alma projenizden veri tüketen, projeler arası bir İşlem hattı oluşturarak bulut veri deponuzdaki verileri dönüştürebilirsiniz.