Verileri Qlik Açık Göl Evi hedefine yerleştirme

Veriler, Iceberg açık tablo formatına dönüştürmek üzere depolama verisi görevi için hazır olarak Amazon S3'e ulaşır. Qlik tarafından desteklenen herhangi bir veri kaynağından veri yerleştirebilirsiniz.

Verileri Qlik Açık Göl Evi hedefine indirmek için önceden yapılandırılmış bir Amazon S3 demeti gerekir. Qlik Açık Göl Evi, yüksek hacimli, akışlı veri kaynakları için özel olarak optimize edilmiştir ve Qlik destekli tüm veri kaynaklarıyla uyumludur. Veriler S3'e CSV formatında yerleştirilir. Depolama verileri görevi, verileri Iceberg formatına dönüştürür ve Parquet dosyalarına kopyalar. Iceberg spesifikasyonu, verilerin Amazon Athena, Ahana veya Starburst Enterprise gibi Trino SQL'i yerel olarak destekleyen herhangi bir motordan sorgulanmasını sağlar. İsteğe bağlı olarak tablolar, Snowflake'e yansıtılabilir ve burada veriler çoğaltılmadan sorgulanabilir.

Verileri bir Qlik Açık Göl Evi hedefine yerleştirmek, AWS Glue Data Catalog hedef bağlantısına sahip projelerde kullanılabilir.

Hazırlıklar

• Snowflake'e veri yansıtmak için öncelikle verilerinizi almak ve Iceberg açık tablo formatını kullanarak depolamak üzere bir Qlik Açık Göl Evi projesi oluşturmanız gerekir. Depolama verileri görevinden sonra bir Yansıtma verileri görevi ekleyebilirsiniz. Veri dönüşümleri gerçekleştirmek için, kaynak olarak Qlik Açık Göl Evi projesini kullanan bir Snowflake projesi oluşturun. Daha fazla bilgi için şuraya bakın: Verileri bir bulut veri deposuna yansıtma.

• Kaynak ve hedef bağlantısı ayarlarınızı görev kurulum sihirbazında yapılandırabilmenize rağmen, kurulum prosedürünü basitleştirmek için bunu görevi oluşturmadan önce yapmanız önerilir.

Bir Göl yerleştirme görevi oluşturma

Bir göl yerleştirme görevi oluşturmak için aşağıdakileri yapın:

1. Bir proje oluşturun ve Kullanım durumunda Veri işlem hattı seçeneğini belirleyin.

2. Veri platformunda Qlik Açık Göl Evi öğesini seçin ve veri kataloğuna bir bağlantı kurun.

3. Yerleştirme hedefi bağlantısında bir hazırlama alanı oluşturun.

4. Projeyi oluşturmak için Oluştur'a tıklayın.

Projeye veri eklediğinizde veya bir yerleştirme görevi oluşturduğunuzda, bir Yerleştirme görevi yerine bir Göl yerleştirme görevi oluşturulur. Göl yerleştirme görevleri, verileri bulut depolama alanına indirmeleri dışında çoğunlukla Yerleştirme görevleri gibi çalışır ve davranır. Daha fazla bilgi için şuraya bakın: Veri kaynaklarından veri yerleştirme.

Tüm dosyalar CSV biçiminde indirilir. Yerleştirme verileri güncellendikten sonra yerleştirme görevini tüketen depolama görevi, harici tabloları günceller.

Ayarlar

Görev ayarları hakkında daha fazla bilgi için bk. Göl yerleştirme ayarları.

Sınırlamalar

• Her dakika çalışan depolama görevi nedeniyle yerleştirilen veriler demette bölümlenmez. Bu nedenle veri bölmesi sıklığı görev ayarlarında güncellenemez.

• SaaS kaynaklarından gelen yerleştirme verileri zamanlanmış olsa da depolama görevi her dakika mini partiler çalıştırır. Bu, minimum maliyetle aktif bir göl evi kümesi gerektirir.

• Bir Birincil Anahtar değeri değişirse orijinal anahtara sahip kayıtlar Silindi olarak işaretlenir ve değiştirilen anahtar değerini içeren satır Ek olarak işaretlenir.