Qlik Replicate'ten veri ekleme
Mevcut Replicate altyapınızı terk etmeden, Qlik Açık Göl Evi'nin tüm işlevselliğinden yararlanabilirsiniz. Veri ekleme sihirbazını kullanarak Qlik Replicate Amazon S3 çıktısından verileri işleyen ve Qlik Açık Göl Evi kullanarak Iceberg tabloları olarak depolayan bir işlem hattı oluşturun.
Ön koşullar
Veri sihirbazını kullanmaya başlamadan önce, aşağıdaki ön koşulları yerine getirdiğinizden emin olun.
Qlik Replicate ön koşulları
Verileri bir Amazon S3 demetine (Amazon S3 hedef uç noktası aracılığıyla) taşımak için bir Qlik Replicate görevi kurun.
Qlik Replicate görev ön koşulları
-
Yalnızca Tam Yük ve/veya Değişiklikleri Sakla (verilerin güncel kalması için gereklidir) çoğaltma seçeneklerini etkinleştirin.
-
Görev ayarlarının Değişiklik Saklama Ayarları sekmesinde:
-
Tablo Ayarlarını Değiştir'i aşağıdaki gibi yapılandırın:
-
Sonek:
-
Üst bilgi sütun ön eki: header__
-
DDL seçenekleri: Değişiklik tablosuna uygula
-
GÜNCELLEME sırasında: Yalnızca resimden sonra sakla
-
-
Veri Bölümlendirmeyi Değiştir seçeneğini devre dışı bırakın (varsayılan).
-
-
Görev ayarlarının Meta Veri > Kontrol Tabloları sekmesinde, İstisnaları Uygula ve DDL Geçmişi kontrol tablolarının seçili olduğundan emin olun.
Bu ayarlar hakkında daha fazla bilgi için bkz. Qlik Replicate görev ayarları yardımı (yalnızca İngilizce).
Qlik Replicate Amazon S3 hedef uç nokta ön koşulları
Genel sekmesinde:
- Meta Veri Dosyaları bölümünde, Hedef klasörde meta veri dosyaları oluştur (Replicate Kasım 2025 veya öncesi) veya Her veri dosyası için bir meta veri dosyası oluştur (Replicate Mayıs 2026 veya sonrası) seçeneğini etkinleştirin. Bu, S3 demetinde .dfm genişlemesine sahip dosyalar oluşturacak.
- Dosya Nitelikleri bölümünde, şunlardan emin olun:
- CSV seçilen Biçim (varsayılan)
- Dosyaları sıkıştırma yöntemi Hiçbiri (varsayılan) olarak ayarlanmıştır.
- Her iki Meta veri üstbilgisi ekle seçeneği de etkinleştirilmiştir (Sütun adları ile ve Veri türleri ile)
- Amazon S3 depolama ayarlarını yapılandırırken, eğer demetiniz Replicate olmayan dosyalar içeriyorsa, bir Hedef Klasör belirtmeniz önerilir. Bunu yapmak, verileri Qlik Açık Göl Evi ile entegre ederken gerekli çıktıyı bulmayı kolaylaştıracaktır.
Bu ayarlarla ilgili daha fazla bilgi için, Amazon S3 hedef uç nokta yardımı (yalnızca İngilizce) konusuna bakın.
Qlik Açık Göl Evi Ön koşullar
Bir AWS S3 Veri Akışı bağlayıcısı, Replicate Amazon S3 çıktısına erişmek üzere yapılandırılmıştır.
Talimatlar için bkz. AWS S3 Veri Akışı.
Replicate'in S3'te verileri nasıl düzenlediği
Qlik Replicate'in S3'te verileri düzenlemek için kullandığı yapıya aşina olmak, bu dosyaları, aşağıda Bir başlangıç görevi oluşturma bölümünde açıklanan Dizin tarayıcısı içinde bulmayı kolaylaştıracaktır.
-
s3://bucket-name/target-path/schema.table/
Aşağıdaki örnekte olduğu gibi, tam Yükleme dosyalarını ve DFM meta veri dosyalarını sıralı biçimde içerir:
-
LOAD00000001.csv
-
LOAD00000001.dfm
-
LOAD00000002.csv
-
LOAD00000002.dfm
-
-
s3://bucket-name/target-path/schema.table__ct/
Değişiklik Verisi Yakalama dosyalarını ve DFM meta veri dosyalarını aşağıdaki örnekte olduğu gibi zaman damgası biçiminde içerir:
-
20250121-083015000.csv
-
20250121-083015000.dfm
-
20250121-091522000.csv
-
20250121-091522000.dfm
-
Buluta alma görevi oluştur
Replicate verileri için bir başlangıç görevini yapılandırmak üzere bu adımları izleyin:
-
Kullanmaya başlama sihirbazını aşağıdaki gibi başlatın:
-
Yeni proje: Proje penceresinin ortasında Verileri buluta al'a tıklayın.
-
Mevcut proje: Qlik Açık Göl Evi projenizin sağ üst köşesinde, veri buluta alma sihirbazını başlatmak için Yeni oluştur > Verileri buluta al'a tıklayın.
-
- Bir görev adı ve açıklama girin.
- Qlik Replicate'i Veri kaynağı seçeneklerinden seçin. Ardından Next (İleri) seçeneğine tıklayın.
- Daha önce yapılandırdığınız AWS S3 Veri Akışı bağlayıcısını seçin. Ardından Next (İleri) seçeneğine tıklayın.
-
Soldaki Dizin tarayıcısı bölmesinde, Replicate çıktısını içeren kök dizini seçin.
İpucu notuReplicate Amazon S3 hedef uç nokta ayarlarında hedef bir klasör belirtmediyseniz (yukarıdaki ön koşullarda önerildiği gibi), demetiniz birçok ilgisiz dosya içerebilir. Bu durumda, tam yolu biliyorsanız, doğrudan Replicate kök dizin yolu alanına yapıştırabilirsiniz. - Mevcut tabloları algılamak için Yükle'ye tıklayın. Mevcut tüm tablolar Kaydedilecek seçili tablolar listesinde gösterilecektir.
- Sağdaki Tabloları keşfetmek için veri kaynağı seçin bölümünde, aşağıdaki ayarlar mevcuttur:
- Tüm mevcut tabloları dahil et: Tüm mevcut tabloları yerleştirmek için açın. Bu seçenek kapatıldığında, tek tek tabloları seçmeniz gerekir.
Alımdan sonra kaynak dosyalarını sil: Dosyalar başarıyla işlendikten sonra Replicate S3 demetinden kalıcı olarak kaldırmak için açın.
S3 dosyaları silindikten sonra, aynı S3 dosyalarını kaynak olarak kullanan bağlı tüm işlem hatları pasif hale gelecek ve işlev göremez duruma gelecektir. Bu nedenle, dosyaların başka hiçbir İşlem hattı süreci tarafından gerekli olmadığından eminseniz bu seçeneği yalnızca etkinleştirmelisiniz.
- İleri'ye tıklayın.
- İçerik Türü adımında, dosya biçimi (CSV) Replicate verilerinizden otomatik olarak algılanır. Aşağıdaki seçenekler de mevcuttur:
- Geçmiş Veri Deposu (Tip 2): Kayıtların geçmiş sürümlerini korumanız ve değişikliklerin bir arşivini tutmanız gerekiyorsa açın.
- Olayların doğru yüklendiğini doğrulayın: Doğru verileri içerdiğini doğrulamak için bir veri kümesi seçebilirsiniz.
- İleri'ye tıklayın.
- Görev yapılandırmasını gözden geçirin ve işe alım görevini oluşturmak için Oluştur öğesine tıklayın.
-
Veri görevini kataloğa alıp yürütme için hazırlamak üzere Hazırla'ya tıklayın.
Hazırlık ilerlemesini görev kutucuğunda takip edebilirsiniz. Tamamlandığında, Hazırla: Başarılı görüntülenmelidir.
-
Veri eklemeye başlamaya hazır olduğunuzda, Çalıştır'a tıklayın.
Sonraki adım
Etkinleştirildikten sonra, verileri alma görevi:
- Replicate S3 demetinizdeki veri değişikliklerini izlemeye başlar
- Replicate'ten Tam yük ve CDC (Değişiklik Verisi Yakalama) dosyalarını algılar.
- Dosyaları işler ve Iceberg tablolarını Qlik Açık Göl Evi içinde oluşturur.
- Yeni verileri izlemeye devam ediyor
- Etkinleştirilirse, başarılı alımdan sonra kaynak dosyalarını otomatik olarak siler
Görev ayarları
Görev ayarlarını değiştirmek için, Onboarding_Qlik_Replicate (varsayılan ad) görevini açın ve Ayarlar araç çubuğu düğmesine tıklayın.
Ayarlar: <task name> diyalog penceresi açılır.
Genel sekmesi
Bu seçenekler, yukarıdaki Yerleştirme görevi oluşturma'nın 7. Adımında açıklanmıştır.
-
Mevcut ve gelecekteki tüm tabloları otomatik olarak dahil et
-
Alımdan sonra kaynak dosyalarını sil
Çalışma zamanı sekmesi
Göl evi kümesi'ni değiştirin
Dikkate alınacak noktalar ve sınırlamalar
Genel dikkat edilmesi gereken noktalar ve sınırlamalar
- Tam Yükleme ve Yeniden Yükleme işlemleri, veriler Iceberg tablolarında görünmeden önce bir işleme gecikmesi yaşayabilir. Sistem, dosyaların eksiksiz olduğundan emin olmak için Tam Yük tamamlandıktan sonra 15 dakikaya kadar bekler. Sonuç olarak, Replicate'te (planlanmış veya manuel olarak) 15 dakikadan daha kısa aralıklarla tam yüklemeler çalıştırmak desteklenmez.
- Boş Replicate tabloları (veri dosyası olmayan tablolar) sistem tarafından algılanmaz veya kaydedilmez.
- Eğer Kaynak dosyaları alımdan sonra sil seçeneğini etkinleştirirseniz, yerleştirme görevi yeniden yüklenemez. Verileri yeniden yüklemek için, onu Replicate'te yeniden oluşturmanız gerekir.
- Qlik Replicate'ın Tablolar zaten yüklenmiştir. (yalnızca İngilizce)Değişiklikleri şuradan işlemeye başla (yalnızca İngilizce) Gelişmiş Çalıştırma seçeneği desteklenmez. 2. Tür (geçmiş verileri) etkinleştirildiğinde, bu seçeneği kullanmak geçmiş tablosunu bozacaktır.
- Şema değişimi desteklenmez.
CDC ve Replicate İşlem Hattı
CDC kaynaklarından veri alan düzenli bir işlem hattında, Veri güncellenme tarihi metriği, verinin mevcut güncelliğini her zaman gösterir (örneğin, 1 dakika önce). Bunun nedeni, İşlem hattının, her INSERT/UPDATE/DELETE olayı hakkında gerçek zamanlı bilgi sağlayan veritabanı işlem günlüğüne doğrudan erişime sahip olmasıdır. Ancak, Replicate'ten veri alan bir işlem hattında, Veriler şuraya güncellendi ölçütü verilerin mevcut güncelliğini göstermez ve hatta verilerin eski olduğu yanlış izlenimini verebilir (örneğin, 8 saat önce). Bunun nedeni Replicate işlem hattının işlem günlüğüne doğrudan erişimi olmamasıdır. Bunun yerine, Replicate dosyaları bir S3 demetine yazar ve İşlem hattı, verinin Güncelliğini belirlemek için dosyanın oluşturulma zaman damgasını kontrol eder. Bu nedenle, kaynak veritabanında bir süredir yeni değişiklikler olmadıysa, Replicate yeni bir dosya oluşturmayacak ve Veriler şuraya güncellendi zaman damgası eskiyecek (verilerin güncel olmadığına dair yanlış bir izlenim vererek).