İşlem hattı projenizi tasarlama
Qlik Talend Data Integration veri mimarinizi ve analiz gereksinimlerinizi desteklemek üzere çeşitli veri entegrasyon görevlerini gerçekleştirmek için veri işlem hatları oluşturma yeteneği sağlar.
Veri görevlerini kullanarak bir işlem hattı projesinde veri entegrasyonu akışınızı oluşturursunuz. Proje, tüm çıktılar için hedef olarak kullanılan bir veri platformuyla ilişkilendirilir. Proje bir veri alanında saklanır. Kaynaklarınıza ve hedeflerinize bağlantılar da oluşturmanız gerekir.
Bir alan oluşturun
Veri Entegrasyonu'ndaki alanlarda çalışma
Projenizi oluşturmak ve saklamak için kullanılan bir veri alanı oluşturun. Ayrıca alanın içinde, bağlayıcıları kullanarak yeni bağlantılar oluşturabilir ve Data Movement gateways erişimini yönetebilirsiniz.
Kaynaklarınıza ve hedeflerinize bağlantılar oluşturun
Veri kaynakları ile bağlantılar ayarlama
Veri kaynaklarınıza bağlantılar oluşturun.
Hedefler ile bağlantılar ayarlama
Hedef platformunuza bağlantılar oluşturun.
Qlik Data Gateway - Veri Hareketi
Kurumsal veri kaynaklarınızdan ve SaaS uygulamalarınızdan desteklenen hedeflere güvenli veri taşımayı kolaylaştırmak için Qlik Data Gateway - Veri Hareketi kurun.
Bir işlem hattı projesi oluşturma
Bir işlem hattı projesi oluşturduğunuzda, kullanım durumunuzu seçmeniz gerekir.
Veri işlem hattı projeleri oluşturma ve yönetme
Veri işlem hattı projeleri, çok sayıda desteklenen kaynaktan bir veri platformuna veri alınmasını destekler; burada daha sonra veri gölü ve veri ambarı mimarilerini desteklemek için ELT (indirme) dönüşümleri ile verileri dönüştürebilirsiniz. İşlem hatları, günlük tabanlı CDC ve artımlı veri kaynaklarını desteklemekle birlikte başlıca veri ambarı platformlarına veri alımı için bir dizi seçenek sunar.
İstediğiniz zaman bir veri işlem hattı projesi kullanın:
-
Alım süreçlerinizle tip 1 ve tip 2 veri yapılarını destekleyin.
-
Verilerinizi amaca uygun çıktılara veya analiz iş yükleri için yıldız şemalarına dönüştürün ve yeniden şekillendirin.
-
Iceberg'i temel alarak bir göl evi oluşturun.
-
Apache Iceberg tabanlı bir Qlik Açık Göl Evi oluşturun ve tabloları bulut veri deponuza yansıtın.
-
Organizasyonel veya işlevsel sınırlar için projeler arasında yönetilen karmaşık işlem hatları oluşturun.
Bir çoğaltma projesi oluşturma
Çoğaltma projeleri, desteklenen çok sayıda kaynaktan veri göllerine veya desteklenen herhangi bir hedef platforma doğrudan çoğaltmayı destekler. Veriler doğrudan hedef yapılarınıza uygulanır ancak karmaşık dönüşümler veya verilerin yeniden şekillendirilmesi desteklenmez. Çoğaltma işlem hatları, çoğaltma senaryoları için daha geniş bir hedef teknoloji kümesini destekler.
İstediğiniz zaman bir çoğaltma projesi kullanın:
-
Verileri hedefinize çoğaltın ve bu veriler üzerinde karmaşık dönüşümlere ihtiyaç duymayın.
-
Verileri, veri işlem hatları tarafından desteklenmeyen bir hedefe çoğaltın.
Scheduling tasks
Bazı durumlarda, veri kaynağından hedef platforma değişiklikleri yaymak için görevinizi zamanlamanız gerekebilir.
Zamanlama gerektiren kullanım durumları hakkında bilgi ve zamanlama aralıklarını ayarlama talimatları için Scheduling tasks bölümüne bakın.
İşlem hattı projenizin sürümlerini yönetin
İşlem hattı projelerinizi sürüm kontrolü ile yönetin
Bir veri projesinin gelişimini yönetmek ve değişiklikleri takip etmek için sürüm kontrolünü kullanın.
Kodda işlem hatlarını tanımlayın
Bildirimsel işlem hatları
Bir İşlem hattını YAML yapılandırma dosyaları olarak dışarı aktarın, IDE'nizde düzenleyin ve içe aktarma API'si veya sürüm kontrolü ile dağıtın. Ortamları yönetin ve Git dallanmasını kullanarak işlem hatlarını yükseltin.