Bir veri işlem hattı oluşturma

Veri görevlerini kullanarak bir veri projesi içinde tüm veri entegrasyonunuzu gerçekleştirmek için bir veri işlem hattı oluşturabilirsiniz. Alım, verileri şirket içi veya buluttaki veri kaynaklarından projeye taşır ve verileri tüketime hazır veri setlerinde depolar. Ayrıca, oluşturulan ve dönüştürülen veri setlerinizden yararlanmak için dönüşümler gerçekleştirebilir ve veri ambarları oluşturabilirsiniz. Veri işlem hattı basit ve doğrusal olabilir veya birkaç veri kaynağı tüketen ve birçok çıktı üreten karmaşık bir işlem hattı olabilir.

Tüm veri görevleri ait oldukları veri projesi ile aynı alanda oluşturulur.

Ayrıca, verileri ve veri dönüşümlerini orijinal kaynağa kadar geriye doğru izlemek için kökeni görüntüleyebilir ve veri görevi, veri kümesi veya alan bağımlılıklarının ileriye dönük, aşağı akış görünümünü gösteren etki analizi gerçekleştirebilirsiniz. Daha fazla bilgi için bk. Veri Entegrasyonu öğesinde köken ve etki analizi ile çalışma.

Hedef veri platformları

Veri projesi, tüm çıktılar için hedef olarak kullanılan bir veri platformuyla ilişkilendirilir.

Desteklenen veri platformları hakkında daha fazla bilgi edinmek için bk. Hedeflere bağlanma.

Veri projelerine videolu giriş

Bir veri projesi oluşturma örneği

Aşağıdaki örnekte, verileri ekleme, verileri dönüştürme ve bir alt veri ambarı oluşturma işlemlerini gerçekleştirilmektedir. Bu, daha fazla veri kaynağı ekleyerek genişletebileceğiniz, daha fazla dönüşüm yaratabileceğiniz ve oluşturulan veri görevlerini veri ambarına ekleyebileceğiniz basit bir doğrusal veri işlem hattı oluşturacaktır.

1. Yeni bir veri projesi oluştur

   Qlik Cloud Veri Entegrasyonu Ana Sayfasında Yeni ekle'ye ve ardından Veri projesi oluştur'a tıklayın.

   1. Veri projesi için bir ad il tanım girin ve içinde veri projesinin oluşturulacağı bir alan seçin. Tüm veri görevleri, ait oldukları veri projesinin alanında oluşturulur.

   2. Kullanım durumunda Veri işlem hattı seçeneğini belirleyin.

   3. Projede kullanılacak olan veri platformunu seçin.

   4. Projede kullanmak istediğiniz bulut veri deposuna veri bağlantısını seçin. Bu, veri dosyalarını yerleştirmek, veri kümelerini ve görünümleri depolamak için kullanılacaktır. Zaten bir veri bağlantısı hazırlamadıysanız, Bağlantı ekle'ye tıklayarak bir tane oluşturun.

      Veri platformu olarak Google BigQuery, Databricks veya Microsoft Azure Synapse Analytics seçtiyseniz, bir hazırlama alanına da bağlanmanız gerekir.

   5. Veri platformu olarak Qlik Cloud seçtiyseniz:

      Verileri Qlik tarafından yönetilen depolamada veya kendi yönetilen Amazon S3 demetinizde depolayabilirsiniz. Kendi Amazon S3 demetinizi kullanmak istiyorsanız bu demet için bir veri bağlantısı seçmeniz gerekir.

      Her iki durumda da bir Amazon S3 hazırlama alanına bir veri bağlantısı da seçmeniz gerekir. Önceki adımda tanımladığınız demeti kullanıyorsanız, hazırlama için demette başka bir klasör kullandığınızdan emin olun.

   6. Oluştur'a tıklayın.

      Veri projesi oluşturulur ve veri görevleri ekleyerek veri işlem hattınızı oluşturabilirsiniz.

2. Verileri alın.

   Yeni ekle'ye, sonra Verileri buluta al'a tıklayın.

   Daha fazla bilgi için bk. Verileri buluta alma.

   Bu, bir yerleştirme veri görevi ve bir depolama veri görevi oluşturur. Veri çoğaltmaya başlamak için yapmanız gerekenler:

   • Yerleştirme veri görevini hazırlayıp çalıştırın.

     Daha fazla bilgi için bk. Veri kaynaklarından veri yerleştirme.

   • Depolama veri görevini hazırlayıp çalıştırın.

     Veri kümelerini saklama

3. Verileri dönüştürme

   Depolama veri görevi oluşturulduğunda, veri projesine geri dönün. Artık oluşturulan veri kümeleri üzerinde dönüştürme gerçekleştirebilirsiniz.
   

   Depolama veri görevinde ... üzerine tıklayın ve depolama veri görevini temel alan bir dönüştürme veri görevi oluşturmak için Verileri dönüştür'ü seçin. Dönüştürmeler hakkında talimatlar için bk. Verileri dönüştürme.

4. Alt veri ambarı oluşturma

   Bir depolama veri görevini veya bir dönüştürme veri görevini temel alarak bir veri ambarı oluşturabilirsiniz.

   Veri görevinde ... üzerine tıklayın ve bir veri ambarı veri görevi oluşturmak için Veri ambarı oluştur'u seçin. Alt veri ambarı oluşturmayla ilgili talimatlar için bk.:

   Alt veri ambarları oluşturma ve yönetme

Depolanan ve dönüştürülen veri kümelerinin ve alt veri ambarlarının ilk tam yüklemesini gerçekleştirdiğinizde, bunları analiz uygulaması gibi bir uygulamada kullanabilirsiniz. Analiz uygulamaları oluşturma hakkında daha fazla bilgi için bk. Qlik Cloud Veri Entegrasyonu tarafından oluşturulan veri kümelerini kullanarak bir analiz uygulaması oluşturma.

Ayrıca, daha fazla veri kaynağı ekleyerek veri işlem hattını genişletebilir ve bunları dönüşümde veya alt veri ambarında birleştirebilirsiniz.

Bir veri projesindeki işlemler

Bir veri görevi için kullanılabilen aynı işlemleri, veri projesi işlemleri olarak gerçekleştirebilirsiniz. Bu, veri işlem hattındaki işlemleri yönetmenize olanak tanır.

• Zamanlamaları açma ve kapatma

• Tasarım işlemleri gerçekleştirme

• Veri görevlerinin yürütülmesini başlatma ve durdurma

• Veri görevlerini silme

Devam eden bir işlemin durumunu veya gerçekleştirilen en son işlemi görüntülemek için İşlemler'e tıklayın.

İşlemi durdur'a tıklayarak devam eden bir işlemi durdurabilirsiniz. Devam eden veri görevleri durdurulmaz ancak henüz başlamamış görevleri iptal eder.

Zamanlamaları açma ve kapatma

Veri görevlerinin zamanlamalarını proje düzeyinde kontrol edebilirsiniz.

• ... ve ardından Zamanla'ya tıklayın.

  Tüm veri görevlerinin veya seçili görevlerin zamanlamasını açabilir ya da kapatabilirsiniz. Yalnızca belirlenmiş bir zamanlama içeren görevler gösterilir.

  Bilgi notuBu seçenek, veri platformu olarak Qlik Cloud içeren veri projeleri için kullanılamaz.

Bireysel veri görevlerini zamanlama hakkında daha fazla bilgi için bk.:

• Yeniden yükle ve karşılatır yerleştirme verisi görevini zamanlama

• Depolama görevi zamanlama

• Dönüştürme görevi zamanlama

• Veri ambarı görevi zamanlama

Tasarım işlemleri gerçekleştirme

Veri projesindeki tüm veri görevlerinde veya seçili görevlerde tasarım işlemleri gerçekleştirebilirsiniz. Bu, tasarım işlemlerini her görevde ayrı ayrı gerçekleştirmek yerine, veri projesindeki veri kümesi görevlerini kontrol etmeyi kolaylaştırır.

• Doğrula

  Tüm görevleri veya seçili görevleri doğrulamak için Doğrula'ya tıklayın. Son doğrulama işleminden bu yana değiştirilen veri görevleri önceden seçilmiştir.

  Veri görevleri, işlem hattı sırasında doğrulanır.

• Hazırla

  Tüm görevleri veya seçili görevleri hazırlamak için Hazırla'ya tıklayın. Son hazırlama işleminden bu yana değiştirilen veri görevleri önceden seçilmiştir.

  Veri platformu tarafından desteklenmeyen bir yapı değişikliği gerektiren veri kümelerini yeniden oluşturmayı seçebilirsiniz. Bu, veri kaybına yol açabilir.

• Yeniden oluştur

  Tüm görevler veya seçili görevler için veri kümelerini kaynaktan yeniden oluşturmak üzere ... ve ardından Yeniden oluştur'a tıklayın.

Veri görevleri çalıştırma

Görevleri tek tek çalıştırmak yerine, veri projesindeki tüm veri görevlerinin veya seçili görevlerin yürütülmesini başlatabilirsiniz. Örneğin, tüm görevleri zamana dayalı bir zamanlamayla çalıştırabilirsiniz. Bu, olaya dayalı bir zamanlamayla aşağı akış görevlerini başlatacaktır.

• Çalıştır

  Tüm görevlerin veya seçili görevlerin yürütülmesini başlatmak için Çalıştır'a tıklayın. Bu, seçilen tüm görevlerin çalışmasını başlatır ve bunlar yürütülmeye başlar başlamaz tamamlanır.

  Çalıştırılmaya hazır tüm görevler arasından seçim yapabilirsiniz. Zamana dayalı zamanlama içeren görevler ve CDC kullanan görevler önceden seçilmiştir. Olaya dayalı zamanlama içeren görevler, işlenecek veriler içerdiğinde yürütüleceklerinden dolayı önceden seçilmemiştir.

  Veri platformu olarak Qlik Cloud içeren bir projede, tüm yerleştirme ve depolama görevleri önceden seçilmiştir.

  Bilgi notuTüm veri görevleri paralel şekilde yürütülür. Bu, bağımlılık denetimlerinin bazı görevlerin çalışmasını engelleyebileceği anlamına gelir.

• Durdur

  Tüm görevleri veya seçili görevleri durdurmak için Durdur'a tıklayın.

  Çalıştırılan görevler arasından seçim yapabilirsiniz.

Veri görevlerini silme

• Veri projesindeki tüm veri görevlerini veya seçilen görevleri silmek için Sil'e tıklayın.

Veri projesinin görünümünü değiştirme

Veri projelerinin iki farklı görünümü vardır. İşlem hattı görünümü'ne tıklayarak görünümler arasında geçiş yapabilirsiniz.

• İşlem hattı görünümü, veri görevlerinin veri akışını gösterir.

  Katmanlar'a tıklayarak veri görevleri için ne kadar bilginin görüneceğini seçebilirsiniz. Aşağıdaki bilgileri açın veya kapatın:

  • Durum

  • Veri güncelliği

  • Zamanlama

• Kart görünümü, veri göreviyle ilgili bilgi içeren bir kart görünümü gösterir.

  Varlık türü ve sahibi için filtre uygulayabilirsiniz.

Veri projelerini içe ve dışa aktarma

Bir veri projesini, yeniden oluşturmak için gereken her şeyi içeren bir JSON dosyasına dışarı aktarabilirsiniz. Dışarı aktarılan JSON dosyası, aynı veya başka bir kiracıda içeri aktarılabilir. Bunu örneğin veri projelerini bir kiracıdan bir başkasına taşımak veya veri projelerinin yedek kopyalarını yapmak için kullanabilirsiniz.

Daha fazla bilgi için bk. Veri işlem hatlarını içe ve dışa aktarma.

Veri projesi ayarları

Projede ve dahil edilen veri görevlerinde ortak olan özellikleri ayarlayabilirsiniz.

• Ayarlar'a tıklayın.

Daha fazla bilgi için bk. Veri projesi ayarları.