Bir veri işlem hattı oluşturma

Veri görevlerini kullanarak bir proje içinde tüm veri entegrasyonunuzu gerçekleştirmek için bir veri işlem hattı oluşturabilirsiniz. Alım, verileri şirket içi veya buluttaki veri kaynaklarından projeye taşır ve verileri tüketime hazır veri setlerinde depolar. Ayrıca, oluşturulan ve dönüştürülen veri setlerinizden yararlanmak için dönüşümler gerçekleştirebilir ve veri ambarları oluşturabilirsiniz. Veri işlem hattı basit ve doğrusal olabilir veya birkaç veri kaynağı tüketen ve birçok çıktı üreten karmaşık bir işlem hattı olabilir.

Tüm veri görevleri ait oldukları proje ile aynı alanda oluşturulur.

Ayrıca, verileri ve veri dönüşümlerini orijinal kaynağa kadar geriye doğru izlemek için kökeni görüntüleyebilir ve veri görevi, veri kümesi veya alan bağımlılıklarının ileriye dönük, aşağı akış görünümünü gösteren etki analizi gerçekleştirebilirsiniz. Daha fazla bilgi için bk. Veri Entegrasyonu öğesinde köken ve etki analizi ile çalışma.

Hedef veri platformları

Proje, tüm çıktılar için hedef olarak kullanılan bir veri platformuyla ilişkilendirilir.

Desteklenen veri platformları hakkında daha fazla bilgi edinmek için bk. Hedefler ile bağlantılar ayarlama.

Projelere videolu giriş

Bir proje oluşturma örneği

Aşağıdaki örnekte, verileri ekleme, verileri dönüştürme ve bir alt veri ambarı oluşturma işlemlerini gerçekleştirilmektedir. Bu, daha fazla veri kaynağı ekleyerek genişletebileceğiniz, daha fazla dönüşüm yaratabileceğiniz ve oluşturulan veri görevlerini veri ambarına ekleyebileceğiniz basit bir doğrusal veri işlem hattı oluşturacaktır.

1. Yeni bir proje oluşturun.

   Veri Entegrasyonu > Projeler bölümünde Proje oluştur'a tıklayın.

   1. Proje için bir ad ve tanım girin ve içinde projenin oluşturulacağı bir alan seçin. Tüm veri görevleri, ait oldukları projenin alanında oluşturulur.

   2. Kullanım durumunda Veri işlem hattı seçeneğini belirleyin.

   3. Projede kullanılacak olan veri platformunu seçin.

   4. Projede kullanmak istediğiniz bulut veri deposuna bağlantıyı seçin. Bu, veri dosyalarını yerleştirmek, veri kümelerini ve görünümleri depolamak için kullanılacaktır. Zaten bir bağlantı hazırlamadıysanız Bağlantı ekle'ye tıklayarak bir tane oluşturun.

      Veri platformu olarak Google BigQuery, Databricks veya Microsoft Azure Synapse Analytics seçtiyseniz, bir hazırlama alanına da bağlanmanız gerekir.

   5. Veri platformu olarak Qlik Cloud seçtiyseniz:

      Verileri Qlik tarafından yönetilen depolamada veya kendi yönetilen Amazon S3 demetinizde depolayabilirsiniz. Kendi Amazon S3 demetinizi kullanmak istiyorsanız bu demet için bir bağlantı seçmeniz gerekir.

      Her iki durumda da bir Amazon S3 hazırlama alanına bir bağlantı da seçmeniz gerekir. Önceki adımda tanımladığınız demeti kullanıyorsanız, hazırlama için demette başka bir klasör kullandığınızdan emin olun.

   6. Oluştur'a tıklayın.

      Proje oluşturulur ve veri görevleri ekleyerek veri işlem hattınızı oluşturabilirsiniz.

2. Verileri alın.

   Projede Yeni ekle'ye, sonra Verileri buluta al'a tıklayın.

   Daha fazla bilgi için bk. Verileri buluta alma.

   Bu, bir yerleştirme veri görevi ve bir depolama veri görevi oluşturur. Veri çoğaltmaya başlamak için yapmanız gerekenler:

   • Yerleştirme veri görevini hazırlayıp çalıştırın.

     Daha fazla bilgi için bk. Veri kaynaklarından veri yerleştirme.

   • Depolama veri görevini hazırlayıp çalıştırın.

     Veri kümelerini saklama

3. Verileri dönüştürme

   Depolama veri görevi oluşturulduğunda, projeye geri dönün. Artık oluşturulan veri kümeleri üzerinde dönüştürme gerçekleştirebilirsiniz.
   

   Depolama veri görevinde ... üzerine tıklayın ve depolama veri görevini temel alan bir dönüştürme veri görevi oluşturmak için Verileri dönüştür'ü seçin. Dönüştürmeler hakkında talimatlar için bk. Verileri dönüştürme.

4. Alt veri ambarı oluşturma

   Bir depolama veri görevini veya bir dönüştürme veri görevini temel alarak bir veri ambarı oluşturabilirsiniz.

   Veri görevinde ... üzerine tıklayın ve bir veri ambarı veri görevi oluşturmak için Veri ambarı oluştur'u seçin. Alt veri ambarı oluşturmayla ilgili talimatlar için bk.:

   Alt veri ambarları oluşturma ve yönetme

Depolanan ve dönüştürülen veri kümelerinin ve alt veri ambarlarının ilk tam yüklemesini gerçekleştirdiğinizde, bunları analiz uygulaması gibi bir uygulamada kullanabilirsiniz. Analiz uygulamaları oluşturma hakkında daha fazla bilgi için bk. Qlik Talend Data Integration tarafından oluşturulan veri kümelerini kullanarak bir analiz uygulaması oluşturma.

Ayrıca, daha fazla veri kaynağı ekleyerek veri işlem hattını genişletebilir ve bunları dönüşümde veya alt veri ambarında birleştirebilirsiniz.

Bir projedeki işlemler

Bir veri görevi için kullanılabilen aynı işlemleri, proje işlemleri olarak gerçekleştirebilirsiniz. Bu, veri işlem hattındaki işlemleri yönetmenize olanak tanır.

• Zamanlamaları açma ve kapatma

• Tasarım işlemleri gerçekleştirme

• Veri görevlerinin yürütülmesini başlatma ve durdurma

• Veri görevlerini silme

Devam eden bir işlemin durumunu veya gerçekleştirilen en son işlemi görüntülemek için İşlemler'e tıklayın.

İşlemi durdur'a tıklayarak devam eden bir işlemi durdurabilirsiniz. Devam eden veri görevleri durdurulmaz ancak henüz başlamamış görevleri iptal eder.

Zamanlamaları açma ve kapatma

Veri görevlerinin zamanlamalarını proje düzeyinde kontrol edebilirsiniz.

• ... ve ardından Zamanla'ya tıklayın.

  Tüm veri görevlerinin veya seçili görevlerin zamanlamasını açabilir ya da kapatabilirsiniz. Yalnızca belirlenmiş bir zamanlama içeren görevler gösterilir.

  Bilgi notuBu seçenek, veri platformu olarak Qlik Cloud içeren projeler için kullanılamaz.

Bireysel veri görevlerini zamanlama hakkında daha fazla bilgi için bk.:

• Yeniden yükle ve karşılatır yerleştirme verisi görevini zamanlama

• Depolama görevi zamanlama

• Dönüştürme görevi zamanlama

• Veri ambarı görevi zamanlama

Tasarım işlemleri gerçekleştirme

Projede tüm veri görevlerinde veya seçili görevlerde tasarım işlemleri gerçekleştirebilirsiniz. Bu, tasarım işlemlerini her görevde ayrı ayrı gerçekleştirmek yerine, projedeki veri kümesi görevlerini kontrol etmeyi kolaylaştırır.

• Doğrula

  Tüm görevleri veya seçili görevleri doğrulamak için Doğrula'ya tıklayın. Son doğrulama işleminden bu yana değiştirilen veri görevleri önceden seçilmiştir.

  Veri görevleri, işlem hattı sırasında doğrulanır.

• Hazırla

  Tüm görevleri veya seçili görevleri hazırlamak için Hazırla'ya tıklayın. Son hazırlama işleminden bu yana değiştirilen veri görevleri önceden seçilmiştir.

  Veri platformu tarafından desteklenmeyen bir yapı değişikliği gerektiren veri kümelerini yeniden oluşturmayı seçebilirsiniz. Bu, veri kaybına yol açabilir.

• Yeniden oluştur

  Tüm görevler veya seçili görevler için veri kümelerini kaynaktan yeniden oluşturmak üzere ... ve ardından Yeniden oluştur'a tıklayın.

Veri görevleri çalıştırma

Görevleri tek tek çalıştırmak yerine, projedeki tüm veri görevlerinin veya seçili görevlerin yürütülmesini başlatabilirsiniz. Örneğin, tüm görevleri zamana dayalı bir zamanlamayla çalıştırabilirsiniz. Bu, olaya dayalı bir zamanlamayla aşağı akış görevlerini başlatacaktır.

• Çalıştır

  Tüm görevlerin veya seçili görevlerin yürütülmesini başlatmak için Çalıştır'a tıklayın. Bu, seçilen tüm görevlerin çalışmasını başlatır ve bunlar yürütülmeye başlar başlamaz tamamlanır.

  Çalıştırılmaya hazır tüm görevler arasından seçim yapabilirsiniz. Zamana dayalı zamanlama içeren görevler ve CDC kullanan görevler önceden seçilmiştir. Olaya dayalı zamanlama içeren görevler, işlenecek veriler içerdiğinde yürütüleceklerinden dolayı önceden seçilmemiştir.

  Veri platformu olarak Qlik Cloud içeren bir projede, tüm yerleştirme ve depolama görevleri önceden seçilmiştir.

  Bilgi notuTüm veri görevleri paralel şekilde yürütülür. Bu, bağımlılık denetimlerinin bazı görevlerin çalışmasını engelleyebileceği anlamına gelir.

• Durdur

  Tüm görevleri veya seçili görevleri durdurmak için Durdur'a tıklayın.

  Çalıştırılan görevler arasından seçim yapabilirsiniz.

Veri görevlerini silme

• Projedeki tüm veri görevlerini veya seçilen görevleri silmek için Sil'e tıklayın.

Projenin görünümünü değiştirme

Projenin iki farklı görünümü vardır. İşlem hattı görünümü'ne tıklayarak görünümler arasında geçiş yapabilirsiniz.

• İşlem hattı görünümü, veri görevlerinin veri akışını gösterir.

  Katmanlar'a tıklayarak veri görevleri için ne kadar bilginin görüneceğini seçebilirsiniz. Aşağıdaki bilgileri açın veya kapatın:

  • Durum

  • Veri güncelliği

  • Zamanlama

• Kart görünümü, veri göreviyle ilgili bilgi içeren bir kart görünümü gösterir.

  Varlık türü ve sahibi için filtre uygulayabilirsiniz.

Verileri görüntüleme

Veri işlem hattınızı tasarlarken verilerinizi görmek ve biçimlerini doğrulamak için verilerin bir örneğini görüntüleyebilirsiniz.

Şu izinler gereklidir:

• Verileri görüntülemenin Yönetim bölümünde kiracı düzeyinde etkinleştirilmesi gerekir.

  Ayarlar > Özellik kontrolü > Verileri Veri Entegrasyonu içinde görüntüle seçeneği etkinleştirilmelidir.

• Bağlantının bulunduğu alanda Verileri görüntüleyebilir rolüne sahip olmalısınız.

• Projenin bulunduğu alanda Görüntüleyebilir rolüne sahip olmalısınız.

Veri işlem hattı görünümünde örnek verileri görüntülemek için:

1. İşlem hattı görünümünün altında önizleme başlığında seçeneğine tıklayın.

2. Önizleme verisi sağlanacak veri görevini seçin.

Verilerin bir örneği görüntülenir. Satır sayısı ile örneğe eklemek istediğiniz satır sayısın ayarlayabilirsiniz.

Projeleri içe ve dışa aktarma

Bir projeyi, yeniden oluşturmak için gereken her şeyi içeren bir JSON dosyasına dışa aktarabilirsiniz. Dışa aktarılan JSON dosyası, aynı veya başka bir kiracıda içe aktarılabilir. Bunu örneğin projeleri bir kiracıdan bir başkasına taşımak veya projelerin yedek kopyalarını yapmak için kullanabilirsiniz.

Daha fazla bilgi için bk. Veri işlem hatlarını içe ve dışa aktarma.

Proje ayarları

Projede ve dahil edilen veri görevlerinde ortak olan özellikleri ayarlayabilirsiniz.

• Ayarlar'a tıklayın.

Daha fazla bilgi için bk. Veri işlem hattı proje ayarları.