Bir veri işlem hattı projesi oluşturma

Veri görevlerini kullanarak bir proje içinde tüm veri entegrasyonunuzu gerçekleştirmek için bir veri işlem hattı oluşturabilirsiniz. Alım, verileri şirket içi veya buluttaki veri kaynaklarından projeye taşır ve verileri tüketime hazır veri setlerinde depolar. Ayrıca, oluşturulan ve dönüştürülen veri setlerinizden yararlanmak için dönüşümler gerçekleştirebilir ve veri ambarları oluşturabilirsiniz. Veri işlem hattı basit ve doğrusal olabilir veya birkaç veri kaynağı tüketen ve birçok çıktı üreten karmaşık bir işlem hattı olabilir.

Tüm veri görevleri ait oldukları proje ile aynı alanda oluşturulur.

Ayrıca, verileri ve veri dönüşümlerini orijinal kaynağa kadar geriye doğru izlemek için kökeni görüntüleyebilir ve veri görevi, veri kümesi veya alan bağımlılıklarının ileriye dönük, aşağı akış görünümünü gösteren etki analizi gerçekleştirebilirsiniz. Daha fazla bilgi için bk. Veri Entegrasyonu öğesinde köken ve etki analizi ile çalışma.

Hedef veri platformları

Proje, tüm çıktılar için hedef olarak kullanılan bir veri platformuyla ilişkilendirilir.

Desteklenen veri platformları hakkında daha fazla bilgi edinmek için bk. Hedefler ile bağlantılar ayarlama.

Projelere videolu giriş

Bir proje oluşturma örneği

Aşağıdaki örnekte, verileri ekleme, verileri dönüştürme ve bir alt veri ambarı oluşturma işlemlerini gerçekleştirilmektedir. Bu, daha fazla veri kaynağı ekleyerek genişletebileceğiniz, daha fazla dönüşüm yaratabileceğiniz ve oluşturulan veri görevlerini veri ambarına ekleyebileceğiniz basit bir doğrusal veri işlem hattı oluşturacaktır.

1. Yeni bir proje oluşturun.

   Veri Entegrasyonu > Projeler bölümünde Yeni oluştur > Proje'ye tıklayın.

   1. Proje için bir ad ve açıklama girin.

      Bilgi notuDaha sonra proje için sürüm kontrolünü etkinleştirirseniz sürüm kontrolü altındayken proje adını değiştiremezsiniz.

   2. Projeyi oluşturmak için bir alan seçin. Tüm veri görevleri, ait oldukları projenin alanında oluşturulur.

   3. Kullanım durumunda Veri işlem hattı seçeneğini belirleyin.

   4. Projede kullanılacak olan veri platformunu seçin.

   5. Projede kullanmak istediğiniz bulut veri deposuna bağlantıyı seçin. Bu, veri dosyalarını yerleştirmek, veri kümelerini ve görünümleri depolamak için kullanılacaktır. Zaten bir bağlantı hazırlamadıysanız Yeni oluştur'a tıklayarak bir tane oluşturun.

      • Veri platformu olarak Google BigQuery, Databricks veya Microsoft Azure Synapse Analytics'i seçtiyseniz bir hazırlama alanına da bağlanmanız gerekir.

      • Veri platformu olarak Snowflake'i seçtiyseniz verileri bulut depolama alanına indirmeyi seçebilirsiniz. Bkz. Bir göl evine veri yerleştirme.

      • Veri platformu olarak Qlik Cloud seçtiyseniz:

        Verileri Qlik tarafından yönetilen depolamada veya kendi yönetilen Amazon S3 demetinizde depolayabilirsiniz. Kendi Amazon S3 demetinizi kullanmak istiyorsanız bu demet için bir bağlantı seçmeniz gerekir.

        Her iki durumda da bir Amazon S3 hazırlama alanına bir bağlantı da seçmeniz gerekir. Önceki adımda tanımladığınız demeti kullanıyorsanız, hazırlama için demette başka bir klasör kullandığınızdan emin olun.

   6. Oluştur'a tıklayın.

      Proje oluşturulur ve veri görevleri ekleyerek veri işlem hattınızı oluşturabilirsiniz.

2. Verileri alın.

   Projede Oluştur'a, sonra Verileri buluta al'a tıklayın.

   Daha fazla bilgi için bk. Verileri buluta alma.

   Bu, bir yerleştirme veri görevi ve bir depolama veri görevi oluşturur. Veri çoğaltmaya başlamak için yapmanız gerekenler:

   • Yerleştirme veri görevini hazırlayıp çalıştırın.

     Daha fazla bilgi için bk. Veri kaynaklarından veri yerleştirme.

   • Depolama veri görevini hazırlayıp çalıştırın.

     Veri kümelerini saklama

3. Verileri dönüştürme

   Depolama veri görevi oluşturulduğunda, projeye geri dönün. Artık oluşturulan veri kümeleri üzerinde dönüştürme gerçekleştirebilirsiniz.
   

   Depolama veri görevinde ... üzerine tıklayın ve depolama veri görevini temel alan bir dönüştürme veri görevi oluşturmak için Verileri dönüştür'ü seçin. Dönüştürmeler hakkında talimatlar için bk. Verileri dönüştürme.

4. Alt veri ambarı oluşturma

   Bir depolama veri görevini veya bir dönüştürme veri görevini temel alarak bir veri ambarı oluşturabilirsiniz.

   Veri görevinde ... üzerine tıklayın ve bir veri ambarı veri görevi oluşturmak için Veri ambarı oluştur'u seçin. Alt veri ambarı oluşturmayla ilgili talimatlar için bk.:

   Alt veri ambarları oluşturma ve yönetme

Depolanan ve dönüştürülen veri kümelerinin ve alt veri ambarlarının ilk tam yüklemesini gerçekleştirdiğinizde, bunları analiz uygulaması gibi bir uygulamada kullanabilirsiniz. Analiz uygulamaları oluşturma hakkında daha fazla bilgi için bk. Veri Entegrasyonu'nda oluşturulan veri kümelerini kullanarak bir analiz uygulaması oluşturma.

Ayrıca, daha fazla veri kaynağı ekleyerek veri işlem hattını genişletebilir ve bunları dönüşümde veya alt veri ambarında birleştirebilirsiniz.

Projeler arası işlem hatları oluşturma

Bir görevin başka bir projedeki görevleri kullanabileceği projeler arası işlem hatları oluşturabilirsiniz. Bu, segmentasyonu birkaç olası yolla gerçekleştirmenizi sağlar:

• Her organizasyonel birim için ayrı bir veri hareketi işlem hattı oluşturabilir ve çıktıları tek bir veri ambarı işlem hattında kullanabilirsiniz.

• Tek bir veri hareketi işlem hattı oluşturabilir ve çıktıyı birkaç dönüşüm işlem hattında kullanabilirsiniz.

Dönüştürme ve Veri ambarı görevleri, başka bir projede bulunan Depolama ve Dönüştürme görevlerini kullanabilir.

• Kullanılan projenin alanında en azından Kullanabilir rolüne sahip olmalısınız.

• Her iki proje de aynı veri platformunda olmalıdır.

Bir görevin tüm veri kümeleri alt projelerle paylaşılır. Bu, veri kümesi ayrımı elde etmek istiyorsanız kullanılan projede bir dönüştürme görevi oluşturarak veri kümelerini filtrelemeniz gerektiği anlamına gelir.

Projeler görünümünde, başka bir proje tarafından kullanılan görevleri ve mevcut projede kullanılan diğer projelerdeki görevleri görüntüleyebilirsiniz. Geçerli proje dışındaki tüm görevler gri renktedir. Bağımlılıklar isme göre değil referansa göredir, bu da referansı bozmadan bir görevi yeniden adlandırabileceğiniz anlamına gelir. Bu aynı zamanda, kullanılan bir görevi silip aynı adla yeni bir görev oluşturduğunuzda referansın yine de bozulacağı anlamına gelir.

Mevcut verileri yeniden kullanmanın çeşitli yolları vardır:

• Yeni bir proje oluşturma

  Bir proje oluşturduktan sonra Başka bir projedeki verileri kullan seçeneğini belirleyin.

  Başka bir işlem hattından gelen verileri kullanarak bir dönüşüm veya veri ambarı oluşturabilirsiniz.

• Bir Dönüştürme görevinde veya Veri ambarı görevinde, Kaynak verileri seç alanında başka bir projeden veri seçebilirsiniz.

  Kaynak verileri seçerken, hangi veri kümelerinin kullanılabilir olduğunu görmek için Proje'yi ve ardından Veri görevi'ni seçin.

Bu projedeki bir görevi kullanan diğer projelerdeki görevleri görüntülemek isteyip istemediğinizi seçebilirsiniz.

• Katmanlar'a tıklayın ve Projeler arası çıktı'yı açın veya kapatın.

Geçerli proje dışındaki tüm görevler gri renktedir.

Sürüm kontrolü sınırlamaları

Projeler arası işlem hatları birkaç proje arasında bölündüğünden, bu durum sürüm kontrolünü kullanırken karmaşıklık yaratır. Bu örneklerde Project1, Project2 tarafından kullanılmaktadır.

• Project2 yalnızca Project1'ın ana dalını kullanabilir, ancak Project2'nun kendisi farklı bir dalda olabilir.

• Project1 için bir dal oluşturabilirsiniz, ancak dallanmış sürüm Project2 tarafından kullanıldığını göstermeyecektir.

• Project2'yi ana öğe ile birleştirebilirsiniz, ancak bağımlılık devam edecektir.

En iyi uygulamalar

• Kullanılan projedeki görevlerin geçerli olduğundan emin olmak için en azından hazır olup olmadıklarını kontrol edin.

• Projeler arasında bir döngü veya karşılıklı bağımlılık yaratan işlem hatları tasarlamaktan kaçının.

• Projeleri kiracılar arasında dışa ve içe aktarmayı planlıyorsanız kiracılardaki alanlar ve projeler için aynı adları tutmanız daha kolay olacaktır. Adlar farklıysa projeyi içe aktarırken projeleri ve görevleri eşlemeniz gerekecektir.

• Dışa ve içe aktarmayı kullanarak veri platformunu değiştirmek istiyorsanız bağımlılıkları olan tüm projeler aynı platformda olmalıdır.

  Güvenli ve kolay bir platform değişimi için bu adımları izleyin. Bu örnekte kullanılan projeye Consumed, Consumed'dan değer okuyan projeye de Consumer adı verilir.

  1. Consumed ve Consumer'ı dışa aktarın.

  2. Consumed'u Consumed_New'a aktararak yeni veri platformu olarak değiştirin.

  3. Consumer'ı Consumer_New'a aktararak Consumed_New ile aynı veri platformuna geçirin ve kaynak projeyi (Consumed) Consumed_New ile değiştirin.

Bir veri işlem hattı projesindeki işlemler

Bir veri görevi için kullanılabilen aynı işlemleri, proje işlemleri olarak gerçekleştirebilirsiniz. Bu, veri işlem hattındaki işlemleri yönetmenize olanak tanır.

• Zamanlamaları açma ve kapatma

• Tasarım işlemleri gerçekleştirme

• Veri görevlerinin yürütülmesini başlatma ve durdurma

• Veri görevlerini silme

Devam eden bir işlemin durumunu veya gerçekleştirilen en son işlemi görüntülemek için İşlemler'e tıklayın.

İşlemi durdur'a tıklayarak devam eden bir işlemi durdurabilirsiniz. Devam eden veri görevleri durdurulmaz ancak henüz başlamamış görevleri iptal eder.

Zamanlamaları açma ve kapatma

Veri görevlerinin zamanlamalarını proje düzeyinde kontrol edebilirsiniz.

• ... ve ardından Zamanla'ya tıklayın.

  Tüm veri görevlerinin veya seçili görevlerin zamanlamasını açabilir ya da kapatabilirsiniz. Yalnızca belirlenmiş bir zamanlama içeren görevler gösterilir.

  Bilgi notuBu seçenek, veri platformu olarak Qlik Cloud içeren projeler için kullanılamaz.

Bireysel veri görevlerini zamanlama hakkında daha fazla bilgi için bk.:

• Yeniden yükle ve karşılatır yerleştirme verisi görevini zamanlama

• Depolama görevi zamanlama

• Dönüştürme görevi zamanlama

• Veri ambarı görevi zamanlama

Tasarım işlemleri gerçekleştirme

Projede tüm veri görevlerinde veya seçili görevlerde tasarım işlemleri gerçekleştirebilirsiniz. Bu, tasarım işlemlerini her görevde ayrı ayrı gerçekleştirmek yerine, projedeki veri kümesi görevlerini kontrol etmeyi kolaylaştırır.

• Doğrula

  Tüm görevleri veya seçili görevleri doğrulamak için Doğrula'ya tıklayın. Son doğrulama işleminden bu yana değiştirilen veri görevleri önceden seçilmiştir.

  Veri görevleri, işlem hattı sırasında doğrulanır.

• Hazırla

  Tüm görevleri veya seçili görevleri hazırlamak için Hazırla'ya tıklayın. Son hazırlama işleminden bu yana değiştirilen veri görevleri önceden seçilmiştir.

  Veri platformu tarafından desteklenmeyen bir yapı değişikliği gerektiren veri kümelerini yeniden oluşturmayı seçebilirsiniz. Bu, veri kaybına yol açabilir.

• Yeniden oluştur

  Tüm görevler veya seçili görevler için veri kümelerini kaynaktan yeniden oluşturmak üzere ... ve ardından Tabloları yeniden oluştur'a tıklayın.

  Bilgi notuAyrı ayrı tablolarla ilgili sorunlar varsa tabloları yeniden oluşturmak yerine önce yeniden yüklemeyi denemek önerilir. Tabloların yeniden oluşturulması geçmiş verilerin kaybedilmesine neden olabilir. Performansı bozacak değişiklikler varsa yeniden oluşturulan veri görevlerini kullanan aşağı akış veri görevlerini de verileri yeniden yükleyecek şekilde hazırlamanız gerekir.

Veri görevleri çalıştırma

Görevleri tek tek çalıştırmak yerine, projedeki tüm veri görevlerinin veya seçili görevlerin yürütülmesini başlatabilirsiniz. Örneğin, tüm görevleri zamana dayalı bir zamanlamayla çalıştırabilirsiniz. Bu, olaya dayalı bir zamanlamayla aşağı akış görevlerini başlatacaktır.

• Çalıştır

  Tüm görevlerin veya seçili görevlerin yürütülmesini başlatmak için Çalıştır'a tıklayın. Bu, seçilen tüm görevlerin çalışmasını başlatır ve bunlar yürütülmeye başlar başlamaz tamamlanır.

  Çalıştırılmaya hazır tüm görevler arasından seçim yapabilirsiniz. Zamana dayalı zamanlama içeren görevler ve CDC kullanan görevler önceden seçilmiştir. Olaya dayalı zamanlama içeren görevler, işlenecek veriler içerdiğinde yürütüleceklerinden dolayı önceden seçilmemiştir.

  Veri platformu olarak Qlik Cloud içeren bir projede, tüm yerleştirme ve depolama görevleri önceden seçilmiştir.

  Bilgi notuTüm veri görevleri paralel şekilde yürütülür. Bu, bağımlılık denetimlerinin bazı görevlerin çalışmasını engelleyebileceği anlamına gelir.

• Durdur

  Tüm görevleri veya seçili görevleri durdurmak için Durdur'a tıklayın.

  Çalıştırılan görevler arasından seçim yapabilirsiniz.

Veri görevlerini silme

• Projedeki tüm veri görevlerini veya seçilen görevleri silmek için Sil'e tıklayın.

Projenin görünümünü değiştirme

Projenin iki farklı görünümü vardır. İşlem hattı görünümü'ne tıklayarak görünümler arasında geçiş yapabilirsiniz.

• İşlem hattı görünümü, veri görevlerinin veri akışını gösterir.

  Katmanlar'a tıklayarak veri görevleri için ne kadar bilginin görüneceğini seçebilirsiniz. Aşağıdaki bilgileri açın veya kapatın:

  • Durum

  • Veri güncelliği

  • Zamanlama

  • Projeler arası çıktı

    Böylece, bu projedeki bir görevi kullanan diğer projelerdeki görevler görüntülenir. Geçerli proje dışındaki tüm görevler gri renktedir.

• Kart görünümü, veri göreviyle ilgili bilgi içeren bir kart görünümü gösterir.

  Varlık türü ve sahibi için filtre uygulayabilirsiniz.

Verileri görüntüleme

Veri işlem hattınızı tasarlarken verilerinizi görmek ve biçimlerini doğrulamak için verilerin bir örneğini görüntüleyebilirsiniz.

Şu izinler gereklidir:

• Verileri görüntülemenin Yönetim bölümünde kiracı düzeyinde etkinleştirilmesi gerekir.

  Ayarlar > Özellik kontrolü > Verileri Veri Entegrasyonu içinde görüntüle seçeneği etkinleştirilmelidir.

• Bağlantının bulunduğu alanda Verileri görüntüleyebilir rolüne sahip olmalısınız.

• Projenin bulunduğu alanda Görüntüleyebilir rolüne sahip olmalısınız.

Veri işlem hattı görünümünde örnek verileri görüntülemek için:

1. İşlem hattı görünümünün altında önizleme başlığında seçeneğine tıklayın.

2. Önizleme verisi sağlanacak veri görevini seçin.

Verilerin bir örneği görüntülenir. Satır sayısı ile örneğe eklemek istediğiniz satır sayısın ayarlayabilirsiniz.

Projeleri içe ve dışa aktarma

Bir projeyi, yeniden oluşturmak için gereken her şeyi içeren bir JSON dosyasına dışa aktarabilirsiniz. Dışa aktarılan JSON dosyası, aynı veya başka bir kiracıda içe aktarılabilir. Bunu örneğin projeleri bir kiracıdan bir başkasına taşımak veya projelerin yedek kopyalarını yapmak için kullanabilirsiniz.

Daha fazla bilgi için bk. Veri işlem hatlarını içe ve dışa aktarma.

Bir projenin sahibini değiştirme

Veri görevleri, ait oldukları projenin sahibi bağlamında çalışır. Bir projenin sahibini değiştirerek veri projesindeki tüm görevlerin kontrolünü başka bir kullanıcıya aktarabilirsiniz. Bu, örneğin silinen bir kullanıcıya ait projeler varsa kullanışlıdır.

• Proje görünümünde, ... öğesine ve ardından Sahibi değiştir öğesine tıklayın.

Sahiplik değişikliği projedeki tüm görevler için geçerli olacaktır. Projedeki görevler tarafından oluşturulan tüm kataloglanmış veri kümelerinin sahibi de değişecektir.

Proje ayarları

Projede ve dahil edilen veri görevlerinde ortak olan özellikleri ayarlayabilirsiniz.

• Ayarlar'a tıklayın.

Daha fazla bilgi için bk. Veri işlem hattı proje ayarları.