Bir veri işlem hattı projesi oluşturma

Veri görevlerini kullanarak bir proje içindeki tüm veri entegrasyonunuzu gerçekleştirmek için bir veri işlem hattı oluşturabilirsiniz. Ekleme işlemi, şirket içi veya bulut ortamındaki veri kaynaklarından verileri projeye taşır ve verileri tüketime hazır veri kümelerinde depolar. Verileri bir veri deposuna veya Qlik Açık Göl Evi hedefine ekleyebilirsiniz.

Verileri bir veri deposuna eklediğinizde, oluşturulan ve dönüştürülen veri kümelerinizden yararlanmak için dönüşümler de gerçekleştirebilir ve veri reyonları oluşturabilirsiniz. Veri işlem hattı basit ve doğrusal olabileceği gibi, çeşitli veri kaynaklarını tüketen ve birçok çıktı üreten karmaşık bir işlem hattı da olabilir.

Tüm veri görevleri, ait oldukları projeyle aynı alanda oluşturulacaktır.

Ayrıca, verileri ve veri dönüşümlerini orijinal kaynağa doğru geriye dönük olarak izlemek için kökeni görüntüleyebilir ve veri görevi, veri kümesi veya alan bağımlılıklarının ileriye dönük, aşağı akış görünümünü gösteren etki analizi gerçekleştirebilirsiniz. Daha fazla bilgi için bkz. Veri Entegrasyonu öğesinde köken ve etki analizi ile çalışma.

Hedef veri platformları

Proje, tüm çıktılar için hedef olarak kullanılan bir veri platformuyla ilişkilendirilir.

Desteklenen veri platformları hakkında daha fazla bilgi için bkz. Hedefler ile bağlantılar ayarlama.

Projelere video ile giriş

Proje oluşturma örneği

Aşağıdaki örnek, veri ekleme, verileri dönüştürme ve bir veri reyonu oluşturma işlemlerini gerçekleştirir. Bu, daha fazla veri kaynağı ekleyerek, daha fazla dönüşüm oluşturarak ve oluşturulan veri görevlerini veri reyonuna ekleyerek genişletebileceğiniz basit bir doğrusal veri işlem hattı oluşturacaktır.

1. Yeni bir proje oluşturun.

   Veri Entegrasyonu > İşlem hattı projeleri bölümünde, Yeni oluştur > Proje seçeneğine tıklayın.

   1. Proje için bir ad ve açıklama girin.

      Bilgi notuDaha sonra proje için sürüm denetimini etkinleştirirseniz, sürüm denetimi altındayken proje adını değiştiremezsiniz.

   2. Projenin oluşturulacağı bir alan seçin. Tüm veri görevleri, ait oldukları projenin alanında oluşturulacaktır.

   3. Kullanım durumu bölümünde Veri işlem hattı seçeneğini belirleyin.

   4. Projede hangi veri platformunun kullanılacağını seçin.

   5. Projede kullanmak istediğiniz bulut veri deposu için bir bağlantı seçin. Bu, veri dosyalarını yerleştirmek ve veri kümelerini ve görünümleri depolamak için kullanılacaktır. Henüz bir bağlantı hazırlamadıysanız, Yeni oluştur ile bir tane oluşturun.

      • Veri platformu olarak Google BigQuery, Databricks veya Microsoft Azure Synapse Analytics seçtiyseniz, bir hazırlama alanına da bağlanmanız gerekir.

      • Veri platformu olarak Snowflake seçtiyseniz, verileri bulut depolama alanına yerleştirmeyi seçebilirsiniz. Bkz. Bir göl evine veri yerleştirme.

      • Veri platformu olarak Qlik Cloud seçtiyseniz:

        Verileri Qlik tarafından yönetilen depolama alanında veya kendi yönettiğiniz Amazon S3 demetinde depolayabilirsiniz. Kendi Amazon S3 demetinizi kullanmak istiyorsanız, o demet için bir bağlantı seçmeniz gerekir.

        Her iki durumda da, bir Amazon S3 hazırlama alanına bağlantı seçmeniz gerekir. Önceki adımda tanımladığınız aynı demeti kullanıyorsanız, hazırlama için demet içinde başka bir klasör kullandığınızdan emin olun.

   6. Oluştur'a tıklayın.

      Proje oluşturulur ve veri görevleri ekleyerek veri işlem hattınızı oluşturabilirsiniz.

2. Verileri ekleyin

   Projede, Oluştur'a ve ardından Veri ekle'ye tıklayın.

   Daha fazla bilgi için bkz. Veri ambarına veri ekleme.

   Bu, bir yerleştirme veri görevi ve bir depolama veri görevi oluşturacaktır. Verileri çoğaltmaya başlamak için şunları yapmanız gerekir:

   • Yerleştirme veri görevini hazırlayın ve çalıştırın.

     Daha fazla bilgi için bkz. Veri kaynaklarından veri yerleştirme.

   • Depolama veri görevini hazırlayın ve çalıştırın.

     Daha fazla bilgi için bkz. Veri kümelerini saklama.

3. Verileri dönüştürme

   Depolama veri görevi oluşturulduğunda projeye geri dönün. Artık oluşturulan veri kümeleri üzerinde dönüşümler gerçekleştirebilirsiniz.
   

   Bu depolama veri görevine dayalı bir dönüşüm veri görevi oluşturmak için depolama veri görevinde ... simgesine tıklayın ve Veri dönüştür seçeneğini belirleyin. Dönüşümlerle ilgili talimatlar için bkz. Verileri dönüştürme.

4. Veri reyonu oluşturma

   Bir depolama veri görevine veya bir dönüşüm veri görevine dayalı olarak bir veri reyonu oluşturabilirsiniz.

   Bir veri reyonu veri görevi oluşturmak için veri görevinde ... simgesine tıklayın ve Veri reyonu oluştur seçeneğini belirleyin. Veri reyonu oluşturma ile ilgili talimatlar için bkz:

   Creating and managing data marts

Depolanan ve dönüştürülen veri kümelerinin ve veri reyonlarının ilk tam yük işlemini gerçekleştirdiğinizde, bunları örneğin bir analitik uygulamasında kullanabilirsiniz. Analitik uygulamaları oluşturma hakkında daha fazla bilgi için bkz. Veri Entegrasyonu'nda oluşturulan veri kümelerini kullanarak bir analiz uygulaması oluşturma.

Ayrıca daha fazla veri kaynağı ekleyerek veri işlem hattını genişletebilir ve bunları dönüşümde veya veri reyonunda birleştirebilirsiniz.

Projeler arası işlem hatları oluşturma

Bir görevin başka bir projedeki görevleri tüketebileceği projeler arası işlem hatları oluşturabilirsiniz. Bu, birkaç olası yolla segmentasyon elde etmenizi sağlar:

• Her organizasyon birimi için ayrı bir veri hareketi işlem hattı oluşturabilir ve çıktıları tek bir veri reyonu işlem hattında tüketebilirsiniz.

• Tek bir veri hareketi işlem hattı oluşturabilir ve çıktıyı birkaç dönüşüm işlem hattında tüketebilirsiniz.

Dönüştürme ve Veri reyonu görevleri, başka bir projede bulunan Depolama ve Dönüştürme görevlerini tüketebilir.

• Tüketilen projenin alanında en az Tüketebilir rolüne sahip olmalısınız.

• Her iki proje de aynı veri platformunda olmalıdır.

Bir görevin tüm veri kümeleri aşağı akış projeleriyle paylaşılır. Bu, veri kümesi ayrımı elde etmek istiyorsanız, bir dönüştürme görevi oluşturarak tüketilen projedeki veri kümelerini filtrelemeniz gerektiği anlamına gelir.

Projeler görünümünde, başka bir proje tarafından tüketilen görevleri ve diğer projelerden geçerli projede tüketilen görevleri görüntüleyebilirsiniz. Geçerli projenin dışındaki tüm görevler gridir. Bağımlılıklar ada göre değil referansa göredir, bu da referansı bozmadan bir görevi yeniden adlandırabileceğiniz anlamına gelir. Bu aynı zamanda, tüketilen bir görevi siler ve aynı ada sahip yeni bir görev oluşturursanız referansın yine de bozulacağı anlamına gelir.

Mevcut verileri yeniden kullanmanın birkaç yolu vardır:

• Yeni bir proje oluşturma

  Bir proje oluşturduktan sonra Başka bir projeden veri kullan seçeneğini belirleyin.

  Başka bir işlem hattından eklenen verileri tüketerek bir dönüşüm veya veri reyonu oluşturabilirsiniz.

• Bir Dönüştürme görevinde veya Veri reyonu görevinde, Kaynak verileri seç bölümünde başka bir projeden veri seçebilirsiniz.

  Kaynak verileri seçerken Proje seçeneğini belirleyin. Seçilen proje sürüm denetimi altındaysa bir Dal seçin. Varsayılan dal main dalıdır. Veri görevi listesi, seçilen dalı yansıtacak şekilde güncellenir. Ardından hangi veri kümelerinin mevcut olduğunu görmek için bir Veri görevi seçin.

Bu projedeki bir görevi tüketen diğer projelerdeki görevleri görüntülemek isteyip istemediğinizi seçebilirsiniz.

• Katmanlar'a tıklayın ve Projeler arası çıktı seçeneğini açın veya kapatın.

Geçerli projenin dışındaki tüm görevler gridir.

Sürüm denetimi sınırlamaları

Projeler arası işlem hatları birkaç proje arasında bölündüğünden, bu durum sürüm denetimi kullanırken karmaşıklık katar. Bu örneklerde Project1, Project2 tarafından tüketilmektedir.

• Project2, Project1'in belirli bir dalını tüketebilir. Dönüştürme veya veri reyonu görevinde Kaynak verileri seç bölümünden dalı seçin. Varsayılan dal main dalıdır. Başvurulan proje sürüm denetimi altında değilse, dal seçici gösterilmez ve Project2 projeyi olduğu gibi kullanır.

• Project1 için bir dal oluşturabilirsiniz, ancak dallanmış sürüm Project2 tarafından tüketildiğini göstermeyecektir.

• Project2'yi main dalıyla birleştirebilirsiniz, ancak bağımlılık var olmaya devam edecektir.

En iyi uygulamalar

• Geçerli olduklarından emin olmak için tüketilen projedeki görevlerin en azından hazırlanmış olduğunu kontrol edin.

• Kiracılar arasında projeleri dışa aktarmayı ve içe aktarmayı planlıyorsanız, kiracılardaki alanlar ve projeler için aynı adları tutmanız daha kolay olacaktır. Adlar farklıysa, projeyi içe aktarırken projeleri ve görevleri eşlemeniz gerekecektir.

• Dışa aktarma ve içe aktarma kullanarak veri platformunu değiştirmek istiyorsanız, bağımlılıkları olan tüm projeler aynı platformda olmalıdır.

  Güvenli ve kolay bir platform değişikliği için bu adımları izleyin. Bu örnekte tüketilen proje Consumed olarak adlandırılır ve Consumed projesinden okuyan proje Consumer olarak adlandırılır.

  1. Consumed ve Consumer projelerini dışa aktarın.

  2. Yeni veri platformuna geçerek Consumed projesini Consumed_New olarak içe aktarın.

  3. Consumed_New ile aynı veri platformuna geçerek ve kaynak projeyi (Consumed) Consumed_New ile değiştirerek Consumer projesini Consumer_New olarak içe aktarın.

Bir veri işlem hattı projesindeki işlemler

Bir veri görevi için mevcut olan aynı işlemleri proje işlemleri olarak gerçekleştirebilirsiniz. Bu, veri işlem hattındaki işlemleri düzenlemenize olanak tanır.

• Zamanlamaları açma ve kapatma

• Tasarım işlemlerini gerçekleştirme

• Veri görevlerinin yürütülmesini başlatma ve durdurma

• Veri görevlerini silme

Devam eden bir işlemin veya gerçekleştirilen en son işlemin durumunu görüntülemek için İşlemler'e tıklayın.

İşlemi durdur'a tıklayarak devam eden bir işlemi durdurabilirsiniz. Devam eden veri görevleri durdurulmaz, ancak henüz başlamamış olan görevler iptal edilir.

Zamanlamaları açma ve kapatma

Veri görevleri için zamanlamaları proje düzeyinde kontrol edebilirsiniz.

• ... simgesine ve ardından Zamanlama'ya tıklayın.

  Tüm veri görevleri veya seçili görevler için zamanlamayı açabilir veya kapatabilirsiniz. Yalnızca zamanlaması tanımlanmış görevler görüntülenir.

  Bilgi notuBu seçenek, veri platformu olarak Qlik Cloud kullanan projeler için kullanılamaz.

Bireysel veri görevlerini zamanlama hakkında daha fazla bilgi için bkz:

• Yeniden yükle ve karşılatır yerleştirme verisi görevini zamanlama

• Depolama görevi zamanlama

• Bir dönüşüm görevini zamanlama

• Bir veri reyonu görevini zamanlama

Tasarım işlemlerini gerçekleştirme

Projedeki tüm veri görevlerinde veya seçili görevlerde tasarım işlemleri gerçekleştirebilirsiniz. Bu, tasarım işlemlerini her görevde ayrı ayrı gerçekleştirmek yerine projedeki veri kümesi görevlerini kontrol etmeyi kolaylaştırır.

• Doğrula

  Tüm görevleri veya seçili görevleri doğrulamak için Doğrula'ya tıklayın. Son doğrulama işleminden bu yana değiştirilen veri görevleri önceden seçilir.

  Veri görevleri işlem hattı sırasına göre doğrulanır.

• Hazırla

  Tüm görevleri veya seçili görevleri hazırlamak için Hazırla'ya tıklayın. Son hazırlama işleminden bu yana değiştirilen veri görevleri önceden seçilir.

  Veri platformu tarafından desteklenmeyen bir yapı değişikliği gerektiren veri kümelerini yeniden oluşturmayı seçebilirsiniz. Bu, veri kaybına yol açabilir.

• Yeniden oluştur

  Tüm görevler veya seçili görevler için veri kümelerini kaynaktan yeniden oluşturmak üzere ... simgesine ve ardından Tabloları yeniden oluştur'a tıklayın.

  Bilgi notuAyrı ayrı tablolarla ilgili sorunlar varsa tabloları yeniden oluşturmak yerine önce yeniden yüklemeyi denemek önerilir. Tabloların yeniden oluşturulması geçmiş verilerin kaybedilmesine neden olabilir. Performansı bozacak değişiklikler varsa yeniden oluşturulan veri görevlerini kullanan aşağı akış veri görevlerini de verileri yeniden yükleyecek şekilde hazırlamanız gerekir.

Veri görevlerini çalıştırma

Görevleri ayrı ayrı çalıştırmak yerine projedeki tüm veri görevlerinin veya seçili görevlerin yürütülmesini başlatabilirsiniz. Örneğin, zamana dayalı bir zamanlamaya sahip tüm görevleri çalıştırabilirsiniz. Bu, olaya dayalı bir zamanlamaya sahip aşağı akış görevlerini başlatacaktır.

• Çalıştır

  Tüm görevlerin veya seçili görevlerin yürütülmesini başlatmak için Çalıştır'a tıklayın. Bu, seçilen tüm görevlerin çalıştırılmasını başlatır ve yürütülmeye başlar başlamaz tamamlanır.

  Çalışmaya hazır olan tüm görevler arasından seçim yapabilirsiniz. Zamana dayalı bir zamanlamaya sahip görevler ve CDC kullanan görevler önceden seçilir. Olaya dayalı bir zamanlamaya sahip görevler, işlenecek verileri olduğunda yürütülecekleri için önceden seçilmez.

  Veri platformu olarak Qlik Cloud kullanan bir projede, tüm yerleştirme ve depolama görevleri önceden seçilir.

  Bilgi notuTüm veri görevleri paralel olarak yürütülür. Bu, bağımlılık kontrollerinin bazı görevlerin çalışmasını engelleyebileceği anlamına gelir.

• Durdur

  Tüm görevleri veya seçili görevleri durdurmak için Durdur'a tıklayın.

  Çalışan görevler arasından seçim yapabilirsiniz.

Veri görevlerini silme

• Projedeki tüm veri görevlerini veya seçili görevleri silmek için Sil'e tıklayın.

Çalışan görevleri veya diğer görevler tarafından kullanılan görevleri silmek mümkün değildir.

Bir projenin görünümünü değiştirme

Projenin iki farklı görünümü vardır. İşlem hattı görünümü'ne tıklayarak görünümler arasında geçiş yapabilirsiniz.

• İşlem hattı görünümü, veri görevlerinin veri akışını gösterir.

  Katmanlar'a tıklayarak veri görevleri için ne kadar bilgi gösterileceğini seçebilirsiniz. Aşağıdaki bilgileri açın veya kapatın:

  • Durum

  • Veri güncelliği

  • Zamanlama

  • Projeler arası çıktı

    Bu, bu projedeki bir görevi tüketen diğer projelerdeki görevleri görüntüleyecektir. Geçerli projenin dışındaki tüm görevler gridir.

• Kart görünümü, veri görevi hakkında bilgiler içeren bir kart görünümü gösterir.

  Varlık türüne ve sahibine göre filtreleme yapabilirsiniz.

Bir projeyi silme

• İşlem hattı projeleri görünümünde, bir projede simgesine tıklayın ve Sil seçeneğini belirleyin.

Eserlerin her zaman tutulduğu aşağıdaki türler hariç olmak üzere, her bir görev için bir görev tarafından oluşturulan eserleri (tablolar ve görünümler) tutmayı seçebilirsiniz:

• Yerleştirme görevleri

• Göl yerleştirme görevleri

• Çoğaltma görevleri

Verileri görüntüleme

Veri işlem hattınızı tasarlarken verilerinizin şeklini görmek ve doğrulamak için verilerin bir örneğini görüntüleyebilirsiniz.

Aşağıdaki izinler gereklidir:

• Verileri görüntüleme, Yönetim içinde kiracı düzeyinde etkinleştirilir.

  Ayarlar > Özellik kontrolü > Veri Entegrasyonu içinde verileri görüntüleme seçeneğini etkinleştirin.

• Bağlantının bulunduğu alanda size Verileri görüntüleyebilir rolü atanmıştır.

• Projenin bulunduğu alanda size Görüntüleyebilir rolü atanmıştır.

Veri işlem hattı görünümünde örnek verileri görüntülemek için:

1. İşlem hattı görünümünün altındaki önizleme başlığında simgesine tıklayın.

2. Hangi veri görevi için verilerin önizleneceğini seçin.

Verilerin bir örneği görüntülenir. Satır sayısı ile örneğe kaç veri satırının dahil edileceğini ayarlayabilirsiniz.

Projeleri dışa aktarma ve içe aktarma

Bir projeyi, projeyi yeniden oluşturmak için gereken her şeyi içeren bir JSON dosyasına dışa aktarabilirsiniz. Dışa aktarılan JSON dosyası aynı kiracıda veya başka bir kiracıda içe aktarılabilir. Bunu, örneğin projeleri bir kiracıdan diğerine taşımak veya projelerin yedek kopyalarını oluşturmak için kullanabilirsiniz.

Daha fazla bilgi için bkz. Veri işlem hatlarını içe ve dışa aktarma.

Bir projenin sahibini değiştirme

Veri görevleri, ait oldukları projenin sahibi bağlamında çalışır. Veri projesindeki tüm görevlerin kontrolünü başka bir kullanıcıya aktarmak için bir projenin sahibini değiştirebilirsiniz. Bu, örneğin silinmiş bir kullanıcıya ait projeler varsa yararlıdır.

• Proje görünümünde ... simgesine ve ardından Sahibi değiştir'e tıklayın.

Sahiplik değişikliği projedeki tüm görevler için geçerli olacaktır. Projedeki görevler tarafından oluşturulan tüm kataloglanmış veri kümeleri de sahip değiştirecektir.

Veri platformu bağlantısını değiştirme

Bir proje için Veri platformu bağlantısını değiştirirseniz şunları yapmalısınız:

1. Tüm yerleştirme görevlerinde tabloları yeniden oluşturun.

2. Projedeki diğer tüm görevleri hazırlayın.

Proje bilgilerini görüntüleme

Proje bilgilerini görüntülemek için menü çubuğundaki öğesine tıklayın, örneğin:

• Sahip

• Kullanılabilir alan

• Veri platformu

• Proje Kimliği

Proje ayarları

Proje ve dahil edilen tüm veri görevleri için ortak olan özellikleri ayarlayabilirsiniz.

• Ayarlar'a tıklayın.

Daha fazla bilgi için bkz. Veri işlem hattı proje ayarları.