Bir veri projesinde bir veri işlem hattı oluşturma

Veri görevlerini kullanarak bir veri projesi içinde tüm veri entegrasyonunuzu gerçekleştirmek için bir veri işlem hattı oluşturabilirsiniz. Alım, verileri şirket içi veya buluttaki veri kaynaklarından projeye taşır ve verileri tüketime hazır veri setlerinde depolar. Ayrıca, oluşturulan ve dönüştürülen veri setlerinizden yararlanmak için dönüşümler gerçekleştirebilir ve veri ambarları oluşturabilirsiniz. Veri işlem hattı basit ve doğrusal olabilir veya birkaç veri kaynağı tüketen ve birçok çıktı üreten karmaşık bir işlem hattı olabilir.

Bunlar, bir veri projesinde gerçekleştirebileceğiniz ana görevlerdir. Bunları, uygun gördüğünüz şekilde birleştirebilirsiniz.

1. Verileri al.

   Buna, verilerin bir hazırlama alanına yerleştirilmesi ve ardından veri kümelerinin bir bulut veri ambarında depolanması dahildir. Yerleştirme ve Depolama veri görevleri tek bir adımda oluşturulur. İhtiyaç duyarsanız, yerleştirme ve depolamayı ayrı görevlerde gerçekleştirebilirsiniz.

   Verileri buluta alma

2. Verileri kaydet

   Halihazırda veri platformunda var olan verileri kaydedin ve okuma için optimize edilmiş biçimde veri kümeleri oluşturun. Bu, Qlik Cloud Veri Entegrasyonu dışındaki diğer araçlarla buluta alınan verileri kullanmanıza olanak tanır (ör. Qlik Replicate).

   Veri platformunda zaten mevcut olan verileri kaydetme

3. Alınan veriyi dönüştür.

   Kuralları ve özel SQL'yi temel alarak satır düzeyinde yeniden kullanılabilir dönüşümler oluştur. Bu, bir Dönüştürme veri görevi oluşturur.

   Verileri dönüştürme

4. Veri setlerinizden yararlanmak için bir veri ambarı oluşturun. Bu, bir Veri ambarı veri görevi oluşturur.

   Alt veri ambarları oluşturma ve yönetme

Veri projesi, tüm çıktılar için hedef olarak kullanılan bir veri platformuyla ilişkilendirilir. Aşağıdaki platformlar desteklenir:

• Google BigQuery

• Snowflake

• Microsoft Azure Synapse Analytics

• Databricks

• Amazon Redshift

• Qlik Cloud

  Bu platformu kullanmak yerleştirme ve bir Amazon S3 demeti gerektirir. QVD tablolarını, yönetilen depolamada Qlik Cloud içinde veya sizin tarafınızdan yönetilen depolamada Amazon S3 içinde oluşturabilirsiniz.

Veri platformlarına bağlanma hakkında daha fazla bilgi için bkz. Veri projelerinizde bulut veri platformlarına bağlanma

Tüm veri görevleri ait oldukları veri projesi ile aynı alanda oluşturulur.

Bir veri projesi oluşturma örneği

Aşağıdaki örnekte, verileri ekleme, verileri dönüştürme ve bir alt veri ambarı oluşturma işlemlerini gerçekleştirilmektedir. Bu, daha fazla veri kaynağı ekleyerek genişletebileceğiniz, daha fazla dönüşüm yaratabileceğiniz ve oluşturulan veri görevlerini veri ambarına ekleyebileceğiniz basit bir doğrusal veri işlem hattı oluşturacaktır.

1. Yeni bir veri projesi oluştur

   Qlik Cloud Veri Entegrasyonu Ana Sayfasında Yeni ekle'ye ve ardından Veri projesi oluştur'a tıklayın.

   1. Veri projesi için bir ad il tanım girin ve içinde veri projesinin oluşturulacağı bir alan seçin. Tüm veri görevleri, ait oldukları veri projesinin alanında oluşturulur.

   2. Projede kullanılacak olan veri platformunu seçin.

   3. Projede kullanmak istediğiniz bulut veri deposuna veri bağlantısını seçin. Bu, veri dosyalarını yerleştirmek, veri kümelerini ve görünümleri depolamak için kullanılacaktır. Zaten bir veri bağlantısı hazırlamadıysanız, Bağlantı ekle'ye tıklayarak bir tane oluşturun.

      Veri platformu olarak Google BigQuery, Databricks veya Microsoft Azure Synapse Analytics seçtiyseniz, bir hazırlama alanına da bağlanmanız gerekir.

   4. Veri platformu olarak Qlik Cloud seçtiyseniz:

      Verileri Qlik tarafından yönetilen depolamada veya kendi yönetilen Amazon S3 demetinizde depolayabilirsiniz. Kendi Amazon S3 demetinizi kullanmak istiyorsanız bu demet için bir veri bağlantısı seçmeniz gerekir.

      Her iki durumda da bir Amazon S3 hazırlama alanına bir veri bağlantısı da seçmeniz gerekir. Önceki adımda tanımladığınız demeti kullanıyorsanız, hazırlama için demette başka bir klasör kullandığınızdan emin olun.

   5. Oluştur'a tıklayın.

      Veri projesi oluşturulur ve veri görevleri ekleyerek veri işlem hattınızı oluşturabilirsiniz.

2. Verileri alın.

   Yeni ekle'ye, sonra Verileri buluta al'a tıklayın.

   Daha fazla bilgi için bkz. Verileri buluta alma.

   Bu, bir yerleştirme veri görevi ve bir depolama veri görevi oluşturur. Veri çoğaltmaya başlamak için yapmanız gerekenler:

   • Yerleştirme veri görevini hazırlayıp çalıştırın.

     Daha fazla bilgi için bkz. Veri kaynaklarından veri yerleştirme.

   • Depolama veri görevini hazırlayıp çalıştırın.

     Daha fazla bilgi için bkz. Veri kümelerinin oluşturulması ve saklanması

3. Verileri dönüştürme

   Depolama veri görevi oluşturulduğunda, veri projesine geri dönün. Artık oluşturulan veri kümeleri üzerinde dönüştürme gerçekleştirebilirsiniz.
   

   Depolama veri görevinde ... üzerine tıklayın ve depolama veri görevini temel alan bir dönüştürme veri görevi oluşturmak için Verileri dönüştür'ü seçin. Dönüştürmeler hakkında talimatlar için bkz. Verileri dönüştürme.

4. Alt veri ambarı oluşturma

   Bir depolama veri görevini veya bir dönüştürme veri görevini temel alarak bir veri ambarı oluşturabilirsiniz.

   Veri görevinde ... üzerine tıklayın ve bir veri ambarı veri görevi oluşturmak için Veri ambarı oluştur'u seçin. Alt veri ambarı oluşturmayla ilgili talimatlar için bkz.:

   Alt veri ambarları oluşturma ve yönetme

Depolanan ve dönüştürülen veri kümelerinin ve alt veri ambarlarının ilk tam yüklemesini gerçekleştirdiğinizde, bunları analiz uygulaması gibi bir uygulamada kullanabilirsiniz. Analiz uygulamaları oluşturma hakkında daha fazla bilgi için bkz. Qlik Cloud Veri Entegrasyonu tarafından oluşturulan veri kümelerini kullanarak bir analiz uygulaması oluşturma.

Ayrıca, daha fazla veri kaynağı ekleyerek veri işlem hattını genişletebilir ve bunları dönüşümde veya alt veri ambarında birleştirebilirsiniz.

Bir veri projesinde veri görevlerini zamanlama

Veri işlem hattını düzenlemek için veri görevlerini zamanlayabilirsiniz. Verilerin kullanılabilir oldukça veri işlem hattında aşağı dağılmasına izin vermek için saat veya olay tabanlı zamanlama kullanabilirsiniz.

Bireysel veri görevlerini zamanlama hakkında daha fazla bilgi için bkz.:

• Tam yük yerleştirme veri görevini zamanlama

• Depolama görevi zamanlama

• Dönüştürme görevi zamanlama

• Veri ambarı görevi zamanlama

Veri projesinin görünümünü değiştirme

Veri projelerinin iki farklı görünümü vardır. İşlem hattı görünümü'ne tıklayarak görünümler arasında geçiş yapabilirsiniz.

• İşlem hattı görünümü, veri görevlerinin veri akışını gösterir.

  Katmanlar'a tıklayarak veri görevleri için ne kadar bilginin görüneceğini seçebilirsiniz. Aşağıdaki bilgileri açın veya kapatın:

  • Durum

  • Veri güncelliği

  • Zamanlama

• Kart görünümü, veri göreviyle ilgili bilgi içeren bir kart görünümü gösterir.

  Varlık türü ve sahibi için filtre uygulayabilirsiniz.

Veri projelerini içe ve dışa aktarma

Bir veri projesini, yeniden oluşturmak için gereken her şeyi içeren bir JSON dosyasına dışarı aktarabilirsiniz. Dışarı aktarılan JSON dosyası, aynı veya başka bir kiracıda içeri aktarılabilir. Bunu örneğin veri projelerini bir kiracıdan bir başkasına taşımak veya veri projelerinin yedek kopyalarını yapmak için kullanabilirsiniz.

Daha fazla bilgi için bkz. Veri projelerini içeri ve dışarı aktarma.

Veri projesi ayarları

Projede ve dahil edilen veri görevlerinde ortak olan özellikleri ayarlayabilirsiniz.

• Ayarlar'a tıklayın.

Daha fazla bilgi için bkz. Veri projesi ayarları.