Verileri dönüştürme

Veri işlem hattınızın bir parçası olarak yeniden kullanılabilir ve kural tabanlı veri dönüşümleri oluşturabilirsiniz. Veri ekleme işleminizin bir parçası olarak dönüşümler gerçekleştirebilir veya yeniden kullanılabilir dönüşüm veri görevleri oluşturabilirsiniz. Satır düzeyinde dönüşümler gerçekleştirebilir, SQL dönüşümlerini dahil edebilir ve karmaşık dönüşüm akışları tasarlayabilirsiniz. Ortaya çıkan veri kümeleri tablo olarak somutlaştırılabilir veya anında dönüşümler gerçekleştiren görünümler olarak oluşturulabilir.

• Açık veri kümesi dönüşümleri gerçekleştirebilir veya birden çok veri kümesini dönüştüren genel kurallar oluşturabilirsiniz. Ayrıca bir satır alt kümesi oluşturmak için bir veri kümesini filtreleyebilirsiniz.

• SQL dönüşümleri ekleyebilirsiniz. Bir SQL dönüşümü, karmaşık veya basit dönüşümleri tanımlamak için bir işlem hattına bir SQL SELECT sorgusu girmenize olanak tanır.

• Karmaşık veya basit dönüşümleri tanımlamak için kaynaklar, işlemciler ve hedefler içeren görsel dönüşüm akışları ekleyebilirsiniz.

Bir dönüşüm veri görevi üç görünüm içerir:

• Dönüştür

  Bu görünüm, kaynak veri kümesinden hedef veri kümesine olan akışı görselleştirmek için tüm dönüşümleri görüntüler.

• Veri kümeleri

  Bu görünüm, veri kümelerindeki verileri filtreleme veya sütun ekleme gibi tüm temel dönüşümlerin yanı sıra genel dönüşümleri gerçekleştirmeye yönelik kuralları görüntüler.

• Model

  Bu görünüm, dahil edilen veri kümeleri arasındaki ilişkilerle bir veri modeli oluşturmanıza olanak tanır. Daha fazla bilgi için bkz. Veri modeli oluşturma.

Tabloları veri ambarında depolamanın yanı sıra veri platformu tarafından yönetilen Iceberg tabloları olarak da depolayabilirsiniz. Bu seçenek şu anda yalnızca Snowflake projelerinde kullanılabilir. Bu, görev ayarlarında Tablo türü altında Snowflake tarafından yönetilen Iceberg tabloları seçilerek mümkündür.

Dönüşüm veri görevi oluşturma

Bir dönüşüm veri görevi oluşturmanın en kolay yolu, bir depolama veri görevinde ... öğesine tıklamak ve ardından Veri dönüştür öğesini seçmektir.

Ayrıca bir projede Oluştur'a tıklayabilir ve Veri dönüştür'ü seçebilirsiniz. Bu durumda hangi kaynak veri görevinin kullanılacağını tanımlamanız gerekir.

1. Kaynak verilerinizi ve hedeflerinizi Dönüştür içinde tanımlayın.

   Şunlardan birini yapabilirsiniz:

   • Veri kümesi dönüşümleri gerçekleştirme

     Kaynak veri kümelerini seçin ve bunları Hedef'e eklemek için Hedefe ekle'ye tıklayın.

     Daha sonra Veri kümeleri içinde veri kümelerinde verileri filtreleme veya sütun ekleme gibi temel dönüşümler gerçekleştirebilirsiniz.

     Daha fazla bilgi için bkz. Veri kümelerini yönetme.

   • SQL dönüşümü ekleme

     Kaynak veri kümelerini seçin ve SQL dönüşümü ekle'ye tıklayın.

     Bir SQL dönüşümü, karmaşık veya basit dönüşümleri tanımlamak için bir işlem hattına bir SQL SELECT sorgusu girmenize olanak tanır.

     Daha fazla bilgi için bkz. SQL dönüşümleri ekleme.

   • Dönüşüm akışı ekleme

     Kaynak veri kümelerini seçin ve Dönüşüm akışı ekle'ye tıklayın.

     Akış tasarımcısı, karmaşık veya basit dönüşümleri tanımlamak için kaynaklar, işlemciler ve hedefler içeren bir dönüşüm akışı oluşturmanıza olanak tanır.

     Daha fazla bilgi için bkz. Dönüştürme akışları ekleme.

2. Ayrıca Kaynak verileri seç'e tıklayarak diğer depolama veri görevlerinden daha fazla veri kümesi ekleyebilirsiniz.

   Geçerli projeden veya başka bir projeden veri kümeleri ekleyebilirsiniz. Başka bir projeden veri kümeleri eklemek için:

   • Tüketilen projenin alanında en az Tüketebilir rolüne sahip olmalısınız.

   • Her iki proje de aynı veri platformunda olmalıdır.

   Seçilen proje sürüm kontrolü altındaysa, kaynak olarak hangi dalın kullanılacağını seçebilirsiniz. Projeler arası işlem hatları hakkında daha fazla bilgi için bkz. Projeler arası işlem hatları oluşturma.

3. İstediğiniz dönüşümleri eklediğinizde, Veri kümelerini doğrula'ya tıklayarak veri kümelerini doğrulayın. Doğrulama hatalar bulursa, devam etmeden önce hataları düzeltin.

   Daha fazla bilgi için bkz. Veri kümelerini doğrulama ve ayarlama.

4. Veri modeli oluşturma

   Dahil edilen veri kümeleri arasındaki ilişkileri ayarlamak için Model'e tıklayın.

   Daha fazla bilgi için bkz. Veri modeli oluşturma.

5. Veri görevini ve gerekli tüm yapıtları hazırlamak için Hazırla'ya tıklayın. Bu biraz zaman alabilir.

   İlerlemeyi ekranın alt kısmındaki Hazırlık ilerlemesi altından takip edebilirsiniz.

   Bilgi notuBir görevi hazırlamadan önce, doğrudan aşağı yönde olan tüm görevleri durdurun.

6. Durum Hazırlandı olarak görüntülendiğinde veri görevini çalıştırabilirsiniz.

   ... öğesine ve ardından Çalıştır'a tıklayın.

Veri görevi artık verileri dönüştürmek için veri kümeleri oluşturmaya başlayacaktır.

Dönüştür görünümünü kullanma

Dönüştür içinde, kaynak veri kümesinden hedef veri kümesine olan akışı görselleştirmek için tüm dönüşümler görüntülenir.

• Hangi kaynak veri kümelerinin kullanıldığını ve hangi hedef veri kümelerinin oluşturulduğunu görmek için bir dönüşüm seçin.

• Kullanıldığı tüm dönüşümleri ve ortaya çıkan tüm hedefleri görmek için bir kaynak seçin.

• Kaynak veri kümelerinin hangileri olduğunu ve bu hedef veri kümesini hangi dönüşümün oluşturduğunu görmek için bir hedef seçin.

Görüntüleme seçenekleri'ne tıklayarak aşağıdaki ayarları değiştirebilirsiniz:

• Dönüşüm türüne göre filtrele

  Yalnızca bir veya iki dönüşüm türündeki dönüşümleri görüntüleyin.

• Filtre

  Tüm dönüşümleri veya yalnızca seçilen dönüşümü görüntüleyin. Bu seçeneği etkinleştirmek için bir dönüşüm seçmelisiniz.

• Yoğunluk

  Dönüşümleri kompakt bir düzenle mi yoksa daha fazla alan kullanan geniş bir düzenle mi görüntülemek istediğinizi seçin.

Veri kümeleri görünümünü kullanma

Veri kümeleri içinde, dönüşüm görevindeki tüm hedef veri kümelerini görüntüleyebilir ve düzenleyebilirsiniz.

Daha fazla bilgi için ayrıca bkz. Veri kümelerini yönetme.

Hedef veri kümesi ekleme

Dönüşüm görevine daha fazla hedef veri kümesi ekleyebilirsiniz.

1. öğesine tıklayın.

2. Veri kümesi için Ad ve isteğe bağlı olarak Açıklama sağlayın.

3. Kaynak veri kümesi içindeki görevde bulunan veri kümelerinden bir kaynak veri kümesi seçin.

   İpucu notuHiçbir kaynağa bağlı olmayan boş bir veri kümesi oluşturmak için Kaynak veri kümesi yok'u seçebilirsiniz. Tasarım sırasında veri kümesine sütunlar ekleyebilirsiniz, ancak görevi hazırlayabilmeniz için önce bir kaynak veri kümesine bağlanmanız gerekir.

Hedef veri kümesi artık eklendi.

Kaynak veri kümesini değiştirme

Bir hedef veri kümesinin kaynak veri kümesini değiştirebilirsiniz.

1. Kaynak: [kaynak veri kümesinin adı] sonrasında öğesine tıklayın.

2. Kaynak veri kümesi içindeki görevde bulunan veri kümelerinden başka bir kaynak veri kümesi seçin.

   İpucu notuHedef veri kümesinin kaynakla bağlantısını kesmek için Kaynak veri kümesi yok'u seçebilirsiniz. Tasarım sırasında veri kümesini düzenleyebilirsiniz, ancak görevi hazırlayabilmeniz için önce bir kaynak veri kümesine bağlanmanız gerekir.

Yeni sütunlar ekleme

Hedef veri kümesine yeni sütunlar ekleyebilirsiniz.

• Sıfırdan yeni bir sütun ekleme

  + Ekle'ye tıklayın.

  Sütun için bir ad sağlayın ve sütun verilerini tanımlamak için bir ifade ayarlayın.

  Daha fazla bilgi için bkz. Bir veri kümesine sütun ekleme.

• Kaynaktan sütun ekleme

  Ekle'nin yanındaki öğesine tıklayın ve Kaynaktan sütun ekle'yi seçin.

  Kaynak veri kümesinden bir sütun seçin.

Sütunları yeniden sıralama

Bir sütunun sıra konumunu değiştirebilirsiniz.

1. Bir sütun seçin.

2. öğesine ve ardından Yeniden sırala'ya tıklayın.

3. Sütunu yukarı veya aşağı taşımak için okları kullanın.

4. Hazır olduğunuzda Sırayı değiştir'i kapatın.

Dönüşüm kuralları oluşturma

Veri kümelerinde genel dönüşüm gerçekleştirmek için yeniden kullanılabilir dönüşüm kuralları oluşturabilirsiniz.

Kurallar oluşturma hakkında daha fazla bilgi için bkz. Veri kümelerini dönüştürmek için kurallar oluşturma.

Bir veri kümesini filtreleme

Gerekirse bir satır alt kümesi oluşturmak için verileri filtreleyebilirsiniz.

• öğesine ve ardından Filtrele'ye tıklayın.

Filtreleme hakkında daha fazla bilgi için bkz. Veri kümesi filtreleme.

Bir dönüşüm görevini zamanlama

Bir dönüşüm görevini periyodik olarak güncellenecek şekilde zamanlayabilirsiniz. Zamana dayalı bir zamanlama ayarlayabilir veya görevi, giriş veri görevlerinin çalışması tamamlandığında çalışacak şekilde ayarlayabilirsiniz.

Bir zamanlama oluşturmak için bir veri görevinde ... öğesine tıklayın ve Zamanlama'yı seçin. Varsayılan zamanlama ayarı, projedeki ayarlardan devralınır. Varsayılan ayarlar hakkında daha fazla bilgi için bkz. Dönüştürme varsayılan değerleri.

Zamanlamayı etkinleştirmek için her zaman Zamanlama'yı Açık olarak ayarlamanız gerekir.

Zamana dayalı zamanlamalar

Farklı giriş kaynaklarının ne zaman güncellendiğine bakılmaksızın görevi çalıştırmak için zamana dayalı bir zamanlama kullanabilirsiniz.

• Veri görevini çalıştır içinde Belirli bir zamanda'yı seçin.

Saatlik, günlük, haftalık veya aylık bir zamanlama ayarlayabilirsiniz.

Olaya dayalı zamanlamalar

Giriş veri görevlerinin çalışması tamamlandığında görevi çalıştırmak için olaya dayalı bir zamanlama kullanabilirsiniz.

• Veri görevini çalıştır içinde Belirli bir olayda'yı seçin.

Görevi, giriş görevlerinden herhangi biri başarıyla tamamlandığında mı yoksa seçilen giriş görevlerinden herhangi biri başarıyla tamamlandığında mı çalıştırmak istediğinizi seçebilirsiniz.

Bir dönüşüm görevini izleme

İzle'ye tıklayarak bir dönüşüm görevinin durumunu ve ilerlemesini izleyebilirsiniz.

Daha fazla bilgi için bkz. Ayrı bir veri görevini izleme.

Verileri yeniden yükleme

Veriler fiziksel tablolar olarak somutlaştırılmışsa tabloları manuel olarak yeniden yükleyebilirsiniz. Bu, bir veya daha fazla tabloda sorun olduğunda yararlıdır.

1. Veri görevini açın ve İzle sekmesini seçin.

2. Yeniden yüklemek istediğiniz tabloları seçin.

3. Tabloları yeniden yükle'ye tıklayın.

Yeniden yükleme, görev bir sonraki çalıştırıldığında gerçekleşecektir. Yeniden yükleme işlemi, her veri kümesinin geçmiş ayarına ve dönüşüm türüne bağlı olarak farklı davranır. Bu, yeniden yükleme işleminin bir veri görevindeki veri kümeleri arasında farklılık gösterebileceği anlamına gelir.

• Veri kümesi dönüşümleri, kesilerek ve yüklenerek yeniden yüklenir.

• SQL dönüşümleri ve dönüşüm akışları, kesilerek ve yüklenerek veya karşılaştırılarak ve uygulanarak yeniden yüklenebilir. En iyi uygulama, karşılaştırmak ve uygulamaktır.

  SQL dönüşümüne veya dönüşüm akışına dayalı bir veri kümesini yeniden yükleme

Yeniden yüklemeyi iptal et'e tıklayarak yeniden yüklenmesi bekleyen tablolar için yeniden yüklemeyi iptal edebilirsiniz. Bu, halihazırda yeniden yüklenmiş olan tabloları etkilemez ve şu anda çalışmakta olan yeniden yüklemeler tamamlanacaktır.

Aşağı akış görevleri, değişiklikleri uygulamak ve geriye dönük tarihlemeyi önlemek için yeniden yüklenecektir.

Aşağı akış etkisi, yürütülen yeniden yükleme işleminin türüne ve hemen aşağı akış veri kümesinin türüne bağlıdır. Standart işleme, veri kümesinin belirli veri kümesi için yapılandırılmış yöntemi kullanarak tepki vereceği ve verileri işleyeceği anlamına gelir.

Örnek: Kesme ve yükleme yoluyla bir veri kümesini yeniden yükleme

• Sonraki veri kümesi veri kümesi dönüşümlerini kullanıyorsa, bir sonraki yürütmede kesme ve yükleme yoluyla yeniden yüklenecektir.

• Sonraki veri kümesi bir SQL dönüşümü veya dönüşüm akışı ise, karşılaştır ve uygula kullanılarak yeniden yüklenecektir.

Geçmişi olmayan bir veri kümesini yeniden yükleme

Bu durumda dikkate alınacak bir geçmiş yoktur. Hedefteki işlemeyi azaltmak için yeniden yükleme şu şekilde gerçekleştirilir:

1. Tabloları keserek.

2. Yukarı akış veri görevinden geçerli verileri yükleyerek.

Aşağı akış görevleri, değişiklikleri uygulamak için yeniden yüklenecektir.

Geçmiş etkinleştirilmiş bir veri kümesini yeniden yükleme

Yeniden yükleme şu şekilde gerçekleştirilir:

1. Geçerli, önceki ve değişiklik tablolarını keserek.

2. Önceki tablolar da dahil olmak üzere yukarı akış veri görevinden verileri yükleyerek.

SQL dönüşümüne veya dönüşüm akışına dayalı bir veri kümesini yeniden yükleme

• Kes ve yeniden yükle

  Bilgi notuBu seçenek geçmiş kaybına neden olabilir.

  1. Geçerli ve değişiklik tablolarını keserek.

  2. Sorguyu çalıştırarak ve geçerli tablolara yükleyerek.

• Yeniden yükle ve karşılaştır

  1. Sorguyu çalıştırarak ve geçerli tablolarla karşılaştırarak.

  2. Değişiklikleri ekleyerek.

Bir görevi silme

Veri görevi çalışmıyorsa ve aynı projedeki sonraki görevlere bağımlılıkları yoksa silebilirsiniz.

• Projenin İşlem hattı projesi görünümünde, bir görevde öğesine tıklayın ve Sil öğesini seçin.

Görev tarafından oluşturulan yapıtlar (tablolar ve görünümler), bunları tutmayı seçmezseniz silinecektir.

Görev bilgilerini görüntüleme

Görev bilgilerini görüntülemek için menü çubuğundaki öğesine tıklayın, örneğin:

• Sahip

• Kullanılabilir alan

• Veri platformu

• Proje Kimliği

• Veri görevi çalışma zamanı kimliği

Dönüşüm ayarları

Dönüşüm veri görevi için özellikleri ayarlayabilirsiniz.

• Ayarlar'a tıklayın.

Genel ayarlar

• Veritabanı

  Veri kaynağında kullanılacak veritabanı.

• Görev şeması

  Veri görevi şemasının adını değiştirebilirsiniz. Varsayılan ad, görevin adıdır.

• Dahili şema

  Dahili depolama şemasının adını değiştirebilirsiniz. Varsayılan ad, sonuna "__internal" eklenmiş görev adıdır.

• Şema adının varsayılan büyük/küçük harf kullanımı

  Tüm şema adları için varsayılan büyük/küçük harf kullanımını ayarlayabilirsiniz. Veritabanınız büyük harf kullanımını zorlayacak şekilde yapılandırılmışsa bu seçenek etkili olmayacaktır.

• Tüm tablo ve görünümler için ön ek

  Bu görevle oluşturulan tüm tablolar ve görünümler için bir önek ayarlayabilirsiniz.

  Bilgi notuBir veritabanı şemasını birden fazla veri görevinde kullanmak istediğinizde benzersiz bir önek kullanmanız gerekir.

• Somutlaştırılmış

  Yalnızca anında dönüşümler gerçekleştiren görünümler oluşturmayı (Somutlaştırılmamış) veya hem tablolar hem de görünümler oluşturmayı (Somutlaştırılmış) seçebilirsiniz.

• Geçmiş Veri Deposu (Tip 2)

  Verileri belirli bir zamandaki haliyle kolayca yeniden oluşturmanıza olanak sağlamak için geçmiş değişiklik verilerini saklayabilirsiniz. Geçmiş verileri görmek için geçmiş görünümlerini ve canlı geçmiş görünümlerini kullanabilirsiniz.

• Katalogda yayınlama

  Verilerin bu sürümünü Katalogda veri kümesi olarak yayınlamak için bu seçeneği seçin. Katalog içeriği, bu görevi bir sonraki hazırlamanızda güncellenecek.

  Katalog hakkında daha fazla bilgi için bkz. Katalog araçlarıyla verilerinizi anlama.

Çalışma zamanı ayarları

• Paralel yürütme

  Tam yükler için maksimum bağlantı sayısını 1 ile 5 arasında bir sayıya ayarlayabilirsiniz.

• Ambar

  Bulut veri deposunun adı.

Görünüm türü ayarları

Görünüm türü ayarları yalnızca Snowflake için geçerlidir.

• Standart görünümler

  Çoğu durum için Standart görünümleri kullanın.

• Snowflake güvenli görünümleri

  Temel tabloların tüm kullanıcılarına ifşa edilmemesi gereken hassas verilere erişimi sınırlamak için oluşturulan görünümler gibi, veri gizliliği veya hassas bilgilerin korunması için tasarlanmış görünümler için Snowflake güvenli görünümlerini kullanın.

  Bilgi notu Snowflake güvenli görünümleri, Standart görünümlerden daha yavaş yürütülebilir.

Tablo türü ayarları

Bu ayarlar yalnızca veri platformu olarak Snowflake bulunan projelerde kullanılabilir.

• Tablo türü

  Hangi tablo türünün kullanılacağını seçebilirsiniz:

  • Snowflake tabloları

  • Snowflake tarafından yönetilen Iceberg tabloları

    Snowflake harici biriminde harici birimin varsayılan adını ayarlamanız gerekir.

• Kullanılacak bulut depolama alanı klasörü

  Hazırlama alanına veri yerleştirirken kullanılacak klasörü seçin.

  • Varsayılan klasör

    Bu, <proje adı>/<veri görevi adı> varsayılan adıyla bir klasör oluşturur.

  • Kök klasör

    Verileri depolama alanının kök klasöründe depola.

  • Klasör

    Kullanılacak bir klasör adı belirtin.

• Snowflake Open Catalog ile senkronize et

  Snowflake Open Catalog'un bulut dosya depolama alanındaki dosyaları yönetmesine izin vermek için bunu etkinleştirin.

En iyi uygulamalar

• Gerçekler ve boyutlar eklenmişse bir veri reyonundaki bir veri kümesinin kaynağını değiştirmek mümkün değildir. Esnek olmak istiyorsanız, kaynakları değiştirmek ve ayrıca tüm kaynak görevler için bir modele sahip olmak üzere kullanılabilecek somutlaştırılmamış görünümlere sahip önceki bir Dönüştür görevi ekleyebilirsiniz.

Sınırlamalar

• Somutlaştırılmamış seçeneği belirlendiğinde bir dönüşüm veri görevinde veri türlerini değiştirmek mümkün değildir.

• SQL dönüşümlerinde veya dönüşüm akışlarında oluşturulan veri kümeleri için alan düzeyinde köken kullanılamaz.

• Yalnızca ekle olarak ayarlanmış bir Qlik Açık Göl EviAyna görevinden okumak için Hedefe ekle'nin kullanılması desteklenmez.

  Geçici bir çözüm olarak, bir SQL dönüşümü veya bir dönüşüm akışı kullanarak verileri okuyabilirsiniz.