Veri kümelerini yönetme

Dönüşümler oluşturmak, verileri filtrelemek ve sütunlar eklemek için Yerleştirme, Depolama, Dönüştürme, Veri ambarı ve Çoğaltma veri görevlerinde bulunan veri kümelerini yönetebilirsiniz.

Dahil olan veri kümeleri, Tasarım görünümünde Veri Kümeleri altında listelenir. Sütun seçici () ile hangi sütunların görüntüleneceğini seçebilirsiniz.

Dönüştürme kuralları ve özel dönüştürmeler

Hem genel ve hem de açık dönüştürme gerçekleştirebilirsiniz.

Dönüştürme kuralları

Tüm eşleşen veri kümelerine uygulanmak üzere, kapsamda joker karakter olarak % kullanan bir dönüştürme kuralı oluşturarak genel dönüştürmeler gerçekleştirebilirsiniz.

• Yeni dönüştürme kuralı oluşturmak için Kurallar'a tıklayın ve ardından Kural ekle'ye tıklayın.

  Daha fazla bilgi için bk. Veri kümelerini dönüştürmek için kurallar oluşturma.

Dönüştürme kuralları, etkilenen öznitelikte koyu mor bir köşeyle gösterilir.

Açık dönüşümler

Açık dönüşümler şu hallerde oluşturulur:

• Bir sütun özniteliğini değiştirmek için Düzenle'yi kullandığınızda

• Bir veri kümesi üzerinde Yeniden Adlandır kullandığınızda.

• Bir sütun eklediğinizde.

Açık dönüştürmeler genel dönüştürmelerin üzerine yazılır ve etkilenen öznitelikte açık mor bir köşeyle gösterilir.

Veri kümesi modelleri

Veri kümeleri, görev türüne ve görevdeki işlemlere bağlı olarak kaynak tabanlı veya hedef tabanlı olabilir. Kullanılan veri kümesi modeli, kaynak değişikliklerinde işlem hattının davranışını ve hangi işlemleri gerçekleştirebileceğinizi etkiler.

• Kaynak tabanlı veri kümeleri

  Veri kümesi kaynak veri kümelerini temel alır ve yalnızca meta verilerdeki değişiklikleri tutar. Kaynak verilerdeki bir değişiklik otomatik olarak uygulanır ve bu da tüm aşağı akış görevlerinde değişikliklere neden olabilir. Sütun sırasını veya kaynak veri kümesini değiştirmek mümkün değildir.

  Aşağıdaki görev türleri her zaman kaynak tabanlı bir veri kümesi modeli kullanır: Yerleştirme, Depolama, Kayıtlı veri, Çoğaltma ve Veri gölüne yerleştirme.

• Hedef tabanlı veri kümeleri

  Veri kümesi, hedef meta verilere dayanır. Bir sütun, kaynaktan eklenir veya çıkarılırsa sonraki aşağı akış görevine otomatik olarak uygulanmaz. Sütun sırasını ve kaynak veri kümesini değiştirebilirsiniz. Bu, görevin daha bağımsız olduğu anlamına gelir ve kaynak değişikliklerinin etkisini kontrol etmenizi sağlar.

  Aşağıdaki görev türleri hedef tabanlı bir veri kümesi modeli kullanabilir: Dönüştürme, Veri ambarı. İşleme dayalı olarak Dönüştürme görevleri için kaynak tabanlı modelin kullanıldığı bazı durumlar vardır.

  • Bir SQL dönüşümü veya dönüşüm akışı, bir sütun seçimi gerçekleştirirse veri kümesi hedef tabanlı olur. Örneğin, bir SQL dönüşümünde SELECT A, B, C from XYZ kullanırsanız veya bir dönüşüm akışında Sütun seç işlemcisini kullanırsanız.

  • Varsayılan sütunlar korunursa veri kümesi kaynak tabanlı olur. Örneğin, bir SQL dönüşümünde SELECT * from XYZ kullanırsanız.

Projeleri kaynak tabanlı bir modelden hedef tabanlı bir modele güncelleme

Geçerli olduğunda mevcut projeler, hedef tabanlı veri kümesi modeline güncellenecektir. Bir projeyi ilk açışınızda güncelleme işlemi konusunda yönlendirileceksiniz. Farklı veri kümesi modellerine sahip projeleri içe ve dışa aktarırken dikkat edilmesi gereken bazı hususlar vardır.

• Kaynak tabanlı modele sahip bir projeyi hedef tabanlı modele sahip bir projeye aktarmak mümkün değildir.

  Projeyi kaynak tabanlı bir modelle yeni bir projeye aktarın, yeni projeyi güncelleyin ve ardından ortaya çıkan projeyi dışa aktarın. Artık bu projeyi hedef tabanlı bir modelle projeye yeniden içe aktarabilirsiniz.

• Hedef tabanlı modele sahip bir projeyi kaynak tabanlı modele sahip bir projeye aktarmak mümkün değildir.

  Hedef tabanlı bir modele sahip bir projeyi içe aktarmadan önce projeyi hedef tabanlı bir modele güncelleyin.

Veri kümesi filtreleme

Gerektiğinde, bir satır alt seti oluşturmak için verileri filtreleyebilirsiniz.

• Filtre'ye tıklayın.

Daha fazla bilgi için bkz. Veri kümesi filtreleme.

Bir veri kümesini yeniden adlandırma

Bir veri kümesini yeniden adlandırabilirsiniz.

• Bir veri kümesi üzerinde seçeneğine ve ardından Düzenle'ye tıklayın.

Sütun ekleme

Gerektiğinde, satır düzeyi dönüştürmelerle sütunlar ekleyebilirsiniz.

• Sütun ekle'ye tıklayın.

Daha fazla bilgi için bk. Veri kümelerine sütun ekleme.

Bir sütunu düzenleme

Sütun özelliklerini, bir sütun seçip Düzenle'ye tıklayarak düzenleyebilirsiniz.

• Ad

• Anahtar

  Bir sütunu birincil anahtar olarak ayarlayın. Anahtar sütununu seçerek veya seçimi kaldırarak da anahtarları ayarlayabilirsiniz.

• Null değer atanabilir

• Veri türü

  Sütunun veri türünü ayarlayın. Bazı veri türleri için Uzunluk gibi ek bir özellik ayarlayabilirsiniz.

Bir veri türünü değiştirmenin etkisini anlama

Veri türü boyutunu değiştirmek veya farklı bir veri türüne geçiş yapmak için yaygın olan iki kullanım durumu vardır:

• Mevcut veri türüne uymayan veriler alma.
• Daha yüksek sayısal doğruluk için bir gereklilik. Örneğin SMALLINT değerini DECIMAL (p,s) ile değiştirme.

Çoğu durumda bir veri türünü değiştirmek, ALTER TABLE işlemiyle sonuçlanır ve dolayısıyla veri kaybını önler. Örneğin, önceki veri türünüz STRING (25) ve yeni veri türü STRING (50) ise yeni veri türünün bulunduğu sütundaki veriler sorunsuz bir şekilde güncellenecektir. Ancak bazı durumlarda bir veri türünün değiştirilmesi, tablonun kullanımdan kaldırılması ve yeniden oluşturulması ile sonuçlanır. Örneğin, önceki sütun veri türü NUMBER ise ve bunu DATE olarak değiştirirseniz sayıları tarihe çevirmek mümkün olmadığı için tablo kullanımdan kaldırılır ve yeniden oluşturulur. Benzer şekilde, hedef platform ALTER TABLE işlemlerini desteklemiyorsa (Databricks gibi) tablo kullanımdan kaldırılacak ve yeniden oluşturulacaktır.

Teorik olarak bir tabloyu değiştirmenin mümkün olduğu bazı durumlar vardır, ancak temeldeki karmaşıklık nedeniyle veri görevi kullanımdan kaldırılacak ve tablo yeniden oluşturulacaktır. Son olarak, gerçek veri kaybı yerine potansiyel veri kaybının kullanımdan kaldırma ve yeniden oluşturma işlemini tetiklediği durumlar vardır. Örneğin, STRING(25) değerini STRING(1) olarak değiştirirseniz alınan veriler STRING(1) içine sığmazsa veri kaybı gerçekleşir. Ancak STRING(25) her zaman yalnızca bir karakter içerebilir, bu nedenle uygulamada veri kaybı gerçekleşecektir, ancak potansiyel veri kaybı nedeniyle tablo yine de kullanımdan kaldırılacak ve yeniden oluşturulacaktır.

Hedef platformdan bağımsız olarak, tablonun kullanımdan kaldırılıp yeniden oluşturulmasını gerektiren veri türü değişiklikleri

Aşağıdaki veri türlerinin değiştirilmesi, tablonun kullanımdan kaldırılması ve yeniden oluşturulması ile sonuçlanır:

• BYTES
• BLOB
• CLOB
• NCLOB

Tabloyu kullanımdan kaldırmadan ve yeniden oluşturmadan veri türü boyutu değişikliklerini destekleyen hedef platformlar

Snowflake, Google BigQuery, Amazon Redshift, Microsoft SQL Server ve Azure Synapse Analytics ile çalışırken tabloyu kullanımdan kaldırmadan ve yeniden oluşturmadan belirli veri türlerinin boyutunu değiştirebilirsiniz. Aşağıdaki tabloda, önceden bahsedilen platformların her biri için desteklenen veri türleri listelenmektedir.

Tabloyu kullanımdan kaldırmadan ve yeniden oluşturmadan veri türlerini STRING olarak değiştirmeyi destekleyen hedef platformlar

Verileri Microsoft SQL Server ve Azure Synapse Analytics'e taşırken tabloyu kullanımdan kaldırmadan ve yeniden oluşturmadan aşağıdaki veri türlerini STRING olarak değiştirebilirsiniz:

• BOOLEAN
• DATE
• TIME
• DATETIME
• INT1
• INT2
• INT4
• INT8
• REAL4
• REAL8
• UINT1
• UINT2
• UNIT4
• UNIT8
• NUMERIC
• WSTRING (Yalnızca Azure Synapse Analytics ile desteklenir)

Sütunları kaldırma

Bir veri kümesinden bir veya daha fazla sütunu kaldırabilirsiniz.

• Kaldırılacak sütunu seçin ve Kaldır'a tıklayın.

Kaldırılan sütunları görmek istiyorsanız Kaldırılan sütunları göster'e tıklayın. Kaldırılan sütunlar üstü çizili metinle belirtilir. Kaldırılan bir sütunu seçip Geri Al'a tıklayarak geri alabilirsiniz.

Sütunlardaki açık değişiklikleri geri alma

Bir veya daha fazla sütunda yapılan tüm açık değişiklikleri geri alabilirsiniz.

• Değişikliklerin geri alınacağı sütunları seçin ve Geri Al'a tıklayın.

Genel dönüştürme kurallarıyla yapılan değişiklikler geri alınmayacaktır.

Eklenmiş bir sütunu geri alırsanız, kaldırılır.

Veri kümesi ayarları

Veri kümesi için ayarları değiştirebilirsiniz. Varsayılan değer, veri varlığının ayarını devralma şeklindedir, ancak bir ayarı açıkça Açık veya Kapalı olarak da değiştirebilirsiniz.

• Veri kümesinde üzerine tıklayın ve ardından Ayarlar'a tıklayın.

Verileri görüntüleme

Veri işlem hattınızı tasarlarken verilerinizi görmek ve biçimlerini doğrulamak için verilerin bir örneğini görüntüleyebilirsiniz.

Aşağıdaki gerekliliklerin karşılanması gerekir:

• Verileri görüntülemenin Yönetim bölümünde kiracı düzeyinde etkinleştirilmesi gerekir.

  Ayarlar > Özellik kontrolü > Verileri Veri Entegrasyonu içinde görüntüle seçeneği etkinleştirilmelidir.

• Bağlantının bulunduğu alanda Verileri görüntüleyebilir rolüne sahip olmalısınız.

• Projenin bulunduğu alanda Görüntüleyebilir rolüne sahip olmalısınız.

Örnek verileri Tasarla görünümündeki Veri setleri sekmesinde görüntülemek için:

• Fiziksel nesneler'de Verileri görüntüle'ye tıklayın.

Verilerin bir örneği görüntülenir. Satır sayısı ile örneğe eklemek istediğiniz satır sayısın ayarlayabilirsiniz.

Veri setleri ve tablolar arasında geçiş yapmak için:

• Verilerin mantıksal temsilini görüntülemek için Veri setleri'ni seçin.

• Veritabanında tablolar ve görünümler olarak fiziksel temsili görüntülemek için Fiziksel nesneler'i seçin.

  Haber notuFiziksel temsil henüz oluşturulmamışsa bu seçenek kullanılamaz.

Örnek verileri iki şekilde filtreleyebilirsiniz:

• Alınacak örnek verileri filtrelemek için seçeneğini kullanın.

  Örneğin, ${OrderYear}>2023 filtresini kullanırsanız ve Satır sayısı 10 olarak ayarlanmışsa 2024'ten 10 sipariş örneği alırsınız.

• Örnek verileri belirli bir sütuna göre filtreleyin.

  Bu yalnızca mevcut örnek verileri etkileyecektir. Yalnızca 2024'ten siparişleri dahil etmek için kullandıysanız ve sütun filtresini 2022'den siparişleri gösterecek şekilde ayarladıysanız sonuç boş bir örnek olacaktır.

Ayrıca örnek verileri belirli bir sütuna göre sıralayabilirsiniz. Sıralama yalnızca mevcut örnek verileri etkileyecektir. Yalnızca 2024'ten siparişleri dahil etmek için kullandıysanız ve sıralamayı tersine çevirdiyseniz örnek veriler yalnızca 2024'ten siparişler içerecektir.

Sütunları veri görünümünde gizleyebilirsiniz:

• Sütunda seçeneğine ve ardından Sütunu gizle'ye tıklayarak tek bir sütunu gizleyin.

• Herhangi bir sütunda seçeneğine ve ardından Sütunları görüntüle'ye tıklayarak birkaç sütunu gizleyin. Bu, tüm sütunların görünürlüğünü kontrol etmenize olanak tanır.

Veri kümelerini doğrulama ve ayarlama

Veri görevine dahil edilen tüm veri setlerini doğrulayabilirsiniz.

Tüm doğrulama hatalarını ve tasarım değişikliklerini görmek için Doğrula ve ayarla'yı genişletin.

Veri kümelerini doğrulama

• Veri kümelerini doğrulamak için Veri kümelerini doğrula'ya tıklayın.

Doğrulama şunları kontrol etmeyi içerir:

• Her tablonun bir birincil anahtarı var

• Eksik öznitelik yok.

• Yinelenen tablo veya sütun adı yok.

Ayrıca kaynağa kıyasla tasarım değişikliklerinin bir listesini alırsınız:

• Eklenen tablolar ve sütunlar

• Düşülen tablolar ve sütunlar

• Yeniden adlandırılan tablolar ve sütunlar

• Değiştirilen birincil anahtarlar ve veri türleri

Tüm doğrulama hatalarını ve tasarım değişikliklerini görmek için Doğrula ve ayarla'yı genişletin.

• Doğrulama hatalarını düzeltin ve veri kümelerini tekrar doğrulayın.

• Değiştirilen birincil anahtarlar veya veri türleri dışında çoğu tasarım değişikliği otomatik olarak ayarlanabilir. Bu durumda veri kümelerini senkronize etmeniz gerekir.

Veri kümelerini hazırlama

Mümkünse veri kaybı olmadan tasarım değişikliklerini ayarlamak için veri kümelerini hazırlayabilirsiniz. Veri kaybı olmadan ayarlanabilecek tasarım değişikliği yoksa, tabloları kaynaktan veri kaybıyla yeniden oluşturma seçeneği sunulur.

Bunun için görevin durdurulması gerekir.

• ve ardından Hazırla'ya tıklayın.

Veri kümeleri hazırlandığında, depolama görevini yeniden başlatmadan önce bu veri kümelerini doğrulayın.

Veri kümelerini yeniden oluşturma

Veri kümelerini kaynaktan yeniden oluşturabilirsiniz. Veri kümesini yeniden oluşturduğunuzda veri kaybı olur. Kaynak verilere sahip olduğunuz sürece bunları kaynaktan yeniden yükleyebilirsiniz.

Bunun için görevin durdurulması gerekir.

• üzerine tıklayın, ardından Yeniden Oluştur'a tıklayın.

Sınırlamalar

• Google BigQuery'de bir sütunu silmeniz veya yeniden adlandırmanız tabloyu yeniden oluşturur ve veri kaybına neden olur.