Veri kümelerini yönetme

Landing, Storage, Transform, Data mart, Streaming landing, Streaming transform ve Replication veri görevlerine dahil edilen veri kümelerini yöneterek dönüşüm akışı oluşturabilir, verileri filtreleyebilir ve sütun ekleyebilirsiniz.

Dahil edilen veri kümeleri, Design görünümündeki Datasets altında listelenir. Sütun seçiciyi () kullanarak hangi sütunların görüntüleneceğini seçebilirsiniz.

Dönüşüm kuralları ve açık dönüşümler

Hem genel hem de açık dönüşümler gerçekleştirebilirsiniz.

Dönüşüm kuralları

Tüm eşleşen veri kümelerine uygulamak için kapsamda joker karakter olarak % kullanan bir dönüşüm kuralları oluşturarak genel dönüşümler gerçekleştirebilirsiniz.

• Yeni bir dönüşüm kuralları oluşturmak için Rules ve ardından Add rule öğesine tıklayın.

  Daha fazla bilgi için bkz. Veri kümelerini dönüştürmek için kurallar oluşturma.

Dönüşüm kuralları, etkilenen öznitelikte koyu mor bir köşe ile gösterilir.

Açık dönüşümler

Açık dönüşümler şu durumlarda oluşturulur:

• Bir sütun özniteliğini değiştirmek için Edit kullandığınızda

• Bir veri kümesinde Rename kullandığınızda.

• Bir sütun eklediğinizde.

Açık dönüşümler genel dönüşümleri geçersiz kılar ve etkilenen öznitelikte açık mor bir köşe ile gösterilir.

Veri kümesi modelleri

Veri kümeleri, görev türüne ve görevdeki işlemlere bağlı olarak kaynak tabanlı veya hedef tabanlı olabilir. Kullanılan veri kümesi modeli, işlem hattının kaynak değişikliklerindeki davranışını ve hangi işlemleri gerçekleştirebileceğinizi etkiler.

• Kaynak tabanlı veri kümeleri

  Veri kümesi, kaynak veri kümelerine dayanır ve yalnızca meta verilerdeki değişiklikleri tutar. Kaynak verilerdeki bir değişiklik otomatik olarak uygulanır ve bu durum tüm alt görevlerde değişikliklere neden olabilir. Sütun sırasını değiştirmek veya kaynak veri kümesini değiştirmek mümkün değildir.

  Aşağıdaki görev türleri her zaman kaynak tabanlı bir veri kümesi modeli kullanır: Landing, Storage, Registered data, Replication ve veri gölünde Landing.

• Hedef tabanlı veri kümeleri

  Veri kümesi, hedef meta verilere dayanır. Kaynaktan bir sütun eklenirse veya kaldırılırsa, bu durum bir sonraki alt göreve otomatik olarak uygulanmaz. Sütun sırasını değiştirebilir ve kaynak veri kümesini değiştirebilirsiniz. Bu, görevin daha bağımsız olduğu ve kaynak değişikliklerinin etkisini kontrol etmenizi sağladığı anlamına gelir.

  Aşağıdaki görev türleri hedef tabanlı bir veri kümesi modeli kullanabilir: Transform, Data mart. İşleme bağlı olarak Transform görevleri için kaynak tabanlı bir modelin kullanıldığı bazı durumlar vardır.

  • Bir SQL dönüşümü veya bir dönüşüm akışı bir sütun seçimi gerçekleştirirse, veri kümesi hedef tabanlı olacaktır. Örneğin, bir SQL dönüşümünde SELECT A, B, C from XYZ kullanırsanız veya bir dönüşüm akışında Select columns işlemcisini kullanırsanız.

  • Varsayılan sütunlar korunursa, veri kümesi kaynak tabanlıdır. Örneğin, bir SQL dönüşümünde SELECT * from XYZ kullanırsanız.

Projeleri kaynak tabanlı modelden hedef tabanlı modele güncelleme

Mevcut projeler, uygun olduğunda hedef tabanlı veri kümesi modeline güncellenir. Bir projeyi ilk kez açtığınızda güncelleme sürecinde size rehberlik edilecektir. Farklı veri kümesi modellerine sahip projeleri içe ve dışa aktarırken bazı hususlar vardır.

• Kaynak tabanlı bir modele sahip bir projeyi hedef tabanlı bir modele sahip bir projeye aktarmak mümkün değildir.

  Kaynak tabanlı modele sahip projeyi yeni bir projeye aktarın, yeni projeyi güncelleyin ve ardından ortaya çıkan projeyi dışa aktarın. Artık bu projeyi hedef tabanlı modele sahip projeye yeniden aktarabilirsiniz.

• Hedef tabanlı bir modele sahip bir projeyi kaynak tabanlı bir modele sahip bir projeye aktarmak mümkün değildir.

  Hedef tabanlı modele sahip bir projeyi içe aktarmadan önce projeyi hedef tabanlı bir modele güncelleyin.

Veri kümesini filtreleme

Gerekirse, satırlardan oluşan bir alt küme oluşturmak için verileri filtreleyebilirsiniz.

• Filter öğesine tıklayın.

Daha fazla bilgi için bkz. Veri kümesi filtreleme.

Veri kümesini yeniden adlandırma

Bir veri kümesini yeniden adlandırabilirsiniz.

• Bir veri kümesinde öğesine ve ardından Edit öğesine tıklayın.

Sütun ekleme

Gerekirse, satır düzeyi dönüşümlerle sütunlar ekleyebilirsiniz.

• Add column öğesine tıklayın

Daha fazla bilgi için bkz. Bir veri kümesine sütun ekleme.

Sütun düzenleme

Bir sütun seçip Edit öğesine tıklayarak sütun özelliklerini düzenleyebilirsiniz.

• Name

• Key

  Bir sütunu birincil anahtar olarak ayarlayın. Ayrıca Key sütununda seçim yaparak veya seçimi kaldırarak da anahtarları ayarlayabilirsiniz.

• Nullable

• Data type

  Sütunun veri türünü ayarlayın. Bazı veri türleri için Length gibi ek bir özellik ayarlayabilirsiniz.

  Bilgi notuBir sütunun veri türünü veya veri türü boyutunu değiştirdiğinizde, bunun veri kümesini kullanan görevler üzerinde etkileri olabilir. Daha fazla bilgi için bkz. Veri türlerini yönetme.

Sütunları kaldırma

Bir veri kümesinden bir veya daha fazla sütunu kaldırabilirsiniz.

• Kaldırılacak sütunları seçin ve Remove öğesine tıklayın.

Kaldırılan sütunları görmek isterseniz, Show removed columns öğesine tıklayın. Kaldırılan sütunlar üstü çizili metinle gösterilir. Kaldırılan bir sütunu seçip Revert öğesine tıklayarak geri alabilirsiniz.

Sütunlardaki açık değişiklikleri geri alma

Bir veya daha fazla sütundaki tüm açık değişiklikleri geri alabilirsiniz.

• Değişikliklerin geri alınacağı sütunları seçin ve Revert öğesine tıklayın.

Genel dönüşüm kurallarından kaynaklanan değişiklikler geri alınmayacaktır.

Eklenen bir sütunu geri alırsanız, sütun kaldırılacaktır.

Veri kümesi ayarları

Veri kümesi için ayarları değiştirebilirsiniz. Varsayılan ayar, veri görevinin ayarını devralmaktır, ancak bir ayarı açıkça Açık veya Kapalı olarak da değiştirebilirsiniz.

• Bir veri kümesinde öğesine ve ardından Settings öğesine tıklayın.

Verileri görüntüleme

Veri işlem hattınızı tasarlarken verilerinizin şeklini görmek ve doğrulamak için verilerin bir örneğini görüntüleyebilirsiniz.

Aşağıdaki gereksinimlerin karşılanması gerekir:

• Verileri görüntüleme, Yönetim etkinlik merkezinde kiracı düzeyinde etkinleştirilmelidir.

  Etkinleştirmek için Settings sayfasına gidin, Feature control sekmesini seçin ve Viewing data in Veri Entegrasyonu öğesini açın.

• Bağlantının bulunduğu alanda Can view data rolüne atanmış olmanız gerekir.

• Projenin bulunduğu alanda Can view rolüne atanmış olmanız gerekir.

Örnek verileri görüntüleme

Design görünümündeki Datasets sekmesinde örnek verileri görüntülemek için:

• Physical objects içinde View data öğesine tıklayın.

Verilerin bir örneği görüntülenir. Number of rows ile örnekte kaç veri satırının yer alacağını ayarlayabilirsiniz.

Veri kümeleri ve tablolar arasında geçiş yapma

Veri kümeleri ve tablolar arasında geçiş yapmak için:

• Verilerin mantıksal temsilini görüntülemek için Datasets öğesini seçin.

• Veritabanındaki fiziksel temsili tablolar ve görünümler olarak görüntülemek için Physical objects öğesini seçin.

  Haber notuFiziksel temsil henüz oluşturulmamışsa bu seçenek kullanılamaz.

Filtreleme

Örnek verileri iki şekilde filtreleyebilirsiniz:

• Hangi örnek verilerin alınacağını filtrelemek için kullanın.

  Örneğin, ${OrderYear}>2023 filtresini kullanırsanız ve Number of rows 10 olarak ayarlanırsa, 2024'ten 10 siparişlik bir örnek alırsınız.

• Örnek verileri belirli bir sütuna göre filtreleyin.

  Bu yalnızca mevcut örnek verileri etkileyecektir. Yalnızca 2024'ten siparişleri dahil etmek için kullandıysanız ve sütun filtresini 2022'den siparişleri gösterecek şekilde ayarladıysanız, sonuç boş bir örnek olacaktır.

Sıralama

Veri örneğini belirli bir sütuna göre de sıralayabilirsiniz. Sıralama yalnızca mevcut örnek verileri etkileyecektir. Yalnızca 2024'ten siparişleri dahil etmek için kullandıysanız ve sıralama düzenini tersine çevirdiyseniz, örnek veriler yine de yalnızca 2024'ten siparişleri içerecektir.

Sütunları gizleme

Veri görünümünde sütunları gizleyebilirsiniz:

• Sütunda öğesine ve ardından Hide column öğesine tıklayarak tek bir sütunu gizleyin.

• Herhangi bir sütunda öğesine ve ardından Display columns öğesine tıklayarak birkaç sütunu gizleyin. Bu, görünümdeki tüm sütunların görünürlüğünü kontrol etmenizi sağlar.

Örnek verileri indirme

Görüntülenen örnek verileri indirebilirsiniz:

• Örnek veri görünümünün içeriğini indirmek için öğesine tıklayın.

Örnek veriler, tarayıcı indirmelerinize bir CSV dosyası olarak indirilir.

Veri kümelerini doğrulama ve ayarlama

Veri görevine dahil edilen tüm veri kümelerini doğrulayabilirsiniz.

Tüm doğrulama hatalarını ve tasarım değişikliklerini görmek için Validate and adjust öğesini genişletin.

Veri kümelerini doğrulama

• Veri kümelerini doğrulamak için Validate datasets öğesine tıklayın.

Doğrulama şunların kontrol edilmesini içerir:

• Tüm tabloların birincil anahtara sahip olması

• Eksik öznitelik olmaması.

• Yinelenen tablo veya sütun adı olmaması.

Ayrıca kaynağa kıyasla tasarım değişikliklerinin bir listesini de alırsınız:

• Eklenen tablolar ve sütunlar

• Bırakılan tablolar ve sütunlar

• Yeniden adlandırılan tablolar ve sütunlar

• Değiştirilen birincil anahtarlar ve veri türleri

Tüm doğrulama hatalarını ve tasarım değişikliklerini görmek için Validate and adjust öğesini genişletin.

• Doğrulama hatalarını düzeltin ve ardından veri kümelerini tekrar doğrulayın.

• Değiştirilen birincil anahtarlar veya veri türleri dışında çoğu tasarım değişikliği otomatik olarak ayarlanabilir. Bu durumda, veri kümelerini eşitlemeniz gerekir.

Veri kümelerini hazırlama

Mümkünse veri kaybı olmadan tasarım değişikliklerini ayarlamak için veri kümelerini hazırlayabilirsiniz. Veri kaybı olmadan ayarlanamayan tasarım değişiklikleri varsa, tabloları veri kaybıyla kaynaktan yeniden oluşturma seçeneği sunulur.

Bu, görevin durdurulmasını gerektirir.

• öğesine, ardından Prepare öğesine tıklayın.

Veri kümeleri hazırlandığında, storage görevini yeniden başlatmadan önce veri kümelerini doğrulayın.

Veri kümelerini yeniden oluşturma

Veri kümelerini kaynaktan yeniden oluşturabilirsiniz. Bir veri kümesini yeniden oluşturduğunuzda veri kaybı olacaktır. Kaynak verilerine sahip olduğunuz sürece, bunları kaynaktan yeniden yükleyebilirsiniz.

Bu, görevin durdurulmasını gerektirir.

• öğesine, ardından Recreate tables öğesine tıklayın.

Doğrulama verilerini indirme

Verileri Validation errors, Design changes ve Preparation progress bölümlerinden indirebilirsiniz:

• İndirmek için öğesine tıklayın.

Veriler, tarayıcı indirmelerinize bir CSV dosyası olarak indirilir.

Sınırlamalar

• Google BigQuery'de bir sütunu siler veya yeniden adlandırırsanız, bu tabloyu yeniden oluşturur ve veri kaybına yol açar.