Veri kalitesi ve veri keşfi

Bir veri kümesini açtıktan sonra genel olarak kalitesi, şeması, kalite istatistikleri ve her sütunun anlamsal türü hakkında daha fazla bilgi almak için genel bakışın birkaç bölümüne göz atabilirsiniz.

Veri kümesinin kalite göstergeleri

Yeni kaydedilmiş bir veri kümesinin genel bakışını açtığınızda bilgilerin çoğu soluk olarak görünür. Veri kalitesini ilk kez hesaplamak için Hesapla düğmesine tıklayın. Kalite zaten bir kez hesaplanmışsa ancak verilerin güncel olduğundan emin olmak istiyorsanız Yenile düğmesine tıklayın.

Her bir hesaplama veya yenileme size Snowflake kredilerine mal olur. Daha fazla bilgi için bk. Snowflake veri kümelerinin veri kalitesi.

Kalitenin görüntülendiği iki ana bölüm vardır.

• Şunları içeren Veri kalitesi alanı:

  • Veri kümesinin tamamındaki geçerli, geçersiz ve boş değerlerin üç renkli kalite sütunu biçiminde yeniden ayrılması ve bunların yüzdeleri.

  • Boş değerleri hesaba katmadan geçerli değerlerin yüzdesini ifade eden bir Geçerlilik puanı.

  • Boş olmayan değerlerin yüzdesini ifade eden bir Eksiksizlik puanı.

• Veri kümesinin farklı alanlarını, uygulanan veri türü veya anlamsal türü ve veri kümesinin her bir alanı için bir kalite sütunu gösteren bir Şema alanı.

Anlamsal türler keşfi

Bir veri kümesinin her bir alanına, içeriğini daha iyi açıklamak için otomatik olarak bir anlamsal tür atanır. Arka planda atanacak türü belirlemek için bir veri keşfi işlemi gerçekleşir.

Veri keşfi, bir sütunda kaç değerin her bir anlamsal türle eşleştiğini hesaplar ve sonuç %40'tan daha büyükse anlamsal türü sütuna atar.

Yüzde nasıl hesaplanır?

Bu yüzde, iki yüzdenin toplamıdır:

• %100'e kadar atanan bir yüzde, anlamsal türle eşleşen değerlerin sayısını temsil eder. Değerin bir anlamsal türle eşleşip eşleşmediğini belirlemek için veri keşfi, anlamsal türe bağlıdır:

  • Sözlük: Değer, sözlükteki bir değerle eşleşiyor mu? Noktalama işareti, büyük küçük harf, boşluklar ve aksan işaretleri görmezden gelinir.

  • Normal ifade: Değer, normal ifadeyle eşleşiyor mu?

  • Bileşik: Değer birden fazla alt öğede bulundu mu?

    Bileşen türü, alt öğeler adı verilen mevcut anlamsal türlerden oluşan bir gruptur.

  Yanıt olumluysa değer geçerli kabul edilir.

• %10'a kadar atanan diğer yüzde, sütun adı ile anlamsal tür arasındaki benzerliği temsil eder.

  Adları karşılaştırmak için:

  • Levenshtein algoritması kullanılır. Bir dizeyi başka bir dizeye dönüştürmek için gereken minimum düzenleme (ekleme, silme veya yerine koyma) sayısını hesaplar.

  • Büyük küçük harf ve aksan işaretleri görmezden gelinir.

  • Dize boşluk içeriyorsa kelime sırası görmezden gelinir. Örneğin ABD Telefon ile Telefon ABD aynı kabul edilir.

  Maksimum yüzde %100'dür. Tüm değerler bir anlamsal türle eşleşirse ve sütun adı, anlamsal türün adıyla aynıysa sonuç yine %100'dür.

Veri türleri keşfi

Anlamsal türler yerine yerel vri türleri de atanabilir. Hiçbir anlamsal tür %40'ın üzerinde bir orana ulaşamıyorsa veri keşfi otomatik olarak bir veri türü atar.

Bir değerin hangi tür olduğunu belirlemek için veri keşfi bir düzeni takip eder:

1. Değer boş mu?

2. Değer türü boolean mı? true ve false, boolean türü olarak kabul edilen tek değerlerdir.

3. Değer türü tam sayı mı?

4. Değer türü ondalık mı?

5. Değer türü tarih mi?

6. Değer yukarıdaki türlerden biri değilse metin değeri olarak kabul edilir.

Doğrulama artımlı olmadığı için değer yalnızca bir türdedir. Örneğin, 5 değeri tam sayı türüdür. Metin türü olarak kabul edilmeyecektir.