Veri gözetimi ile verilerinizi doğrulama ve düzeltme

Qlik Talend Cloud içindeki Veri gözetimi ile, verilerinizi doğrulamak ve düzeltmek için konu uzmanlarından yararlanabilirsiniz. Verilerin tutarlı bir şekilde oluşturulduğundan emin olmak için mevcut anlamsal türlerinizi ve doğrulama kurallarınızı kullanın. Bu, otomatik işlem hatlarını alan uzmanlığından gelen döngüdeki insan (human-in-the-loop) iyileştirmesiyle genişletir. Veriler doğrulandığında, bunları orijinal veri kaynağına veya herhangi bir aşağı akış sistemine yeniden enjekte edebilirsiniz.

Doğrulama ve iyileştirme için ana çalışma gövdesi olan bir sprint oluşturursunuz. Sprint şunlar hakkında bilgi içerir:

• Kaynak veriler

• Doğrulama için kullanılacak veri şeması

• Sprint sahipleri

• Tanımlanan veri gözetmenleri

• Sprint verileri için kullanılan veri depolama alanı

• İş akışı ayarları

Sprint sırasında, tüm sprint verileri Qlik Talend Cloud içinde değil, kendi bulut veri deponuzda depolanır. Şu anda desteklenen tek bulut veri deposu Snowflake'tir.

Aşağıdaki kullanıcı rollerini tanımlayabilirsiniz:

• Sprint sahibi

  Sprint sahipleri, veri gözetmenleri tarafından çözümlenen kayıtları doğrulayabilir. Ayrıca çözümlenen kayıtlara erişebilir ve verileri dışa aktarabilirler.

• Veri gözetmeni

  Bir veri gözetmenine kalite sorunlarını çözümlemesi için kayıtlar atanır.

Qlik Talend Data Integration etkinlik merkezindeki Veri gözetimi bölümünde sprint'ler oluşturursunuz. Doğrulama gerektiren veri kümesindeki bir veya daha fazla alanda verileri düzelten ve düzenleyen Çözümleme sprint'leri oluşturabilirsiniz. İş akışı şöyledir:

1. Çözüm sprinti oluşturma

   Bir sprint oluşturun ve doğrulanacak verileri tanımlayın. Sprint'i bir Talend Studio İşi ile doldurabilir veya verileri içeren bir CSV dosyası içe aktarabilirsiniz.

   Veri gözetmenleri doğrulamayı gerçekleştirmek üzere tanımlanır. Kayıtlar manuel veya otomatik olarak atanabilir.

2. Çözüm sprintinde çalışma

   Veri gözetmenleri atanan kayıtlardaki verileri doğrular.

3. Çözümlenmiş kayıtları yönetme

   • Sprint'i bir Talend Studio İşi ile doldurduysanız, doğrulanan kayıtları almak ve bunları orijinal veri kaynağına veya gerekli başka bir hedefe döndürmek için bir Talend Studio İşi oluşturursunuz.

   • Sprint'i bir CSV dosyasıyla doldurduysanız, sprint, doğrulanan verilerin bir CSV dosyasına dışa aktarılmasıyla sonuçlandırılır. Dışa aktarılan CSV dosyasını içe aktararak veri kaynağını doğrulanan verilerle güncelleyebilirsiniz.