Bağlantı tabanlı veri kümeleri için veri kalitesi
Son güncelleme: 2026-11-10Bağlantı tabanlı veri kümelerinizdeki anlamsal türlerin keşfi ve veri kalitesi okumalarından faydalanmak için veri ürünleri bağlamında veri bağlantılarınızla önemli bir ön koşul ayarlamanız gerekir.
- Qlik Talend Cloud Enterprise
- Qlik Talend Cloud Premium
- Qlik Cloud Analytics Premium
- Qlik Cloud Analytics Enterprise
- Qlik Sense Enterprise SaaS
Desteklenen dosyalar, bağlantılar ve veritabanları
Aşağıdaki dosya türleri desteklenir:
- Excel dosyaları: XLS/XLSX
- Sınırlandırılmış metin dosyaları: CSV/TXT
- JSON dosyaları: JSON
- XML dosyaları: XML
- Qlik veri dosyaları: QVD (QlikView Data)/QVX (QlikView Exchange)
- Parquet dosyaları: PARQUET
- KML dosyaları: KML (Coğrafi veri)
Bir bulut depolamasından bir veri kümesi eklediğinizde dosya 1 GB'ı aşamaz. Bu bulut depolama sınırı, aşağıda açıklanan veri kalitesi hesaplama sınırlarından ayrıdır.
Şu an itibarıyla, kalite hesaplaması için desteklenen türler, bu sınırlar dahilinde CSV, TXT, Parquet, QVD, XLS ve XLSX'tir:
- 1 GB'a kadar CSV/TXT
- 1 GB'a kadar Parquet
- 100 GB'a kadar QVD
- 100 MB'a kadar XLS/XLSX
Parquet dosyaları için veri kalitesi yalnızca düz şemalar için desteklenir. İç içe geçmiş alanlar (LIST, MAP, STRUCT) desteklenmez.
Bu sınırları aşan dosya tabanlı veri kümeleri için veri kalitesi desteklenmez. Excel dosyanız birden fazla sayfa içeriyorsa kalite hesaplaması yalnızca ilk sayfada yapılacaktır.
-
Veri kalitesi, Snowflake ve Databricks veri kümeleri için hem yükseltme hem de indirme modlarında desteklenir.
-
Veri kalitesi aşağıdaki bağlantılara dayalı veri kümeleri için yükseltme modunda desteklenir:
-
Amazon Athena
-
Amazon Redshift
- Amazon S3 V2
-
Apache Hive
-
Apache Phoenix
-
Apache Spark
-
Azure SQL Veritabanı
- Azure Depolama
-
Azure Synapse Analytics
-
Cassandra
-
Cloudera Impala
-
Couchbase
-
DynamoDB
- Dropbox
-
Google BigQuery
- Google Cloud Storage
- Google Drive
-
Marketo
-
Microsoft SQL Server
-
MongoDB
-
MySQL Enterprise Sürümü
- Office 365 SharePoint
- OneDrive
-
Oracle
-
PostgreSQL
-
Presto
-
SAP Hana
- SFTP
-
Snowflake
-
Bir tablodan veri kümeleri oluşturma
Bir veri kümesi oluştururken veri kaynağındaki bir veritabanını, sonra da bu veritabanındaki tabloları seçersiniz. Seçtiğiniz her tablo için bir veri kümesi oluşturulur.
- Katalog'dan Yeni oluştur > Veri kümesi'ne tıklayın.
- Bağlantıyı seçin ve İleri'ye tıklayın.
- Açılır listeden veritabanını ve şemayı seçin.
- Tabloları seçin ve İleri'ye tıklayın.
- Alanı seçin ve Veri kümeleri oluştur öğesine tıklayın. Katalog'a yönlendirilirsiniz ve listede yeni veri kümelerini görürsünüz.
Artık veri kalitesini hesaplayabilir ve veri kümelerini veri ürünlerine ekleyebilirsiniz. Daha fazla bilgi için bkz. Veri kalitesi hesaplamasını yapılandırma.
Bir dosyadan veri kümeleri oluşturma
- Katalog'dan Yeni oluştur > Veri kümesi'ne tıklayın.
- Bağlantıyı seçin ve İleri'ye tıklayın.
- Dosyayı seçin ve İleri'ye tıklayın.
- Alanı seçin ve Veri kümeleri oluştur öğesine tıklayın. Katalog'a yönlendirilirsiniz ve listede yeni veri kümelerini görürsünüz.
Artık veri kalitesini hesaplayabilir ve veri kümelerini veri ürünlerine ekleyebilirsiniz. Daha fazla bilgi için bkz. Veri kalitesi hesaplamasını yapılandırma.
Bağlantı tabanlı veri kümeleri oluşturma
Katalog'dan Bağlantı tabanlı veri kümeleri oluşturabilirsiniz ancak İşlem hattı projelerini de kullanabilirsiniz.
Bir işlem hattı projesinden veri kümeleri oluşturmak, veri görevlerini kullanarak bir proje içinde tüm veri entegrasyonunuzu gerçekleştirmenizi sağlar. Daha fazla bilgi için bkz. Veri işlem hattı projesi oluşturma.
Katalog'dan veri kümeleri oluşturma
İşlem hattı projesi kullanmanız gerekmediğinde, veri kalitesini hesaplamak için veri kümeleri oluşturabilir ve veri kümelerini veri ürünleri aracılığıyla tüketebilirsiniz.
- Qlik Talend Data Integration > Katalog bölümünde, Yeni oluştur > Veri kümesi seçeneğine tıklayın.
- Bağlantıyı seçin ve İleri'ye tıklayın.
- Veri kümelerini seçin ve İleri'ye tıklayın.
Bir veri kümesi listede yer almıyorsa bu, desteklenen biçimlerden birinde olmadığı anlamına gelir:
- Excel dosyaları:
.xls,.xlsx - Sınırlandırılmış metin dosyaları:
.csv,.txt - Excel dosyaları:
.xls,.xlsx - JSON dosyaları:
.json - XML dosyaları:
.xml - Qlik veri dosyaları:
.qvd (QlikView Data),.qvx (QlikView Exchange) - Parquet dosyaları:
.parquet - KML dosyaları:
.kml (Geographic data)
Kalite hesaplaması için dosya tabanlı veri kümelerine boyut sınırları uygulanır: CSV, TXT ve Parquet için 1 GB'a kadar, QVD için 100 GB'a kadar ve XLS/XLSX için 100 MB'a kadar.
- Excel dosyaları:
- Alanı seçin ve Veri kümeleri oluştur öğesine tıklayın. Katalog'a yönlendirilirsiniz ve listede yeni veri kümelerini görürsünüz.
Artık veri kalitesini hesaplayabilir ve veri kümelerini veri ürünlerine ekleyebilirsiniz. Daha fazla bilgi için bkz. Veri kalitesi hesaplamasını yapılandırma.
İşlem hattı projesinden veri kümeleri oluşturma
-
Qlik Talend Data Integration > Bağlantılar bölümünde Bağlantı oluştur'a tıklayın.
-
Yeterli izinlerine ve içe aktarmak istediğiniz tablolara erişimi olan bir kullanıcının giriş bilgilerini kullanarak veritabanına erişiminizi yapılandırın.
-
Qlik Cloud Analizleri içinde Oluştur'a ve ardından Veri bağlantısı'na tıklayın.
-
Aynı veritabanına erişiminizi, mümkünse aynı kullanıcının veya tablolarda en azından READ izinlerine sahip olan bir kullanıcının giriş bilgilerini kullanarak daha önce olduğu gibi yapılandırın.
-
(yalnızca Snowflake için) Rol alanında, Snowflake veritabanında oluşturulan mevcut bir role karşılık gelen ve bu nesneler üzerinde aşağıdaki ayrıcalıklara sahip olan bir rol girmeniz gerekir.
-
WAREHOUSE üzerinde USAGE
-
DATABASE üzerinde USAGE
-
SCHEMA üzerinde USAGE
-
SCHEMA üzerinde CREATE TABLE
-
SCHEMA üzerinde CREATE FUNCTION
-
SCHEMA üzerinde CREATE VIEW
-
TABLE üzerinde SELECT
-
-
(yalnızca Databricks için) Databricks'te, veritabanında aşağıdaki ayrıcalıkları tanımlamanız gerekir:
-
Tablo oluştur
-
BİRİM OLUŞTUR
-
MODIFY
-
OKUMA HACMİ
-
SELECT
-
ŞEMA KULLAN
-
YAZMA HACMİ
-
-
Qlik Talend Data Integration ana sayfasına geri dönün, Yeni oluştur'a ve ardından İşlem hattı projesi'ne tıklayın.
-
Projeniz için kaynak olarak 2. adımdaki bağlantınızı kullanın ve işlem hattınızı oluşturmaya başlayın. Daha fazla bilgi için bkz. Veri işlem hattı projeleri oluşturma ve yönetme.
-
İşlem hattınızda herhangi bir noktada bir veri görevini seçin, Ayarlar'a ve ardından Katalog sekmesine giderek Katalogda Yayınla onay kutusunu seçin.
Bu, İşlem hattı projesi hazırlanıp çalıştırıldığında veri kümesinin bu sürümünün Katalogda yayınlanacağı anlamına gelir. Bu seçeneği proje düzeyinde işaretlemek de mümkündür.
-
Veri projenizi çalıştırın.
İşlem hattı projenizi çalıştırdıktan sonra yeni veri kümesi Kataloğa eklenir ve kalite göstergelerine ve içerikleriyle ilgili daha fazla ayrıntıya erişebilirsiniz. Bu yapılandırma, veri kümelerini analiz uygulamaları için kaynak olarak kullanmayı da mümkün kılar.
Veri projenizi oluşturmadan önce gerektiği kadar veri kümesi ekleyebilirsiniz. Kataloğa hem Qlik Talend Data Integration hub'ından hem de Qlik Cloud Analizleri Hizmetler hub'ından erişilebildiğinden, veri kümelerinizi tercih ettiğiniz konumda açabilirsiniz ve bağlama bağlı olarak doğru Bağlantı kullanılacaktır.
İndirmede kalite hesaplaması
Veri kümenizin Genel Bakış bölümünde Hesapla veya Yenile düğmesinin kullanılması, 1.000 satırlık bir örnek üzerinde kalite hesaplamasını tetikler.
Bu işlem varsayılan olarak yükseltme modunda gerçekleşir. Snowflake ve Databricks veri kümeleri için bu işlem hem yükseltme modunda (varsayılan) hem de veritabanı tarafında indirme modunda gerçekleşebilir.
Veri kalitesi hesaplandıktan sonra, en fazla 1.000 satırlık bir önizleme (varsayılan) alınır ve güncel anlamsal türler, geçerlilik ve eksiksizlik istatistikleri ile görüntülenir. Bu örnek daha sonra MongoDB'de saklanır. Veri kümesi önizleme boyutunu (100 veya 1.000 satır) yapılandırmak için kiracı yöneticileri Yönetim etkinlik merkezindeki Ayarlar sayfasına gitmelidir; daha fazla bilgi için bkz. Veri kümesi önizleme boyutunu yapılandırma.
Pushdown modunda hesaplanan Databricks veri kümeleri için, hesaplanan örneklem istenenden daha az satır döndürürse önizleme zaman zaman yapılandırılan önizleme boyutundan daha az satır içerebilir. Databricks rastgele örnekleme, yaklaşık sayıda satır döndüren TABLESAMPLE kullanır. Önizleme, hesaplanan örneklemin bir alt kümesi olduğundan, örneklem tarafından döndürülen satırları aşamaz.
Daha fazla bilgi için ilgili Databricks belgelerine bakın.
Databricks üzerinde pushdown modunda veri kalitesi için önkoşullar
Databricks üzerinde pushdown modunda veri kalitesini hesaplamak için Qlik'in, semantik türler gibi belirli kalite referans verilerini Databricks örneğinize senkronize etmesi gerekir. Ayrıca Databricks'in bazı gelişmiş özelliklerinden de yararlanır.
Bu özelliğin düzgün çalışması için Databricks örneğinizde aşağıdaki önkoşulların karşılanması gerekir:
-
Unity Catalog etkinleştirilmiş olmalıdır.
-
Databricks Bağlantısı ile ilişkili kullanıcılar tablo oluşturma, şema oluşturma, birim oluşturma ve birime yazma izinlerine sahip olmalıdır.
Qlik, Bağlantınızda belirtilen veritabanında qlik_internal adlı bir şema oluşturacaktır. Bu şema Qlik tarafından otomatik olarak kaldırılmayacaktır. SaaS bulut altyapısı kullanmayı bırakırsanız bunu manuel olarak silmeniz gerekir.
-
Harmanlamalar etkinleştirilmelidir.
Sınırlamalara gelince, dize sütunlarındaki Tarih tanımanın ISO-8601 biçimiyle sınırlı olduğunu unutmayın.