Veri işlem hattı proje ayarları

Qlik Talend Data Integration içinde bir veri işlem hattı projesi için ayarları değiştirebilirsiniz. Özellikler, proje ve dahil edilen tüm veri görevleri için ortaktır. Bazı ayarlar yalnızca belirli veri platformları için kullanılabilir.

• Projede Ayarlar'a tıklayın.

Veri ambarı veri işlem hattı projeleri için ayarlar

Veri platformu

Aşağıdaki ayarları değiştirebilirsiniz:

• Bağlantı

  Proje için bağlantı.

• Hazırlama alanına bağlantı

  Veri platformu Snowflake olduğunda bu seçenek kullanılamaz.

Meta veriler

Dahili yapılar için bir sonek ve oluşturulan görünümler için varsayılan sonekler ayarlayabilirsiniz.

• Eser tercihleri

  • Tüm şemalar için ön ek: Projede oluşturulan veri şemalarına eklenecek ön ek. Bu, içe aktarılan bir proje dışa aktarılan bir projeyle aynı bulut veri deposunda olduğunda kullanışlıdır.

  • Dahili şema için son ek: Dahili eserleri depolamak için kullanılan şemalar için kullanılacak son ek.

  • Şema adının varsayılan büyük/küçük harf kullanımı: Tüm şema adları için varsayılan büyük/küçük harf kullanımı. Veritabanınız büyük/küçük harf kullanımını zorlayacak şekilde yapılandırılmışsa bu seçeneğin bir etkisi olmaz.

• Harici görünümler için son ekler

  Projeye dahil edilen veri görevlerinde oluşturulan görünümler için varsayılan son ekleri ayarlayın.

Yeni görevler için varsayılan ayarlar

Projede oluşturulan veri görevleri için varsayılan değerler ayarlayabilirsiniz. Bir veri görevi oluşturduğunuzda değeri değiştirebilirsiniz.

Tüm veri görevi türleri için hedef yapılar oluşturmak üzere varsayılan veritabanını ayarlayabilirsiniz.

Yerleştirme görevi varsayılanları

Varsayılan veritabanı

Projenin varsayılan veritabanını kullanabilir veya başka bir veritabanı belirtebilirsiniz.

Veri Hareketi ağ geçidi kullanırken hedefe bir proxy üzerinden erişme

• Data Movement gateway kullanırken, proxy üzerinden şuraya bağlanın:

  Veri Hareketi ağ geçidi kullanırken, hedef platforma ve hazırlama platformuna (alanına) bir proxy üzerinden bağlanabilirsiniz.

  Veri Hareketi ağ geçidi'i bir proxy sunucusu kullanacak şekilde yapılandırma hakkında daha fazla bilgi için bkz. Qlik Cloud kiracısını ve bir proxy sunucusunu ayarlama.

  • Hedef platform

    Bilgi notuSnowflake, Google BigQuery ve Databricks kullanıldığında kullanılabilir.

  • Hazırlama platformu

    Bilgi notuAzure Synapse Analytics, Amazon Redshift ve Databricks kullanıldığında kullanılabilir.

Depolama görevi varsayılanları

• Geçmiş Veri Deposu (Tip 2)

  Verileri belirli bir zamandaki haliyle kolayca yeniden oluşturmanıza olanak tanımak için geçmiş değişiklik verilerini tutabilirsiniz. Geçmiş verileri görmek için geçmiş görünümlerini ve canlı geçmiş görünümlerini kullanabilirsiniz.

• Canlı görünümler

  Canlı görünümler, seçilen her kaynak tablo için tabloyu değişiklik tablosundaki değişikliklerle birleştiren bir görünüm gösterir. Bu, bir sonraki uygulama döngüsünü beklemek zorunda kalmadan sorgulara verilerin canlı bir görünümünü sağlar.

Varsayılan veritabanı

Projenin varsayılan veritabanını kullanabilir veya başka bir veritabanı belirtebilirsiniz.

Katalog

• Kataloğa yayınla

  Verilerin bu sürümünü bir veri kümesi olarak Katalog'da yayınlamak için bu seçeneği belirleyin. Katalog içeriği, bu görevi bir sonraki hazırlayışınızda güncellenecektir.

Varsayılan görünüm türü

• Standart görünümler

  Bir sorgunun sonuçlarını bir tabloymuş gibi görüntülemek için standart görünümleri kullanın.

• Snowflake güvenli görünümleri

  Veri gizliliği veya hassas bilgilerin korunması için tasarlanmış görünümler (örneğin, temel tabloların tüm kullanıcılarına ifşa edilmemesi gereken hassas verilere erişimi sınırlamak için oluşturulan görünümler) için Snowflake güvenli görünümlerini kullanın. Snowflake güvenli görünümleri, Standart görünümlerden daha yavaş çalışabilir.

Kayıtlı veri görevi varsayılanları

Varsayılan veritabanı

Projenin varsayılan veritabanını kullanabilir veya başka bir veritabanı belirtebilirsiniz.

Katalog

• Kataloğa yayınla

  Verilerin bu sürümünü bir veri kümesi olarak Katalog'da yayınlamak için bu seçeneği belirleyin. Katalog içeriği, bu görevi bir sonraki hazırlayışınızda güncellenecektir.

Artımlı yükleme ayarları

Bu ayarlar, Yüksek filigran kullanarak artımlı seçildiğinde kullanılabilir.

• Değişiklik tabloları

  Değişiklikler aynı tablodaysa, Değişiklikler aynı tablo içinde seçeneğini belirleyin.

  Değilse, Değişiklikler aynı tablo içinde seçeneğini temizleyin ve bir değişiklik tablosu deseni belirtin.

• Filigran sütunu

  Ad alanında filigran sütununun adını ayarlayın.

• "Başlangıç tarihi" sütunu

  "Başlangıç tarihi"ni başlangıç zamanına göre veya seçili bir sütunu kullanarak belirtebilirsiniz.

  Seçili "Başlangıç tarihi" sütunu seçeneğini belirlerseniz, bir "Başlangıç tarihi" deseni tanımlamanız gerekir.

• Geçici silmeler

  Değişiklikler geçici silmeleri içerir seçeneğini belirleyip bir belirtme ifadesi tanımlayarak geçici silmeleri değişikliklere dahil edebilirsiniz.

  Değişiklik bir geçici silme ise belirtme ifadesi True (Doğru) olarak değerlendirilmelidir.

  Örnek: ${is_deleted} = 1

• Önceki görüntü

  Önceki görüntü seçeneğini belirleyip bir belirtme ifadesi tanımlayarak değişiklik tabloları değişikliklerindeki önceki görüntü kayıtlarını filtreleyebilirsiniz.

  Satır, güncellemeden önceki görüntüyü içeriyorsa belirtme ifadesi True (Doğru) olarak değerlendirilmelidir.

  Örnek: ${header__change_oper} = 'B'

Dönüştürme görevi varsayılanları

• Geçmiş Veri Deposu (Tip 2)

  Verileri belirli bir zamandaki haliyle kolayca yeniden oluşturmanıza olanak tanımak için geçmiş değişiklik verilerini tutabilirsiniz. Geçmiş verileri görmek için geçmiş görünümlerini ve canlı geçmiş görünümlerini kullanabilirsiniz.

Gerçekleştirme

• Gerçekleştirilmemiş (Yalnızca görünümler)

  Yalnızca anında dönüştürme gerçekleştiren görünümler oluşturmak için bu seçeneği belirleyin.

• Gerçekleştirilmiş (Tablolar ve Görünümler)

  Hem tablolar hem de görünümler oluşturmak için bu seçeneği belirleyin.

Varsayılan veritabanı

Projenin varsayılan veritabanını kullanabilir veya başka bir veritabanı belirtebilirsiniz.

Katalog

• Kataloğa yayınla

  Verilerin bu sürümünü bir veri kümesi olarak Katalog'da yayınlamak için bu seçeneği belirleyin. Katalog içeriği, bu görevi bir sonraki hazırlayışınızda güncellenecektir.

Varsayılan görünüm türü

• Standart görünümler

  Bir sorgunun sonuçlarını bir tabloymuş gibi görüntülemek için standart görünümleri kullanın.

• Snowflake güvenli görünümleri

  Veri gizliliği veya hassas bilgilerin korunması için tasarlanmış görünümler (örneğin, temel tabloların tüm kullanıcılarına ifşa edilmemesi gereken hassas verilere erişimi sınırlamak için oluşturulan görünümler) için Snowflake güvenli görünümlerini kullanın. Snowflake güvenli görünümleri, Standart görünümlerden daha yavaş çalışabilir.

Varsayılan tablo türü

Bu ayarlar yalnızca veri platformu olarak Snowflake bulunan projelerde kullanılabilir.

• Tablo türü

  Hangi tablo türünün kullanılacağını seçebilirsiniz:

  • Snowflake tabloları

  • Snowflake tarafından yönetilen Iceberg tabloları

    Snowflake harici biriminde harici birimin varsayılan adını ayarlamanız gerekir.

• Kullanılacak bulut depolama alanı klasörü

  Hazırlama alanına veri yerleştirirken kullanılacak klasörü seçin.

  • Varsayılan klasör

    Bu, <proje adı>/<veri görevi adı> varsayılan adıyla bir klasör oluşturur.

  • Kök klasör

    Verileri depolama alanının kök klasöründe depola.

  • Klasör

    Kullanılacak bir klasör adı belirtin.

• Snowflake Open Catalog ile senkronize et

  Snowflake Open Catalog'un bulut dosya depolama alanındaki dosyaları yönetmesine izin vermek için bunu etkinleştirin.

Veri reyonu görevi varsayılanları

Varsayılan veritabanı

Projenin varsayılan veritabanını kullanabilir veya başka bir veritabanı belirtebilirsiniz.

Katalog

• Kataloğa yayınla

  Verilerin bu sürümünü bir veri kümesi olarak Katalog'da yayınlamak için bu seçeneği belirleyin. Katalog içeriği, bu görevi bir sonraki hazırlayışınızda güncellenecektir.

Çalışma zamanı varsayılanları

Projeye dahil edilen veri varlıkları için varsayılan çalışma zamanı performans ayarlarını tanımlayabilirsiniz.

Yerleştirme varsayılanları

• Paralel yürütme bölümünde maksimum veritabanı bağlantısı sayısını ayarlayabilirsiniz.

Depolama varsayılanları

• Varsayılan zamanlama ayarlarını zamana dayalı bir zamanlama olarak ayarlayabilirsiniz. Bu, oluşturulan her depolama görevi için varsayılan değer olacaktır.

• Proje platformu Snowflake ise varsayılan veri ambarını ayarlayabilirsiniz.

Dönüştürme varsayılanları

• Varsayılan zamanlama ayarlarını zamana dayalı bir zamanlama veya Herhangi bir girdi veri görevinin başarıyla tamamlanması üzerine olarak ayarlayabilirsiniz. Bu, oluşturulan her dönüştürme görevi için varsayılan değer olacaktır.

• Proje platformu Snowflake ise varsayılan veri ambarını ayarlayabilirsiniz.

Veri reyonu varsayılanları

• Varsayılan zamanlama ayarlarını zamana dayalı bir zamanlama veya Herhangi bir girdi veri görevinin başarıyla tamamlanması üzerine olarak ayarlayabilirsiniz. Bu, oluşturulan her veri reyonu görevi için varsayılan değer olacaktır.

• Proje platformu Snowflake ise varsayılan veri ambarını ayarlayabilirsiniz.

Yansıtma varsayılanları

• Proje platformu Snowflake ise varsayılan veri ambarını ayarlayabilirsiniz.

Qlik Açık Göl Evi veri işlem hattı projeleri için ayarlar

Veri platformu

Aşağıdaki ayarları değiştirebilirsiniz:

• Veri kataloğu bağlantısı: Mevcut bir bağlantıyı seçin veya yeni bir veri kataloğu bağlantısı eklemek için Yeni oluştur'a tıklayın. Ayrıca mevcut bir bağlantıyı düzenleyebilir ve Bağlantıyı test et'e tıklayarak bağlantının çalıştığını doğrulayabilirsiniz.

• Yerleştirme hedefi bağlantısı: Verileri yerleştirmek için S3 demetini seçin veya yeni bir demet konumu eklemek için Yeni oluştur'a tıklayın. Ayrıca mevcut bir bağlantıyı düzenleyebilir ve Bağlantıyı test et'e tıklayarak bağlantının çalıştığını doğrulayabilirsiniz.

Meta veriler

Dahili yapılar için bir sonek ve oluşturulan görünümler için varsayılan sonekler ayarlayabilirsiniz.

• Eser tercihleri

  • Tüm şemalar için ön ek: Projede oluşturulan veri şemalarına eklenecek ön ek. Bu, içe aktarılan bir proje dışa aktarılan bir projeyle aynı bulut veri deposunda olduğunda kullanışlıdır.

  • Dahili şema için son ek: Dahili eserleri depolamak için kullanılan şemalar için kullanılacak son ek.

  • Şema adının varsayılan büyük/küçük harf kullanımı: Tüm şema adları için varsayılan büyük/küçük harf kullanımı. Veritabanınız büyük/küçük harf kullanımını zorlayacak şekilde yapılandırılmışsa bu seçeneğin bir etkisi olmaz.

• Harici görünümler için son ekler

  Projeye dahil edilen veri görevlerinde oluşturulan görünümler için varsayılan son ekleri ayarlayın.

• Karma

  Bir sütunu karma işleminden geçirirken kullanılacak bir karma tuzu dizesi ayarlayabilirsiniz, örneğin hassas bilgileri maskelemek için. Bu, girdi sütununu karma tuzu dizesiyle birleştirdikten sonra girdi sütununun bir SHA-256 karmasını oluşturacaktır.

  Proje kimliğini tuz dizesi olarak kullanabilir veya özel bir tuz dizesi ayarlayabilirsiniz.

Yeni görevler için varsayılan ayarlar

Projede oluşturulan veri görevleri için varsayılan değerler ayarlayabilirsiniz. Bir veri görevi oluşturduğunuzda değeri değiştirebilirsiniz.

Tüm veri görevi türleri için hedef yapılar oluşturmak üzere varsayılan veritabanını ayarlayabilirsiniz.

Göl yerleştirme görevi varsayılanları

Kullanılacak klasör

Dosyaların hangi demet klasörüne yazılmasını istediğinize bağlı olarak aşağıdakilerden birini seçin:

• Varsayılan klasör

  Varsayılan klasör biçimi şöyledir: <proje-adınız>/<görev-adınız>

• Kök klasör

  Dosyalar kök demet klasörüne yazılacaktır.

• Klasör

  Bir klasör adı belirtin. Klasör henüz mevcut değilse veri görevi sırasında oluşturulacaktır.

  Bilgi notu Klasör adı özel karakterler (örneğin @, #, ! vb.) içeremez.

Depolama görevi varsayılanları

• Geçmiş Veri Deposu (Tip 2)

  Verileri belirli bir zamandaki haliyle kolayca yeniden oluşturmanıza olanak tanımak için geçmiş değişiklik verilerini tutabilirsiniz. Geçmiş verileri görmek için geçmiş görünümlerini ve canlı geçmiş görünümlerini kullanabilirsiniz.

Katalog

• Kataloğa yayınla

  Verilerin bu sürümünü bir veri kümesi olarak Katalog'da yayınlamak için bu seçeneği belirleyin. Katalog içeriği, bu görevi bir sonraki hazırlayışınızda güncellenecektir.

Hazırlama alanında kullanılacak klasör

Dosyaların hangi demet klasörüne yazılmasını istediğinize bağlı olarak aşağıdakilerden birini seçin:

• Varsayılan klasör

  Varsayılan klasör biçimi şöyledir: <proje-adınız>/<görev-adınız>

• Kök klasör

  Dosyalar kök demet klasörüne yazılacaktır.

• Klasör

  Bir klasör adı belirtin. Klasör henüz mevcut değilse veri görevi sırasında oluşturulacaktır.

  Bilgi notu Klasör adı özel karakterler (örneğin @, #, ! vb.) içeremez.

Akış yerleştirme görevi varsayılanları

Projede oluşturulan Akış yerleştirme görevleri için varsayılan değerler ayarlayabilirsiniz.

Kullanılacak klasör

Dosyaların hangi demet klasörüne yazılmasını istediğinize bağlı olarak aşağıdakilerden birini seçin:

• Varsayılan klasör

  Varsayılan klasör biçimi şöyledir: <proje-adınız>/<görev-adınız>

• Kök klasör

  Dosyalar kök demet klasörüne yazılacaktır.

• Klasör

  Bir klasör adı belirtin. Klasör henüz mevcut değilse veri görevi sırasında oluşturulacaktır.

  Bilgi notu Klasör adı özel karakterler (örneğin @, #, ! vb.) içeremez.

Klasör saklama

Verilerin ne kadar süreyle saklanacağını seçin:

• Veriler ve meta veriler silinmez

  Ne veriler ne de meta veriler silinir.

• Saklama süresinden sonra verileri ve meta verileri sil

  Saklama süresi geçtikten sonra veriler ve meta veriler silinir.

• Saklama süresinden sonra meta verileri sil. Veriler harici sistem tarafından silinir.

  Bu süre geçtikten sonra meta veriler temizlenir. Temel veriler, örneğin S3 nesnesi, Qlik tarafından silinmez, ancak harici bir sistem tarafından silinir.

Akış dönüştürme görevi varsayılanları

Projede oluşturulan Akış Dönüştürme görevleri için varsayılan değerler ayarlayabilirsiniz.

Katalog

• Kataloğa yayınla

  Verilerin bu sürümünü bir veri kümesi olarak Katalog'da yayınlamak için bu seçeneği belirleyin. Katalog içeriği, bu görevi bir sonraki hazırlayışınızda güncellenecektir.

Kullanılacak klasör

Dosyaların hangi demet klasörüne yazılmasını istediğinize bağlı olarak aşağıdakilerden birini seçin:

• Varsayılan klasör

  Varsayılan klasör biçimi şöyledir: <proje-adınız>/<görev-adınız>

• Kök klasör

  Dosyalar kök demet klasörüne yazılacaktır.

• Klasör

  Bir klasör adı belirtin. Klasör henüz mevcut değilse veri görevi sırasında oluşturulacaktır.

  Bilgi notu Klasör adı özel karakterler (örneğin @, #, ! vb.) içeremez.

Tablo tanımları

Bu projedeki tüm Akış Dönüştürme görevleri için standart görünümlerde varsayılan olarak görünen standart görünüm başlığı sütunlarını yapılandırın.

• hdr__from_timestamp

  Bu seçenek etkinleştirildiğinde, hdr__from_timestamp başlık sütunu standart görünümlerde görünür. Ayrıca, katılım sihirbazında Olay alım tarihine göre bölümle seçildiğinde, hdr__from_timestamp varsayılan bölüm sütunu olarak kullanılacaktır. Bu ayarı görev veya veri kümesi düzeyinde geçersiz kılabilirsiniz.

  Bilgi notuGeçmiş görünümleri, bu ayardan bağımsız olarak her zaman tüm standart görünüm başlık sütunlarını içerir.

Çalışma zamanı

Projeye dahil edilen veri görevleri için varsayılan çalışma zamanı performans ayarlarını tanımlayabilirsiniz.

Göl yerleştirme görevi varsayılanları

• Paralel yürütme bölümünde maksimum veritabanı bağlantısı sayısını ayarlayabilirsiniz.

Depolama görevi varsayılanları

Lakehouse kümesi

İsteğe bağlı olarak, depolama görevleri için ayrılmış bir Lakehouse kümesi seçin.

Akış yerleştirme görevi varsayılanları

Okuyucu sayısı

Kullanılacak okuyucu sayısını seçin. Değer 1 ile 1.000 arasında olmalıdır.

Lakehouse kümesi

İsteğe bağlı olarak, depolama görevleri için ayrılmış bir Lakehouse kümesi seçin.

Akış dönüştürme görevi varsayılanları

Lakehouse kümesi

İsteğe bağlı olarak, depolama görevleri için ayrılmış bir Lakehouse kümesi seçin.

Yansıtma varsayılanları

• Proje platformu Snowflake ise varsayılan veri ambarını ayarlayabilirsiniz.