Akış verileri

Buluta alma işlemi, verileri kaynaktan aktarır ve Iceberg tablolarında depolar. Klasör veri kaynaklarından gelen değişiklikler, depolama tablolarına neredeyse gerçek zamanlı olarak sürekli uygulanır.

Verileri buluta al

Veriler bir İşlem hattı projesi içinde buluta alınır ve veri kümeleri proje ayarlarında tanımlanan S3 konumunda depolanır.

1. Projenizde Oluştur'a, sonra Verileri buluta al'a tıklayın.

2. Buluta alma için bir Görev adı ve isteğe bağlı bir Açıklama ekleyin.

   İleri'ye tıklayın.

3. Kaynak bağlantısını seçin.

   Mevcut bir akış kaynak Bağlantısı seçebilir veya kaynağa yeni bir Bağlantı oluşturabilirsiniz.

   Daha fazla bilgi için bk. Veri klasörlerine bağlanma

   İleri'ye tıklayın ve veri kaynağınız için aşağıdaki talimatları izleyin.

Verileri seçme

Apache Kafka ve Amazon Kinesis

Liste, kaynak Bağlantısında tanımlanan ana bilgisayardan kullanılabilir Kafka konularını veya Kinesis klasörlerini görüntüler.

Konularınızı/klasörlerinizi seçerken, belirli veri kümelerini seçebilir veya veri kümesi gruplarını dahil etmek veya hariç tutmak için seçim kurallarını kullanabilirsiniz:

• Veri kümeleri için seçim kriterleri tanımlamak üzere % karakterini joker karakter olarak kullanın.

• %.% tüm klasörlerdeki tüm veri kümelerini tanımlar.

Konular seçim kuralları kullanılarak seçilirse, tüm veri kümelerini aynı hedef tabloya yüklemeyi mi yoksa her kaynak konu için ayrı bir hedef tablo oluşturmayı mı seçeceğinizi belirleyebilirsiniz:

• Varsayılan olarak, hedef Iceberg tablo adı konu adından türetilir ve adlandırma kurallarına uymak üzere biçimlendirilir; örneğin, küçük harf, boşluklar kaldırılmış, kısa çizgiler alt çizgiyle değiştirilmiş. Hedef veri kümesi adını tanımla bölümünde, hedef tablonun adını düzenleyebilirsiniz.

• Birden çok konuyu tek bir tabloya yüklemek için seçim kuralları kullanıldığında, hedef adı sağlamanız gerekir.

• Seçim kuralları kullanıldığında ve veriler ayrı tablolara (konu başına bir veri kümesi) yüklendiğinde, varsayılan hedef adları konu adlarıdır. Bu aşamada, sihirbazdaki adları düzenleyemezsiniz, ancak bu daha sonra yerleştirme görevinde yapılabilir.

• Bir kural, alım için konuları seçmek üzere yapılandırılmışsa, kural ölçütlerini karşılayan tüm yeni konular, yerleştirme görevi ayarlarındaki şema evrimi altındaki Yeni konu  > Hedefe ekle seçeneği işaretliyse yerleştirilir.

Bir veya daha fazla veri kümesi seçin ve Seçili klasörleri ekle'ye tıklayın. Eklenen veri kümelerini Açık olarak seçilen klasörler altında görebilirsiniz. İleri'ye tıklayın.

Amazon S3

Dizin tarayıcısı, kaynak bağlantınızın S3 demetinde bulunan tüm dizinlerin bir listesini görüntüler. 

• Verileri yerleştirirken dahil edilecek dizinleri seçin:

  • Her dizin için, Yol ekle bölümünde yolu ve dosya adı desenini girin:

    • Herhangi bir karakterle eşleşmesi için * öğesini joker karakter olarak kullanın.

    • Bir tarih deseni girmek için, dört haneli yıl yer tutucusu olarak <yyyy>, iki haneli ay yer tutucusu olarak <MM>, iki haneli gün yer tutucusu olarak <dd> ve iki haneli saat yer tutucusu olarak <HH> kullanın. Örnek:

      • MyDir3/<yyyy>_<MM>_<dd>_<HH>_orders.csv

      • MyDir3/<yyyy>/<MM>/<dd>/<HH>_orders.csv

• Önizle'ye tıklayarak Verileri önizle iletişim kutusunu açın. Dahil edilen ve hariç tutulan dosyaların bir listesi görüntülenir.

• Verileri kontrol etmek için Doğrula'ya tıklayın.

• Hedef veri kümesi adını tanımla bölümünde, konuyu hedef Iceberg tablosuyla eşlemek için bir ad sağlayın. İleri'ye tıklayın.

İçerik türünü seçme

Kaynak olay içerik türünü seçin.

• Aldığınız olayların türünü Veri olaylarının türünü seçin bölümünde seçin.

• Daha fazla bilgi için bkz. Veri klasörlerine bağlanma.

  Seçilen içerik türü tüm konular için geçerlidir. Almak istediğiniz her içerik türü için yeni bir görev oluşturmanız gerekir.

• Verilerin ayrıştırılabildiğini onaylamak için Olayların doğru yüklendiğini doğrulayın bölümünü genişletin. Bu aşamada verilerin doğru olduğundan emin olmalısınız, aksi takdirde işlem hattını yeniden oluşturmanız ve verileri tekrar yüklemeniz gerekir. Belirli veri kümelerini incelemek ve verilerin yüklenmesini etkileyebilecek uyarıları kontrol etmek için Veri kümesi seç öğesini kullanın. Verileri görüntülemek için herhangi bir yapı sütununun yanındaki göz simgesine tıklayın.

• İleri'ye tıklayın.

Alma özelliklerini ayarlama

İşlem hattınızın ayarlarını yapılandırın:

• Şuradan veri oku:

  • En eski olaydan başla: tüm geçmiş verileri al.

  • Şimdi başla: işlem hattı başladığı andan itibaren gelen yeni verileri al.

• Sütunu içe içelikten çıkarma

  • İç içe sütunları koru: dönüşüm uygulanmaz.

  • Ayrı sütunlara ayır: veriler ayrı sütunlara bölünür.

• Yükleme ayarları

  • Yalnızca ekle: genellikle olay verileri için en iyi seçenektir çünkü genellikle kısa ömürlüdür ve güncellenmez, örneğin, Siparişler.

  • Birleştirme: bu, zamanla güncellenen verilere en uygunudur, örneğin, Müşteriler.

• Hedef tablo bölmesi

  Hedef tablo bölümleme seçeneği, işlem hattındaki tüm tablolara uygulanır. Bunu daha sonra özel bölümleme için tablo düzeyinde geçersiz kılabilirsiniz.

  • Bölme yok: tablolar herhangi bir bölümleme olmadan oluşturulur.

  • Olay alma tarihine göre bölme: tablolar, olayların alındığı tarihe göre bölümlenir.

• İleri'ye tıklayın.

Özet

Özet ekranı, işlem hattınızın görsel bir görüntüsünü sağlar:

• İsteğe bağlı olarak, Akış yerleştirme ve Akış Dönüştürme görevi için, yeni değerler sağlamak üzere Adı ve açıklamayı düzenle seçeneğine tıklayabilirsiniz.

• İşlem hattı oluşturulduktan sonra ne olmasını istediğinize ilişkin seçeneği belirleyin.

• Tüm ayarları yapılandırdığınızda, işlem hattı projesini oluşturmak için Oluştur seçeneğine tıklayın.

• Proje görüntülendiğinde, verileri almaya başlamak için her görevi hazırlayabilir ve çalıştırabilirsiniz.

  • Akış yerleştirme görevini hazırlayıp çalıştırın.

    Daha fazla bilgi için şuraya bakın: Akış verilerini Qlik Açık Göl Evi hedefine yerleştirme.

  • Akış Dönüştürme görevini hazırlayıp çalıştırın.

    Daha fazla bilgi için şuraya bakın: Klasör veri kümelerini saklama.