Dönüştürme akışları ekleme

Akışları dönüştürme görevlerine dahil edebilirsiniz. Akış tasarımcısı, karmaşık veya basit dönüştürmeleri tanımlamak için kaynakları, işlemcileri ve hedefleri kullanarak bir dönüştürme akışı oluşturmanıza olanak tanır.

Dönüştürme akışları ve işlemciler mantıksal temsillerdir. Bu, ELT görevlerinde her bir hedef için yalnızca bir tablo oluşturulduğu ve tüm işlemcilerin hedef başına tek bir SQL ifadesinde derlendiği anlamına gelir.

Desteklenen hedef platformlar

Aşağıdaki platformlar, dönüşüm akışlarıyla desteklenir:

• Snowflake

• Databricks

• Google BigQuery

• Azure Synapse Analytics

• Microsoft Fabric

• Microsoft SQL Server

• Amazon Redshift

  Bilgi notuAşağıdaki Amazon Redshift işlevleri kullanılamaz: UUID dizesi oluşturma ve Mesafeyi Düzenle.

Önkoşullar

Bir dönüştürme akışı oluşturmadan önce:

• Dönüştürme akışında kullanmak istediğiniz, alınan verilerle depolama görevini doldurmanız veya mevcut verileri kaydetmeniz gerekir. Verilerin nasıl alınacağı ve kaydedileceği hakkında daha fazla bilgi için bkz. Verileri buluta alma ve Veri platformunda zaten mevcut olan verileri kaydetme.
• Dönüştürme akışında kaynak olarak kullanılan depolama veya dönüştürme görevini hazırlamanız ve çalıştırmanız gerekir. Depolama görevini çalıştırmak zorunlu değildir, ancak akışın her adımında veri önizlemesini görüntüleyebilmek için önerilir.

Dönüştürme akışı oluşturma

Geçerli bir dönüştürme akışı oluşturmak için en az bir kaynak veri kümesine ve tanımlanmış anahtarlar içeren bir adlandırılmış hedefe ihtiyacınız vardır.

1. Veri işlem hattınızda Transform data görevini açın.
2. Dönüştür'de dönüştürme akışına dahil edilecek kaynak veri kümelerini seçin ve Dönüştürme akışı ekle'ye tıklayın.

   Dönüştürme akışı ekle seçeneği, dönüşüm için ayarları girebileceğiniz yerde görüntülenir.

3. Ad alanında hedef veri kümesi için bir ad girin.

   Ayrıca Açıklama'ya daha uzun bir açıklama da girebilirsiniz.

4. Materyalleştirme alanında, dönüştürülen çıktının materyalleştirilip materyalleştirilmeyeceğini seçin. Ayarı veri görevi ayarlarından devralmayı seçebilirsiniz.

   • Açık, tablolar oluşturacak ve ilişkili ELT işlemlerini yönetecektir.

   • Kapalı, dönüşümleri anında gerçekleştiren görünümler oluşturur.

5. Artımlı yükleme, makrolar kullanılarak işlenen veri kümesini azaltmak için filtreler veya başka koşullar uygulayarak sorguyu artımlı bir veri yüklemesi için ayarlamanıza olanak tanır. Artımlı yükleme yalnızca veriler tablolar olarak somutlaştırılmışsa kullanılabilir.

   • Artan yük Açık olduğunda

     Görevin ilk yürütülmesi, sorgunun tüm sonuçlarını hedef tablonuza ekleyerek bir ilk yükleme gerçekleştirecektir. Sonraki yürütmeler, filtrelerden veya artımlı işleme için tanımladığınız belirli koşullardan yararlanarak artımlı yüklemeler gerçekleştirecektir. Artımlı yükleme sırasında, görev verileri yalnızca güncelleme veya ekleme olarak işler, silme işlemleri yönetilmez.

   • Artan yük Kapalı olduğunda

     Görevin ilk yürütülmesi, sorgunun tüm sonuçlarını hedef tablonuza ekleyerek bir ilk yükleme gerçekleştirecektir. Sonraki yürütmeler, hedef tablonuzla karşılaştırarak ve yeni, değiştirilmiş veya silinmiş kayıtları işleyerek sorgunun tüm sonuçlarını işleyecektir.

   Bilgi notuSorgu, hedefte bulunması gereken tüm kayıtları seçiyorsa Artımlı yüklemeyi kapalı olarak ayarlayın. Seçilmeyen kayıtlar hedefte silinir.

6. Dönüştürme akışını oluşturmaya hazır olduğunuzda Ekle'ye tıklayın.

   Akış tasarımcısı açıldığında hedef, hedef bileşen olarak oluşturulur ve akışınızda görüntülenir.

   Bilgi notuAkış hedefiniz için benzersiz bir ad sağlamak zorunludur. Akış hedefini daha sonra yeniden adlandırmak isterseniz hedefi seçin ve yeni adı Veri kümesi adı kısmına girin.
7. Hedefiniz için tanımlanmış anahtar yoksa Anahtarlar ve null değer alabilenler alanının yanındaki Düzenle'ye tıklayın. Yapılandırma penceresi açılır.
   Bilgi notuAnahtarlar, kaynak veri kümelerinden devralınmaz ve manuel olarak tanımlanmalıdır. Null değer alabilenler, kaynak veri kümelerinden devralınır ve değiştirilebilir.
8. Anahtarlar ve null değer alabilenler bölümünde, birincil anahtar olarak tanımlamak istediğiniz sütunda Anahtar'ı seçin ve null değer alabilir olarak tanımlamak istediğiniz sütun veya sütunlarda Null değer alabilir'i seçin.
9. Değişiklikleri kaydetmek için Onayla'ya tıklayın ve yapılandırma penceresini kapatın.

Dönüştürme akışının durumu geçerliyse akışı kapatabilir ve verilerinizi hazırlayabilirsiniz.

Gerçekleşme ve Artımlı yük ayarlarını daha sonra Hedef ayarları'nda değiştirebilirsiniz.

• Hedefi seçin ve hedef yapılandırmasında Ayarlar'ın yanındaki Düzenle seçeneğine tıklayın.

İşlemci ekleme

Akışlarınıza işlemci ekleyebilirsiniz.

İşlemciler, gelen verilerinizi dönüştürmek ve dönüştürülen verileri akışın bir sonraki adımına döndürmek için akışlarınıza ekleyebileceğiniz bileşenlerdir.

1. Akış tasarımcısında, sonrasına işlemci eklemek istediğiniz akış bileşenini seçin.
2. Akış bileşeninde öğesine, ardından İşlemci ekle'ye tıklayın ve eklenecek işlemciyi seçin. İşlemciyi sol panelden tuvale de sürükleyebilirsiniz.
İpucu notuİşlemciler panelinden işlemciyi seçerek işlemcinin kısa bir açıklaması görüntülenebilir.
3. İşlemcinizi ihtiyaçlarınıza göre yapılandırın ve değişiklikleri kaydetmek ve veri önizlemesini güncellemek için Kaydet'e tıklayın.
   Bilgi notuSQL ve Veri önizlemesi seçeneğini kullanarak verilerinizin bir örneğine ait önizlemeyi görüntüleyebilirsiniz. Daha fazla bilgi için bk. Verileri önizleme.

Mevcut işlemciler

Toplama işlemcisi

Yapay zeka işlemcisi

Temizleme işlemcisi

Birleştirme işlemcisi

Filtreleme işlemcisi

Fork işlemcisi

Karma değer işlemcisi

Artımlı filtreleme işlemcisi

Birleştirme işlemcisi

Matematik işlemcisi

Sayılar işlemcisi

Sütun kaldırma işlemcisi

Sütun seçme işlemcisi

SQL ifade işlemcisi

Dizeler işlemcisi

Birleşim işlemcisi

Kullanım durumu: Snowflake'te verileri birleştirme, toplama ve filtreleme

Bu kullanım durumunda Snowflake müşteri verilerinin işlemcilerle dönüştürülmesi gerekir. Müşterileri bilgileri iki veri kümesinden geldiğinden kayıtları birleştirmek için önce bir Birleştirme işlemcisi eklemelisiniz. Ayrıca siparişlerin ortalama fiyatını hesaplamak için Toplama işlemcisi ve çıktı veri kümelerinizde tutmak istediğiniz müşteri kaydı türlerine filtre uygulamak üzere Filtreleme işlemcisi kullanmalısınız.

Birinci veri kümesi, CUSTOMER_ACCOUNT adlı bir Snowflake tablosuna ve ona ait, şunun gibi görünen şemaya dayanır:

İkici veri kümesi, CUSTOMER_ORDER adlı bir Snowflake tablosuna ve ona ait, şunun gibi görünen şemaya dayanır:

1. Soldaki İşlemciler panelinden bir Birleştirme işlemcisini tuvale sürükleyin.
2. Her iki veri kümesinin birleştirilebilmesi için ikinci kaynağı Birleştirme işlemcisine bağlayın.
3. Birleştirme işlemcisini, müşteri kimliği anahtarları (CUSTOMER_ID) üzerinde iki kaynak veri kümesini birleştirecek şekilde yapılandırın.
4. Birleştirme işlemcisinden sonra bir Toplama işlemcisi sürükleyin.
5. Toplama işlemcisini, kayıtları müşteri segmenti türüne (LEFT_CUSTOMER_SEGMENT) gruplarken ortalama müşteri satın alma tutarını (ORDER_TOTAL_PRICE) hesaplayacak ve bu tutarı avg_order_price adını verebileceğiniz yeni bir sütunda saklayacak şekilde yapılandırın.
6. Soldaki İşlemciler panelinden bir Birleştirme işlemcisini sürükleyip tuvale bırakın.
7. Filtreleme işlemcisini iş müşterisi türleri (Business) üzerinde filtre uygulayacak şekilde yapılandırın.
8. Menüyü açmak için Filtreleme işlemcisi üzerinde öğesini seçin ve akışınıza ikinci bir hedef eklemek üzere Eşleşmeyen hedef ekle'ye tıklayın.

   Bu hedef, bireysel müşteri türleri (Individual) filtre kriteriyle eşleşmeyen kayıtlar içerecektir.

9. Yeni hedef veri kümesi için individual_cust gibi bir ad girin.
10. Her iki hedefte çıktı önizlemesini kontrol edin:

    business_cust hedef, İş müşteri türleri için burada 157.463687151 olan ortalama sipariş fiyatını gösterir.

    

    individual_cust hedefi, bireysel müşteri türleri için burada 153.576530612 olan ortalama sipariş fiyatını gösterir.

    
11. Dönüştürme akışının geçerli bir duruma sahip olduğundan emin olun, ardından dönüştürme akışını kapatın.
12. Dönüştür penceresinde verilerinizi hazırlamak için Hazırla seçeneğine tıklayın.

En iyi uygulama

Akışlarınıza kaynak veya hedef veri kümeleri eklediğinizde hedef veri kümelerinin yapılandırma panelinde anahtarları ve null değer alabilenleri ayarlamalısınız.