Ana içeriğe geç Tamamlayıcı içeriğe geç

Snowflake

Snowflake bir veri işlem hattında veya çoğaltma görevinde hedef veri platformu olarak kullanılabilir. Bir veri işlem hattında, verileri saklama, verileri dönüştürme, veri ambarları oluşturma ve veri kaydetme dahil olmak üzere hedef platformda çeşitli ELT işlemleri gerçekleştirilebilir. Diğer yandan çoğaltma görevi, temel dönüştürme yetenekleriyle ancak ELT işlemleri için destek olmadan, verilerin doğrudan bir kaynak sistemden bir hedef sisteme çoğaltılmasını içerir.

Hedef olarak Snowflake ayarlamak şunları içerir:

  • Veritabanında Gerekli izinler öğesini yapılandırma.
  • Gerekli sürücüyü yükleme. Bunun yalnızca Data Movement gateway üzerinden Snowflake'e bağlanıyorsanız zorunlu olduğunu unutmayın.
  • öğesine bağlantı yapılandırmaSnowflake

Bağlantı özelliklerini ayarlama

Bağlayıcıyı yapılandırmak için aşağıdakileri yapın:

  1. Bağlantılar'da Bağlantı oluştur'a tıklayın.

  2. Snowflake hedef bağlayıcısını seçin ve ardından aşağıdaki ayarları sağlayın:

Veri Hareketi ağ geçidi

Bilgi notuData Movement gateway bu abonelik kademesiyle desteklenmediğinden bu alan, Qlik Talend Cloud Başlangıç Kılavuzu aboneliğiyle kullanılamaz.

Bir Data Movement gateway yalnızca hedef veritabanına Qlik Cloud öğesinden erişilemiyorsa ve yalnızca bir Özel Bağlantı kullanılarak erişilebiliyorsa gereklidir (örneğin, bir Sanal Özel Bulutta bulunuyorsa). Bu durumda, hedef veritabanına erişmek istediğiniz Data Movement gateway öğesini seçin.

Kullanım durumunuza bağlı olarak, bu ya veri kaynağından veri taşımak için dağıtılanData Movement gateway ile aynı ya da farklı bir veri kaynağı olacaktır.

Data Movement gateway kullanım durumları hakkında bilgi için bkz. Data Movement gateway ne zaman gereklidir? ve Yaygın kullanım durumları.

Hedef veritabanına Qlik Cloud uygulamasından doğrudan erişilebiliyorsa Yok seçeneğini belirleyin.

Bilgi notuHedef veritabanına Data Movement gateway üzerinden erişirken, Data Movement gateway makinesine de uygun sürücüyü yüklemeniz gerekir. Ayrıntılar için aşağıdaki Sürücü kurulumu öğesine bakın.

Bağlantı özellikleri

  • Sunucu: Snowflake'e erişim URL'niz. Örneğin, myaccount.snowflakecomputing.com.

  • Bağlantı Noktası: Snowflake veritabanınıza erişmek istediğiniz bağlantı noktası. Varsayılan 443'tür.

Kimlik doğrulaması

Bir kimlik doğrulama yöntemi seçin:

  • Kullanıcı adı ve parola

    Bilgi notuBu yöntem seçildiğinde görev ayarlarının Genel sekmesindeki Snowpipe Akışı yükleme yöntemi desteklenmez.
  • Anahtar Çifti

    Snowflake veritabanınız, anahtar çifti kimlik doğrulamasını kullanacak şekilde yapılandırılmış olmalıdır. İşlem, Anahtar Çifti Kimlik Doğrulamasını Yapılandırma bölümünde açıklanmaktadır.

    Bilgi notuData Movement gateway kullanıyorsanız anahtar çifti kimlik doğrulamasını kullanmak için sürüm 2024.5.14 veya üstü gereklidir.

Hesap özellikleri

Kullanıcı adı ve parola

Kullanıcı Adı ve Parola: Snowflake veritabanına erişim yetkisi olan bir kullanıcının kullanıcı adı ve parolası.

Anahtar Çifti

Anahtar çifti özellikleri
Hesap özelliği Açıklama
Kullanıcı Snowflake'teki kullanıcı.
Özel Anahtar Dosyası Özel anahtar dosyanızı seçmek için Gözat'a tıklayın.
Özel Anahtar Dosyası Parolası Şifrelenmişse özel anahtarınızın şifresini çözmek için kullanılan parola.

Veritabanı özellikleri

  • Varsayılan Ambar: Snowflake deponuzun adı. Bunu proje ayarlarınızda geçersiz kılabilirsiniz.
  • Veritabanı adı: Bir veritabanını belirtmek için kullanabileceğiniz iki yöntem vardır:

    • 1. Yöntem - Bir listeden seç: Veritabanı yükle'ye tıklayın ve ardından bir veritabanı seçin.

    • 2. Yöntem - Manuel olarak: Veritabanı adını manuel olarak gir'i seçin ve ardından veritabanı adını girin.

Ek bağlantı özellikleri

Gerektiğinde ek ODBC ve JDBC bağlantı özellikleri belirtebilirsiniz. Hem ODBC hem de JDBC bağlantıları için geçerli olan özellikler (örneğin, "Rol") her ikisine de eklenmelidir.

Bilgi notu
  • Data Movement gateway kullanıyorsanız Ek bağlantı özellikleri 2024.5.54 sürümünden itibaren desteklenmektedir.
  • Güvenli özellikler (örneğin, şifreleme anahtarları) desteklenmez.
  • Bağlantı ayarlarında özel alanları olan özellikleri eklemeyin.

ODBC özellikleri

Bir ODBC sürücüsü aracılığıyla bağlanırken veri hareketi görevleri (Yerleştirme, Çoğaltma ve Veri Gölüne Yerleştirme) tarafından kullanılacak ek bağlantı özelliklerini belirtebilirsiniz.

Gerektiği takdirde özellik eklemek veya kaldırmak için alanların sağındaki Yeni oluştur ve İptal düğmelerini kullanın.

JDBC özellikleri

Bir JDBC sürücüsü aracılığıyla bağlanırken ELT görevleri (Kayıt, Depolama, Dönüştürme ve Veri ambarları) tarafından kullanılacak ek bağlantı özelliklerini belirtebilirsiniz.

Gerektiği takdirde özellik eklemek veya kaldırmak için alanların sağındaki Yeni oluştur ve İptal düğmelerini kullanın.

Dahili özellikler

Dahili özellikler özel kullanım durumları içindir ve bu nedenle diyalog penceresinde gösterilmez. Bunları yalnızca Qlik Desteği tarafından talimat verildiği takdirde kullanmalısınız.

Gerektiği takdirde özellik eklemek veya kaldırmak için alanların sağındaki Yeni oluştur ve İptal düğmelerini kullanın.

Ad

Bağlantının görünen adı.

Önkoşullar

Gerekli izinler

Şu izinler gereklidir:

  • USAGE ON DATABASE
  • CREATE SCHEMA ON DATABASE
  • USAGE ON DATABASE
  • USAGE ON SCHEMA
  • CREATE FILE FORMAT ON SCHEMA
  • CREATE STAGE ON SCHEMA
  • CREATE TABLE ON SCHEMA

Sürücü kurulumu

Bir sürücü yalnızca veritabanına Data Movement gateway üzerinden erişiyorsanız gereklidir.

driver öğesini, sürücü yükleme yardımcı programını kullanarak (önerilir) veya manuel olarak yükleyebilirsiniz. Manuel yükleme, nadir görülen şekilde sürücü yükleme yardımcı programında bir sorunla karşılaşmanız durumunda denenmelidir.

Sürücüyü yüklemek için sürücü yükleme yardımcı programı kullanma

Bu bölümde, gerekli driver öğesinin nasıl yükleneceği açıklanmıştır. Sürece; driver öğesini indirme, gerekli klasöre (aşağıya bakın) kopyalama ve otomatik olarak yükleyecek ve yapılandıracak bir komut dosyası çalıştırma işlemleri dahildir. Gerektiğinde driver öğesini güncellemek ve kaldırmak için de komut dosyaları çalıştırabilirsiniz.

  • Python 3.6 veya daha yeni bir sürümünün Data Movement ağ geçidi sunucusunda yüklü olduğundan emin olun.

    Python, çoğu Linux dağıtımında önceden yüklenmiş şekilde sunulur. Aşağıdaki komutu çalıştırarak sisteminizde yüklü olan Python sürümünü öğrenebilirsiniz:

    python3 --version

  • Snowflake ODBC sürücüsünü "snowflake-odbc-<version>.x86_64.rpm" indirin. /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml dizininde binary-artifacts altında desteklenen bir sürümün doğrudan indirme bağlantısını bulabilirsiniz. İndirme işlemi tamamlandığında dosyayı şuraya kopyalayın:

    /opt/qlik/gateway/movement/drivers/snowflake

driver öğesini yüklemek için:

  1. Veri Hareketi ağ geçidi hizmetini durdurun:

    sudo systemctl stop repagent

  2. İsteğe bağlı olarak hizmetin durduğunu doğrulayın:

    sudo systemctl status repagent

    Durum aşağıdaki gibi olmalıdır:

    Active: inactive (dead) since <timestamp> ago

  3. Data Movement ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

    opt/qlik/gateway/movement/drivers/bin

  4. Şu komutu çalıştırın:

    Söz Dizimi:

    ./install snowflake

    Aksi durumda, driver öğesinin EULA'sı görünür.

  5. Şunlardan birini yapın:

    • EULA'da yavaşça gezinmek için [Enter] tuşuna tekrar tekrar basın.
    • EULA'da hızlı bir şekilde gezinmek için Boşluk tuşuna tekrar tekrar basın.
    • Lisans metninden çıkmak ve EULA kabul seçeneklerine ulaşmak için q tuşuna basın.
  6. Şunlardan birini yapın:

    • EULA'yı kabul etmek ve yükleme işlemini başlatmak için "y" yazıp [Enter] tuşuna basın.
    • EULA'yı reddetmek ve yükleme işleminden çıkmak için "n" yazıp [Enter] tuşuna basın.
    • EULA'yı tekrar görüntülemek için "v" yazıp [Enter] tuşuna basın.

  7. driver yüklenir.

  8. Yüklemenin tamamlanmasını ("Tamamlandı!" ifadesiyle belirtilir) bekleyin ve ardından Veri Hareketi ağ geçidi hizmetini başlatın:

    sudo systemctl start repagent

  9. İsteğe bağlı olarak hizmetin başladığını doğrulayın:

    sudo systemctl status repagent

    Durum aşağıdaki gibi olmalıdır:

    Active: active (running) since <timestamp> ago

Sağlanan driver öğesini yüklemeden önce driver öğesinin eski sürümlerini kaldırmak istiyorsanız güncelleme komutunu çalıştırın.

driver öğesini güncellemek için:

  1. Veri Hareketi ağ geçidi hizmetini durdurun:

    sudo systemctl stop repagent

  2. İsteğe bağlı olarak hizmetin durduğunu doğrulayın:

    sudo systemctl status repagent

    Durum aşağıdaki gibi olmalıdır:

    Active: inactive (dead) since <timestamp> ago

  3. Data Movement ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

    opt/qlik/gateway/movement/drivers/bin

  4. Şu komutu çalıştırın:

    Söz Dizimi:

    ./update snowflake

    Aksi durumda, driver öğesinin EULA'sı görünür.

  5. Şunlardan birini yapın:

    • EULA'da yavaşça gezinmek için [Enter] tuşuna tekrar tekrar basın.
    • EULA'da hızlı bir şekilde gezinmek için Boşluk tuşuna tekrar tekrar basın.
    • Lisans metninden çıkmak ve EULA kabul seçeneklerine ulaşmak için q tuşuna basın.
  6. Şunlardan birini yapın:

    • EULA'yı kabul etmek ve yükleme işlemini başlatmak için "y" yazıp [Enter] tuşuna basın.
    • EULA'yı reddetmek ve yükleme işleminden çıkmak için "n" yazıp [Enter] tuşuna basın.
    • EULA'yı baştan incelemek için "v" yazıp [Enter] tuşuna basın.
  7. Eski driver kaldırılacak ve yeni driver yüklenecektir.

  8. Yüklemenin tamamlanmasını ("Tamamlandı!" ifadesiyle belirtilir) bekleyin ve ardından Veri Hareketi ağ geçidi hizmetini başlatın:

    sudo systemctl start repagent

  9. İsteğe bağlı olarak hizmetin başladığını doğrulayın:

    sudo systemctl status repagent

    Durum aşağıdaki gibi olmalıdır:

    Active: active (running) since <timestamp> ago

driver öğesini kaldırmak istiyorsanız kaldırma komutunu çalıştırın.

driver öğesini kaldırmak için:

  1. Bu bağlayıcıyı kullanmak için yapılandırılan tüm görevleri durdurun.

  2. Data Movement ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

    opt/qlik/gateway/movement/drivers/bin

  3. Şu komutu çalıştırın:

    Söz Dizimi:

    ./uninstall snowflake

    driver kaldırılacaktır.

Sürücüyü manuel olarak yükleme

driver öğesini manuel olarak yüklemeyi yalnızca otomatik sürücü yükleme başarıyla tamamlanmadığında denemelisiniz.

Hem bir ODBC sürücüsü hem de bir JDBC sürücüsü yüklemeniz gerekir.

  1. Data Movement gateway yüklendikten sonra /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml dizininde binary-artifacts altında listelenen snowflake-odbc-<version>x86_64.rpm sürücü dosyasını Data Movement gateway makinesine indirin.
  2. Sürücüyü Data Movement gateway makinesine yükleyin.
  1. /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml dizininde binary-artifacts altında listelenen snowflake-jdbc-<version>.jar dosyasını indirin ve Data Movement gateway makinesinde aşağıdaki klasöre kopyalayın:

    /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

  2. Data Movement gateway hizmet komutları bölümünde açıklanan komutlarını çalıştırarak Data Movement gateway hizmetini yeniden başlatın ve başladığını kontrol edin

Bağlantı noktası

Giden iletişim için güvenlik duvarı bağlantı noktası 443'ün açılması gerekir.

Sınırlamalar ve dikkate alınacak noktalar

Verileri bir Snowflake hedefine taşırken aşağıdaki sınırlamalar geçerlidir:

  • Adlarında ters eğik çizgi bulunan tabloların (ör. SPECIAL\\TABLE\N) çoğaltılması desteklenmez.

Snowpipe Akışı yükleme yöntemini kullanırken geçerli olan sınırlamalar ve dikkate alınacak noktalar

  • Yükleme yöntemi olarak Snowpipe Akışı kullanıldığında aşağıdaki sınırlamalar geçerlidir:
    • Yalnızca yerleştirme görevleri için:

      • Snowpipe yalnızca INSERT işlemlerini desteklediğinden, Yeniden yükle ve karşılaştır güncelleme yöntemi desteklenmez.

    • Yalnızca çoğaltma görevleri için:

      • Snowpipe yalnızca INSERT işlemlerini desteklediğinden, Değişiklikleri uygula çoğaltma modu desteklenmez.

      • Bir işlem sırasında Değişiklikleri Sakla çoğaltmasının durdurulması ve 30 gün veya daha uzun bir süre sonra yeniden başlatılması, hedefte yinelenen kayıtlara neden olabilir. Snowflake 30 gün sonra kanalları otomatik olarak siler.
    • Hem yerleştirme hem de çoğaltma görevleri için:

      • Kullanıcı adı ve parola kimlik doğrulaması desteklenmez.
      • XML alt türü desteklenmez.
  • Veri türleri

    Aşağıdaki tabloda Qlik Cloud kullanırken desteklenen Snowflake veri türleri ve Qlik Cloud veri türlerine ait varsayılan eşlemeler gösterilmektedir.

    Yerel veri türü bilgileri korunur ve veri kümesi görünümlerinde Yerel veri türü sütununda görüntülenir. Sütun görünür değilse veri kümesi görünümünün sütun seçicisini açmanız ve Yerel veri türü sütununu seçmeniz gerekir.

    Desteklenen veri türleri
    Qlik Cloud veri türleri Snowflake veri türleri

    BOOLEAN

    BOOLEAN

    BYTES

    BINARY (Bayt olarak uzunluk)

    DATE

    DATE

    TIME

    TIME (kesinlik)

    DATETIME

    TIMESTAMP_NTZ (kesinlik)

    INT1

    BYTEINT

    INT2

    SMALLINT

    INT4

    INTEGER

    INT8

    BIGINT

    NUMERIC

    NUMBER (kesinlik, ölçek)

    REAL4

    FLOAT4

    REAL8

    FLOAT8

    UINT1

    BYTEINT

    UINT2

    INTEGER

    UINT4

    INTEGER

    UINT8

    BIGINT

    STRING

    VARCHAR (Bayt olarak uzunluk)

    WSTRING

    NVARCHAR (Bayt olarak uzunluk)

    BLOB

    BINARY (8388608)

    NCLOB

    NVARCHAR (8388608)

    CLOB

    VARCHAR (8388608)

    Bu sayfa size yardımcı oldu mu?

    Bu sayfa veya içeriği ile ilgili bir sorun; bir yazım hatası, eksik bir adım veya teknik bir hata bulursanız lütfen bize bildirin!