Gå till huvudinnehåll Gå till ytterligare innehåll

Snowflake

Du kan använda Snowflake som en måldataplattform i en datapipeline eller i en replikeringsuppgift. I en datapipeline kan diverse ELT-åtgärder utföras på målplattformen, inklusive lagring av data, omvandling av data, skapande av datamart och dataregistrering. En replikeringsuppgift å andra sidan omfattar replikering av data direkt från ett källsystem till ett målsystem med grundläggande omvandlingsfunktioner, men utan stöd för ELT-åtgärder.

Ställa in Snowflake som mål omfattar att:

Ställa in anslutningsegenskaper

Gör så här för att konfigurera kopplingen:

  1. I Kopplingar klickar du på Skapa koppling.

  2. Välj Snowflake -målkopplingen och ange följande inställningar:

Gateway för dataflytt

Anteckning om informationDetta fält är inte tillgängligt med Qlik Talend Cloud Starterprenumeration eftersom Data Movement gateway inte stöds med denna prenumerationsnivå.

Data Movement gateway behövs enbart om det inte går att komma åt måldatabasen från Qlik Cloud och bara kan nås via en privat länk (om den exempelvis är placerad i ett virtuellt privat moln). I så fall ska du välja Data Movement gateway att använda för åtkomst till måldatabasen.

Beroende på användningsfall kan det vara samma Data Movement gateway som distribuerats för att flytta data från datakällan eller någon annan.

Information om Data Movement gateway-användningsfall finns i När krävs Data Movement gateway? och Vanliga användningsfall.

Om måldatabasen kan kommas åt direkt från Qlik Cloud ska du välja Ingen.

Anteckning om informationVid åtkomst till databasen via Data Movement gateway måste du även installera korrekt drivrutin på Data Movement gateway-maskinen. Information finns i Inställning av drivrutin nedan.

Anslutningsegenskaper

  • Server: din URL för att få tillgång till Snowflake. Till exempel mittkonto.snowflakecomputing.com.

  • Port: den port som du vill använda för att få tillgång till din Snowflake-databas. 443 är standard.

Autentisering

Det finns olika sätt att autentisera en koppling:

  • Användarnamn och lösenord

  • Nyckelpar

    Databasen Snowflake måste vara konfigurerad för att använda nyckelparsautentisering. Processen beskrivs i dokumentationen på Snowflake:

    Anteckning om informationOm du använder Data Movement gateway krävs version 2024.5.14 eller högre för att använda nyckelparsautentisering.

Kontoegenskaper

Användarnamn och lösenord

Användarnamn och Lösenord: Användarnamn och lösenord för en användare som har behörighet att komma åt Snowflake-databasen.

Nyckelpar

Egenskaper för nyckelpar
Kontoegenskaper Beskrivning
Användare Användare i Snowflake.
Privat nyckelfigur Klicka på Bläddra för att välja filen med din privata nyckelfil.
Privat nyckelfilslösenord Lösenordet för att dekryptera din privata nyckel om den är krypterad.

Databasegenskaper

  • Förvalt lager: Namnet på ditt Snowflake-datalager. Du kan åsidosätta detta i dina projektinställningar.
  • Databasnamn: du kan använda två metoder för att specificera en databas:

    • Metod 1 - Välj från en lista: Klicka på Ladda databas och välj sedan en databas.

    • Metod 2 - Manuellt: Välj Ange databasnamn manuellt och ange databasens namn.

Ytterligare kopplingsegenskaper

Du kan ange ytterligare kopplingsegenskaper för ODBC och JDBC efter behov. Egenskaper som är relevanta för både ODBC- och JDBC-kopplingar – t.ex. "Roll" – bör läggas till i båda.

Anteckning om information
  • Om du använder Data Movement gateway stöds ytterligare kopplingsegenskaper från version 2024.5.54.
  • Säkra egenskaper (t.ex. krypteringsnycklar) stöds inte.
  • Lägg inte till egenskaper som har dedikerade fält i kopplingsinställningarna.

ODBC-egenskaper

Du kan ange ytterligare kopplingsegenskaper som kommer att användas av dataflyttsuppgifter (mellanlagring, replikering och mellanlagring i en datasjö) vid koppling via en ODBC-drivrutin.

Använd Skapa ny- och Avbryt-knapparna till höger om fälten för att lägga till och ta bort egenskaper efter behov.

JDBC-egenskaper

Du kan ange ytterligare kopplingsegenskaper som kommer att användas av ELT-aktiviteter (Register, Lagringsplats, Transformering och Datamarter) vid koppling via en JDBC-drivrutin.

Använd Skapa ny- och Avbryt-knapparna till höger om fälten för att lägga till och ta bort egenskaper efter behov.

Interna egenskaper

Interna egenskaper är till för speciella användarfall och visas därför inte i dialogen. De ska bara användas om Qlik-supporten uppmanar dig att göra det.

Använd Skapa ny- och Avbryt-knapparna till höger om fälten för att lägga till och ta bort egenskaper efter behov.

Namn

Visningsnamnet för anslutningen.

Förutsättningar

Behörigheter som krävs

Följande behörigheter krävs:

  • USAGE ON DATABASE
  • CREATE SCHEMA ON DATABASE
  • USAGE ON DATABASE
  • USAGE ON SCHEMA
  • CREATE FILE FORMAT ON SCHEMA
  • CREATE STAGE ON SCHEMA
  • CREATE TABLE ON SCHEMA

Inställning av drivrutin

En drivrutin behövs bara om du kommer åt en databas via Data Movement gateway.

Du kan installera driver med verktyget för installation av drivrutiner (rekommenderas) eller manuellt. Manuell installation ska bara användas om det mot förmodan skulle inträffa ett problem med verktyget för installation av drivrutiner.

Använda verktyget för installation av drivrutiner för att installera drivrutinen

I det här delavsnittet beskrivs hur driver som krävs installeras. Processen innebär att hämta driver, kopiera den till rätt mapp (se nedan) och att köra ett skript som automatiskt installerar och konfigurerar den. Du kan också köra skript som uppdaterar och avinstallerar driver efter behov.

  • Kontrollera att Python 3.6 eller senare är installerad på Data Movement-gatewayservern.

    Python kommer förinstallerad på de flesta Linuxdistributioner. Du kan kontrollera vilken Pythonversion som är installerad på ditt system genom att köra följande kommando:

    python3 --version

  • Hämta Snowflake ODBC-drivrutinen "snowflake-odbc-<version>.x86_64.rpm". Du hittar en direkt nedladdningslänk för den version som stöds i binary-artifacts i /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml. När hämtningen har slutförts kopierar du filen till:

    /opt/qlik/gateway/movement/drivers/snowflake

Så här installerar du driver:

  1. Stoppa tjänsten Gateway för dataflytt:

    sudo systemctl stop repagent

  2. Om du vill kan du bekräfta att tjänsten har stoppats:

    sudo systemctl status repagent

    Statusen ska vara enligt följande:

    Active: inactive (dead) since <timestamp> ago

  3. Data Movement-gatewaydatorn byter du arbetskatalog till:

    opt/qlik/gateway/movement/drivers/bin

  4. Kör följande kommando:

    Syntax:

    ./install snowflake

    I annat fall visas EULA för driver.

  5. Gör ett av följande:

    • Tryck på [Enter] flera gånger för att långsamt rulla genom EULA.
    • Tryck på mellanslagstangenten flera gånger för att snabbt rulla genom EULA.
    • Tryck på q för att lämna avtalstexten. Godkännandealternativen för EULA visas.
  6. Gör något av följande:

    • Skriv in "y" och tryck på [Enter] för att godkänna EULA och börja med installationen.
    • Skriv in "n" och tryck på [Enter] för att avböja EULA och avsluta installationen.
    • Skriv in "v" och tryck på [Enter] för att visa EULA igen.

  7. driver kommer att installeras.

  8. Vänta tills installationen har slutförts (anges med "Slutförd!") och starta sedan Gateway för dataflytt-tjänsten:

    sudo systemctl start repagent

  9. Du kan även bekräfta att tjänsten har startats:

    sudo systemctl status repagent

    Statusen ska vara enligt följande:

    Active: active (running) since <timestamp> ago

Kör uppdateringskommandot om du vill avinstallera tidigare versioner av driver innan du installerar den tillhandahållna driver.

Så här uppdaterar du driver:

  1. Stoppa tjänsten Gateway för dataflytt:

    sudo systemctl stop repagent

  2. Om du vill kan du bekräfta att tjänsten har stoppats:

    sudo systemctl status repagent

    Statusen ska vara enligt följande:

    Active: inactive (dead) since <timestamp> ago

  3. Data Movement-gatewaydatorn byter du arbetskatalog till:

    opt/qlik/gateway/movement/drivers/bin

  4. Kör följande kommando:

    Syntax:

    ./update snowflake

    I annat fall visas EULA för driver.

  5. Gör ett av följande:

    • Tryck på [Enter] flera gånger för att långsamt rulla genom EULA.
    • Tryck på mellanslagstangenten flera gånger för att snabbt rulla genom EULA.
    • Tryck på q för att lämna avtalstexten. Godkännandealternativen för EULA visas.
  6. Gör något av följande:

    • Skriv in "y" och tryck på [Enter] för att godkänna EULA och börja med installationen.
    • Skriv in "n" och tryck på [Enter] för att avböja EULA och avsluta installationen.
    • Skriv in "v" och tryck på [Enter] för att granska EULA från början.
  7. Den gamla driver avinstalleras och den nya driver installeras.

  8. Vänta tills installationen har slutförts (anges med "Slutförd!") och starta sedan Gateway för dataflytt-tjänsten:

    sudo systemctl start repagent

  9. Du kan även bekräfta att tjänsten har startats:

    sudo systemctl status repagent

    Statusen ska vara enligt följande:

    Active: active (running) since <timestamp> ago

Kör avinstalleringskommandot om du vill avinstallera driver.

Så här avinstallerar du driver:

  1. Stoppa alla uppgifter som är konfigurerade för att använda denna koppling.

  2. Data Movement-gatewaydatorn byter du arbetskatalog till:

    opt/qlik/gateway/movement/drivers/bin

  3. Kör följande kommando:

    -syntax

    ./uninstall snowflake

    driver kommer att avinstalleras.

Installera drivrutinen manuellt

Du bör bara försöka installera driver manuellt om den automatiserade drivrutinsinstallationen inte slutfördes.

Du måste installera både en ODBC och en JDBC drivrutin.

  1. När Data Movement gateway har installerats hämtar du drivrutinsfilen snowflake-odbc-<version>x86_64.rpm som listas under binary-artifacts i /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml och kopierar den till Data Movement gateway-maskinen.
  2. Installera drivrutinen på Data Movement gateway-maskinen.
  1. Hämta snowflake-jdbc-<version>.jar-filen som listas under binary-artifacts i /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml och kopierar den till följande mapp på Data Movement gateway-maskinen.

    /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

  2. Starta om Data Movement gateway-tjänsten och kontrollera att den har startat genom att köra kommandona som beskrivs i Servicekommandon för Data Movement gateway

Port

Brandväggsport 443 måste öppnas för utgående kommunikation.

Begränsningar och överväganden

Följande begränsningar gäller när du flyttar data till ett Snowflake-mål:

  • Replikering av tabeller med omvända snedstreck i sina namn (t.ex. SÄRSKILD\\TABELL\\N) stöds inte.

Datatyper

Följande tabell visar de Snowflake-datatyper som stöds vid användning av Qlik Cloud och standardmappningen från Qlik Cloud-datatyper.

Information om inbyggd datatyp bevaras och visas i kolumnen Inbyggd datatyp i datauppsättningsvyer. Om kolumnen inte är synlig måste du öppna kolumnväljaren i datauppsättnignsvyn och välja kolumnen Inbyggd datatyp.

Datatyper som stöds
Qlik Cloud-datatyper Snowflake-datatyper

BOOLEAN

BOOLEAN

Byte

BINARY (längd i bytes)

Datum

Datum

Tid

TIME (precision)

Datum och tid:

TIMESTAMP_NTZ (precision)

INT1

BYTEINT

INT2

SMALLINT

INT4

INTEGER

INT8

BIGINT

Numerisk

NUMBER (precision, skala)

REAL4

FLOAT4

REAL8

FLOAT8

UINT1

BYTEINT

UINT2

INTEGER

UINT4

INTEGER

UINT8

BIGINT

sträng

VARCHAR (längd i bytes)

WSTRING

NVARCHAR (längd i bytes)

BLOB

BINARY (8388608)

NCLOB

NVARCHAR (8388608)

CLOB

VARCHAR (8388608)

Var den här sidan till hjälp för dig?

Om du hittar några fel på denna sida eller i innehållet – ett stavfel, ett steg som saknas eller ett tekniskt fel – berätta för oss så att vi kan blir bättre!