Snowflake

Du kan använda Snowflake som en måldataplattform i en datapipeline. I en datapipeline kan diverse åtgärder utföras på målplattformen, inklusive mellanlagring av data, omvandling av data, skapande av datamart och dataregistrering. I det här ämnet beskrivs hur du konfigurerar anslutningar till ett Snowflake-mål med kopplingen Snowflake Target. Innan du kan ansluta till ett Snowflake-mål måste du konfigurera Behörigheter som krävs på databasen. Om du ansluter till Snowflake via Gateway för dataflytt måste du även installera nödvändig drivrutin enligt beskrivning i Inställning av drivrutin.

Information om begränsningar och överväganden för användning av kopplingen Snowflake Target finns i Begränsningar och överväganden.

Ställa in anslutningsegenskaper

I det här avsnittet beskrivs de tillgängliga anslutningsegenskaperna. Alla egenskaper krävs om inget annat anges.

Gateway för dataflytt

Datagateway: Gateway för dataflytt behövs enbart om det inte går att komma åt måldatabasen från Qlik Cloud och bara kan nås via en privat länk (om den exempelvis är placerad i ett virtuellt privat moln). I så fall ska du välja Gateway för dataflytt att använda för åtkomst till måldatabasen.

Beroende på användningsfall kan det vara samma Gateway för dataflytt som distribuerats för att mellanlagra data från datakällan eller någon annan. Information om mölliga Gateway för dataflytt distributionsalternativ finns i Vanlig användning.

Om måldatabasen kan kommas åt direkt från Qlik Cloud ska du välja Ingen.

Anslutningsegenskaper

• Server: Din URL för att få tillgång till Snowflake. Till exempel mittkonto.snowflakecomputing.com.

• Port: Den port som du vill använda för att få tillgång till din Snowflake-databas. 443 är standard.

Kontoegenskaper

User Name och Password: Användarnamn och lösenord för en användare som har behörighet att komma åt Snowflake-databasen.

Databasegenskaper

• Förvalt lager: Namnet på ditt Snowflake-datalager. Du kan åsidosätta detta i dina projektinställningar.

• Databasnamn: du kan använda två metoder för att specificera en databas:

  • Metod 1 - Välj från en lista: Klicka på Ladda databas och välj sedan en databas.
  • Metod 2 - Manuellt: Välj Ange databasnamn manuellt och ange databasens namn.

Interna egenskaper

Interna egenskaper är till för speciella användarfall och visas därför inte i dialogen. De ska bara användas om Qlik-supporten uppmanar dig att göra det.

Använd - och -knapparna till höger om fälten för att lägga till och ta bort egenskaper efter behov.

Namn

Visningsnamnet för anslutningen.

Förutsättningar

Behörigheter som krävs

Följande behörigheter krävs:

Behörigheter som krävs om du vill att scheman som inte finns ska skapas automatiskt

• USAGE ON DATABASE
• CREATE SCHEMA ON DATABASE

Behörigheter som krävs om schemat redan finns

• USAGE ON DATABASE
• USAGE ON SCHEMA
• CREATE FILE FORMAT ON SCHEMA
• CREATE STAGE ON SCHEMA
• CREATE TABLE ON SCHEMA

Inställning av drivrutin

En drivrutin behövs bara om du kommer åt en databas via Gateway för dataflytt.

Du kan installera driver med verktyget för installation av drivrutiner (rekommenderas) eller manuellt. Manuell installation ska bara användas om det mot förmodan skulle inträffa ett problem med verktyget för installation av drivrutiner.

Använda verktyget för installation av drivrutiner för att installera drivrutinen

I det här delavsnittet beskrivs hur driver som krävs installeras. Processen innebär att hämta driver, kopiera den till rätt mapp (se nedan) och att köra ett skript som automatiskt installerar och konfigurerar den. Du kan också köra skript som uppdaterar och avinstallerar driver efter behov.

Förbereda installationen

• Kontrollera att Python 3.6 eller senare är installerad på Dataflytt-gatewayservern.

  Python kommer förinstallerad på de flesta Linuxdistributioner. Du kan kontrollera vilken Pythonversion som är installerad på ditt system genom att köra följande kommando:

  python3 --version

• Hämta Snowflake ODBC-drivrutinen "snowflake-odbc-<version>.x86_64.rpm". Du hittar en direkt nedladdningslänk för den version som stöds i binary-artifacts i /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml. När hämtningen har slutförts kopierar du filen till:

  /opt/qlik/gateway/movement/drivers/snowflake

Installera driver

Så här installerar du driver:

1. Stoppa tjänsten Data Movement gateway:

   sudo systemctl stop repagent

2. Om du vill kan du bekräfta att tjänsten har stoppats:

   sudo systemctl status repagent

   Statusen ska vara enligt följande:

   Active: inactive (dead) since <timestamp> ago

3. På Dataflytt-gatewaydatorn byter du arbetskatalog till:

   opt/qlik/gateway/movement/drivers/bin

4. Kör följande kommando:

   Syntax:

   ./install snowflake

   I annat fall visas EULA för driver.

5. Gör ett av följande:

   • Tryck på [Enter] flera gånger för att långsamt rulla genom EULA.
   • Tryck på mellanslagstangenten flera gånger för att snabbt rulla genom EULA.
   • Tryck på q för att lämna avtalstexten. Godkännandealternativen för EULA visas.

6. Gör något av följande:

   • Skriv in "y" och tryck på [Enter] för att godkänna EULA och börja med installationen.
   • Skriv in "n" och tryck på [Enter] för att avböja EULA och avsluta installationen.

   • Skriv in "v" och tryck på [Enter] för att visa EULA igen.

driver kommer att installeras.

7. Vänta tills installationen har slutförts (anges med "Slutförd!") och starta sedan Data Movement gateway-tjänsten:

   sudo systemctl start repagent

8. Du kan även bekräfta att tjänsten har startats:

   sudo systemctl status repagent

   Statusen ska vara enligt följande:

   Active: active (running) since <timestamp> ago

Uppdatering av driver

Kör uppdateringskommandot om du vill avinstallera tidigare versioner av driver innan du installerar den tillhandahållna driver.

Så här uppdaterar du driver:

1. Stoppa tjänsten Data Movement gateway:

   sudo systemctl stop repagent

2. Om du vill kan du bekräfta att tjänsten har stoppats:

   sudo systemctl status repagent

   Statusen ska vara enligt följande:

   Active: inactive (dead) since <timestamp> ago

3. På Dataflytt-gatewaydatorn byter du arbetskatalog till:

   opt/qlik/gateway/movement/drivers/bin

4. Kör följande kommando:

   Syntax:

   ./update snowflake

   I annat fall visas EULA för driver.

5. Gör ett av följande:

   • Tryck på [Enter] flera gånger för att långsamt rulla genom EULA.
   • Tryck på mellanslagstangenten flera gånger för att snabbt rulla genom EULA.
   • Tryck på q för att lämna avtalstexten. Godkännandealternativen för EULA visas.

6. Gör något av följande:

   • Skriv in "y" och tryck på [Enter] för att godkänna EULA och börja med installationen.
   • Skriv in "n" och tryck på [Enter] för att avböja EULA och avsluta installationen.
   • Skriv in "v" och tryck på [Enter] för att granska EULA från början.

Den gamla driver avinstalleras och den nya driver installeras.

7. Vänta tills installationen har slutförts (anges med "Slutförd!") och starta sedan Data Movement gateway-tjänsten:

   sudo systemctl start repagent

8. Du kan även bekräfta att tjänsten har startats:

   sudo systemctl status repagent

   Statusen ska vara enligt följande:

   Active: active (running) since <timestamp> ago

Avinstallera driver

Kör avinstalleringskommandot om du vill avinstallera driver.

Så här avinstallerar du driver:

1. Stoppa alla uppgifter som är konfigurerade för att använda denna koppling.

2. På Dataflytt-gatewaydatorn byter du arbetskatalog till:

   opt/qlik/gateway/movement/drivers/bin

3. Kör följande kommando:

   -syntax

   ./uninstall snowflake

   driver kommer att avinstalleras.

Installera drivrutinen manuellt

Du bör bara försöka installera driver manuellt om den automatiserade drivrutinsinstallationen inte slutfördes.

Du måste installera både en ODBC och en JDBC drivrutin.

Installera ODBC-drivrutinen

1. När Gateway för dataflytt har installerats hämtar du drivrutinsfilen snowflake-odbc-<version>x86_64.rpm som listas under binary-artifacts i /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml och kopierar den till Gateway för dataflytt-maskinen.
2. Installera drivrutinen på Gateway för dataflytt-maskinen.

Installera JDBC-drivrutinen

1. Hämta snowflake-jdbc-<version>x86_64.rpm som listas under binary-artifacts i /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml och kopierar den till följande mapp på Gateway för dataflytt-maskinen.

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Starta om Gateway för dataflytt-tjänsten och kontrollera att den har startat genom att köra kommandona som beskrivs i Servicekommandon för Gateway för dataflytt

Port

Brandväggsport 443 måste öppnas för utgående kommunikation.

Optimering av prestanda och användning av molntjänster

För information om avgifter som uppstår när du använder Snowflake Cloud Services, se Snowflake: Additional Billing (Cloud Services Layer) Impact

Begränsningar och överväganden

Följande begränsningar gäller när du flyttar data till ett Snowflake-mål:

• Replikering av tabeller med omvända snedstreck i sina namn (t.ex. SÄRSKILD\\TABELL\\N) stöds inte.

Datatyper

Följande tabell visar de Snowflake-datatyper som stöds vid användning av Qlik Cloud och standardmappningen från Qlik Cloud-datatyper.

Information om inbyggd datatyp bevaras och visas i kolumnen Inbyggd datatyp i datauppsättningsvyer. Om kolumnen inte är synlig måste du öppna kolumnväljaren i datauppsättnignsvyn och välja kolumnen Inbyggd datatyp.