Snowflake

U kunt Snowflake als een doelgegevensplatform in een gegevenspijplijn of in een replicatietaak. In een gegevenspijplijn kunt u verschillende ELT-bewerkingen uitvoeren voor het doelplatform, zoals gegevens opslaan, gegevens transformeren, datamarts maken en gegevens registreren. Bij een replicatietaak daarentegen worden gegevens rechtstreeks van een bronsysteem naar een doelsysteem gerepliceerd met basistransformatie-opties, maar zonder ondersteuning voor ELT-bewerkingen. gebruiken

Snowflake als doel instellen vereist het volgende:

• De Vereiste machtigingen configureren in de database.
• Het vereiste stuurprogramma installeren Dit is alleen vereist als u via de Gateway voor gegevensverplaatsing verbinding maakt met Snowflake.
• Een verbinding naar Snowflake configureren

Verbindingseigenschappen instellen

Ga als volgt te werk om de connector te configureren:

1. Klik in Verbindingen op Verbinding maken.

2. Selecteer de Snowflake doelconnector en stel de volgende instellingen in:

Data Movement gateway

Gegevensgateway

Een Gateway voor gegevensverplaatsing is alleen vereist als de doeldatabase niet toegankelijk is via Qlik Cloud en kan alleen worden geopend via een privékoppeling (bijvoorbeeld als deze zich in een virtuele privécloud bevindt). Als dit het geval is, selecteer dan de Gateway voor gegevensverplaatsing waarmee u toegang wilt krijgen tot de doeldatabase.

Afhankelijk van uw gebruikssituatie, gebruikt u dezelfde Gateway voor gegevensverplaatsing die is geïmplementeerd om gegevens van de bron te verplaatsen of u gebruikt een andere gateway.

Voor informatie over usecases voor de Gateway voor gegevensverplaatsing, gaat u naar Wanneer is de Gateway voor gegevensverplaatsing vereist? en Veelvoorkomende usecases.

Als de doeldatabase direct toegankelijk is via Qlik Cloud, selecteer dan Geen.

Verbindingseigenschappen

• Server: uw URL voor toegang tot Snowflake. Bijvoorbeeld: myaccount.snowflakecomputing.com.

• Poort: de poort waarmee u toegang wilt krijgen tot uw Snowflake-database. De standaardinstelling is 443.

Verificatie

Er zijn verschillende manieren om een verbinding te verifiëren:

• Gebruikersnaam en wachtwoord

• Sleutelpaar

  Uw Snowflake-database moet geconfigureerd zijn om sleutelpaar-authenticatie te gebruiken. Het proces wordt beschreven in Snowflake-documentatie:

  • Sleutelpaar-authenticatie configureren

  InformatieAls u Gateway voor gegevensverplaatsing gebruikt, is versie 2024.5.14 of hoger vereist om sleutelpaar-authenticatie te gebruiken.

Accounteigenschappen

Gebruikersnaam en wachtwoord

Gebruikersnaam en Wachtwoord: de gebruikersnaam en het wachtwoord van een gebruiker die toegang heeft tot de Snowflake-database.

Sleutelpaar

Database-eigenschappen

• Standaardwarehouse: De naam van uw Snowflake-warehouse. U kunt dit overschrijven via uw projectinstellingen.

• Databasenaam: Er zijn twee methoden die u kunt gebruiken om een database op te geven:

  • Methode 1 - Selecteren in een lijst: Klik op Databases laden en selecteer een database.

  • Methode 2 - Handmatig: Selecteer Databasenaam handmatig opgeven en geef vervolgens de databasenaam op.

Interne eigenschappen

Interne eigenschappen zijn bedoeld voor speciale toepassingen en worden daarom niet in het dialoogvenster weergegeven. U moet ze alleen gebruiken als Qlik Support dit aan u heeft geadviseerd.

Gebruik de knop en aan de rechterkant van de velden om eigenschappen toe te voegen of te verwijderen.

Naam

De weergavenaam voor de verbinding.

Vereisten

Vereiste machtigingen

De volgende machtigingen zijn vereist:

Vereiste machtigingen als u wilt dat nog niet bestaande schema's automatisch worden gemaakt

• USAGE ON DATABASE
• CREATE SCHEMA ON DATABASE

Vereiste machtigingen als het schema al bestaat

• USAGE ON DATABASE
• USAGE ON SCHEMA
• CREATE FILE FORMAT ON SCHEMA
• CREATE STAGE ON SCHEMA
• CREATE TABLE ON SCHEMA

Setup stuurprogramma

Er is alleen een stuurprogramma vereist als u via Gateway voor gegevensverplaatsing toegang krijgt tot de database.

U kunt het driver installeren met het installatieprogramma (aanbevolen) of handmatig. U moet een handmatige installatie alleen uitvoeren als er een probleem ontstaat bij het hulpprogramma.

Het hulpprogramma gebruiken om het stuurprogramma te installeren

In deze sectie wordt beschreven hoe u het vereiste driver installeert. Het proces omvat het downloaden van het driver, het kopiëren ervan naar de vereiste map (zie hieronder) en het uitvoeren van een script dat automatisch het vereiste stuurprogramma installeert en configureert. U kunt indien nodig ook scripts uitvoeren om het driver bij te werken en verwijderen.

De installatie voorbereiden

• Controleer of Python 3.6 of hoger is geïnstalleerd op de Gegevensverplaatsing-gatewayserver.

  Python is al geïnstalleerd op de meeste Linux-distributies. U kunt controleren welke Python-versie is geïnstalleerd op uw systeem door de volgende opdracht uit te voeren:

  python3 --version

• Download de Snowflake ODBC driver "snowflake-odbc-<version>.x86_64.rpm". U vindt een directe downloadlink voor de ondersteunde versie onder binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml. Nadat de download is voltooid, kopieert u het bestand naar:

  /opt/qlik/gateway/movement/drivers/snowflake

De driver installeren

Ga als volgt te werk om het driverte installeren:

1. Stop de Data Movement gateway-service:

   sudo systemctl stop repagent

2. Bevestig eventueel dat de service is gestopt:

   sudo systemctl status repagent

   De status zou als volgt moeten zijn:

   Active: inactive (dead) since <timestamp> ago

3. Op de Gegevensverplaatsing-gatewaymachine wijzigt u de werkdirectory in:

   opt/qlik/gateway/movement/drivers/bin

4. Voer dan de volgende opdracht uit:

   Syntaxis:

   ./install snowflake

   Anders wordt de gebruiksrechtovereenkomst voor het driver getoond.

5. Voer een van de volgende handelingen uit:

   • Druk herhaaldelijk op [Enter] om langzaam door de gebruiksrechtovereenkomst te scrollen.
   • Druk herhaaldelijk op de spatiebalk om snel door de gebruiksrechtovereenkomst te scrollen.
   • Druk op q om de licentietekst af te sluiten en de opties te tonen voor het aanvaarden van de gebruiksrechtovereenkomst.

6. Voer een van de volgende handelingen uit:

   • Typ "y" en druk op [Enter] om de gebruiksrechtovereenkomst te accepteren en de installatie te starten.
   • Typ "n" en druk op [Enter] om de gebruiksrechtovereenkomst af te wijzen en de installatie af te sluiten.

   • Typ "v" en druk op [Enter] om de gebruiksrechtovereenkomst nogmaals te tonen.

Het driver wordt geïnstalleerd.

7. Wacht totdat de installatie is voltooid (wordt aangegeven met "Voltooid!") en start vervolgens de Data Movement gateway-service:

   sudo systemctl start repagent

8. Bevestig eventueel dat de service is gestart:

   sudo systemctl status repagent

   De status zou als volgt moeten zijn:

   Active: active (running) since <timestamp> ago

Het driver bijwerken

Voer de update-opdracht uit als u eerdere versies van het driver wilt verwijderen voordat u het meegeleverde driver installeert.

Ga als volgt te werk om het driver te bij te werken:

1. Stop de Data Movement gateway-service:

   sudo systemctl stop repagent

2. Bevestig eventueel dat de service is gestopt:

   sudo systemctl status repagent

   De status zou als volgt moeten zijn:

   Active: inactive (dead) since <timestamp> ago

3. Op de Gegevensverplaatsing-gatewaymachine wijzigt u de werkdirectory in:

   opt/qlik/gateway/movement/drivers/bin

4. Voer dan de volgende opdracht uit:

   Syntaxis:

   ./update snowflake

   Anders wordt de gebruiksrechtovereenkomst voor het driver getoond.

5. Voer een van de volgende handelingen uit:

   • Druk herhaaldelijk op [Enter] om langzaam door de gebruiksrechtovereenkomst te scrollen.
   • Druk herhaaldelijk op de spatiebalk om snel door de gebruiksrechtovereenkomst te scrollen.
   • Druk op q om de licentietekst af te sluiten en de opties te tonen voor het aanvaarden van de gebruiksrechtovereenkomst.

6. Voer een van de volgende handelingen uit:

   • Typ "y" en druk op [Enter] om de gebruiksrechtovereenkomst te accepteren en de installatie te starten.
   • Typ "n" en druk op [Enter] om de gebruiksrechtovereenkomst af te wijzen en de installatie af te sluiten.
   • Typ "v" en druk op [Enter] om de gebruiksrechtovereenkomst nogmaals vanaf het begin te tonen.

Het oude driver wordt verwijderd en het nieuwe driver wordt geïnstalleerd.

7. Wacht totdat de installatie is voltooid (wordt aangegeven met "Voltooid!") en start vervolgens de Data Movement gateway-service:

   sudo systemctl start repagent

8. Bevestig eventueel dat de service is gestart:

   sudo systemctl status repagent

   De status zou als volgt moeten zijn:

   Active: active (running) since <timestamp> ago

Het driver verwijderen

Voer de uninstall-opdracht uit als u het driver wilt verwijderen.

Ga als volgt te werken om het driver te verwijderen:

1. Stop alle taken die zijn geconfigureerd om deze connector te gebruiken.

2. Op de Gegevensverplaatsing-gatewaymachine wijzigt u de werkdirectory in:

   opt/qlik/gateway/movement/drivers/bin

3. Voer dan de volgende opdracht uit:

   Syntaxis:

   ./uninstall snowflake

   driver wordt verwijderd.

Het stuurprogramma handmatig installeren

U moet het driver alleen handmatig uitvoeren als de geautomatiseerde installatie van het stuurprogramma niet is voltooid.

U moet zowel een ODBC-stuurpogramma als een JDBC-stuurprogramma installeren.

Het ODBC-stuurprogramma installeren

1. Nadat Gateway voor gegevensverplaatsing is geïnstalleerd, downloadt u het snowflake-odbc-<version>x86_64.rpm stuurprogrammabestand onder binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml en kopieert u het naar de machine met de Gateway voor gegevensverplaatsing.
2. Installeer het stuurprogramma op de Gateway voor gegevensverplaatsing-machine.

Het JDBC-stuurprogramma installeren

1. Download het snowflake-jdbc-<version>.jar bestand onder binary-artifacts in /opt/qlik/gateway/movement/drivers/manifestssnowflake.yaml en kopieer het naar de volgende map op de machine met de Gateway voor gegevensverplaatsing.

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Herstart de Gateway voor gegevensverplaatsing-service en controleer of deze is gestart door de opdrachten uit te voeren die worden beschreven in Opdrachten Gateway voor gegevensverplaatsing-service

Poort

Firewallpoort 443 moet zijn geopend voor uitgaande communicatie.

Beperkingen en overwegingen

De volgende beperkingen zijn van toepassing bij het verplaatsen van gegevens naar een Snowflake-doel:

• Het repliceren van tabellen met backslashes in de naam (bijv. SPECIAL\\TABLE\N) wordt niet ondersteund.

Gegevenstypen

De volgende tabel toont de Snowflake-gegevenstypen van de database die worden ondersteund als u Qlik Cloud en de standaard toewijzingen van Qlik Cloud-gegevenstypen gebruikt.

Informatie in eigen gegevenstypen wordt behouden en wordt weergegeven in de kolom Eigen gegevenstype in weergaven van gegevensverzamelingen. Als de kolom niet zichtbaar is, moet u de kolomkiezer van de weergave van de gegevensverzameling openen en de kolom Eigen gegevenstype selecteren.

Ondersteunde gegevenstypen

Qlik Cloud-gegevenstypen	Snowflake-gegevenstypen
BOOLEAN	BOOLEAN
BYTES	BINARY (lengte in bytes)
DATE	DATE
TIME	TIME (precisie)
DATETIME	TIMESTAMP_NTZ (precisie)
INT1	BYTEINT
INT2	SMALLINT
INT4	INTEGER
INT8	BIGINT
NUMERIC	NUMBER (precisie, schaal)
REAL4	FLOAT4
REAL8	FLOAT8
UINT1	BYTEINT
UINT2	INTEGER
UINT4	INTEGER
UINT8	BIGINT
STRING	VARCHAR (lengte in bytes)
WSTRING	NVARCHAR (lengte in bytes)
BLOB	BINARY (8388608)
NCLOB	NVARCHAR (8388608)
CLOB	VARCHAR (8388608)