Azure Synapse Analytics

U kunt Azure Synapse Analytics gebruiken als een doelgegevensplatform in een gegevenspijplijn. In een gegevenspijplijn kunt u verschillende ELT-bewerkingen uitvoeren voor het doelplatform, zoals gegevens opslaan, gegevens transformeren, datamarts maken en gegevens registreren.

Azure Synapse Analytics als doel instellen vereist het volgende:

• Voldoen aan de vereisten
• Een verbinding naar een cloudtussengebied configureren (Azure Data Lake Storage). Dit is niet vereist als u bestaande gegevens registreert.
• Een verbinding naar Azure Synapse Analytics configureren

Een cloudtussengebied instellen

U hebt ook een Azure Data Lake Storage-cloudtussengebied nodig waar gegevens en wijzigingen worden klaargezet voordat ze worden toegepast en opgeslagen. Raadpleeg Azure Data Lake Storage voor informatie over het instellen van een verbinding met Azure Data Lake Storage.

Verbindingseigenschappen van Azure Synapse Analytics instellen

Nadat u de instellingen voor het Azure Data Lake Storage Target hebt opgegeven, doet u het volgende:

1. Klik in Verbindingen op Verbinding maken.

2. Selecteer de Azure Synapse Analytics doelconnector en stel de volgende instellingen in:

Gegevensdoel

Gegevensgateway

Een Gateway voor gegevensverplaatsing is alleen vereist als de doeldatabase niet toegankelijk is via Qlik Cloud en kan alleen worden geopend via een privékoppeling (bijvoorbeeld als deze zich in een virtuele privécloud bevindt). Als dit het geval is, selecteer dan de Gateway voor gegevensverplaatsing waarmee u toegang wilt krijgen tot de doeldatabase.

Afhankelijk van uw gebruikssituatie, gebruikt u dezelfde Gateway voor gegevensverplaatsing die is geïmplementeerd om gegevens van de bron te verplaatsen of u gebruikt een andere gateway.

Voor informatie over usecases voor de Gateway voor gegevensverplaatsing, gaat u naar Wanneer is de Gateway voor gegevensverplaatsing vereist? en Veelvoorkomende usecases.

Als de doeldatabase direct toegankelijk is via Qlik Cloud, selecteer dan Geen.

Verbindingseigenschappen

• Server: hostnaam om de locatie van de Azure Synapse Analytics-database te identificeren.

• Poort de poort waarmee u toegang wilt krijgen tot uw Azure Synapse Analytics-database. De standaardwaarde is 1433.

Accounteigenschappen

Gebruikersnaam en Wachtwoord: de gebruikersnaam en het wachtwoord van een gebruiker die toegang heeft tot de Azure Synapse Analytics-database.

Database-eigenschappen

• Databasenaam: Er zijn twee methoden die u kunt gebruiken om een database op te geven:

  • Methode 1 - Selecteren in een lijst: Om deze methode te gebruiken, moet de gebruiker in de masterdatabase zijn gemaakt. Klik op Databases laden en selecteer een database.
  • Methode 2 - Handmatig: Selecteer Databasenaam handmatig opgeven en geef vervolgens de databasenaam op.

Laadeigenschappen van gegevens

De SQL Server-referenties kunnen automatisch tijdens de runtime worden gemaakt (de standaardinstelling) of u kunt bestaande referenties gebruiken. Doe een van de volgende dingen:

• Als het selectievakje SQL Server-referenties maken is geselecteerd (de standaardinstelling), worden de SQL Server-referenties automatisch tijdens de runtime gemaakt. Geef uw toegangssleutel op in het veld Toegangssleutel.
• Om bestaande referenties te gebruiken, schakelt u het selectievakje SQL Server-referenties maken uit en geeft uw de naam van de SQL Server-referenties op in het veld Naam referentie field.

Naam

De weergavenaam voor de verbinding.

Vereisten

Machtigingen

U moet opslagmachtigingen en databasemachtigingen verlenen, zoals hieronder beschreven.

Opslagmachtigingen

De gebruiker die is opgegeven in de Azure Synapse Analytics-connector moet de volgende opslagmachtigingen krijgen.

• Op de ADLS Gen2 Storage-container: LIST
• Op de ADLS Gen2 Storage-map: READ, WRITE en DELETE
• In de instellingen voor toegangsbeheer (IAM) voor het ADLS Gen2-bestandssysteem, wijst u de rol 'Storage Blob Data Contributor' toe aan Data Movement gateway (AD-app-id). Het kan enkele minuten duren voordat de rol van kracht is.

Databasemachtigingen

De gebruiker die is opgegeven in de Azure Synapse Analytics-connector moet de volgende machtigingen voor de databse krijgen:

• Algemene machtigingen:

  • db_owner ROLE

• Tabelmachtigingen:

  • SELECT, INSERT, UPDATE en DELETE
  • Bulk Load
  • CREATE, ALTER, DROP (indien vereist door de definitie van de taak)

Databaseselectie

Om een database te selecteren (door in het connectorvenster op Databases laden te klikken), moet de gebruiker die in de connectorinstellingen is gespecificeerd in de masterdatabase worden aangemaakt.

Setup stuurprogramma

Er is alleen een stuurprogramma vereist als u via Gateway voor gegevensverplaatsing toegang krijgt tot de database. In dit geval moet u het stuurprogramma op de Gateway voor gegevensverplaatsing-machine installeren.

U kunt het driver installeren met het installatieprogramma (aanbevolen) of handmatig. U moet een handmatige installatie alleen uitvoeren als er een probleem ontstaat bij het hulpprogramma.

Het hulpprogramma gebruiken om het stuurprogramma te installeren

In deze sectie wordt beschreven hoe u het vereiste driver installeert. Het proces omvat het uitvoeren van een script dat automatisch het vereiste driver downloadt, installeert en configureert. U kunt indien nodig ook scripts uitvoeren om het driver bij te werken en verwijderen.

De installatie voorbereiden

• Controleer of Python 3.6 of hoger is geïnstalleerd op de Gegevensverplaatsing-gatewayserver.

  Python is al geïnstalleerd op de meeste Linux-distributies. U kunt controleren welke Python-versie is geïnstalleerd op uw systeem door de volgende opdracht uit te voeren:

  python3 --version

De driver installeren

Ga als volgt te werk om het driverte downloaden en installeren:

1. Stop de Data Movement gateway-service:

   sudo systemctl stop repagent

2. Bevestig eventueel dat de service is gestopt:

   sudo systemctl status repagent

   De status zou als volgt moeten zijn:

   Active: inactive (dead) since <timestamp> ago

3. Op de Gegevensverplaatsing-gatewaymachine wijzigt u de werkdirectory in:

   opt/qlik/gateway/movement/drivers/bin

4. Voer dan de volgende opdracht uit:

   Syntaxis:

   ./install sqlserver

   Als het driver niet kan worden gedownload (vanwege toegangsbeperkingen of technische problemen), wordt er een melding getoond met de instructies voor het downloaden van het driver en waarnaar u het moet kopiëren op de Gegevensverplaatsing-gatewaymachine. Nadat u dit hebt gedaan, voert u de opdracht install sqlserver nogmaals uit.

   Anders wordt de gebruiksrechtovereenkomst voor het driver getoond.

5. Voer een van de volgende handelingen uit:

   • Druk herhaaldelijk op [Enter] om langzaam door de gebruiksrechtovereenkomst te scrollen.
   • Druk herhaaldelijk op de spatiebalk om snel door de gebruiksrechtovereenkomst te scrollen.
   • Druk op q om de licentietekst af te sluiten en de opties te tonen voor het aanvaarden van de gebruiksrechtovereenkomst.

6. Voer een van de volgende handelingen uit:

   • Typ "y" en druk op [Enter] om de gebruiksrechtovereenkomst te accepteren en de installatie te starten.
   • Typ "n" en druk op [Enter] om de gebruiksrechtovereenkomst af te wijzen en de installatie af te sluiten.

   • Typ "v" en druk op [Enter] om de gebruiksrechtovereenkomst nogmaals te tonen.

Het driver wordt geïnstalleerd.

7. Wacht totdat de installatie is voltooid (wordt aangegeven met "Voltooid!") en start vervolgens de Data Movement gateway-service:

   sudo systemctl start repagent

8. Bevestig eventueel dat de service is gestart:

   sudo systemctl status repagent

   De status zou als volgt moeten zijn:

   Active: active (running) since <timestamp> ago

Het driver bijwerken

Voer de update-opdracht uit als u eerdere versies van het driver wilt verwijderen voordat u het meegeleverde driver installeert.

Ga als volgt te werk om het driver te downloaden en bij te werken:

1. Stop de Data Movement gateway-service:

   sudo systemctl stop repagent

2. Bevestig eventueel dat de service is gestopt:

   sudo systemctl status repagent

   De status zou als volgt moeten zijn:

   Active: inactive (dead) since <timestamp> ago

3. Op de Gegevensverplaatsing-gatewaymachine wijzigt u de werkdirectory in:

   opt/qlik/gateway/movement/drivers/bin

4. Voer dan de volgende opdracht uit:

   Syntaxis:

   ./update sqlserver

   Als het driver niet kan worden gedownload (vanwege toegangsbeperkingen of technische problemen), wordt er een melding getoond met de instructies voor het downloaden van het driver en waarnaar u het moet kopiëren op de Gegevensverplaatsing-gatewaymachine. Nadat u dit hebt gedaan, voert u de opdracht update sqlserver nogmaals uit.

   Anders wordt de gebruiksrechtovereenkomst voor het driver getoond.

5. Voer een van de volgende handelingen uit:

   • Druk herhaaldelijk op [Enter] om langzaam door de gebruiksrechtovereenkomst te scrollen.
   • Druk herhaaldelijk op de spatiebalk om snel door de gebruiksrechtovereenkomst te scrollen.
   • Druk op q om de licentietekst af te sluiten en de opties te tonen voor het aanvaarden van de gebruiksrechtovereenkomst.

6. Voer een van de volgende handelingen uit:

   • Typ "y" en druk op [Enter] om de gebruiksrechtovereenkomst te accepteren en de installatie te starten.
   • Typ "n" en druk op [Enter] om de gebruiksrechtovereenkomst af te wijzen en de installatie af te sluiten.
   • Typ "v" en druk op [Enter] om de gebruiksrechtovereenkomst nogmaals vanaf het begin te tonen.

Het oude driver wordt verwijderd en het nieuwe driver wordt geïnstalleerd.

7. Wacht totdat de installatie is voltooid (wordt aangegeven met "Voltooid!") en start vervolgens de Data Movement gateway-service:

   sudo systemctl start repagent

8. Bevestig eventueel dat de service is gestart:

   sudo systemctl status repagent

   De status zou als volgt moeten zijn:

   Active: active (running) since <timestamp> ago

Het driver verwijderen

Voer de uninstall-opdracht uit als u het driver wilt verwijderen.

Ga als volgt te werken om het driver te verwijderen:

1. Stop alle taken die zijn geconfigureerd om deze connector te gebruiken.

2. Op de Gegevensverplaatsing-gatewaymachine wijzigt u de werkdirectory in:

   opt/qlik/gateway/movement/drivers/bin

3. Voer dan de volgende opdracht uit:

   Syntaxis:

   ./uninstall sqlserver

   driver wordt verwijderd.

Het stuurprogramma handmatig installeren

U moet het driver alleen handmatig uitvoeren als de geautomatiseerde installatie van het stuurprogramma niet is voltooid.

U moet zowel een ODBC-stuurpogramma als een JDBC-stuurprogramma installeren.

Het ODBC-stuurprogramma installeren

Nadat Gateway voor gegevensverplaatsing is geïnstalleerd, downloadt u het msodbcsql<version>.x86_64.rpm stuurprogramma. U vindt een directe downloadlink naar de ondersteunde versie onder binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. Nadat de download is voltooid, kopieert u de RPM naar de machine met de Gateway voor gegevensverplaatsing.

Open op de Data Movement gateway-server een opdrachtregel en doe het volgende:

1. Stop de Data Movement gateway-service:

   sudo systemctl stop repagent

2. Bevestig eventueel dat de service is gestopt:

   sudo systemctl status repagent

De status zou als volgt moeten zijn:

Active: inactive (dead) since <timestamp> ago

3. Installeer het stuurprogramma (RPM).

4. Wijzig de werkmap in <product_dir>/bin.

5. Kopieer de locatie van het stuurprogramma als volgt naar het site_arep_login.sh-bestand:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

   Hiermee wordt het stuurprogramma toevoegd aan 'LD_LIBRARY_PATH' en wordt de locatie van het stuurprogramma bijgewerkt in het site_arep_login.sh -bestand.

6. Bevestig eventueel dat de locatie van het stuurpogramma is gekopieerd:

   cat site_arep_login.sh

7. Start de Data Movement gateway-service:

   sudo systemctl start repagent

8. Bevestig eventueel dat de service is gestart:

   sudo systemctl status repagent

   De status zou als volgt moeten zijn:

   Active: active (running) since <timestamp> ago

9. Voor Data Movement gateway is de volgende ODBC-bibliotheek vereist: msodbcsql-18.1.so.1.1

   Gebruik de volgende opdracht om te controleren welke bibliotheekversie momenteel is geïnstalleerd:

   ls /opt/microsoft/msodbcsql<version>/lib64/

   Als de bestaande bibliotheek een ander versienummer heeft (bijvoorbeeld libmsodbcsql-18.0.so.1.1), moet u een symbolische koppeling maken tussen de bestaande bibliotheek en de vereiste bibliotheek.

   Gebruik hiervoor de volgende opdrachten:

   cd /opt/microsoft/msodbcsql<version>/lib64/
   ln -s existing_library_name msodbcsql-18.1.so.1.1

   waarbij existing_library_name de naam is van de momenteel geïnstalleerde bibliotheek (bijvoorbeeld libmsodbcsql-18.0.so.1.1).

Het JDBC-stuurprogramma installeren

1. Download het mssql-jdbc-<version>.jar bestand. U vindt een directe downloadlink naar de ondersteunde versie onder binary-artifacts in /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. Nadat de download is voltooid, kopieert u het JAR-bestand naar de volgende map op de machine met de Gateway voor gegevensverplaatsing.

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Herstart de Gateway voor gegevensverplaatsing-service door de opdracht uit te voeren die wordt beschreven in De service opnieuw opstarten

Poorten

• Wanneer Data Movement gateway wordt uitgevoerd op een machine buiten Azure - Open poort 1433 voor uitgaande communicatie.
• Wanneer Data Movement gateway wordt uitgevoerd op AzureVM - Open de volgende poorten ovor uitgaande communicatie:
  • 1433
  • 11000-11999
  • 14000-14999

Beperkingen en overwegingen

Als u Azure Synapse Analytics al doel gebruikt, moet u rekening houden met de volgende beperkingen en overwegingen:

• Bronkolommen met CHAR/VARCHAR-gegevenstypen en niet-Latijnse sortering (bv. "Chinese_PRC_CI_AS") moeten worden toegewezen aan NVARCHAR.

• Verwerking van lege bronkolom:

  • Bij moving van een binaire bronkolom (bijvoorbeeld VARBINARY of BLOB) met een lege waarde, Qlik Talend Data Integration voegt een NULL in in de bijbehorende doelkolom.

  InformatieLege waarden zijn niet NULL, maar gegevens met nul lengte.
• Moving van records die groter zijn dan 1 MB wordt niet ondersteund.
• Moving van gegevens met 4-byte emoji-tekens vereist dat het gegevenstype een brede tekenreeks is (bijvoorbeeld NCHAR/NVARCHAR/NCLOB) op het doel.

Gegevenstypen

De volgende tabel toont de Azure Synapse Analytics-gegevenstypen van de database die worden ondersteund als u Qlik Cloud en de standaard toewijzingen van Qlik Cloud-gegevenstypen gebruikt.

Informatie in eigen gegevenstypen wordt behouden en wordt weergegeven in de kolom Eigen gegevenstype in weergaven van gegevensverzamelingen. Als de kolom niet zichtbaar is, moet u de kolomkiezer van de weergave van de gegevensverzameling openen en de kolom Eigen gegevenstype selecteren.