Azure Synapse Analytics

Du kan använda Azure Synapse Analytics som måldataplattform i en datapipeline. I en datapipeline kan diverse ELT-åtgärder utföras på målplattformen, inklusive lagring av data, omvandling av data, skapande av datamart och dataregistrering.

Ställa in Azure Synapse Analytics som mål omfattar att:

• Uppfylla förhandskraven
• Konfigurera en koppling till ett molnförberedelseområde (Azure Data Lake Storage). Detta krävs inte om du registrerar befintliga data.
• Konfigurera en koppling till Azure Synapse Analytics

Konfigurera ett molnförberedelseområde

Du behöver också ett Azure Data Lake Storage-molnförberedelseområde, som är ett område där data och ändringar förbereds innan de tillämpas och lagras. Mer information om att konfigurera en koppling till Azure Data Lake Storage finns i Azure Data Lake Storage.

Konfigurera kopplingsegenskaper för Azure Synapse Analyticsm

När du har angett inställningarna för Azure Data Lake Storage-mål gör du följande:

1. I Kopplingar klickar du på Skapa koppling.

2. Välj Azure Synapse Analytics-målkopplingen och ange följande inställningar:

Datamål

Datagateway

Gateway för dataflytt behövs enbart om det inte går att komma åt måldatabasen från Qlik Cloud och bara kan nås via en privat länk (om den exempelvis är placerad i ett virtuellt privat moln). I så fall ska du välja Gateway för dataflytt att använda för åtkomst till måldatabasen.

Beroende på användningsfall kan det vara samma Gateway för dataflytt som distribuerats för att flytta data från datakällan eller någon annan.

Information om Gateway för dataflytt-användningsfall finns i När krävs Gateway för dataflytt? och Vanliga användningsfall.

Om måldatabasen kan kommas åt direkt från Qlik Cloud ska du välja Ingen.

Anslutningsegenskaper

• Server: värdnamn för att identifiera platsen för Azure Synapse Analytics-databasen.

• Port: den port som används för att få tillgång till din Azure Synapse Analytics-databas. Standardvärdet är 1433.

Kontoegenskaper

Användarnamn och Lösenord: Användarnamn och lösenord för en användare som har behörighet att komma åt Azure Synapse Analytics-databasen.

Databasegenskaper

• Databasnamn: du kan använda två metoder för att specificera en databas:

  • Metod 1 - Välj från en lista: Med den här metoden måste användaren vara skapad på masterdatabasen. Klicka på Ladda databas och välj sedan en databas.
  • Metod 2 - Manuellt: Välj Ange databasnamn manuellt och ange databasens namn.

Dataladdningsegenskaper

Autentiseringsuppgifterna för SQL-servern kan skapas automatiskt under körningen (standard), alternativt kan du använda befintliga autentiseringsuppgifter. Gör något av följande beroende på vad som är aktuellt:

• Om kryssrutan Skapa autentiseringsuppgifter till SQL-server har valts (standard) kommer autentiseringsuppgifterna till SQL-servern att skapas automatiskt under körningen. Ange din åtkomstnyckel i fältet Åtkomstnyckel.
• För att använda befintliga autentiseringsuppgifter avmarkerar du kryssrutan Skapa autentiseringsuppgifter till SQL-server och anger autentiseringsnamnet till din SQL-server i fältet Autentiseringsnamn.

Namn

Visningsnamnet för anslutningen.

Förutsättningar

Behörigheter

Du måste både bevilja lagringsbehörigheter och databasbehörigheter enligt beskrivningen nedan.

Lagringsbehörigheter

Användaren som anges i Azure Synapse Analytics-kopplingen måste få följande lagringsbehörigheter.

• På Azure Blob/ADLS Gen2 Storage-behållaren: LIST
• På ADLS Gen2 Storage-mapp: READ, WRITE och DELETE
• I inställningarna för åtkomstkontroll (IAM) för ADLS Gen2-filsystemet tilldelar du rollen "Storage Blob Data Contributor" till Gateway för dataflytt (AD-app-ID). Det kan ta några minuter innan rollen träder i kraft.

Databasbehörigheter

Användaren som anges i Azure Synapse Analytics-kopplingen måste ges följande behörigheter på databasen:

• Allmänna behörigheter:

  • db_owner role

• Tabellbehörigheter:

  • SELECT, INSERT, UPDATE och DELETE
  • Massladdning
  • CREATE, ALTER, DROP (om detta krävs i definitionen av uppgiften)

Databasurval

För att en databas ska kunna väljas (genom att klicka på Ladda databaser i kopplingsdialogen) måste den angivna användaren i kopplingsinställningarna ha skapats i masterdatabasen.

Inställning av drivrutin

En drivrutin behövs bara om du kommer åt en databas via Gateway för dataflytt. I det här fallet måste du installera drivrutinen på Gateway för dataflytt-maskinen.

Du kan installera driver med verktyget för installation av drivrutiner (rekommenderas) eller manuellt. Manuell installation ska bara användas om det mot förmodan skulle inträffa ett problem med verktyget för installation av drivrutiner.

Använda verktyget för installation av drivrutiner för att installera drivrutinen

I det här delavsnittet beskrivs hur driver som krävs installeras. Processen innebär att ett skript körs som automatiskt hämtar, installerar och konfigurerar den nödvändiga driver. Du kan också köra skript som uppdaterar och avinstallerar driver efter behov.

Förbereda installationen

• Kontrollera att Python 3.6 eller senare är installerad på Dataflytt-gatewayservern.

  Python kommer förinstallerad på de flesta Linuxdistributioner. Du kan kontrollera vilken Pythonversion som är installerad på ditt system genom att köra följande kommando:

  python3 --version

Installera driver

Så här hämtar och installerar du driver:

1. Stoppa tjänsten Gateway för dataflytt:

   sudo systemctl stop repagent

2. Om du vill kan du bekräfta att tjänsten har stoppats:

   sudo systemctl status repagent

   Statusen ska vara enligt följande:

   Active: inactive (dead) since <timestamp> ago

3. På Dataflytt-gatewaydatorn byter du arbetskatalog till:

   opt/qlik/gateway/movement/drivers/bin

4. Kör följande kommando:

   Syntax:

   ./install sqlserver

   Om driver inte kan hämtas (på grund av åtkomstbegränsningar eller tekniska problem) visas ett meddelande som beskriver var du kan hämta driver och vart du ska kopiera den på Dataflytt-gatewaydatorn. När du har gjort detta kör du install sqlserver-kommandot igen.

   I annat fall visas EULA för driver.

5. Gör ett av följande:

   • Tryck på [Enter] flera gånger för att långsamt rulla genom EULA.
   • Tryck på mellanslagstangenten flera gånger för att snabbt rulla genom EULA.
   • Tryck på q för att lämna avtalstexten. Godkännandealternativen för EULA visas.

6. Gör något av följande:

   • Skriv in "y" och tryck på [Enter] för att godkänna EULA och börja med installationen.
   • Skriv in "n" och tryck på [Enter] för att avböja EULA och avsluta installationen.

   • Skriv in "v" och tryck på [Enter] för att visa EULA igen.

driver kommer att installeras.

7. Vänta tills installationen har slutförts (anges med "Slutförd!") och starta sedan Gateway för dataflytt-tjänsten:

   sudo systemctl start repagent

8. Du kan även bekräfta att tjänsten har startats:

   sudo systemctl status repagent

   Statusen ska vara enligt följande:

   Active: active (running) since <timestamp> ago

Uppdatering av driver

Kör uppdateringskommandot om du vill avinstallera tidigare versioner av driver innan du installerar den tillhandahållna driver.

Så här hämtar och uppdaterar du driver:

1. Stoppa tjänsten Gateway för dataflytt:

   sudo systemctl stop repagent

2. Om du vill kan du bekräfta att tjänsten har stoppats:

   sudo systemctl status repagent

   Statusen ska vara enligt följande:

   Active: inactive (dead) since <timestamp> ago

3. På Dataflytt-gatewaydatorn byter du arbetskatalog till:

   opt/qlik/gateway/movement/drivers/bin

4. Kör följande kommando:

   Syntax:

   ./update sqlserver

   Om driver inte kan hämtas (på grund av åtkomstbegränsningar eller tekniska problem) visas ett meddelande som beskriver var du kan hämta driver och vart du ska kopiera den på Dataflytt-gatewaydatorn. När du har gjort detta kör du update sqlserver-kommandot igen.

   I annat fall visas EULA för driver.

5. Gör ett av följande:

   • Tryck på [Enter] flera gånger för att långsamt rulla genom EULA.
   • Tryck på mellanslagstangenten flera gånger för att snabbt rulla genom EULA.
   • Tryck på q för att lämna avtalstexten. Godkännandealternativen för EULA visas.

6. Gör något av följande:

   • Skriv in "y" och tryck på [Enter] för att godkänna EULA och börja med installationen.
   • Skriv in "n" och tryck på [Enter] för att avböja EULA och avsluta installationen.
   • Skriv in "v" och tryck på [Enter] för att granska EULA från början.

Den gamla driver avinstalleras och den nya driver installeras.

7. Vänta tills installationen har slutförts (anges med "Slutförd!") och starta sedan Gateway för dataflytt-tjänsten:

   sudo systemctl start repagent

8. Du kan även bekräfta att tjänsten har startats:

   sudo systemctl status repagent

   Statusen ska vara enligt följande:

   Active: active (running) since <timestamp> ago

Avinstallera driver

Kör avinstalleringskommandot om du vill avinstallera driver.

Så här avinstallerar du driver:

1. Stoppa alla uppgifter som är konfigurerade för att använda denna koppling.

2. På Dataflytt-gatewaydatorn byter du arbetskatalog till:

   opt/qlik/gateway/movement/drivers/bin

3. Kör följande kommando:

   -syntax

   ./uninstall sqlserver

   driver kommer att avinstalleras.

Installera drivrutinen manuellt

Du bör bara försöka installera driver manuellt om den automatiserade drivrutinsinstallationen inte slutfördes.

Du måste installera både en ODBC och en JDBC drivrutin.

Installera ODBC-drivrutinen

När Gateway för dataflytt har installerats hämtar du drivrutinen msodbcsql<version>.x86_64.rpm. Du hittar en direkt nedladdningslänk till den version som stöds i binary-artifacts i /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. När hämtningen har slutförts kopierar du RPM-filen till Gateway för dataflytt-maskinen.

Öppna en kommandorad på Data Movement gateway-servern och gör följande:

1. Stoppa tjänsten Data Movement gateway:

   sudo systemctl stop repagent

2. Om du vill kan du bekräfta att tjänsten har stoppats:

   sudo systemctl status repagent

Statusen ska vara enligt följande:

Active: inactive (dead) since <timestamp> ago

3. Installera drivrutinen (RPM).

4. Byt arbetskatalog till <product_dir>/bin.

5. Kopiera drivrutinens plats till filen site_arep_login.sh enligt följande:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

   Detta kommer att lägga till drivrutinen i "LD_LIBRARY_PATH" och uppdatera drivrutinsplatsen i site_arep_login.sh -filen

6. Om du vill kan du bekräfta att drivrutinsplatsen kopierades:

   cat site_arep_login.sh

7. Starta Data Movement gateway-tjänsten.

   sudo systemctl start repagent

8. Om du vill kan du bekräfta att tjänsten har startats:

   sudo systemctl status repagent

   Statusen ska vara enligt följande:

   Active: active (running) since <timestamp> ago

9. För Data Movement gateway krävs följande ODBC-bibliotek: msodbcsql-18.1.so.1.1

   För att kontrollera vilken biblioteksversion som är installerad för närvarande skickar du följande kommando:

   ls /opt/microsoft/msodbcsql<version>/lib64/

   Om det befintliga biblioteket har ett annat versionsnummer (till exempel libmsodbcsql-18.0.so.1.1) måste du skapa en symbolisk länk mellan det befintliga biblioteket och det nödvändiga biblioteket.

   För att göra det skickar du de följande kommandona:

   cd /opt/microsoft/msodbcsql<version>/lib64/
   ln -s existing_library_name msodbcsql-18.1.so.1.1

   där existing_library_name är namnet på det bibliotek som är installerat nu (till exempel libmsodbcsql-18.0.so.1.1).

Installera JDBC-drivrutinen

1. Hämta filen mssql-jdbc-<version>.jar . Du hittar en direkt nedladdningslänk till den version som stöds i binary-artifacts i /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. När hämtningen har slutförts kopierar du JAR-filen till Gateway för dataflytt-maskinen.

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Starta om Gateway för dataflytt-tjänsten genom att köra stopp- och start-kommandon enligt beskrivning i Starta om tjänsten

Portar

• När Gateway för dataflytt körs på en maskin utanför Azure – Öppna port 1433 för utgående kommunikation.
• När Gateway för dataflytt körs på en AzureVM – Öppna följande portar för utgående kommunikation:
  • 1433
  • 11000-11999
  • 14000-14999

Begränsningar och överväganden

När du använder Azure Synapse Analytics som mål måste du ta hänsyn till följande begränsningar och överväganden:

• Källkolumner med datatyperna CHAR/VARCHAR och en icke-latinsk sortering (t.ex. "Chinese_PRC_CI_AS") måste mappas till NVARCHAR.

• Hantering av tomma kolumner:

  • När flyttar en binär källkolumn (till exempel VARBINARY eller BLOB) med ett tomt värde sätter Qlik Talend Data Integration in en NULL i motsvarande målkolumn.

  Anteckning om informationTomma värden är inte NULL, men data med nollängd.
• Flyttar med poster som överskrider 1 MB stöds inte.
• För Flyttar med data med 4-bytes emojitecken måste datatypen vara en wide-sträng (till exempel NCHAR, NVARCHAR/NCLOB) på målet.

Datatyper

Följande tabell visar de Azure Synapse Analytics-datatyper som stöds vid användning av Qlik Cloud och standardmappningen från Qlik Cloud-datatyper.

Information om inbyggd datatyp bevaras och visas i kolumnen Inbyggd datatyp i datauppsättningsvyer. Om kolumnen inte är synlig måste du öppna kolumnväljaren i datauppsättnignsvyn och välja kolumnen Inbyggd datatyp.