Gå till huvudinnehåll Gå till ytterligare innehåll

Azure Synapse Analytics

Du kan använda Azure Synapse Analytics som en måldataplattform i en datapipeline. I en datapipeline kan diverse åtgärder utföras på målplattformen, inklusive mellanlagring av data, omvandling av data, skapande av datamart och dataregistrering.

Detta omfattar:

Konfigurera ett molnförberedelseområde

Anteckning om informationOm du registrerar befintliga data behöver du inte konfigurera ett molnförberedelseområde.

Du behöver också ett Azure Data Lake Storage-molnförberedelseområde, som är ett område där data och ändringar förbereds innan de tillämpas och lagras. Mer information om att konfigurera en koppling till Azure Data Lake Storage finns i Azure Data Lake Storage.

Konfigurera kopplingsegenskaper för Azure Synapse Analytics.

När du har angett inställningarna för Azure Data Lake Storage-målet väljer du Azure Synapse Analytics-målkopplingen och anger följande inställningar:

Datamål

Datagateway: Gateway för dataflytt behövs enbart om det inte går att komma åt måldatabasen från Qlik Cloud och bara kan nås via en privat länk (om den exempelvis är placerad i ett virtuellt privat moln). I så fall ska du välja Gateway för dataflytt att använda för åtkomst till måldatabasen.

Beroende på användningsfall kan det vara samma Gateway för dataflytt som distribuerats för att mellanlagra data från datakällan eller någon annan. Information om mölliga Gateway för dataflytt distributionsalternativ finns i Vanliga användningsfall.

Anteckning om informationGateway för dataflytt 2023.5.10 eller senare krävs.

Om måldatabasen kan kommas åt direkt från Qlik Cloud ska du välja Ingen.

Anteckning om informationVid åtkomst till databasen via Gateway för dataflytt måste du även installera korrekt drivrutin på Gateway för dataflytt-maskinen. Information finns i Azure Synapse Analytics nedan.

Anslutningsegenskaper

  • Server: Värdnamn för att identifiera platsen för Azure Synapse Analytics-databasen.

  • Port: Den port som används för att få tillgång till din Azure Synapse Analytics-databas. Standardvärdet är 1433.

Kontoegenskaper

Användarnamn och lösenord: Användarnamn och lösenord för en användare som har behörighet att komma åt Azure Synapse Analytics-databasen.

Databasegenskaper

  • Databasnamn: du kan använda två metoder för att specificera en databas:

    • Metod 1 - Välj från en lista: Med den här metoden måste användaren vara skapad på masterdatabasen. Klicka på Ladda databas och välj sedan en databas.
    • Metod 2 - Manuellt: Välj Ange databasnamn manuellt och ange databasens namn.

Dataladdningsegenskaper

Anteckning om informationOm du bara registrerar data (dvs. inte mellanlagrar data) behövs inte de här fälten.

Autentiseringsuppgifterna för SQL-servern kan skapas automatiskt under körningen (standard), alternativt kan du använda befintliga autentiseringsuppgifter. Gör något av följande beroende på vad som är aktuellt:

  • Om kryssrutan Skapa autentiseringsuppgifter till SQL-server har valts (standard) kommer autentiseringsuppgifterna till SQL-servern att skapas automatiskt under körningen. Ange din åtkomstnyckel i fältet Åtkomstnyckel.
  • För att använda befintliga autentiseringsuppgifter avmarkerar du kryssrutan Skapa autentiseringsuppgifter till SQL-server och anger autentiseringsnamnet till din SQL-server i fältet Autentiseringsnamn.

Namn

Visningsnamnet för anslutningen.

Förutsättningar

Behörigheter

Du måste både bevilja lagringsbehörigheter och databasbehörigheter enligt beskrivningen nedan.

Lagringsbehörigheter

Användaren som anges i Azure Synapse Analytics-kopplingen måste få följande lagringsbehörigheter.

  • För Azure Blob/ADLS Gen2 Storage-behållaren: LIST
  • För Azure Blob/ADLS Gen2 Storage-mappen: READ, WRITE och DELETE
  • I inställningarna för åtkomstkontroll (IAM) för ADLS Gen2-filsystemet tilldelar du rollen "Storage Blob Data Contributor" till Data Movement gateway (AD-app-ID). Det kan ta några minuter innan rollen träder i kraft.

Databasbehörigheter

Användaren som anges i Azure Synapse Analytics-kopplingen måste ges följande behörigheter på databasen:

  • Allmänna behörigheter:

    • db_owner role
  • Tabellbehörigheter:

    • SELECT, INSERT, UPDATE och DELETE
    • Massladdning
    • CREATE, ALTER, DROP (om detta krävs i definitionen av uppgiften)

Databasurval

För att en databas ska kunna väljas (genom att klicka på Ladda databaser i kopplingsdialogen) måste den angivna användaren i kopplingsinställningarna ha skapats i masterdatabasen.

Inställning av drivrutin

En drivrutin behövs bara om du kommer åt en databas via Gateway för dataflytt. I det här fallet måste du installera drivrutinen på Gateway för dataflytt-maskinen.

Du kan installera driver med verktyget för installation av drivrutiner (rekommenderas) eller manuellt. Manuell installation ska bara användas om det mot förmodan skulle inträffa ett problem med verktyget för installation av drivrutiner.

Använda verktyget för installation av drivrutiner för att installera drivrutinen

I det här delavsnittet beskrivs hur driver som krävs installeras. Processen innebär att ett skript körs som automatiskt hämtar, installerar och konfigurerar den nödvändiga driver. Du kan också köra skript som uppdaterar och avinstallerar driver efter behov.

  • Kontrollera att Python 3.6 eller senare är installerad på Dataflytt-gatewayservern.

    Python kommer förinstallerad på de flesta Linuxdistributioner. Du kan kontrollera vilken Pythonversion som är installerad på ditt system genom att köra följande kommando:

    python3 --version

Så här hämtar och installerar du driver:

  1. Stoppa tjänsten Data Movement gateway:

    sudo systemctl stop repagent

  2. Om du vill kan du bekräfta att tjänsten har stoppats:

    sudo systemctl status repagent

    Statusen ska vara enligt följande:

    Active: inactive (dead) since <timestamp> ago

  3. Dataflytt-gatewaydatorn byter du arbetskatalog till:

    opt/qlik/gateway/movement/drivers/bin

  4. Kör följande kommando:

    Syntax:

    ./install sqlserver

    Om driver inte kan hämtas (på grund av åtkomstbegränsningar eller tekniska problem) visas ett meddelande som beskriver var du kan hämta driver och vart du ska kopiera den på Dataflytt-gatewaydatorn. När du har gjort detta kör du install sqlserver-kommandot igen.

    I annat fall visas EULA för driver.

  5. Gör ett av följande:

    • Tryck på [Enter] flera gånger för att långsamt rulla genom EULA.
    • Tryck på mellanslagstangenten flera gånger för att snabbt rulla genom EULA.
    • Tryck på q för att lämna avtalstexten. Godkännandealternativen för EULA visas.
  6. Gör något av följande:

    • Skriv in "y" och tryck på [Enter] för att godkänna EULA och börja med installationen.
    • Skriv in "n" och tryck på [Enter] för att avböja EULA och avsluta installationen.
    • Skriv in "v" och tryck på [Enter] för att visa EULA igen.

  7. driver kommer att installeras.

  8. Vänta tills installationen har slutförts (anges med "Slutförd!") och starta sedan Data Movement gateway-tjänsten:

    sudo systemctl start repagent

  9. Du kan även bekräfta att tjänsten har startats:

    sudo systemctl status repagent

    Statusen ska vara enligt följande:

    Active: active (running) since <timestamp> ago

Kör uppdateringskommandot om du vill avinstallera tidigare versioner av driver innan du installerar den tillhandahållna driver.

Så här hämtar och uppdaterar du driver:

  1. Stoppa tjänsten Data Movement gateway:

    sudo systemctl stop repagent

  2. Om du vill kan du bekräfta att tjänsten har stoppats:

    sudo systemctl status repagent

    Statusen ska vara enligt följande:

    Active: inactive (dead) since <timestamp> ago

  3. Dataflytt-gatewaydatorn byter du arbetskatalog till:

    opt/qlik/gateway/movement/drivers/bin

  4. Kör följande kommando:

    Syntax:

    ./update sqlserver

    Om driver inte kan hämtas (på grund av åtkomstbegränsningar eller tekniska problem) visas ett meddelande som beskriver var du kan hämta driver och vart du ska kopiera den på Dataflytt-gatewaydatorn. När du har gjort detta kör du update sqlserver-kommandot igen.

    I annat fall visas EULA för driver.

  5. Gör ett av följande:

    • Tryck på [Enter] flera gånger för att långsamt rulla genom EULA.
    • Tryck på mellanslagstangenten flera gånger för att snabbt rulla genom EULA.
    • Tryck på q för att lämna avtalstexten. Godkännandealternativen för EULA visas.
  6. Gör något av följande:

    • Skriv in "y" och tryck på [Enter] för att godkänna EULA och börja med installationen.
    • Skriv in "n" och tryck på [Enter] för att avböja EULA och avsluta installationen.
    • Skriv in "v" och tryck på [Enter] för att granska EULA från början.
  7. Den gamla driver avinstalleras och den nya driver installeras.

  8. Vänta tills installationen har slutförts (anges med "Slutförd!") och starta sedan Data Movement gateway-tjänsten:

    sudo systemctl start repagent

  9. Du kan även bekräfta att tjänsten har startats:

    sudo systemctl status repagent

    Statusen ska vara enligt följande:

    Active: active (running) since <timestamp> ago

Kör avinstalleringskommandot om du vill avinstallera driver.

Så här avinstallerar du driver:

  1. Stoppa alla uppgifter som är konfigurerade för att använda denna koppling.

  2. Dataflytt-gatewaydatorn byter du arbetskatalog till:

    opt/qlik/gateway/movement/drivers/bin

  3. Kör följande kommando:

    -syntax

    ./uninstall sqlserver

    driver kommer att avinstalleras.

Installera drivrutinen manuellt

Du bör bara försöka installera driver manuellt om den automatiserade drivrutinsinstallationen inte slutfördes.

Du måste installera både en ODBC och en JDBC drivrutin.

När Gateway för dataflytt har installerats hämtar du drivrutinen msodbcsql<version>.x86_64.rpm. Du hittar en direkt nedladdningslänk till den version som stöds i binary-artifacts i /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. När hämtningen har slutförts kopierar du RPM-filen till Gateway för dataflytt-maskinen.

Öppna en kommandorad på Data Movement gateway-servern och gör följande:

  1. Stoppa tjänsten Data Movement gateway:

    sudo systemctl stop repagent

  2. Om du vill kan du bekräfta att tjänsten har stoppats:

    sudo systemctl status repagent

  3. Statusen ska vara enligt följande:

    Active: inactive (dead) since <timestamp> ago

  4. Installera drivrutinen (RPM).

  5. Byt arbetskatalog till <product_dir>/bin.

  6. Kopiera drivrutinens plats till filen site_arep_login.sh enligt följande:

    echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

    Detta kommer att lägga till drivrutinen i "LD_LIBRARY_PATH" och uppdatera drivrutinsplatsen i site_arep_login.sh -filen

  7. Om du vill kan du bekräfta att drivrutinsplatsen kopierades:

    cat site_arep_login.sh
  8. Starta Data Movement gateway-tjänsten.

    sudo systemctl start repagent

  9. Om du vill kan du bekräfta att tjänsten har startats:

    sudo systemctl status repagent

    Statusen ska vara enligt följande:

    Active: active (running) since <timestamp> ago

  10. För Data Movement gateway krävs följande ODBC-bibliotek: msodbcsql-18.1.so.1.1

    För att kontrollera vilken biblioteksversion som är installerad för närvarande skickar du följande kommando:

    ls /opt/microsoft/msodbcsql<version>/lib64/

    Om det befintliga biblioteket har ett annat versionsnummer (till exempel libmsodbcsql-18.0.so.1.1) måste du skapa en symbolisk länk mellan det befintliga biblioteket och det nödvändiga biblioteket.

    För att göra det skickar du de följande kommandona:

    cd /opt/microsoft/msodbcsql<version>/lib64/
    ln -s existing_library_name msodbcsql-18.1.so.1.1

    där existing_library_name är namnet på det bibliotek som är installerat nu (till exempel libmsodbcsql-18.0.so.1.1).

  1. Hämta filen mssql-jdbc-<version>.jar . Du hittar en direkt nedladdningslänk till den version som stöds i binary-artifacts i /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. När hämtningen har slutförts kopierar du JAR-filen till Gateway för dataflytt-maskinen.

    /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

  2. Starta om Gateway för dataflytt-tjänsten genom att köra stopp- och start-kommandon enligt beskrivning i Starta om tjänsten

Portar

  • När Data Movement gateway körs på en maskin utanför Azure – Öppna port 1433 för utgående kommunikation.
  • När Data Movement gateway körs på en AzureVM – Öppna följande portar för utgående kommunikation:
    • 1433
    • 11000-11999
    • 14000-14999

Begränsningar och överväganden

När du använder Azure Synapse Analytics som mål måste du ta hänsyn till följande begränsningar och överväganden:

  • Källkolumner med datatyperna CHAR/VARCHAR och en icke-latinsk sortering (t.ex. "Chinese_PRC_CI_AS") måste mappas till NVARCHAR.

  • Hantering av tomma kolumner:

    • När mellanlagring en binär källkolumn (till exempel VARBINARY eller BLOB) med ett tomt värde sätter Data Movement gateway in en NULL i motsvarande målkolumn.

    Anteckning om informationTomma värden är inte NULL, men data med nollängd.
  • Mellanlagring med poster som överskrider 1 MB stöds inte.
  • För Mellanlagring med data med 4-bytes emojitecken måste datatypen vara en wide-sträng (till exempel NCHAR, NVARCHAR/NCLOB) på målet.

Datatyper

Följande tabell visar de Azure Synapse Analytics-datatyper som stöds vid användning av Qlik Cloud och standardmappningen från Qlik Cloud-datatyper.

Information om inbyggd datatyp bevaras och visas i kolumnen Inbyggd datatyp i datauppsättningsvyer. Om kolumnen inte är synlig måste du öppna kolumnväljaren i datauppsättnignsvyn och välja kolumnen Inbyggd datatyp.

Datatyper som stöds
Qlik Cloud-datatyper Azure Synapse Analytics-datatyper

BOOLEAN

BIT

Byte

VARBINARY (längd i bytes)

Datum

Datum

Tid

Tid

Datum och tid:

Datum och tid:

INT1

BYTEINT

INT2

SMALLINT

INT4

INTEGER

INT8

BIGINT

Numerisk

NUMERIC (precision, skala)

REAL4

REAL

REAL8

FLOAT

UINT1

BYTEINT

UINT2

INTEGER

UINT4

INTEGER

UINT8

BIGINT

sträng

VARCHAR (längd i bytes)

WSTRING

NVARCHAR (längd i bytes)

BLOB

VARBINARY (längd i bytes)

NCLOB

NVARCHAR (längd i bytes)

CLOB

VARCHAR (längd i bytes)

Var den här sidan till hjälp för dig?

Om du hittar några fel på denna sida eller i innehållet – ett stavfel, ett steg som saknas eller ett tekniskt fel – berätta för oss så att vi kan blir bättre!