Ga naar hoofdinhoud Ga naar aanvullende inhoud
Qlik-bronnen

Amazon Redshift

U kunt Amazon Redshift als een doelgegevensplatform in een gegevenspijplijn of in een replicatietaak. In een gegevenspijplijn kunt u verschillende ELT-bewerkingen uitvoeren voor het doelplatform, zoals gegevens opslaan, gegevens transformeren, datamarts maken en gegevens registreren. Bij een replicatietaak daarentegen worden gegevens rechtstreeks van een bronsysteem naar een doelsysteem gerepliceerd met basistransformatie-opties, maar zonder ondersteuning voor ELT-bewerkingen. gebruiken

Amazon Redshift als doel instellen vereist het volgende:

Een cloudtussengebied instellen

InformatieAls u bestaande gegevens registreert, hoeft u geen cloudtussengebied in te stellen.

Voor het aansluiten op Amazon Redshift moet u ook connectiviteit instellen met een Amazon S3-cloudtussengebied waar gegevens en wijzigingen tijdelijk worden opgeslagen voordat ze worden toegepast en permanent worden opgeslagen.

Voor informatie over het instellen van een verbinding naar Amazon S3, raadpleegt u Amazon S3.

Een verbinding naar Amazon Redshift configureren

Nadat u de tussenopslaginstellingen hebt opgegeven, doet u het volgende:

  1. Klik in Verbindingen op Verbinding maken.

  2. Selecteer de Amazon Redshift doelconnector en stel de volgende instellingen in:

Gegevensdoel

Gegevensgateway

InformatieDit veld is niet beschikbaar bij een Qlik Talend Cloud Starter-abonnement omdat Gateway voor gegevensverplaatsing niet wordt ondersteund bij dit abonnementsniveau.

Een Gateway voor gegevensverplaatsing is alleen vereist als de doeldatabase niet toegankelijk is via Qlik Cloud en kan alleen worden geopend via een privékoppeling (bijvoorbeeld als deze zich on-premises achter een firewall of in een virtuele privécloud bevindt). Als dit het geval is, selecteer dan de Gateway voor gegevensverplaatsing waarmee u toegang wilt krijgen tot de doeldatabase.

Afhankelijk van uw gebruikssituatie, gebruikt u dezelfde Gateway voor gegevensverplaatsing die is geïmplementeerd om gegevens van de bron te verplaatsen of u gebruikt een andere gateway.

Voor informatie over usecases voor de Gateway voor gegevensverplaatsing, gaat u naar Wanneer is de Gateway voor gegevensverplaatsing vereist? en Veelvoorkomende usecases.

Als de doeldatabase direct toegankelijk is via Qlik Cloud, selecteer dan Geen.

InformatieAls u toegang wilt krijgen tot de doeldatabase via Gateway voor gegevensverplaatsing, moet u ook het juiste stuurprogramma installeren op de machine voor de Gateway voor gegevensverplaatsing. Voor meer informatie raadpleegt u Setup stuurprogramma hieronder.

Verbindingseigenschappen

  • Server: hostnaam van de Amazon Redshift-databaseserver

  • Poort de poort waarmee u toegang wilt krijgen tot uw Amazon Redshift-database. De standaardwaarde is 5439.

Accounteigenschappen

Gebruikersnaam en Wachtwoord: de gebruikersnaam en het wachtwoord van een gebruiker die toegang heeft tot de Amazon Redshift-database.

Database-eigenschappen

  • Databasenaam: Er zijn twee methoden die u kunt gebruiken om een database op te geven:

    • Methode 1 - Selecteren in een lijst: Klik op Databases laden en selecteer een database.
    • Methode 2 - Handmatig: Selecteer Databasenaam handmatig opgeven en geef vervolgens de databasenaam op.

Interne eigenschappen

Interne eigenschappen zijn bedoeld voor speciale toepassingen en worden daarom niet in het dialoogvenster weergegeven. U moet ze alleen gebruiken als Qlik Support dit aan u heeft geadviseerd.

Gebruik de knop Nieuwe maken en Annuleren aan de rechterkant van de velden om eigenschappen toe te voegen of te verwijderen.

Naam

De weergavenaam voor de verbinding.

Vereisten

Vereiste machtigingen

Wijs de volgende machtigingen toe voor de Redshift-database:

  • Grant COPY
  • Grant INSERT
  • Grant UPDATE
  • Grant DELETE
  • Grant SELECT
  • Schema maken (alleen vereist als er geen schema's zijn en als u wilt Qlik Talend Data Integration om ze te maken)
  • Grant CREATE TABLE
  • Grant ALTER TABLE
  • Grant DROP TABLE

Setup stuurprogramma

Er is alleen een stuurprogramma vereist als u via Gateway voor gegevensverplaatsing toegang krijgt tot de database. In dit geval moet u het stuurprogramma op de Gateway voor gegevensverplaatsing-machine installeren.

U kunt het driver installeren met het installatieprogramma (aanbevolen) of handmatig. U moet een handmatige installatie alleen uitvoeren als er een probleem ontstaat bij het hulpprogramma.

Het hulpprogramma gebruiken om het stuurprogramma te installeren

In deze sectie wordt beschreven hoe u het vereiste driver installeert. Het proces omvat het uitvoeren van een script dat automatisch het vereiste driver downloadt, installeert en configureert. U kunt indien nodig ook scripts uitvoeren om het driver bij te werken en verwijderen.

De installatie voorbereiden

  • Controleer of Python 3.6 of hoger is geïnstalleerd op de Gegevensverplaatsing-gatewayserver.

    Python is al geïnstalleerd op de meeste Linux-distributies. U kunt controleren welke Python-versie is geïnstalleerd op uw systeem door de volgende opdracht uit te voeren:

    python3 --version

De driver installeren

Ga als volgt te werk om het driverte downloaden en installeren:

  1. Stop de Data Movement gateway-service:

    sudo systemctl stop repagent

  2. Bevestig eventueel dat de service is gestopt:

    sudo systemctl status repagent

    De status zou als volgt moeten zijn:

    Active: inactive (dead) since <timestamp> ago

  3. Op de Gegevensverplaatsing-gatewaymachine wijzigt u de werkdirectory in:

    opt/qlik/gateway/movement/drivers/bin

  4. Voer dan de volgende opdracht uit:

    Syntaxis:

    ./install redshift

    Als het driver niet kan worden gedownload (vanwege toegangsbeperkingen of technische problemen), wordt er een melding getoond met de instructies voor het downloaden van het driver en waarnaar u het moet kopiëren op de Gegevensverplaatsing-gatewaymachine. Nadat u dit hebt gedaan, voert u de opdracht install redshift nogmaals uit.

    Anders wordt de gebruiksrechtovereenkomst voor het driver getoond.

  5. Voer een van de volgende handelingen uit:

    • Druk herhaaldelijk op [Enter] om langzaam door de gebruiksrechtovereenkomst te scrollen.
    • Druk herhaaldelijk op de spatiebalk om snel door de gebruiksrechtovereenkomst te scrollen.
    • Druk op q om de licentietekst af te sluiten en de opties te tonen voor het aanvaarden van de gebruiksrechtovereenkomst.

  6. Voer een van de volgende handelingen uit:

    • Typ "y" en druk op [Enter] om de gebruiksrechtovereenkomst te accepteren en de installatie te starten.
    • Typ "n" en druk op [Enter] om de gebruiksrechtovereenkomst af te wijzen en de installatie af te sluiten.

    • Typ "v" en druk op [Enter] om de gebruiksrechtovereenkomst nogmaals te tonen.

    7. Het driver wordt geïnstalleerd.

  7. Wacht totdat de installatie is voltooid (wordt aangegeven met "Voltooid!") en start vervolgens de Data Movement gateway-service:

    sudo systemctl start repagent

  8. Bevestig eventueel dat de service is gestart:

    sudo systemctl status repagent

    De status zou als volgt moeten zijn:

    Active: active (running) since <timestamp> ago

Het driver bijwerken

Voer de update-opdracht uit als u eerdere versies van het driver wilt verwijderen voordat u het meegeleverde driver installeert.

Ga als volgt te werk om het driver te downloaden en bij te werken:

  1. Stop de Data Movement gateway-service:

    sudo systemctl stop repagent

  2. Bevestig eventueel dat de service is gestopt:

    sudo systemctl status repagent

    De status zou als volgt moeten zijn:

    Active: inactive (dead) since <timestamp> ago

  3. Op de Gegevensverplaatsing-gatewaymachine wijzigt u de werkdirectory in:

    opt/qlik/gateway/movement/drivers/bin

  4. Voer dan de volgende opdracht uit:

    Syntaxis:

    ./update redshift

    Als het driver niet kan worden gedownload (vanwege toegangsbeperkingen of technische problemen), wordt er een melding getoond met de instructies voor het downloaden van het driver en waarnaar u het moet kopiëren op de Gegevensverplaatsing-gatewaymachine. Nadat u dit hebt gedaan, voert u de opdracht update redshift nogmaals uit.

    Anders wordt de gebruiksrechtovereenkomst voor het driver getoond.

  5. Voer een van de volgende handelingen uit:

    • Druk herhaaldelijk op [Enter] om langzaam door de gebruiksrechtovereenkomst te scrollen.
    • Druk herhaaldelijk op de spatiebalk om snel door de gebruiksrechtovereenkomst te scrollen.
    • Druk op q om de licentietekst af te sluiten en de opties te tonen voor het aanvaarden van de gebruiksrechtovereenkomst.

  6. Voer een van de volgende handelingen uit:

    • Typ "y" en druk op [Enter] om de gebruiksrechtovereenkomst te accepteren en de installatie te starten.
    • Typ "n" en druk op [Enter] om de gebruiksrechtovereenkomst af te wijzen en de installatie af te sluiten.
    • Typ "v" en druk op [Enter] om de gebruiksrechtovereenkomst nogmaals vanaf het begin te tonen.

    7. Het oude driver wordt verwijderd en het nieuwe driver wordt geïnstalleerd.

  7. Wacht totdat de installatie is voltooid (wordt aangegeven met "Voltooid!") en start vervolgens de Data Movement gateway-service:

    sudo systemctl start repagent

  8. Bevestig eventueel dat de service is gestart:

    sudo systemctl status repagent

    De status zou als volgt moeten zijn:

    Active: active (running) since <timestamp> ago

Het driver verwijderen

Voer de uninstall-opdracht uit als u het driver wilt verwijderen.

Ga als volgt te werken om het driver te verwijderen:

  1. Stop alle taken die zijn geconfigureerd om deze connector te gebruiken.

  2. Op de Gegevensverplaatsing-gatewaymachine wijzigt u de werkdirectory in:

    opt/qlik/gateway/movement/drivers/bin

  3. Voer dan de volgende opdracht uit:

    Syntaxis:

    ./uninstall redshift

    driver wordt verwijderd.

Het stuurprogramma handmatig installeren

U moet het driver alleen handmatig uitvoeren als de geautomatiseerde installatie van het stuurprogramma niet is voltooid.

  1. Stop de Data Movement gateway-service:

    sudo systemctl stop repagent

  2. Bevestig eventueel dat de service is gestopt:

    sudo systemctl status repagent

    3. De status zou als volgt moeten zijn:

    Active: inactive (dead) since <timestamp> ago

  3. Download en installeer de  Linux SQL client tools die nodig zijn om verbinding te maken met de Amazon Redshift-cluster. Qlik Gegevensgateway - Gegevensverplaatsing vereist het Amazon Redshift ODBC-stuurprogramma (x64) 1.4.65.1000.

    Download het stuurprogramma via:

    https://s3.amazonaws.com/redshift-downloads/drivers/odbc/1.4.65.1000/AmazonRedshiftODBC-64-bit-1.4.65.1000-1.x86_64.rpm

    Nadat u het ODBC-stuurprogramma hebt geïnstalleerd, bewerkt u het bestand /etc/odbcinst.ini als volgt:

    [ODBC Drivers]

    Amazon Redshift (x64)=Installed

    En:

    [Amazon Redshift (x64)]

    Description=Amazon Redshift ODBC Driver (64-bit)

    Driver=/opt/amazon/redshiftodbc/lib/64/libamazonredshiftodbc64.so

  4. Start de Data Movement gateway-service:

    sudo systemctl start repagent

  5. Bevestig eventueel dat de service is gestart:

    sudo systemctl status repagent

    De status zou als volgt moeten zijn:

    Active: active (running) since <timestamp> ago

Een lijst van de stuurprogramma's die door Amazon Redshift worden ondersteunt, vindt u op http://docs.aws.amazon.com/redshift/latest/mgmt/configure-odbc-connection.html.

Poort

De poort 5439 (Amazon Redshift Cluster) moet worden opengezet voor uitgaande communicatie.

CA -certificaat

Data Movement gateway maakt verbinding met AWS via SSL. Hiervoor is een geschikt CA-certificaat op de Data Movement gateway-machine vereist, anders zal de verbinding mislukken. Het doel van het CA-certificaat is om de eigenaar van het certificaat van de AWS-server te verifiëren.

Controleer of het vereiste CA-certificaat zich op de volgende locatie bevindt op de Linux-machine:

/etc/pki/tls/certs/ca-bundle.crt

Als deze niet aanwezig is, kunt u het beste de certificatenbundel van een andere Linux-machine kopiëren.

Algemene voorwaarden en overwegingen

  • Als u gegevensbron beschikt over emoji-tekens van 4 byte, gebruik dan een transformatie om het gegevenstype om te zetten van WSTRING(n ) naar WSTRING ( n*2 ).

  • Controleer of de instellingen voor tijd en de tijdzone van de Data Movement gateway-machine kloppen. Dit is vereist om te het volgende te kunnen garanderen:

    • Goede synchronisatie van taken voor volledig laden en CDC.
    • Correlatie van de tijd van het transactielogboek met de werkelijke tijd.

  • U kunt liveweergaven en geschiedenisweergeven niet lezen in Qlik Cloud Analyseservices als ze afkomstig zijn van gegevensverzamelingen die zijn gemaakt in een Amazon Redshift-doel van Qlik Talend Data Integration.

Beperkingen en overwegingen

  • De Amazon Redshift-connector ondersteunt uitsluitend standaardverificatie (gebruikersnaam en wachtwoord).

Gegevenstypen

De volgende tabel toont de Amazon Redshift-gegevenstypen van de database die worden ondersteund als u Qlik Cloud en de standaard toewijzingen van Qlik Cloud-gegevenstypen gebruikt.

Informatie in eigen gegevenstypen wordt behouden en wordt weergegeven in de kolom Eigen gegevenstype in weergaven van gegevensverzamelingen. Als de kolom niet zichtbaar is, moet u de kolomkiezer van de weergave van de gegevensverzameling openen en de kolom Eigen gegevenstype selecteren.

InformatieIn Qlik Cloud is de tekenreekslengte in tekens. In Redshift is de varchar-lengte in bytes. Het aantal bytes per teken kan variëren op basis van de daadwerkelijke tekens en de codering. Qlik Cloud gaat uit van een lengte van 3 bytes per teken. Dit betekent dat wanneer u wstring(10) definieert, de tabel in de praktijk als varchar(30) wordt gemaakt.
Ondersteunde gegevenstypen
Qlik Cloud-gegevenstypen Amazon Redshift-gegevenstypen

BOOLEAN

BOOLEAN

BYTES

VARBINARY(length)

DATE

DATE

TIME

VARCHAR (20)

DATETIME

Als schaal => 0 en =< 6 is, dan:

TIMESTAMP

Als schaal => 7 en =< 12 is, dan:

VARCHAR (37)

INT1

INT2

INT2

INT2

INT4

INT4

INT8

INT8

NUMERIC

Als de schaal => 0 en =< 37 is, dan:

NUMERIC (precision, scale)

Als de schaal => 38 en =< 127 is, dan:

VARCHAR (lengte)

REAL4

FLOAT4

REAL8

FLOAT8

STRING

Als lengte => 1 en =< 65535 is, dan:

VARCHAR (lengte in bytes)

Als lengte => 65535 en =< 2147483647 is, dan:

VARCHAR (65535)

UINT1

INT2

UINT2

INT4

UINT4

INT8

UINT8

NUMERIC (20,0)

WSTRING

Als de lengte => 1 en =< 21845 is, dan:

NVARCHAR (lengte in bytes)

Als lengte => 21846 en =< 2147483647 is, dan:

NVARCHAR (65535)

BLOB

VARBYTE (16777216)

NCLOB

VARCHAR (65535)

CLOB

VARCHAR (65535)

De volgende gegevenstypen van SQL Server worden niet ondersteund. Gegevens worden niet gelezen.

  • HLLSKETCH

De volgende gegevenstypen worden omgezet naar VARCHAR (65535):

  • GEOGRAPHY

  • GEOMETRY

Was deze pagina nuttig?

Als u problemen ervaart op deze pagina of de inhoud onjuist is – een typfout, een ontbrekende stap of een technische fout – laat het ons weten zodat we dit kunnen verbeteren!

Geef hier uw feedback