AWS S3 Dataström

Anslut till din AWS S3 Dataström för att använda som datakälla i dina Qlik Open Lakehouse projekt. AWS S3 Dataström-kopplingar kan endast användas med mellanlagringsuppgiften för strömning och transformeringsuppgiften för strömning.

Till skillnad från traditionell batch-ETL från S3, behandlar denna implementering S3 som en strömningskälla med kontinuerlig övervakning och datainmatning i nära realtid. Du kan konfigurera strömmar för att automatiskt mata in data från S3-buckets när nya filer anländer. AWS S3-dataströmmar gör att du kan konfigurera dataströmningspipelines från S3, inklusive filformatmatchning, schemakonfiguration och initiala backfill-alternativ. Strömmen övervakar kontinuerligt S3 och matar in ny data i nära realtid (inom några minuter) och är idealisk för organisationsdata som loggar, händelser, exporter från externa system eller partnerdataflöden.

Förutsättningar

För att skapa en koppling till din AWS S3-datastream krävs följande:

• Om du använder rollbaserad autentisering för att få åtkomst till bucket behöver du:

  • Behörighet att komma åt den nätverksintegration som du vill använda för kopplingen.

  • ARN-rollen, eller så kan du skapa en under installationsprocessen. Nätverksintegrationsklustret måste ha åtkomst till ARN S3-kontot.

• Om du använder autentisering med åtkomstnyckel för att ansluta till bucket, behöver du:

  • Ditt AWS åkomstnyckel-ID.

  • Din hemliga AWS åtkomstnyckel.

Ställa in egenskaper för S3-dataströmkoppling

Så här konfigurerar du din S3-koppling:

1. I Kopplingar klickar du på Skapa koppling.

2. Välj Utrymme där du vill skapa kopplingen eller välj Skapa nytt datautrymme.

3. Välj S3 från listan med kopplingsnamn eller använd sökrutan. Se till att Typ är Källa och att Kategori är Strömning.

4. I S3 URI anger du URI:n för din S3-bucket i formatet s3://<bucket-name>/<directory-name>.

   Se Syntaxexempel för mer information.

5. I Autentiseringstyp väljer du hur du vill ansluta och konfigurerar inställningarna.

Rollbaserad

Följ dessa steg för att använda rollbaserad autentisering.

Skapa ARN-roll

• Nätverksintegration: Välj nätverksintegration från listan.

• ARN-roll: Ange den ARN-roll som skapades i AWS. Detta ska vara i formatet, arn:aws:iam::{account number}:role/{role name}.

Skapa en AWS-roll

Följ stegen för att skapa en AWS-roll:

1. Skapa roll

   • Gå till IAM i AWS-konsolen.

   • Under Roller klickar du på Skapa roll och konfigurerar den:

   • Betrodd enhetstyp: välj Anpassad förtroendepolicy.

   • Uttalande: Kopiera policyn för betrodd entitet som skapades i Skapa en AWS-roll i Qlik Cloud till kodfönstret i AWS.

   • Skapa rollen.

2. Skapa inline-policy

   • I AWS-konsolen, under Roller, klickar du på den roll du skapade i steg 1.

   • I Behörighetspolicyer klickar du på Lägg till behörigheter > Skapa inline-princip.

   • Kopiera koden i Qlik Cloud och klistra in den i policyn i AWS.

3. Kopiera ARN-roll

   • Från Roles-sidan i AWS-konsolen letar du upp ARN-värdet i Summary-delavsnittet.

   • Kopiera ARN och klistra in det i ARN role i Qlik Cloud.

Åtkomstnyckel

Slutför följande steg för att använda en åtkomstnyckel för att autentisera din koppling:

• Åtkomstnyckel: Ange ditt unika AWS åtkomstnyckel-ID som ska användas för autentisering.

• Hemlig nyckel: Ange din hemliga AWS åtkomstnyckel som ska användas med din åtkomstnyckel.

1. Skapa policy

   • Gå till IAM i AWS-konsolen.

   • Navigera till Policyer> Skapa policy.

   • I Qlik Cloud, i dialogrutan Skapa en AWS-roll, kopiera policyn.

   • I AWS, i Policyredigeraren, klistra in policyn.

2. Koppla ny policy till en användare

   • Koppla den nya policyn till den användare som du vill ge åtkomst till.

Skapa kopplingen

När du har konfigurerat din säkerhetsmetod slutför du följande steg för att skapa din koppling:

• I Namn anger du visningsnamnet för kopplingen, till exempel My AWS S3 Streaming Source connection.

• Klicka på Testa koppling för att validera autentiseringsuppgifterna.

• Klicka på Skapa.

Syntaxexempel

Regler för namngivning av måldatauppsättning

Namnet på måldatauppsättningen måste:

• Vara unikt och inte redan användas av andra datauppsättningar i målkatalogen.

• Uppfylla reglerna för namngivning i målkatalogen:

  • Börja med en bokstav (A–Z, a–z) eller understreck (_).

  • Får endast innehålla bokstäver, understreck, siffror (0–9) eller dollartecknet ($).

  • Får inte överskrida 255 tecken, inklusive mellanslag.