AWS S3 Gegevensstroom

Maak verbinding met uw AWS S3 Gegevensstroom om te gebruiken als gegevensbron in uw Qlik Open Lakehouse projecten. AWS S3 Gegevensstroomverbindingen kunnen alleen worden gebruikt met de Streaming tussenopslagtaak en de Streaming transformatietaak.

In tegenstelling tot traditionele batch-ETL vanuit S3, behandelt deze implementatie S3 als een streamingbron met continue bewaking en bijna realtime gegevensopname. U kunt streams configureren om automatisch gegevens op te nemen uit S3-buckets wanneer nieuwe bestanden arriveren. De AWS S3-datastream stelt u in staat om streaming-datapijplijnen vanuit S3 te configureren, inclusief bestandspatroonherkenning, schemaconfiguratie en initiële backfill-opties. De stream bewaakt S3 continu en neemt nieuwe gegevens op in bijna realtime (binnen enkele minuten) en is ideaal voor organisatorische gegevens zoals logboeken, gebeurtenissen, exports van externe systemen of partnergegevensfeeds.

Vereisten

Om een verbinding te maken met uw AWS S3-datastream, heeft u het volgende nodig:

• Als u gebruikmaakt van op rollen gebaseerde authenticatie om toegang te krijgen tot de bucket, hebt u nodig:

  • Toegang tot de netwerkintegratie die u wilt gebruiken voor de verbinding.

  • De ARN-rol, of u kunt er een maken tijdens het installatieproces. Het netwerkintegratiecluster moet toegang hebben tot het ARN S3-account.

• Als u gebruikmaakt van authenticatie met toegangssleutel om verbinding te maken met de bucket, hebt u het volgende nodig:

  • Uw AWS-toegangssleutel-id.

  • Uw AWS geheime toegangssleutel.

Verbindingseigenschappen van S3-datastream instellen

Om uw S3-verbinding te configureren, doet u het volgende:

1. Klik in Verbindingen op Verbinding maken.

2. Selecteer de Space waar u de verbinding wilt maken of kies Create new data space.

3. Selecteer S3 uit de Connectornaam-lijst of gebruik het Zoeken-vak. Zorg ervoor dat het Type Bron is en de Categorie Streaming is.

4. Voer in S3-URI de URI in voor uw S3-bucket in de indeling s3://<bucket-name>/<directory-name>.

   Raadpleeg voor meer informatie Syntaxisvoorbeelden.

5. Selecteer in Verificatietype hoe u verbinding wilt maken en configureer de instellingen.

Op rollen gebaseerd

Voer de volgende stappen uit om verificatie op basis van rollen te gebruiken.

ARN-rol maken

• Netwerkintegratie: Selecteer de netwerkintegratie uit de lijst.

• ARN role: Voer de ARN-rol in die is gemaakt in AWS. Dit moet de volgende indeling hebben: arn:aws:iam::{account number}:role/{role name}.

Een AWS-rol maken

Volg de stappen om een AWS-rol te maken:

1. Rol maken

   • In de AWS Console, ga naar IAM.

   • Klik in Rollen op Rol maken en configureer deze:

   • Vertrouwd entiteitstype: selecteer Aangepast vertrouwensbeleid.

   • Verklaring: Kopieer het Vertrouwde entiteit-beleid dat is gemaakt in de Een AWS-rol maken in Qlik Cloud naar het codepaneel in AWS.

   • Maak de rol.

2. Uitgelijnd beleid maken

   • In de AWS Console, in Rollen, klikt u op de rol die u in stap 1 hebt gemaakt.

   • In Machtigingsbeleid, klik op Machtigingen toevoegen > Uitgelijnd beleid maken.

   • Kopieer de code in Qlik Cloud en plak deze in het beleid in AWS.

3. ARN-rol kopiëren

   • Zoek op de Rollen-pagina in de AWS-console de ARN-waarde in de Samenvatting-sectie.

   • Kopieer de ARN en plak deze in ARN-rol in Qlik Cloud.

Toegangssleutel

Voltooi de volgende stappen om een toegangssleutel te gebruiken voor de authenticatie van uw verbinding:

• Toegangssleutel: Voer uw unieke AWS-toegangssleutel-ID in voor authenticatie.

• Geheime sleutel: Voer uw AWS Secret Access Key in voor gebruik met uw toegangssleutel.

1. Beleid maken

   • In de AWS Console, ga naar IAM.

   • Navigeer naar Beleidsregels> Beleidsregel maken.

   • In Qlik Cloud, kopieer in het dialoogvenster Een AWS-rol maken het beleid.

   • In AWS, plak in de Beleidseditor het beleid.

2. Nieuw beleid koppelen aan een gebruiker

   • Koppel het nieuwe beleid aan de gebruiker aan wie u toegang wilt verlenen.

Verbinding maken

Wanneer u uw beveiligingsmethode hebt geconfigureerd, voert u de volgende stappen uit om uw verbinding te maken:

• Voer onder Naam de weergavenaam voor de verbinding in, bijvoorbeeld My AWS S3 Streaming Source connection.

• Klik op Verbinding testen om de referenties te valideren.

• Klik op Maken.

Syntaxisvoorbeelden

Naamgevingsregels voor doelgegevensverzameling

De naam van de doelgegevensverzameling moet:

• Uniek zijn en niet al gebruikt worden door andere gegevensverzamelingen in de doelcatalogus.

• Voldoen aan de naamgevingsregels van de doelcatalogus:

  • Beginnen met een letter (A–Z, a–z) of een onderstrepingsteken (_).

  • Alleen letters, onderstrepingstekens, cijfers (0–9) of het dollarteken ($) bevatten.

  • Niet meer dan 255 tekens, inclusief spaties, bevatten.