AWS Kinesis Data Stream

Maak verbinding met uw Amazon Kinesis-service om deze te gebruiken als gegevensbron in uw Qlik Open Lakehouse projecten. Kinesis-verbindingen kunnen alleen worden gebruikt met de Streaming-tussenopslagtaak en de Streaming-transformatie-taak.

Een AWS Kinesis Data Stream is een volledig beheerde service voor het continu vastleggen en verwerken van real-time datastromen. In een Qlik Open Lakehouse project kan een Kinesis-stream worden gebruikt als een streaming-gegevensbron om snelle gebeurtenissen en records in Apache Iceberg-tabellen op te nemen. Gegevens die uit de stream worden gelezen, worden verwerkt via de Streaming tussenopslag- en Streaming transformatietaken, waardoor bijna-realtime opname, transformatie en opslag van streaminggegevens mogelijk is in een open, doorzoekbaar tabelformaat dat geschikt is voor downstream-analyse en -verbruik. Streams kunnen worden gesplitst in meerdere datasets met behulp van een transformatietaak.

Vereisten

Om een verbinding met uw Amazon Kinesis-service te maken, hebt u het volgende nodig:

• Als u gebruikmaakt van op rollen gebaseerde authenticatie om toegang te krijgen tot de bucket, hebt u nodig:

  • Toegang tot de netwerkintegratie die u wilt gebruiken voor de verbinding.

  • De ARN-rol, of u kunt er een maken tijdens het installatieproces.

• Als u gebruikmaakt van authenticatie met toegangssleutel om toegang te krijgen tot de bucket, hebt u het volgende nodig:

  • Uw AWS-toegangssleutel-id.

  • Uw AWS geheime toegangssleutel.

Kinesis-verbindingseigenschappen instellen

Om uw Kinesis-verbinding te configureren, doet u het volgende:

1. Klik in Verbindingen op Verbinding maken.

2. Selecteer de Space waar u de verbinding wilt maken of kies Create new data space.

3. Selecteer Kinesis uit de Connector-naamlijst of gebruik het Zoeken-vak. Zorg ervoor dat het Type Source is en de Category Streaming is.

4. Selecteer de Regio waar uw Kinesis-service wordt gehost.

5. Selecteer in Authenticatietype hoe u verbinding wilt maken en configureer de instellingen.

Op rollen gebaseerd

Volg de volgende stappen om authenticatie op basis van rollen te gebruiken.

ARN-rol maken

• Selecteer de Netwerkintegratie voor uw verbinding.

• Voer uw ARN-rol in als u deze al hebt.

Een AWS-rol maken

Volg de stappen om een AWS-rol te maken:

1. Rol maken

   • In de AWS Console, ga naar IAM.

   • Klik in Rollen op Rol maken en configureer deze:

   • Vertrouwd entiteitstype: selecteer Aangepast vertrouwensbeleid.

   • Statement: Kopieer het Vertrouwde entiteit-beleid dat is gemaakt in Een AWS-rol maken in Qlik Cloud naar het codepaneel in AWS.

   • Maak de rol.

2. Inline beleid maken

   • Klik in de AWS Console, in Rollen, op de rol die u in stap 1 hebt gemaakt.

   • Klik in Machtigingsbeleid op Machtigingen toevoegen > Uitgelijnd beleid maken.

   • Kopieer de code in Qlik Cloud en plak deze in het beleid in AWS.

     InformatieDe code verleent de Kinesis-verbinding toegang tot alle Kinesis-streams in alle AWS-accounts in de geselecteerde regio.

3. ARN-rol kopiëren

   • Zoek op de Rollen-pagina in de AWS-console de ARN-waarde in de Overzicht-sectie.

   • Kopieer de ARN en plak deze in ARN-rol in Qlik Cloud.

Toegangssleutel

Voltooi de volgende stappen om een toegangssleutel te gebruiken om uw verbinding te authenticeren:

• Toegangssleutel: Voer uw unieke AWS-toegangssleutel-ID in voor authenticatie.

• Geheime sleutel: Voer uw AWS Secret Access Key in voor gebruik met uw toegangssleutel.

1. Beleid maken

   • In de AWS Console, ga naar IAM.

   • Navigeer naar Beleidsregels> Beleidsregel maken.

   • In Qlik Cloud, kopieer in het dialoogvenster Een AWS-rol maken het beleid.

   • Plak in AWS, in de Beleidseditor, het beleid.

     InformatieDe code verleent de Kinesis-verbinding toegang tot alle Kinesis-streams in alle AWS-accounts in de geselecteerde regio.

2. Nieuw beleid koppelen aan een gebruiker

   • Koppel het nieuwe beleid aan de gebruiker aan wie u toegang wilt verlenen.

Verbinding maken

Wanneer u uw beveiligingsmethode hebt geconfigureerd, voert u de volgende stappen uit om uw verbinding te maken:

• In Naam voert u de weergavenaam voor de verbinding in, bijvoorbeeld My Kinesis Streaming Source connection.

• Klik op Verbinding testen om de referenties te valideren.

• Klik op Maken.