Flusso di dati AWS S3

Connettiti al tuo flusso di dati AWS S3 da usare come sorgente dati nei tuoi progetti Qlik Open Lakehouse. Le connessioni al flusso di dati AWS S3 possono essere usate solo con l'attività di trasferimento in streaming e l'attività di trasformazione in streaming.

A differenza del tradizionale ETL batch da S3, questa implementazione tratta S3 come una sorgente di streaming con monitoraggio continuo e acquisizione di dati quasi in tempo reale. Puoi configurare i flussi per acquisire automaticamente i dati dai bucket S3 all'arrivo di nuovi file. Il flusso di dati AWS S3 consente di configurare pipeline di dati in streaming da S3, incluse la corrispondenza dei modelli di file, la configurazione dello schema e le opzioni di backfill iniziale. Il flusso monitora continuamente S3 e acquisisce nuovi dati quasi in tempo reale (entro pochi minuti) ed è ideale per i dati organizzativi come log, eventi, esportazioni da sistemi esterni o feed di dati dei partner.

Prerequisiti

Per creare una connessione al flusso di dati AWS S3, sono necessari i seguenti elementi:

Se si utilizza l'autenticazione basata sui ruoli per accedere al bucket, sono necessari:
- L'autorizzazione per accedere all'integrazione di rete che si desidera utilizzare per la connessione.
- Il ruolo ARN, oppure è possibile crearne uno durante il processo di configurazione. Il cluster di integrazione di rete deve avere accesso all'account ARN S3.

Se si utilizza l'autenticazione della chiave di accesso per connettersi al bucket, sono necessari:
- L'ID della chiave di accesso di AWS.
- La chiave di accesso segreta di AWS.

Impostazione delle proprietà di connessione del flusso di dati S3

Per configurare la connessione S3, procedere come segue:

In Connessioni, fare clic su Crea connessione.
Selezionare lo Spazio in cui si desidera creare la connessione o scegliere Crea nuovo spazio dati.
Selezionare S3 dall'elenco dei nomi del Connettore o utilizzare la casella di ricerca. Assicurati che il Tipo sia Origine e la Categoria sia Streaming.
In URI S3, immetti l'URI per il tuo bucket S3 nel formato, s3://<bucket-name>/<directory-name>.

Per maggiori informazioni, vedere Esempi di sintassi.
In Tipo di autenticazione, seleziona come vuoi connetterti e configura le impostazioni.

Basato sui ruoli

Completa i seguenti passaggi per utilizzare l'autenticazione basata sui ruoli.

Crea ruolo ARN

Integrazione di rete: selezionare l'integrazione di rete dall'elenco.
Ruolo ARN: inserire il ruolo ARN creato in AWS Questo dovrebbe essere nel formato, arn:aws:iam::{account number}:role/{role name}.

Fare clic sul collegamento, fare clic qui per accedere alla guida, per visualizzare le seguenti istruzioni per accedere al criterio dell'entità fidata e creare l'ARN del ruolo.

Creare un ruolo AWS

Segui i passaggi per creare un ruolo AWS:

Crea ruolo
- Nella Console AWS, andare a IAM.
- In Ruoli, fare clic su Crea ruolo e configurarlo:
Crea un criterio inline
- Nella Console AWS, in Ruoli, fare clic sul ruolo creato nel Passaggio 1.
- In Criteri di autorizzazione, fare clic su Aggiungi autorizzazioni > Crea un criterio inline.
- Copia il codice in Qlik Cloud e incollalo nella policy in AWS.
Copia ruolo ARN
- Dalla pagina Ruoli nella console AWS, individua il valore ARN nella sezione Riepilogo.
- Copia l'ARN e incollalo in Ruolo ARN in Qlik Cloud.

Chiave di accesso

Completa i seguenti passaggi per usare una chiave di accesso per autenticare la tua connessione:

Chiave di accesso: inserire l'ID univoco della chiave di accesso AWS da utilizzare per l'autenticazione.
Chiave segreta: inserire la chiave di accesso segreta di AWS da utilizzare con la chiave di accesso.

Fare clic sul collegamento, fare clic qui per accedere alla guida, per visualizzare le seguenti istruzioni per la creazione del criterio per il ruolo.

Crea criterio
- Nella Console AWS, andare a IAM.
- Andare a Criteri> Crea criterio.
- In Qlik Cloud, nella finestra di dialogo Crea un ruolo AWS, copiare il criterio.
- In AWS, nell' editor di criteri, incollare il criterio.
Allega nuova policy a un utente
- Allega la nuova policy all'utente a cui desideri fornire l'accesso.

Crea la connessione

Dopo aver configurato il metodo di sicurezza, completa i seguenti passaggi per creare la tua connessione:

In Nome, immettere il nome visualizzato per la connessione, ad esempio, My AWS S3 Streaming Source connection.
Fai clic su Test connessione per convalidare le credenziali.
Fare clic su Crea.

Esempi di sintassi

Sintassi	Descrizione	Esempio
Testo	Input di testo/stringa generico basato sulle linee guida di denominazione degli oggetti Amazon S3 di AWS.	s3://MyS3Bucket/MyDir/MyFile.csv
Carattere jolly	Un carattere * che funge da "carattere jolly" nel percorso/nome file. L'uso di un carattere jolly in un percorso include tutte le cartelle e le sottocartelle da quel percorso.	myS3Bucket/myDir/* myS3Bucket/myDir/.csv myS3Bucket/myDir/_customers.csv myS3Bucket/regions//_customers.csv
Modello	La sintassi del modello di data indica la posizione del modello di data all'interno del nome del file.	myS3Bucket/myDir/<yyyy>_<MM>_<dd>_<HH>_<mm>_orders.csv myS3Bucket/myDir/<yyyy>/<MM>/<dd>/<HH>_<mm>_orders.csv

Regole di denominazione del set di dati di destinazione

Il nome del set di dati di destinazione deve:

Essere univoco e non essere già utilizzato da altri set di dati nel catalogo di destinazione.
Rispettare le regole di denominazione per il catalogo di destinazione:
- Iniziare con una lettera (A–Z, a–z) o un trattino basso (_).
- Contenere solo lettere, trattini bassi, cifre (0–9) o il segno del dollaro ($).
- Non superare i 255 caratteri, inclusi gli spazi.

Hai trovato utile questa pagina?

Se riscontri problemi con questa pagina o con il suo contenuto – un errore di battitura, un passaggio mancante o un errore tecnico – ti pregiamo di farcelo sapere!

Lascia qui il tuo feedback