Amazon S3
È possibile utilizzare Amazon S3 nei seguenti modi:
- Un'area di staging nel cloud quando si usa Databricks (opzionale) o Amazon Redshift (obbligatorio) come destinazione della pipeline di dati. L'area di gestione temporanea del cloud è il luogo in cui i dati e le modifiche vengono organizzati prima di essere applicati e archiviati.
-
Una destinazione in un'attività di replica.
- Per una spiegazione su come replicare i dati su Amazon S3 con le sottoscrizioni Standard, Premium ed Enterprise, vedere Trasferimento dei dati in un data lake con una sottoscrizione Standard, Premium o Enterprise.
- Per una spiegazione su come replicare i dati su Amazon S3 con la sottoscrizione Starter, vedere Replica dei dati con una sottoscrizione a Avvio Qlik Talend Cloud.
Autorizzazioni necessarie per il trasferimento dei dati
È necessario disporre di un bucket Amazon S3 accessibile dal computer gateway di Data Movement.
Per informazioni sull'iscrizione ad Amazon S3, vedere http://aws.amazon.com/s3/.
- Credenziali di accesso bucket: annotare il nome del bucket, la chiave di accesso e la chiave di accesso segreta, che dovranno essere fornite nelle impostazioni del connettore Amazon S3.
Autorizzazioni accesso bucket: sono necessarie le seguenti autorizzazioni per l'accesso bucket:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1497347821000", "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME" ] }, { "Sid": "Stmt1497344984000", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME/target_path", "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*" ] } ] }
In cui YOUR_BUCKET_NAME è il nome del bucket e target_path è la posizione prevista per i file di destinazione nel proprio bucket.
Se il percorso di destinazione è la radice del bucket, è sufficiente specificare “/target_path” con una stringa vuota.
Prerequisiti Qlik Data Gateway - Movimento dati
gateway di Data Movement si connette ad AWS tramite SSL. Ciò richiede un apposito certificato CA che risieda sulla macchina gateway di Data Movement; in caso contrario, la connessione non riuscirà. Lo scopo del certificato CA è autenticare la proprietà del certificato del server AWS.
Assicurarsi che il certificato CA richiesto esista nel seguente percorso sulla macchina Linux:
/etc/pki/tls/certs/ca-bundle.crt
Se non esiste, la soluzione più semplice è copiare il pacchetto di certificati da un'altra macchina Linux.
Impostazione delle proprietà di connessione Amazon S3
Per configurare il connettore, procedere come segue:
In Connessioni, fare clic su Crea connessione.
Selezionare il connettore Amazon S3 di destinazione, quindi fornire le seguenti impostazioni:
Destinazione dati
Gateway dati:: Selezionare il Gateway Data Movement che si desidera utilizzare per accedere al database di destinazione.
A seconda del caso di utilizzo, questo sarà lo stesso Gateway Data Movement distribuito per trasferire i dati da una sorgente dati, oppure uno differente. Per informazioni sulle differenti possibilità di distribuzione del Gateway Data Movement vedere Casi di utilizzo comuni.
Proprietà di connessione
Opzioni di accesso: scegli una delle opzioni seguenti
Coppia di chiavi (opzione predefinita)
La coppia di chiavi per l'accesso al bucket Amazon S3. Quando questa opzione è selezionata, specificare quanto segue:
- Chiave di accesso: la chiave di accesso per il bucket Amazon S3.
Chiave segreta: La chiave segreta del bucket Amazon S3.
IAM Roles Anywhere (non supportato quando si usa Amazon S3 come area di staging per Databricks):
È possibile configurare IAM Roles Anywhere nella console di IAM Roles Anywhere, tramite AWS CLI o utilizzando AWS SDK. IAM Roles Anywhere consente di utilizzare la propria infrastruttura a chiave pubblica (PKI) per generare credenziali temporanee per l'accesso ai ruoli IAM dall'esterno di AWS. Ciò significa che è possibile accedere in modo sicuro alle risorse di AWS da Qlik Talend Data Integration senza dover gestire credenziali a lungo termine.
Quando questa opzione è selezionata, specificare quanto segue:
- File certificato: percorso del certificato pubblico di Qlik Talend Data Integration sul computer di gateway di Data Movement in formato PEM. Questo file deve essere firmato con il certificato CA configurato nella console di IAM Roles Anywhere.
- File della chiave privata: percorso della chiave pubblica di Qlik Talend Data Integration sul computer di gateway di Data Movement in formato PEM.
- Passphrase della chiave privata: la passphrase della chiave privata. È obbligatoria solo se il file della chiave privata è crittografato.
- ARN ancoraggio di attendibilità: l'ARN associato all'ancoraggio di attendibilità creato nella console di IAM Roles Anywhere. Si stabilisce l'attendibilità tra IAM Roles Anywhere e l'autorità di certificazione (CA) utilizzata creando un ancoraggio di attendibilità. Un ancoraggio di attendibilità è un riferimento ad AWS Private CA o a un certificato CA esterno. I carichi di lavoro esterni ad AWS si autenticano con l'ancoraggio di attendibilità utilizzando certificati emessi dalla CA attendibile in cambio di credenziali AWS temporanee.
- ARN profilo: l'ARN associato al profilo creato nella console di IAM Roles Anywhere. Per specificare i ruoli assunti da IAM Roles Anywhere e cosa possono fare i carichi di lavoro con le credenziali temporanee, si crea un profilo. In un profilo, è possibile definire le autorizzazioni con criteri gestiti da IAM per limitare le autorizzazioni per una sessione creata.
ARN ruolo: l'ARN associato al ruolo creato nella console di IAM Roles Anywhere. Un ruolo è un'identità IAM che l'utente crea nel proprio account con autorizzazioni specifiche. Affinché IAM Roles Anywhere possa assumere un ruolo e fornire credenziali AWS temporanee, il ruolo deve considerare attendibile l'entità del servizio di IAM Roles Anywhere.
Il formato deve essere il seguente:
arn:aws:iam::<account-id>:role/<role-name-with-path>
Per maggiori informazioni su IAM Roles Anywhere, consultare:
Estendere i ruoli IAM di AWS ai carichi di lavoro al di fuori di AWS con IAM Roles Anywhere
Ruoli IAM per EC2
Scegliere questo metodo se il computer su cui è installato gateway di Data Movement è configurato per autenticarsi utilizzando un ruolo IAM.
Per informazioni sui ruoli IAM, vedere ruoli IAM.
Nome bucket: il nome del bucket Amazon S3.
L'impostazione della regione bucket predefinita viene rilavata automaticamente, eliminando il bisogno di impostare una regione specifica. Tuttavia, a causa di considerazioni relative alla sicurezza, per alcune regioni (ad esempio, AWS GovCloud), potrebbe essere necessario impostare in modo esplicito la regione. In questo caso, è possibile impostare il codice della regione utilizzando la proprietà interna regionCode.
Per un elenco dei codici delle regioni, vedere la sezione Disponibilità regioni in:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
Per istruzioni su come impostare le proprietà interne, vedere di seguito.
Usa AWS PrivateLink: selezionare questa opzione per connettersi a un VPC Amazon, quindi specificare l'URL dell'endpoint del VPC (ad esempio, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).
Crittografia dei dati
Scegliere una delle seguenti opzioni di crittografia:
Crittografia lato server con chiavi gestite da Amazon S3 (SSE-S3)
Questa è l'opzione predefinita.
Crittografia lato server con chiavi gestite da AWS KMS (SSE-KMS)
Questa opzione richiede inoltre di specificare l'ID chiave KMS.
Per maggiori informazioni sui metodi di crittografia lato server disponibili, vedere:
- Nessuno
Proprietà interne
Le proprietà interne servono per casi d'uso speciali e pertanto non vengono visualizzate nella finestra di dialogo. Gli utenti devono utilizzarle solo se indicato dal Supporto di Qlik.
Usare i pulsanti 
e 
a destra del campo per aggiungere o rimuovere proprietà in base alle esigenze.
Nome
Il nome visualizzato per la connessione.
Mappatura del tipo di dati
La seguente tabella mostra la mappatura predefinita dai tipi di dati Qlik Cloud ai tipi di dati Amazon S3.
Mappatura dai tipi di dati Qlik Cloud a Amazon S3
| Tipi di dati Qlik Cloud | Tipi dati di destinazione Amazon S3 |
|---|---|
DATE | DATE |
TIME | TIME |
DATETIME | DATETIME |
BYTES | BYTES (lunghezza) |
BLOB | BLOB |
REAL4 | REAL4 (7) |
REAL8 | REAL8 (14) |
INT1 | INT1 (3) |
INT2 | INT2 (5) |
INT4 | INT4 (10) |
INT8 | INT8 (19) |
UINT1 | INT1 (3) |
UINT2 | INT2 (5) |
UINT4 | INT4 (10) |
UINT8 | UINT8 (20) |
NUMERIC | NUMERIC (p,s) |
STRING | STRING (Lunghezza) |
WSTRING | STRING (Lunghezza) |
CLOB | CLOB |
NCLOB | NCLOB |
BOOLEAN | BOOLEAN (1) |
Mappatura dai tipi di dati di Qlik Cloud su Parquet
Quando Parquet è impostato come formato file, a causa del numero limitato di dati supportati da Parquet, le mappature del tipo di dati sono le seguenti:
| Tipo dati Qlik Cloud | Tipo primitivo di Parquet | Tipo logico |
|---|---|---|
BOOLEAN | BOOLEAN | |
INT1 | INT32 | INT(8, true) |
INT2 | INT32 | INT(16, true) |
INT4 | INT32 | |
INT8 | INT64 | |
UINT1 | INT32 | INT(8, false) |
UINT2 | INT32 | INT(16, false) |
UINT4 | INT64 | |
UINT8 | INT64 | INT(64, false) |
REAL4 | FLOAT | |
REAL8 | DOUBLE | |
NUMERIC | FIXED_LEN_BYTE_ARRAY (16) | DECIMAL (precisione, scala) |
STRING | BYTE_ARRAY | STRING |
WSTRING | BYTE_ARRAY | STRING |
BYTES | BYTE_ARRAY | |
BLOB | BYTE_ARRAY | |
CLOB | BYTE_ARRAY | STRING |
NCLOB | BYTE_ARRAY | STRING |
DATE | INT32 | DATE |
TIME | INT32 | TIME (UTC=true, unit=MILLIS) |
DATETIME | INT64 | TIMESTAMP (UTC=true, unit=MICROS) |