Amazon S3

È possibile utilizzare Amazon S3 nei seguenti modi:

• Un'area di staging nel cloud quando si usa Databricks (opzionale) o Amazon Redshift (obbligatorio) come destinazione della pipeline di dati. L'area di staging cloud è il luogo in cui i dati e le modifiche vengono organizzati prima di essere applicati e archiviati.

• Una destinazione in un'attività di replica.

  • Per una spiegazione su come replicare i dati su Amazon S3 con le sottoscrizioni Standard, Premium ed Enterprise, vedere Trasferimento dei dati in un data lake con una sottoscrizione Standard, Premium o Enterprise.
  • Per una spiegazione su come replicare i dati su Amazon S3 con la sottoscrizione Starter, vedere Replica dei dati con una sottoscrizione Avvio Qlik Talend Cloud.

Autorizzazioni necessarie per il trasferimento dei dati

• È necessario disporre di un bucket Amazon S3 accessibile dal computer gateway di Data Movement.

  Per informazioni sull'iscrizione ad Amazon S3, vedere http://aws.amazon.com/s3/.

• Credenziali di accesso bucket: annotare il nome del bucket, la chiave di accesso e la chiave di accesso segreta, che dovranno essere fornite nelle impostazioni del connettore Amazon S3.

• Autorizzazioni accesso bucket: sono necessarie le seguenti autorizzazioni per l'accesso bucket:

  {
  	"Version": "2012-10-17",
  	"Statement": [
  	    {
  	     "Sid": "Stmt1497347821000",
  	     "Effect": "Allow",
  	     "Action": [
                  "s3:GetBucketLocation",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME"
              ]
          },
          {
              "Sid": "Stmt1497344984000",
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
              ]
          }
      ]
  }
  

In cui YOUR_BUCKET_NAME è il nome del bucket e target_path è la posizione prevista per i file di destinazione nel proprio bucket.

Prerequisiti Qlik Data Gateway - Spostamento dati

gateway di Data Movement si connette ad AWS tramite SSL. Ciò richiede un apposito certificato CA che risieda sulla macchina gateway di Data Movement; in caso contrario, la connessione non riuscirà. Lo scopo del certificato CA è autenticare la proprietà del certificato del server AWS.

Assicurarsi che il certificato CA richiesto esista nel seguente percorso sulla macchina Linux:

/etc/pki/tls/certs/ca-bundle.crt

Se non esiste, la soluzione più semplice è copiare il pacchetto di certificati da un'altra macchina Linux.

Impostazione delle proprietà di connessione Amazon S3

Per configurare il connettore, procedere come segue:

1. In Connessioni, fare clic su Crea connessione.

2. Selezionare il connettore Amazon S3 di destinazione, quindi fornire le seguenti impostazioni:

Destinazione dati

Gateway dati: Selezionare il Gateway di Data Movement che si desidera utilizzare per accedere al database di destinazione.

A seconda del caso di utilizzo, questo sarà lo stesso Gateway di Data Movement distribuito per trasferire i dati da una sorgente dati, oppure uno differente. Per informazioni sulle differenti possibilità di distribuzione del Gateway di Data Movement vedere Casi di utilizzo comuni.

Proprietà di connessione

• Chiave di accesso: la chiave di accesso per il bucket Amazon S3.
• Chiave segreta: La chiave segreta del bucket Amazon S3.

• Nome bucket: il nome del bucket Amazon S3.

  Nota informatica

  L'impostazione della regione bucket predefinita viene rilavata automaticamente, eliminando il bisogno di impostare una regione specifica. Tuttavia, a causa di considerazioni relative alla sicurezza, per alcune regioni (ad esempio, AWS GovCloud), potrebbe essere necessario impostare in modo esplicito la regione. In questo caso, è possibile impostare il codice della regione utilizzando la proprietà interna regionCode.

  Per un elenco dei codici delle regioni, vedere la sezione Disponibilità regioni in:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

  Per istruzioni su come impostare le proprietà interne, vedere di seguito.

• Usa AWS PrivateLink: selezionare questa opzione per connettersi a un VPC Amazon, quindi specificare l'URL dell'endpoint del VPC (ad esempio, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

  Nota informaticaL'opzione Usa AWS PrivateLink non è supportata quando si utilizza un bucket Amazon S3 come area di staging per una destinazione Databricks. Per informazioni su come configurare la connettività a una destinazione Databricks, vedere Databricks.

Proprietà interne

Le proprietà interne servono per casi d'uso speciali e pertanto non vengono visualizzate nella finestra di dialogo. Gli utenti devono utilizzarle solo se indicato dal Supporto di Qlik.

Usare i pulsanti e a destra del campo per aggiungere o rimuovere proprietà in base alle esigenze.

Nome

Il nome visualizzato per la connessione.

Mappatura del tipo di dati

La seguente tabella mostra la mappatura predefinita dai tipi di dati Qlik Cloud ai tipi di dati Amazon S3.

Mappatura dai tipi di dati Qlik Cloud a Amazon S3

Mappatura dai tipi di dati di Qlik Cloud su Parquet

Quando Parquet è impostato come formato file, a causa del numero limitato di dati supportati da Parquet, le mappature del tipo di dati sono le seguenti: