Amazon S3

Amazon S3 peut être utilisé comme suit :

• Une zone intermédiaire Cloud lorsque vous utilisez Databricks (facultatif) ou Amazon Redshift (obligatoire) comme cible de pipelines de données. La zone intermédiaire cloud correspond à l'emplacement dans lequel les données et les modifications sont placés temporairement avant leur application et stockage.

• Une cible dans une tâche de réplication.

  • Pour savoir comment répliquer des données dans Amazon S3 avec des abonnements Standard, Premium et Enterprise, consultez Dépôt temporaire de données dans un lac de données avec un abonnement Standard, Premium ou Enterprise.
  • Pour savoir comment répliquer des données dans Amazon S3 avec un abonnement Starter (Débutant), consultez Réplication de données avec un abonnement Démarreur Qlik Talend Cloud.

Autorisations nécessaires pour déposer temporairement des données

• Vous devez disposer d'un compartiment Amazon S3 accessible depuis le poste Data Movement gateway.

  Pour plus d'informations sur l'inscription à Amazon S3, voir http://aws.amazon.com/s3/.

• Identifiants d'accès au compartiment : Notez le nom du compartiment, la clé d'accès et la clé d'accès secrète. Vous devrez les fournir dans les paramètres du connecteur Amazon S3.

• Autorisations d'accès au compartiment : Les autorisations d'accès au compartiment suivantes sont requises :

  {
  	"Version": "2012-10-17",
  	"Statement": [
  	    {
  	     "Sid": "Stmt1497347821000",
  	     "Effect": "Allow",
  	     "Action": [
                  "s3:GetBucketLocation",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME"
              ]
          },
          {
              "Sid": "Stmt1497344984000",
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
              ]
          }
      ]
  }
  

Où YOUR_BUCKET_NAME est le nom de votre compartiment et target_path est l'emplacement prévu des fichiers cibles dans votre compartiment.

Conditions préalables requises Qlik Data Gateway - Data Movement

Data Movement gateway se connecte à AWS via SSL. Cette connexion exige un certificat d'autorité de certification approprié pour résider sur le poste Serveur Data Movement gatewaymachine ; sinon la connexion échoue. L'objectif de ce certificat d'autorité de certification est d'authentifier la propriété du certificat du serveur AWS.

Assurez-vous que le certificat d'autorité de certification nécessaire est présent dans l'emplacement suivant sur le poste Linux :

/etc/pki/tls/certs/ca-bundle.crt

S'il n'existe pas, le plus simple consiste à copier le groupement de certificats d'un autre poste Linux.

Définition des propriétés de connexion Amazon S3

Pour configurer le connecteur, procédez comme suit :

1. Dans Connexions, cliquez sur Créer une connexion.

2. Sélectionnez le Amazon S3 connecteur cible et fournissez les paramètres suivants :

Cible de données

Passerelle de données : Sélectionnez la Data Movement gateway à utiliser pour accéder à la base de données cible.

Suivant votre cas d'utilisation, il s'agira soit de la même Data Movement gateway déployée pour déposer temporairement des données provenant de la source de données, soit d'une autre. Pour des informations sur les possibilités de déploiement de Data Movement gateway possibles, voir Cas d'utilisation courants.

Propriétés de connexion

• Clé d'accès : Clé d'accès de votre compartiment Amazon S3.
• Clé secrète : Clé secrète de votre compartiment Amazon S3.

• Nom de compartiment : Nom de votre compartiment Amazon S3.

  Note Informations

  Le paramètre de région de compartiment par défaut est à détection automatique, ce qui supprime le besoin de définir une région spécifique. Cependant, pour des questions de sécurité, pour certaines régions (par exemple, AWS GovCloud), vous devrez peut-être définir explicitement la région. Dans ce cas, vous pouvez définir le code de région via la propriété interne regionCode.

  Pour une liste des codes de région, voir la section Disponibilité des régions dans :https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html.

  Pour des instructions sur la définition de propriétés internes, voir ci-dessous.

• Utiliser AWS PrivateLink : Sélectionnez cette option pour vous connecter à un VPC Amazon, puis spécifiez l'URL du point de terminaison VPC (par exemple, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

  Note InformationsL'option Utiliser AWS PrivateLink n'est pas prise en charge lors de l'utilisation d'un compartiment Amazon S3 comme zone intermédiaire pour une cible Databricks. Pour savoir comment configurer la connectivité à une cible Databricks, voir Databricks.

Propriétés internes

Les propriétés internes s'adressent à des cas d'utilisation spéciaux et ne sont par conséquent pas exposées dans la boîte de dialogue. Utilisez-les uniquement si Qlik Support vous le demande.

Utilisez les boutons et à droite des champs pour ajouter ou supprimer des propriétés, suivant les besoins.

Nom

Nom d'affichage de la connexion.

Mappage de types de données

Le tableau suivant indique le mappage par défaut des types de données Qlik Cloud vers les types de données Amazon S3.

Mappage de types de données Qlik Cloud vers Amazon S3

Mappage de types de données Qlik Cloud vers Parquet

Lorsque le format de fichier défini est le format Parquet, en raison du nombre limité de types de données pris en charge par Parquet, les mappages de types de données sont les suivants :