Amazon S3
Amazon S3 peut être utilisé comme suit :
- Une zone intermédiaire Cloud lorsque vous utilisez Databricks (facultatif) ou Amazon Redshift (obligatoire) comme cible de pipelines de données. La zone intermédiaire cloud correspond à l'emplacement dans lequel les données et les modifications sont placés temporairement avant leur application et stockage.
-
Une cible dans une tâche de réplication.
- Pour savoir comment répliquer des données dans Amazon S3 avec des abonnements Standard, Premium et Enterprise, consultez Dépôt temporaire de données dans un lac de données avec un abonnement Standard, Premium ou Enterprise.
- Pour savoir comment répliquer des données dans Amazon S3 avec un abonnement Starter (Débutant), consultez Réplication de données avec un abonnement Démarreur Qlik Talend Cloud.
Autorisations nécessaires pour déposer temporairement des données
Vous devez disposer d'un compartiment Amazon S3 accessible depuis le poste Data Movement gateway.
Pour plus d'informations sur l'inscription à Amazon S3, voir http://aws.amazon.com/s3/.
- Identifiants d'accès au compartiment : Notez le nom du compartiment, la clé d'accès et la clé d'accès secrète. Vous devrez les fournir dans les paramètres du connecteur Amazon S3.
Autorisations d'accès au compartiment : Les autorisations d'accès au compartiment suivantes sont requises :
{ "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1497347821000", "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME" ] }, { "Sid": "Stmt1497344984000", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME/target_path", "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*" ] } ] }
Où YOUR_BUCKET_NAME est le nom de votre compartiment et target_path est l'emplacement prévu des fichiers cibles dans votre compartiment.
Si le chemin cible est la racine du compartiment, il suffit de spécifier“/target_path” avec une chaîne vide.
Conditions préalables requises Passerelle de données Qlik - Déplacement des données
Data Movement gateway se connecte à AWS via SSL. Cette connexion exige un certificat d'autorité de certification approprié pour résider sur le poste Serveur Data Movement gatewaymachine ; sinon la connexion échoue. L'objectif de ce certificat d'autorité de certification est d'authentifier la propriété du certificat du serveur AWS.
Assurez-vous que le certificat d'autorité de certification nécessaire est présent dans l'emplacement suivant sur le poste Linux :
/etc/pki/tls/certs/ca-bundle.crt
S'il n'existe pas, le plus simple consiste à copier le groupement de certificats d'un autre poste Linux.
Définition des propriétés de connexion Amazon S3
Pour configurer le connecteur, procédez comme suit :
Dans Connexions, cliquez sur Créer une connexion.
Sélectionnez le Amazon S3 connecteur cible et fournissez les paramètres suivants :
Cible de données
Passerelle de données : Sélectionnez la Passerelle de déplacement des données à utiliser pour accéder à la base de données cible.
Suivant votre cas d'utilisation, il s'agira soit de la même Passerelle de déplacement des données déployée pour déposer temporairement des données provenant de la source de données, soit d'une autre. Pour des informations sur les possibilités de déploiement de Passerelle de déplacement des données possibles, voir Cas d'utilisation courants.
Propriétés de connexion
Options d'accès : sélectionnez l'une des options suivantes.
Paire de clés (par défaut)
Paire de clés permettant d'accéder à votre compartiment Amazon S3. Lorsque cette option est sélectionnée, spécifiez les éléments suivants :
- Clé d'accès : Clé d'accès de votre compartiment Amazon S3.
Clé secrète : Clé secrète de votre compartiment Amazon S3.
IAM Roles Anywhere (non supporté lors de l'utilisation d'Amazon S3 comme zone intermédiaire pour Databricks) :
IAM Roles Anywhere peut être configuré sur la console IAM Roles Anywhere, via la commande CLI AWS ou le kit SDK AWS. IAM Roles Anywhere vous permet d'utiliser votre infrastructure à clé privée (Private Key Infrastructure ou PKI) pour générer des informations d'identification temporaires afin d'accéder aux rôles IAM depuis l'extérieur d'AWS. Cela signifie que vous pouvez accéder en toute sécurité aux ressources AWS depuis Qlik Talend Data Integration sans avoir à gérer des informations d'identification à long terme.
Lorsque cette option est sélectionnée, spécifiez les éléments suivants :
- Certificate file : Chemin d'accès au certificat public Qlik Talend Data Integration sur le poste Data Movement gateway au format PEM. Ce fichier doit être signé à l'aide du certificat d'autorité de certification (CA) configuré sur la console IAM Roles Anywhere.
- Private key file : Chemin d'accès au fichier de clé privée Qlik Talend Data Integration sur le poste Data Movement gateway au format PEM.
- Private key passphrase : Phrase secrète de la clé privée. Nécessaire uniquement si le fichier de clé privée est chiffré.
- Trust anchor ARN : ARN associé à l'ancre d'approbation que vous avez créée sur la console IAM Roles Anywhere. Vous établissez la confiance entre IAM Roles Anywhere et votre autorité de certification (CA) en créant une ancre d'approbation. Une ancre d'approbation est une référence soit à une autorité de certification privée AWS Private CA, soit à un certificat de CA externe. Vos charges de travail en dehors d'AWS s'authentifient auprès de l'ancre d'approbation à l'aide de certificats émis par l'autorité de certification (CA) de confiance en échange d'informations d'identification AWS temporaires.
- Profile ARN : ARN associé au profil que vous avez créé sur la console IAM Roles Anywhere. Pour spécifier les rôles qu'IAM Roles Anywhere endosse et les opérations que vos charges de travail peuvent effectuer avec les informations d'identification temporaires, vous créez un profil. Dans un profil, vous pouvez définir des autorisations avec des stratégies gérées par IAM pour limiter les autorisations d'une session créée.
Role ARN : ARN associé au rôle que vous avez créé sur la console IAM Roles Anywhere. Un rôle est une identité IAM que vous créez dans votre compte avec des autorisations spécifiques. Pour qu'IAM Roles Anywhere puisse endosser un rôle et fournir des informations d'identification AWS temporaires, il faut que le rôle fasse confiance au principal de service IAM Roles Anywhere.
Le format doit être le suivant :
arn:aws:iam::<account-id>:role/<role-name-with-path>
Pour plus d'informations sur IAM Roles Anywhere, consultez :
Étendre les rôles AWS IAM aux charges de travail en dehors d'AWS avec IAM Roles Anywhere
Rôles IAM pour EC2
Sélectionnez cette méthode si le poste sur lequel Data Movement gateway est installé est configuré pour s'authentifier à l'aide d'un rôle IAM.
Pour plus d'informations sur les rôles IAM, consultez Rôles IAM.
Nom de compartiment : Nom de votre compartiment Amazon S3.
Le paramètre de région de compartiment par défaut est à détection automatique, ce qui supprime le besoin de définir une région spécifique. Cependant, pour des questions de sécurité, pour certaines régions (par exemple, AWS GovCloud), vous devrez peut-être définir explicitement la région. Dans ce cas, vous pouvez définir le code de région via la propriété interne regionCode.
Pour une liste des codes de région, voir la section Disponibilité des régions dans :https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html.
Pour des instructions sur la définition de propriétés internes, voir ci-dessous.
Utiliser AWS PrivateLink : Sélectionnez cette option pour vous connecter à un VPC Amazon, puis spécifiez l'URL du point de terminaison VPC (par exemple, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).
Chiffrement des données
Sélectionnez l'une des options de chiffrement suivantes :
Chiffrement côté serveur avec Amazon S3-Managed Keys (SSE-S3).
Il s'agit de la valeur par défaut.
Chiffrement côté serveur avec AWS KMS-Managed Keys (SSE-KMS).
Cette option vous demande également de spécifier votre ID de clé KMS.
Pour plus d'informations sur les méthodes de chiffrement côté serveur disponibles, consultez :
- Aucun
Propriétés internes
Les propriétés internes s'adressent à des cas d'utilisation spéciaux et ne sont par conséquent pas exposées dans la boîte de dialogue. Utilisez-les uniquement si Qlik Support vous le demande.
Utilisez les boutons 
et 
à droite des champs pour ajouter ou supprimer des propriétés, suivant les besoins.
Nom
Nom d'affichage de la connexion.
Mapping de types de données
Le tableau suivant indique le mapping par défaut des types de données Qlik Cloud vers les types de données Amazon S3.
Mapping de types de données Qlik Cloud vers Amazon S3
| Types de données Qlik Cloud | Type de données cibles Amazon S3 |
|---|---|
DATE | DATE |
TIME | TIME |
DATETIME | DATETIME |
BYTES | BYTES (longueur) |
BLOB | BLOB |
REAL4 | REAL4 (7) |
REAL8 | REAL8 (14) |
INT1 | INT1 (3) |
INT2 | INT2 (5) |
INT4 | INT4 (10) |
INT8 | INT8 (19) |
UINT1 | UINT1 (3) |
UINT2 | UINT2 (5) |
UINT4 | UINT4 (10) |
UINT8 | UINT8 (20) |
NUMERIC | NUMERIC (p,s) |
Chaîne de caractères | STRING (Longueur) |
WSTRING | STRING (Longueur) |
CLOB | CLOB |
NCLOB | NCLOB |
BOOLEAN | BOOLEAN (1) |
Mapping de types de données Qlik Cloud vers Parquet
Lorsque le format de fichier défini est le format Parquet, en raison du nombre limité de types de données supportés par Parquet, les mappings de types de données sont les suivants :
| Type de données Qlik Cloud | Type primitif Parquet | Type logique |
|---|---|---|
BOOLEAN | BOOLEAN | |
INT1 | INT32 | INT(8, true) |
INT2 | INT32 | INT(16, true) |
INT4 | INT32 | |
INT8 | INT64 | |
UINT1 | INT32 | INT(8, false) |
UINT2 | INT32 | INT(16, false) |
UINT4 | INT64 | |
UINT8 | INT64 | INT(64, false) |
REAL4 | FLOAT | |
REAL8 | DOUBLE | |
NUMERIC | FIXED_LEN_BYTE_ARRAY (16) | DECIMAL (précision, échelle) |
Chaîne de caractères | BYTE_ARRAY | Chaîne de caractères |
WSTRING | BYTE_ARRAY | Chaîne de caractères |
BYTES | BYTE_ARRAY | |
BLOB | BYTE_ARRAY | |
CLOB | BYTE_ARRAY | Chaîne de caractères |
NCLOB | BYTE_ARRAY | Chaîne de caractères |
DATE | INT32 | DATE |
TIME | INT32 | TIME (UTC=true, unit=MILLIS) |
DATETIME | INT64 | TIMESTAMP (UTC=true, unit=MICROS) |