Amazon S3
Amazon S3 kan worden gebruikt als:
- Een cloudtussengebied voor het gebruik van Databricks (optioneel) of Amazon Redshift (vereist) als een doelgegevenspijplijn. Het cloudtussengebied is het gebied waar gegevens en wijzigingen worden klaargezet voordat ze worden toegepast en opgeslagen.
-
Een doel in een replicatietaak.
- Raadpleeg Gegevens tijdelijk opslaan met een Standard-, Premium- of Enterprise-abonnement voor een uitleg over het repliceren van gegevens naar Amazon S3 met Standard-, Premium- en Enterprise-abonnementen.
- Raadpleeg Gegevens repliceren met een Qlik Talend Cloud Starter-abonnement voor een uitleg over het repliceren van gegevens naar Amazon S3 met het Starter-abonnement.
Machtigingen vereist voor tussenopslaggegevens
U moet beschikken over een Amazon S3-bucket die toegankelijk is vanaf de Data Movement gateway-machine.
Voor informatie over het registreren voor Amazon S3 gaat u naar http://aws.amazon.com/s3/.
- Toegangsgegevens voor bucket:Noteer de bucket-naam, toegangssleutel en geheime toegangssleutel - u moet deze opgegeven in de instellingen van de Amazon S3-connector.
Toegangsmachtigingen voor bucket: De volgende toegangsmachtingen voor de bucket zijn vereist:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1497347821000", "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME" ] }, { "Sid": "Stmt1497344984000", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME/target_path", "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*" ] } ] }
Waarbij YOUR_BUCKET_NAME de naam van uw bucket is en target_path de beoogde locatie is van de doelbestanden in uw bucket.
Als het doelpad de bucket-root is, geeft u “/target_path” op met een lege string.
Vereisten van Qlik Gegevensgateway - Gegevensverplaatsing
Data Movement gateway maakt verbinding met AWS via SSL. Hiervoor is een geschikt CA-certificaat op de Data Movement gateway-machine vereist, anders zal de verbinding mislukken. Het doel van het CA-certificaat is om de eigenaar van het certificaat van de AWS-server te verifiëren.
Controleer of het vereiste CA-certificaat zich op de volgende locatie bevindt op de Linux-machine:
/etc/pki/tls/certs/ca-bundle.crt
Als deze niet aanwezig is, kunt u het beste de certificatenbundel van een andere Linux-machine kopiëren.
Verbindingseigenschappen van Amazon S3 instellen
Ga als volgt te werk om de connector te configureren:
Klik in Verbindingen op Verbinding maken.
Selecteer de Amazon S3 doelconnector en stel de volgende instellingen in:
Gegevensdoel
Gegevensgateway: Selecteer de Data Movement gateway die u wilt gebruiken om de doeldatabase te openen.
Afhankelijk van uw gebruikssituatie, gebruikt u dezelfde Data Movement gateway die is geïmplementeerd om gegevens van de bron tijdelijk op te slaan of u gebruikt een andere gateway. Voor informatie over de mogelijke implementatiemogelijkheden voor Data Movement gateway raadpleegt u Veelvoorkomende toepassingen:.
Verbindingseigenschappen
Toegangsopties: Kies een van de volgende
Sleutelpaar (de standaard)
Het sleutelpaar voor toegang tot uw Amazon S3-bucket. Als deze optie is geselecteerd, geeft u het volgende op:
- Toegangssleutel: De toegangssleutel voor uw Amazon S3-bucket.
Geheime sleutel: De geheime sleutel voor uw Amazon S3-bucket.
IAM Roles Anywhere (niet ondersteund bij gebruik van Amazon S3 als staging-gebied voor Databricks):
IAM Roles Anywhere kan worden ingesteld in de IAM Roles Anywhere-console, via de AWS CLI, of met behulp van de AWS SDK. IAM Roles Anywhere stelt u in staat om uw private key-infrastructuur (PKI) te gebruiken om tijdelijke referenties te genereren voor toegang tot IAM-rollen van buiten AWS. Dit betekent dat u veilig toegang kunt krijgen tot AWS-resources vanaf Qlik Talend Data Integration zonder langetermijnreferenties te hoeven beheren.
Wanneer deze optie is geselecteerd, geeft u het volgende op:
- Certificaatbestand: Pad naar het Qlik Talend Data Integration openbare certificaat op de Data Movement gateway machine in PEM-indeling. Dit bestand moet worden ondertekend met het CA-certificaat dat is geconfigureerd in de IAM Roles Anywhere-console.
- Privésleutelbestand: Pad naar het Qlik Talend Data Integration privésleutelbestand op de Data Movement gateway machine in PEM-indeling.
- Wachtwoordzin privésleutel: De wachtwoordzin van de privésleutel. Alleen vereist als het privésleutelbestand is versleuteld.
- ARN van vertrouwensanker: De ARN die is gekoppeld aan het vertrouwensanker dat u hebt gemaakt in de IAM Roles Anywhere-console. U legt vertrouwen vast tussen IAM Roles Anywhere en uw certificeringsinstantie (CA) door een vertrouwensanker te maken. Een vertrouwensanker is een verwijzing naar ofwel AWS Private CA of een extern CA-certificaat. Uw workloads buiten AWS authenticeren met het vertrouwensanker met behulp van certificaten die zijn uitgegeven door de vertrouwde CA in ruil voor tijdelijke AWS-referenties.
- Profiel-ARN: De ARN die is gekoppeld aan het profiel dat u hebt gemaakt in de IAM Roles Anywhere-console. Om op te geven welke rollen IAM Roles Anywhere aanneemt en wat uw workloads kunnen doen met de tijdelijke referenties, maakt u een profiel. In een profiel kunt u machtigingen definiëren met door IAM beheerde beleidsregels om de machtigingen voor een gemaakte sessie te beperken.
Rol-ARN: De ARN die is gekoppeld aan de rol die u hebt gemaakt in de IAM Roles Anywhere-console. Een rol is een IAM-identiteit die u in uw account maakt met specifieke machtigingen. Om IAM Roles Anywhere een rol te kunnen laten aannemen en tijdelijke AWS-referenties te kunnen leveren, moet de rol de service-principal van IAM Roles Anywhere vertrouwen.
De indeling moet als volgt zijn:
arn:aws:iam::<account-id>:role/<role-name-with-path>
Voor meer informatie over IAM Roles Anywhere, zie:
AWS IAM-rollen uitbreiden naar workloads buiten AWS met IAM Roles Anywhere
IAM-rollen voor EC2
Kies deze methode als de machine waarop Data Movement gateway is geïnstalleerd, is geconfigureerd om zichzelf te authenticeren met behulp van een IAM-rol.
Voor informatie over IAM-rollen, zie IAM-rollen.
Bucketnaam: De naam van uw Amazon S3-bucket.
De standaardinstelling voor bucketregio wordt automatisch gedetecteerd, zodat er geen specifieke regio hoeft te worden ingesteld. Vanwege beveiligingsoverwegingen moet u voor sommige regio's (bijvoorbeeld AWS GovCloud) expliciet de regio instellen. In dat geval kunt u de regiocode instellen met de interne eigenschap regionCode.
Voor een lijst met regiocodes gaat u naar de sectie Beschikbaarheid in regio van:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
Hieronder vindt u instructies voor het instellen van interne eigenschappen.
AWS PrivateLink gebruiken: Selecteer deze om verbinding te maken met een Amazon VPC en geef vervolgens de URL van het VPC-eindpunt op (bijvoorbeeld: https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).
Gegevensversleuteling
Kies een van de volgende versleutelingsopties:
Server-Side Encryption met door Amazon S3 beheerde sleutels (SSE-S3).
Dit is de standaard.
Server-side versleuteling met door AWS KMS beheerde sleutels (SSE-KMS)
Voor deze optie moet u ook uw KMS-sleutel-ID opgeven.
Voor meer informatie over de beschikbare server-side versleutelingsmethoden, zie:
- Geen
Interne eigenschappen
Interne eigenschappen zijn bedoeld voor speciale toepassingen en worden daarom niet in het dialoogvenster weergegeven. U moet ze alleen gebruiken als Qlik Support dit aan u heeft geadviseerd.
Gebruik de knop 
en 
aan de rechterkant van de velden om eigenschappen toe te voegen of te verwijderen.
Naam
De weergavenaam voor de verbinding.
Toewijzing van gegevenstypen
De volgende tabel toont de standaardtoewijzingen van Qlik Cloud-gegevenstypen naar Amazon S3-doelgegevenstypen.
Het toewijzen van Qlik Cloud-gegevenstypen aan Amazon S3
| Qlik Cloud-gegevenstypen | Amazon S3-doelgegevenstypen |
|---|---|
DATUM | DATUM |
TIJD | TIJD |
DATETIME | DATETIME |
BYTES | BYTES (length) |
BLOB | BLOB |
REAL4 | REAL4 (7) |
REAL8 | REAL8 (14) |
INT1 | INT1 (3) |
INT2 | INT2 (5) |
INT4 | INT4 (10) |
INT8 | INT8 (19) |
UINT1 | UINT1 (3) |
UINT2 | UINT2 (5) |
UINT4 | UINT4 (10) |
UINT8 | UINT8 (20) |
NUMERIEK | NUMERIC (p,s) |
TEKENREEKS | STRING (Length) |
WSTRING | STRING (Length) |
CLOB | CLOB |
NCLOB | NCLOB |
BOOLEAANSE WAARDE | BOOLEAN (1) |
Qlik Cloud-gegevenstypen toewijzen aan Parquet
Als Parquet is ingesteld als de bestandsindeling, vanwege het beperkt aantal gegevenstypen dat Parquet ondersteunt, zijn de toewijzingen van gegevenstypen als volgt:
| Qlik Cloud-gegevenstype | Parquet Primitive-type | Logisch type |
|---|---|---|
BOOLEAANSE WAARDE | BOOLEAANSE WAARDE | |
INT1 | INT32 | INT(8, true) |
INT2 | INT32 | INT(16, true) |
INT4 | INT32 | |
INT8 | INT64 | |
UINT1 | INT32 | INT(8, false) |
UINT2 | INT32 | INT(16, false) |
UINT4 | INT64 | |
UINT8 | INT64 | INT(64, false) |
REAL4 | FLOAT | |
REAL8 | DOUBLE | |
NUMERIEK | FIXED_LEN_BYTE_ARRAY (16) | DECIMAL (precisie, schaal) |
TEKENREEKS | BYTE_ARRAY | TEKENREEKS |
WSTRING | BYTE_ARRAY | TEKENREEKS |
BYTES | BYTE_ARRAY | |
BLOB | BYTE_ARRAY | |
CLOB | BYTE_ARRAY | TEKENREEKS |
NCLOB | BYTE_ARRAY | TEKENREEKS |
DATUM | INT32 | DATUM |
TIJD | INT32 | TIME (UTC=true, unit=MILLIS) |
DATETIME | INT64 | TIMESTAMP (UTC=true, unit=MICROS) |