Amazon S3
Amazon S3 kan worden gebruikt als:
- Een cloudtussengebied voor het gebruik van Databricks (optioneel) of Amazon Redshift (vereist) als een doelgegevenspijplijn. Het cloudtussengebied is het gebied waar gegevens en wijzigingen worden klaargezet voordat ze worden toegepast en opgeslagen.
-
Een cloud-staginggebied bij gebruik van Qlik Open Lakehouse projecten met CDC-bronnen. Hiervoor moeten de Data Movement gateway en clusters kunnen lezen van en schrijven naar de tussenopslag-bucket. Ga voor meer informatie naar Stap 1: een netwerkintegratie maken.
-
Een cloud-staginggebied bij gebruik van Qlik Open Lakehouse projecten met streamingbronnen. Hiervoor moeten de clusters kunnen lezen van en schrijven naar de tussenopslag-bucket. Ga voor meer informatie naar Stap 1: een netwerkintegratie maken.
-
Een doel in een replicatietaak.
- Raadpleeg Gegevens tijdelijk opslaan met een Standard-, Premium- of Enterprise-abonnement voor een uitleg over het repliceren van gegevens naar Amazon S3 met Standard-, Premium- en Enterprise-abonnementen.
- Raadpleeg Gegevens repliceren met een Qlik Talend Cloud Starter-abonnement voor een uitleg over het repliceren van gegevens naar Amazon S3 met het Starter-abonnement.
Machtigingen vereist voor tussenopslaggegevens
U moet beschikken over een Amazon S3-bucket die toegankelijk is vanaf de Data Movement gateway-machine.
Voor informatie over het registreren voor Amazon S3 gaat u naar http://aws.amazon.com/s3/.
- Toegangsgegevens voor bucket:Noteer de bucket-naam, toegangssleutel en geheime toegangssleutel - u moet deze opgegeven in de instellingen van de Amazon S3-connector.
Toegangsmachtigingen voor bucket: De volgende toegangsmachtingen voor de bucket zijn vereist:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1497347821000", "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME" ] }, { "Sid": "Stmt1497344984000", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME/target_path", "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*" ] } ] }
Waarbij YOUR_BUCKET_NAME de naam van uw bucket is en target_path de beoogde locatie is van de doelbestanden in uw bucket.
Als het doelpad de bucket-root is, geeft u “/target_path” op met een lege string.
Vereisten van Qlik Gegevensgateway - Gegevensverplaatsing
Data Movement gateway maakt verbinding met AWS via SSL. Hiervoor is een geschikt CA-certificaat op de Data Movement gateway-machine vereist, anders zal de verbinding mislukken. Het doel van het CA-certificaat is om de eigenaar van het certificaat van de AWS-server te verifiëren.
Controleer of het vereiste CA-certificaat zich op de volgende locatie bevindt op de Linux-machine:
/etc/pki/tls/certs/ca-bundle.crt
Als deze niet aanwezig is, kunt u het beste de certificatenbundel van een andere Linux-machine kopiëren.
Verbindingseigenschappen van Amazon S3 instellen
Ga als volgt te werk om de connector te configureren:
Klik in Verbindingen op Verbinding maken.
Selecteer de Amazon S3 doelconnector en stel de volgende instellingen in:
Gegevensdoel
Gegevensgateway: Selecteer de Data Movement gateway die u wilt gebruiken om de doeldatabase te openen.
Afhankelijk van uw gebruikssituatie, gebruikt u dezelfde Data Movement gateway die is geïmplementeerd om gegevens van de bron tijdelijk op te slaan of u gebruikt een andere gateway. Voor informatie over de mogelijke implementatiemogelijkheden voor Data Movement gateway raadpleegt u Veelvoorkomende toepassingen:.
Verbindingseigenschappen
Toegangsopties: Kies een van de volgende
Sleutelpaar (de standaard)
Het sleutelpaar voor toegang tot uw Amazon S3-bucket. Als deze optie is geselecteerd, geeft u het volgende op:
- Toegangssleutel: De toegangssleutel voor uw Amazon S3-bucket.
Geheime sleutel: De geheime sleutel voor uw Amazon S3-bucket.
IAM Roles Anywhere (niet ondersteund bij gebruik van Amazon S3 als staginggebied voor Databricks of Qlik Open Lakehouse):
IAM Roles Anywhere kan worden ingesteld in de IAM Roles Anywhere-console, via de AWS CLI of met behulp van de AWS SDK. Met IAM Roles Anywhere kunt u uw private key infrastructure (PKI) gebruiken om tijdelijke inloggegevens te genereren voor toegang tot IAM-rollen van buiten AWS. Dit betekent dat u veilig toegang kunt krijgen tot AWS-bronnen vanuit Qlik Talend Data Integration zonder dat u langdurige inloggegevens hoeft te beheren.
Wanneer deze optie is geselecteerd, specificeert u het volgende:
- Certificaatbestand: Pad naar het openbare certificaat van Qlik Talend Data Integration op de Data Movement gateway-machine in PEM-indeling. Dit bestand moet zijn ondertekend met het CA-certificaat dat is geconfigureerd in de IAM Roles Anywhere-console.
- Bestand met privésleutel: Pad naar het bestand met de privésleutel van Qlik Talend Data Integration op de Data Movement gateway-machine in PEM-indeling.
- Wachtwoordzin voor privésleutel: De wachtwoordzin voor de privésleutel. Alleen vereist als het bestand met de privésleutel is versleuteld.
- Trust anchor ARN: De ARN die is gekoppeld aan het trust anchor dat u hebt gemaakt in de IAM Roles Anywhere-console. U brengt vertrouwen tot stand tussen IAM Roles Anywhere en uw certificeringsinstantie (CA) door een trust anchor te maken. Een trust anchor is een verwijzing naar AWS Private CA of een extern CA-certificaat. Uw workloads buiten AWS verifiëren zich bij het trust anchor met behulp van certificaten die zijn uitgegeven door de vertrouwde CA in ruil voor tijdelijke AWS-inloggegevens.
- Profiel ARN: De ARN die is gekoppeld aan het profiel dat u hebt gemaakt in de IAM Roles Anywhere-console. Om te specificeren welke rollen IAM Roles Anywhere aanneemt en wat uw workloads kunnen doen met de tijdelijke inloggegevens, maakt u een profiel. In een profiel kunt u machtigingen definiëren met door IAM beheerde beleidsregels om de machtigingen voor een gemaakte sessie te beperken.
Rol-ARN: De ARN die is gekoppeld aan de rol die u hebt gemaakt in de IAM Roles Anywhere-console. Een rol is een IAM-identiteit die u in uw account maakt met specifieke machtigingen. Om ervoor te zorgen dat IAM Roles Anywhere een rol kan aannemen en tijdelijke AWS-inloggegevens kan leveren, moet de rol de IAM Roles Anywhere-service-principal vertrouwen.
De indeling moet als volgt zijn:
arn:aws:iam::<account-id>:role/<role-name-with-path>
Voor meer informatie over IAM Roles Anywhere, zie:
AWS IAM-rollen uitbreiden naar workloads buiten AWS met IAM Roles Anywhere
IAM-rollen voor EC2
Kies deze methode als de machine waarop Data Movement gateway is geïnstalleerd, is geconfigureerd om zichzelf te authenticeren met behulp van een IAM-rol.
Voor informatie over IAM-rollen, zie IAM-rollen.
Bucketnaam: De naam van uw Amazon S3-bucket.
De standaardinstelling voor bucketregio wordt automatisch gedetecteerd, zodat er geen specifieke regio hoeft te worden ingesteld. Vanwege beveiligingsoverwegingen moet u voor sommige regio's (bijvoorbeeld AWS GovCloud) expliciet de regio instellen. In dat geval kunt u de regiocode instellen met de interne eigenschap regionCode.
Voor een lijst met regiocodes gaat u naar de sectie Beschikbaarheid in regio van:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
Hieronder vindt u instructies voor het instellen van interne eigenschappen.
Gebruik AWS PrivateLink (niet ondersteund als tussenopslag-doel voor Qlik Open Lakehouse ): Selecteer deze om verbinding te maken met een Amazon VPC en geef vervolgens de URL van het VPC-eindpunt op (bijvoorbeeld: https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).
Gegevensversleuteling
Kies een van de volgende versleutelingsopties:
Server-Side Encryption met door Amazon S3 beheerde sleutels (SSE-S3).
Dit is de standaard.
Server-side versleuteling met door AWS KMS beheerde sleutels (SSE-KMS)
Voor deze optie moet u ook uw KMS-sleutel-ID opgeven.
Voor meer informatie over de beschikbare server-side versleutelingsmethoden, zie:
- Geen
Interne eigenschappen
Interne eigenschappen zijn bedoeld voor speciale toepassingen en worden daarom niet in het dialoogvenster weergegeven. U moet ze alleen gebruiken als Qlik Support dit aan u heeft geadviseerd.
Gebruik de knop 
en 
aan de rechterkant van de velden om eigenschappen toe te voegen of te verwijderen.
Naam
De weergavenaam voor de verbinding.
Toewijzing van gegevenstypen
De volgende tabel toont de standaardtoewijzingen van Qlik Cloud-gegevenstypen naar Amazon S3-doelgegevenstypen.
Het toewijzen van Qlik Cloud-gegevenstypen aan Amazon S3
| Qlik Cloud-gegevenstypen | Amazon S3-doelgegevenstypen |
|---|---|
DATUM | DATUM |
TIJD | TIJD |
DATETIME | DATETIME |
BYTES | BYTES (length) |
BLOB | BLOB |
REAL4 | REAL4 (7) |
REAL8 | REAL8 (14) |
INT1 | INT1 (3) |
INT2 | INT2 (5) |
INT4 | INT4 (10) |
INT8 | INT8 (19) |
UINT1 | UINT1 (3) |
UINT2 | UINT2 (5) |
UINT4 | UINT4 (10) |
UINT8 | UINT8 (20) |
NUMERIEK | NUMERIC (p,s) |
TEKENREEKS | STRING (Length) |
WSTRING | STRING (Length) |
CLOB | CLOB |
NCLOB | NCLOB |
BOOLEAANSE WAARDE | BOOLEAN (1) |
Qlik Cloud-gegevenstypen toewijzen aan Parquet
Als Parquet is ingesteld als de bestandsindeling, vanwege het beperkt aantal gegevenstypen dat Parquet ondersteunt, zijn de toewijzingen van gegevenstypen als volgt:
| Qlik Cloud-gegevenstype | Parquet Primitive-type | Logisch type |
|---|---|---|
BOOLEAANSE WAARDE | BOOLEAANSE WAARDE | |
INT1 | INT32 | INT(8, true) |
INT2 | INT32 | INT(16, true) |
INT4 | INT32 | |
INT8 | INT64 | |
UINT1 | INT32 | INT(8, false) |
UINT2 | INT32 | INT(16, false) |
UINT4 | INT64 | |
UINT8 | INT64 | INT(64, false) |
REAL4 | FLOAT | |
REAL8 | DOUBLE | |
NUMERIEK | FIXED_LEN_BYTE_ARRAY (16) | DECIMAL (precisie, schaal) |
TEKENREEKS | BYTE_ARRAY | TEKENREEKS |
WSTRING | BYTE_ARRAY | TEKENREEKS |
BYTES | BYTE_ARRAY | |
BLOB | BYTE_ARRAY | |
CLOB | BYTE_ARRAY | TEKENREEKS |
NCLOB | BYTE_ARRAY | TEKENREEKS |
DATUM | INT32 | DATUM |
TIJD | INT32 | TIME (UTC=true, unit=MILLIS) |
DATETIME | INT64 | TIMESTAMP (UTC=true, unit=MICROS) |