Amazon S3
Amazon S3 kann wie folgt verwendet werden:
- Als Cloud-Bereitstellungsbereich, wenn Sie Databricks (optional) oder Amazon Redshift (erforderlich) als Daten-Pipeline-Ziel verwenden. Daten und Änderungen werden im Cloud-Bereitstellungsbereich bereitgestellt, bevor sie angewendet und gespeichert werden.
-
Ein Ziel in einer Replikationsaufgabe.
- Eine Erläuterung, wie Daten an Amazon S3 mit Standard-, Premium- und Enterprise-Abonnements repliziert werden, finden Sie unter Bereitstellen von Daten in einem Data Lake mit einem Standard-, Premium- oder Enterprise-Abonnement.
- Eine Erläuterung, wie Daten an Amazon S3 mit dem Starter-Abonnement repliziert werden, finden Sie unter Replizieren von Daten mit einem Qlik Talend Cloud Starter-Abonnement.
Für Bereitstellungsdaten erforderliche Berechtigungen
Sie müssen über einen Amazon S3-Bucket verfügen, auf den über den Data Movement Gateway-Computer zugegriffen werden kann.
Informationen zum Registrieren für Amazon S3 finden Sie unter http://aws.amazon.com/s3/.
- Bucket-Anmeldeinformationen: Notieren Sie sich den Bucket-Namen, den Zugriffsschlüssel und den geheimen Zugriffsschlüssel. Sie müssen diese Informationen in den Amazon S3-Konnektor-Einstellungen eingeben.
Bucket-Zugriffsberechtigungen: Die folgenden Bucket-Zugriffsberechtigungen sind erforderlich:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1497347821000", "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME" ] }, { "Sid": "Stmt1497344984000", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME/target_path", "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*" ] } ] }
Dabei ist YOUR_BUCKET_NAME der Name des Buckets und target_path der vorgesehene Speicherort der Zieldateien im Bucket.
Wenn der Zielpfad die Bucket-Root ist, geben Sie einfach “/target_path” mit einem leeren String ein.
Voraussetzungen für Qlik Data Gateway – Datenbewegung
Data Movement Gateway stellt über SSL eine Verbindung zu AWS her. Dafür muss ein entsprechende ZS-Zertifikat auf dem Data Movement Gateway-Rechner vorhanden sein; andernfalls schlägt die Verbindung fehl. Das Ziel des ZS-Zertifikats ist die Authentifizierung des Besitzes des AWS-Server-Zertifikats.
Stellen Sie sicher, dass das benötigte ZS-Zertifikat an folgendem Speicherort auf dem Linux-Rechner vorhanden ist:
/etc/pki/tls/certs/ca-bundle.crt
Falls dies nicht der Fall ist, ist die einfachste Lösung, das Zertifikat-Bundle von einem anderen Linux-Rechner zu kopieren.
Einrichten von Amazon S3-Verbindungseigenschaften
Gehen Sie wie folgt vor, um den Konnektor zu konfigurieren:
Klicken Sie in Verbindungen auf Verbindung erstellen.
Wählen Sie den Konnektor für denAmazon S3 -Zielkonnektor aus und geben Sie dann die folgenden Einstellungen an:
Datenziel
Daten-Gateway: Wählen Sie das Data Movement Gateway aus, das Sie für den Zugriff auf die Zieldatenbank verwenden möchten.
Abhängig von Ihrem Anwendungsfall ist dies das gleiche Data Movement Gateway, das zum Bereitstellen von Daten aus der Datenquelle bereitgestellt wurde, oder ein anderes. Informationen zu den Bereitstellungsmöglichkeiten für Data Movement Gateway finden Sie unter Häufige Anwendungsfälle.
Verbindungseigenschaften
Zugriffsoptionen: Wählen Sie eine der folgenden aus
Schlüsselpaar (Standard)
Das Schlüsselpaar für den Zugriff auf Ihren Amazon S3-Bucket. Wenn diese Option ausgewählt ist, geben Sie Folgendes an:
- Zugriffschlüssel: Der Zugriffsschlüssel für Ihren Amazon S3-Bucket.
Geheimer Schlüssel: Der geheime Schlüssel für Ihr Amazon S3-Bucket.
IAM Roles Anywhere (nicht unterstützt bei Verwendung von Amazon S3 als Bereitstellungsbereich für Databricks):
IAM Roles Anywhere kann in der IAM Roles Anywhere-Konsole, über die AWS CLI oder mithilfe des AWS SDK eingerichtet werden. IAM Roles Anywhere ermöglicht Ihnen die Verwendung Ihrer Privatschlüsselinfrastruktur (PKI) zur Generierung temporärer Anmeldeinformationen für den Zugriff auf IAM-Rollen außerhalb von AWS. Das bedeutet, dass Sie auf sichere Weise auf AWS-Ressourcen über Qlik Talend Data Integration zugreifen können, ohne langfristige Anmeldeinformationen verwalten zu müssen.
Wenn diese Option ausgewählt ist, geben Sie Folgendes an:
- Certificate file: Pfad zum öffentlichen Zertifikat von Qlik Talend Data Integration auf dem Data Movement Gateway-Computer im PEM-Format. Diese Datei muss mit dem in der IAM Roles Anywhere-Konsole konfigurierten Zertifikat der Zertifizierungsstelle signiert werden.
- Private key file: Pfad zur Privatschlüsseldatei von Qlik Talend Data Integration auf dem Data Movement Gateway-Computer im PEM-Format.
- Private key passphrase: Die Passphrase für den Privatschlüssel. Nur erforderlich, wenn die Privatschlüsseldatei verschlüsselt ist.
- Trust anchor ARN: Der ARN, der dem Trust Anchor zugeordnet ist, den Sie in der IAM Roles Anywhere-Konsole erstellt haben. Sie stellen Vertrauen zwischen IAM Roles Anywhere und Ihrer Zertifizierungsstelle her, indem Sie einen Trust Anchor erstellen. Ein Trust Anchor verweist entweder auf AWS Private CA oder auf ein Zertifikat einer externen Zertifizierungsstelle. Ihre Arbeitslasten außerhalb von AWS werden über den Trust Anchor unter Verwendung von Zertifikaten authentifiziert, die von der vertrauenswürdigen Zertifizierungsstelle ausgestellt wurden, im Austausch gegen temporäre AWS-Anmeldeinformationen.
- Profile ARN: Der ARN, der dem Profil zugeordnet ist, welches Sie in der IAM Roles Anywhere-Konsole erstellt haben. Um festzulegen, welche Rollen IAM Roles Anywhere annimmt und was Ihre Arbeitslasten mit den temporären Anmeldeinformationen tun können, erstellen Sie ein Profil. In einem Profil können Sie Berechtigungen mit von IAM verwalteten Richtlinien definieren, um die Berechtigungen für eine erstellte Sitzung zu begrenzen.
Role ARN: Der ARN, der der Rolle zugeordnet ist, welche Sie in der IAM Roles Anywhere-Konsole erstellt haben. Eine Rolle ist eine IAM-Identität, die Sie in Ihrem Konto mit spezifischen Berechtigungen erstellen. Damit IAM Roles Anywhere eine Rolle annehmen und temporäre AWS-Anmeldeinformationen bereitstellen kann, muss die Rolle dem IAM Roles Anywhere-Dienstprinzipal vertrauen.
Das Format lautet:
arn:aws:iam::<account-id>:role/<role-name-with-path>
Weitere Informationen zu IAM Roles Anywhere finden Sie unter:
Erweitern von AWS-IAM-Rollen auf Arbeitslasten außerhalb von AWS mit IAM Roles Anywhere
IAM Roles for EC2
Wählen Sie diese Methode, wenn der Computer, auf dem das Data Movement Gateway installiert ist, für die Authentifizierung mithilfe einer IAM-Rolle konfiguriert ist.
Informationen zu IAM-Rollen finden Sie unter IAM-Rollen.
Bucket-Name: Der Name Ihres Amazon S3-Buckets.
Die Standardeinstellung für die Bucket-Region ist automatischer Erkennung. Damit ist es nicht erforderlich, eine spezifische Region festzulegen. Aus Sicherheitsgründen kann es aber für einige Regionen (z. B. AWS GovCloud) erforderlich sein, die Region ausdrücklich festzulegen. In diesem Fall können Sie den Regionscode in der internen Eigenschaft regionCode festlegen.
Eine Liste der Regionscodes finden Sie im Abschnitt Verfügbarkeit in Regionen unter:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
Anweisungen zum Festlegen von internen Eigenschaften finden Sie unten.
AWS PrivateLink verwenden: Wählen Sie diese Option, um eine Verbindung zu einer Amazon VPC herzustellen, und geben Sie dann die VPC-Endpunkt-URL an (z. B. https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).
Datenverschlüsselung
Wählen Sie eine der folgenden Verschlüsselungsoptionen aus:
Serverseitige Verschlüsselung mit von Amazon S3 verwalteten Schlüsseln (SSE-S3).
Dies ist die Standardeinstellung.
Serverseitige Verschlüsselung mit von AWS KMS verwalteten Schlüsseln (SSE-KMS).
Diese Option erfordert außerdem, dass Sie Ihre KMS-Schlüssel-ID angeben.
Weitere Informationen zu den verfügbaren serverseitigen Verschlüsselungsmethoden finden Sie unter:
- Keine
Interne Eigenschaften
Interne Eigenschaften sind für besondere Anwendungsfälle vorgesehen und werden daher nicht im Dialogfenster angezeigt. Sie sollten sie nur verwenden, wenn Sie vom Qlik Support dazu angewiesen werden.
Verwenden Sie die Schaltflächen 
und 
rechts neben den Feldern, um Eigenschaften wie erforderlich hinzuzufügen oder zu entfernen.
Name
Der Anzeigename für die Verbindung.
Datentypzuordnung
Die folgende Tabelle zeigt die Standardzuordnung von Qlik Cloud-Datentypen zu Amazon S3-Zieldatentypen.
Zuordnung von Qlik Cloud-Datentypen zu Amazon S3
| Qlik Cloud-Datentypen | Amazon S3-Zieldatentypen |
|---|---|
DATE | DATE |
TIME | TIME |
DATETIME | DATETIME |
BYTES | BYTES (Länge) |
BLOB | BLOB |
REAL4 | REAL4 (7) |
REAL8 | REAL8 (14) |
INT1 | INT1 (3) |
INT2 | INT2 (5) |
INT4 | INT4 (10) |
INT8 | INT8 (19) |
UINT1 | UINT1 (3) |
UINT2 | UINT2 (5) |
UINT4 | UINT4 (10) |
UINT8 | UINT8 (20) |
NUMERIC | NUMERIC (p,s) |
STRING | STRING (Länge) |
WSTRING | STRING (Länge) |
CLOB | CLOB |
NCLOB | NCLOB |
BOOLEAN | BOOLEAN (1) |
Zuordnung von Qlik Cloud-Datentypen zu Parquet
Wenn Parquet als Dateiformat eingerichtet ist, haben die Datentypzuordnungen aufgrund der beschränkten Anzahl der von Parquet unterstützen Datentypen die folgende Form:
| Qlik Cloud-Datentyp | Primitiver Parquet-Typ | Logischer Typ |
|---|---|---|
BOOLEAN | BOOLEAN | |
INT1 | INT32 | INT(8, true) |
INT2 | INT32 | INT(16, true) |
INT4 | INT32 | |
INT8 | INT64 | |
UINT1 | INT32 | INT(8, false) |
UINT2 | INT32 | INT(16, false) |
UINT4 | INT64 | |
UINT8 | INT64 | INT(64, false) |
REAL4 | FLOAT | |
REAL8 | DOUBLE | |
NUMERIC | FIXED_LEN_BYTE_ARRAY (16) | DECIMAL (Genauigkeit, Dezimalstellen) |
STRING | BYTE_ARRAY | STRING |
WSTRING | BYTE_ARRAY | STRING |
BYTES | BYTE_ARRAY | |
BLOB | BYTE_ARRAY | |
CLOB | BYTE_ARRAY | STRING |
NCLOB | BYTE_ARRAY | STRING |
DATE | INT32 | DATE |
TIME | INT32 | TIME (UTC=true, unit=MILLIS) |
DATETIME | INT64 | TIMESTAMP (UTC=true, unit=MICROS) |