Amazon S3

Amazon S3 kann wie folgt verwendet werden:

• Als Cloud-Bereitstellungsbereich, wenn Sie Databricks (optional) oder Amazon Redshift (erforderlich) als Daten-Pipeline-Ziel verwenden. Daten und Änderungen werden im Cloud-Bereitstellungsbereich bereitgestellt, bevor sie angewendet und gespeichert werden.

• Ein Ziel in einer Replikationsaufgabe.

  • Eine Erläuterung, wie Daten an Amazon S3 mit Standard-, Premium- und Enterprise-Abonnements repliziert werden, finden Sie unter Bereitstellen von Daten in einem Data Lake mit einem Standard-, Premium- oder Enterprise-Abonnement.
  • Eine Erläuterung, wie Daten an Amazon S3 mit dem Starter-Abonnement repliziert werden, finden Sie unter Replizieren von Daten mit einem Qlik Talend Cloud Starter-Abonnement.

Für die Bereitstellung von Daten erforderliche Berechtigungen

• Sie müssen über einen Amazon S3-Bucket verfügen, auf den über den Data Movement Gateway-Computer zugegriffen werden kann.

  Informationen zum Registrieren für Amazon S3 finden Sie unter http://aws.amazon.com/s3/.

• Bucket-Anmeldeinformationen: Notieren Sie sich den Bucket-Namen, den -Zugriffsschlüssel und den geheimen Zugriffsschlüssel. Sie müssen diese Informationen im Amazon S3-Konnektor eingeben.

• Bucket-Zugriffsberechtigungen: Die folgenden Bucket-Zugriffsberechtigungen sind erforderlich:

  {
  	"Version": "2012-10-17",
  	"Statement": [
  	    {
  	     "Sid": "Stmt1497347821000",
  	     "Effect": "Allow",
  	     "Action": [
                  "s3:GetBucketLocation",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME"
              ]
          },
          {
              "Sid": "Stmt1497344984000",
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
              ]
          }
      ]
  }
  

Dabei ist YOUR_BUCKET_NAME der Name des Buckets und target_path der vorgesehene Speicherort der Zieldateien im Bucket.

Voraussetzungen für Qlik Data Gateway - Data Movement

Data Movement Gateway stellt über SSL eine Verbindung zu AWS her. Dafür muss ein entsprechende ZS-Zertifikat auf dem Data Movement Gateway-Rechner vorhanden sein; andernfalls schlägt die Verbindung fehl. Das Ziel des ZS-Zertifikats ist die Authentifizierung des Besitzes des AWS-Server-Zertifikats.

Stellen Sie sicher, dass das benötigte ZS-Zertifikat an folgendem Speicherort auf dem Linux-Rechner vorhanden ist:

/etc/pki/tls/certs/ca-bundle.crt

Falls dies nicht der Fall ist, ist die einfachste Lösung, das Zertifikat-Bundle von einem anderen Linux-Rechner zu kopieren.

Einrichten von Amazon S3-Verbindungseigenschaften

Gehen Sie wie folgt vor, um den Konnektor zu konfigurieren:

1. Klicken Sie in Verbindungen auf Verbindung erstellen.

2. Wählen Sie den Konnektor für denAmazon S3 -Zielkonnektor aus und geben Sie dann die folgenden Einstellungen an:

Datenziel

Daten-Gateway: Wählen Sie das Data Movement Gateway aus, das Sie für den Zugriff auf die Zieldatenbank verwenden möchten.

Abhängig von Ihrem Anwendungsfall ist dies das gleiche Data Movement Gateway, das zum Bereitstellen von Daten aus der Datenquelle bereitgestellt wurde, oder ein anderes. Informationen zu den Bereitstellungsmöglichkeiten für Data Movement Gateway finden Sie unter Häufige Anwendungsfälle.

Verbindungseigenschaften

• Zugriffschlüssel: Der Zugriffsschlüssel für Ihren Amazon S3-Bucket.
• Geheimer Schlüssel: Der geheime Schlüssel für Ihr Amazon S3-Bucket.

• Bucket-Name: Der Name Ihres Amazon S3-Buckets.

  Informationshinweis

  Die Standardeinstellung für die Bucket-Region ist automatischer Erkennung. Damit ist es nicht erforderlich, eine spezifische Region festzulegen. Aus Sicherheitsgründen kann es aber für einige Regionen (z. B. AWS GovCloud) erforderlich sein, die Region ausdrücklich festzulegen. In diesem Fall können Sie den Regionscode in der internen Eigenschaft regionCode festlegen.

  Eine Liste der Regionscodes finden Sie im Abschnitt Verfügbarkeit in Regionen unter:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

  Anweisungen zum Festlegen von internen Eigenschaften finden Sie unten.

• AWS PrivateLink verwenden: Wählen Sie diese Option, um eine Verbindung zu einer Amazon VPC herzustellen und geben Sie dann die VPC-Endpunkt-URL an (z. B. https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

  InformationshinweisDie Option AWS PrivateLink verwenden wird nicht unterstützt, wenn ein Amazon S3-Bucket als Bereitstellungsbereich für ein Databricks-Ziel verwendet wird. Informationen zum Einrichten der Verbindung zu einem Databricks-Ziel finden Sie unter Databricks.

Interne Eigenschaften

Interne Eigenschaften sind für besondere Anwendungsfälle vorgesehen und werden daher nicht im Dialogfenster angezeigt. Sie sollten sie nur verwenden, wenn Sie vom Qlik Support dazu angewiesen werden.

Verwenden Sie die Schaltflächen und rechts neben den Feldern, um Eigenschaften wie erforderlich hinzuzufügen oder zu entfernen.

Name

Der Anzeigename für die Verbindung.

Datentypzuordnung

Die folgende Tabelle zeigt die Standardzuordnung von Qlik Cloud-Datentypen zu Amazon S3-Zieldatentypen.

Zuordnung von Qlik Cloud-Datentypen zu Amazon S3

Zuordnung von Qlik Cloud-Datentypen zu Parquet

Wenn Parquet als Dateiformat eingerichtet ist, haben die Datentypzuordnungen aufgrund der beschränkten Anzahl der von Parquet unterstützen Datentypen die folgende Form: