Amazon S3

Amazon S3 kan användas som:

• Ett mellanlagringsområde när du arbetar med Databricks- (valfritt) eller Amazon Redshift (obligatoriskt) som datapipelinemål. I molnförberedelseområdet förbereds data och ändringar innan de tillämpas och lagras.

• Ett mål i en replikeringsuppgift.

  • En förklaring av hur du replikerar data till Amazon S3 med Standard-, Premium- och Enterprise-prenumerationer finns i Mellanlagring av data i en datasjö med en Standard-, Premium- eller Enterprise-prenumeration.
  • En förklaring av hur du replikerar data till Amazon S3 med en Starter-prenumeration finns i Replikera data med en Qlik Talend Cloud Starter-prenumeration.

Behörigheter som krävs för mellanlagringsdata

• Du måste ha en Amazon S3-bucket som finns tillgänglig från Gateway för dataflytt-datorn.

  Mer information om hur du registrerar dig för Amazon S3 finns på http://aws.amazon.com/s3/.

• Bucket-inloggningsuppgifter: Anteckna namn, åtkomstnyckel och hemlig åtkomstnyckel till Bucket – du måste ange dessa i inställningarna för Amazon S3 koppling.

• Bucket-åtkomstbehörigheter: Följande bucket-åtkomstbehörigheter krävs:

  {
  	"Version": "2012-10-17",
  	"Statement": [
  	    {
  	     "Sid": "Stmt1497347821000",
  	     "Effect": "Allow",
  	     "Action": [
                  "s3:GetBucketLocation",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME"
              ]
          },
          {
              "Sid": "Stmt1497344984000",
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
              ]
          }
      ]
  }
  

Där YOUR_BUCKET_NAME är namnet på din bucket och target_path är den avsedda platsen för målfilerna i din bucket.

Qlik Data Gateway – dataflytt förutsättningar

Gateway för dataflytt kopplar till AWS med SSL. Detta kräver att det finns ett lämpligt CA-certifikat på Gateway för dataflytt-maskinen, annars misslyckas kopplingen. Syftet med CA-certifikatet är att autentisera äganderätten till AWS-servercertifikatet.

Kontrollera att det nödvändiga CA-certifikatet finns på följande plats på Linux-maskinen:

/etc/pki/tls/certs/ca-bundle.crt

Om det inte finns är den enklaste lösningen att kopiera certifikatpaketet från en annan Linux-maskin.

Ställa in anslutningsegenskaper för Amazon S3

Gör så här för att konfigurera kopplingen:

1. I Kopplingar klickar du på Skapa koppling.

2. Välj Amazon S3 -målkopplingen och ange följande inställningar:

Datamål

Datagateway: Välj den Gateway för dataflytt som du vill använda för att komma åt måldatabasen.

Beroende på användningsfall kan det vara samma Gateway för dataflytt som distribuerats för att mellanlagra data från datakällan eller någon annan. Information om mölliga Gateway för dataflytt distributionsalternativ finns i Vanliga användningsfall.

Anslutningsegenskaper

• Åtkomstnyckel: åtkomstnyckeln för din Amazon S3-bucket.
• Hemlig nyckel: Den hemliga nyckeln till din Amazon S3-bucket.

• Bucketnamn: namn på din Amazon S3-hink.

  Anteckning om information

  Den förvalda regioninställningen för bucket är auto-detect, vilket tar bort behovet av att ställa in en specifik region. Men av säkerhetsskäl kan du för vissa regioner (till exempel AWS GovCloud) behöva ställa in regionen explicit. I sådana fall kan du ställa in regionkoden med den interna egenskapen regionCode.

  En lista med regionkoder finns i avsnittet Region availability i:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

  Instruktioner om att ställa in interna egenskaper finns nedan.

• Använd AWS PrivateLink: Välj detta för att ansluta till en Amazon VPC och därefter ange URL:en till VPC-slutpunkten (exempelvis https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

  Anteckning om informationAlternativet Använd AWS PrivateLink stöds inte när du använder Amazon S3 bucket som förberedelseområde för ett Databricks-mål. Mer information om att ställa in kopplingen till ett Databricks-mål finns i Databricks.

Interna egenskaper

Interna egenskaper är till för speciella användarfall och visas därför inte i dialogen. De ska bara användas om Qlik-supporten uppmanar dig att göra det.

Använd - och -knapparna till höger om fälten för att lägga till och ta bort egenskaper efter behov.

Namn

Visningsnamnet för anslutningen.

Datatypsmappning

Följande tabell visar standardmappningen från Qlik Cloud-datatyper till Amazon S3-datatyper.

Mappning från Qlik Cloud-datatyper till Amazon S3

Mappning från Qlik Cloud-datatyper till Parquet

När Parquet ställs in som filformat kommer datatypsmappningarna att se ut som följer på grund av det begränsade antalet datatyper som stöds av Parquet: