Gå till huvudinnehåll Gå till ytterligare innehåll

Amazon S3

Amazon S3 kan användas som:

Behörigheter som krävs för mellanlagringsdata

  • Du måste ha en Amazon S3-bucket som finns tillgänglig från Gateway för dataflytt-datorn.

    Mer information om hur du registrerar dig för Amazon S3 finns på http://aws.amazon.com/s3/.

  • Bucket-inloggningsuppgifter: Anteckna namn, åtkomstnyckel och hemlig åtkomstnyckel till Bucket – du måste ange dessa i koppling-inställningarna för Amazon S3.
  • Bucket-åtkomstbehörigheter: Följande bucket-åtkomstbehörigheter krävs:

     
    {
    	"Version": "2012-10-17",
    	"Statement": [
    	    {
    	     "Sid": "Stmt1497347821000",
    	     "Effect": "Allow",
    	     "Action": [
                    "s3:GetBucketLocation",
                    "s3:ListBucket"
                ],
                "Resource": [
                    "arn:aws:s3:::YOUR_BUCKET_NAME"
                ]
            },
            {
                "Sid": "Stmt1497344984000",
                "Effect": "Allow",
                "Action": [
                    "s3:PutObject",
                    "s3:GetObject",
                    "s3:DeleteObject"
                ],
                "Resource": [
                    "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                    "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
                ]
            }
        ]
    }
    

Där YOUR_BUCKET_NAME är namnet på din bucket och target_path är den avsedda platsen för målfilerna i din bucket.

Anteckning om information

Om målsökvägen är bucketroten, specificerar du “/target_path” med en tom sträng.

Qlik Data Gateway – dataflytt förutsättningar

Gateway för dataflytt kopplar till AWS med SSL. Detta kräver att det finns ett lämpligt CA-certifikat på Gateway för dataflytt-maskinen, annars misslyckas kopplingen. Syftet med CA-certifikatet är att autentisera äganderätten till AWS-servercertifikatet.

Kontrollera att det nödvändiga CA-certifikatet finns på följande plats på Linux-maskinen:

/etc/pki/tls/certs/ca-bundle.crt

Om det inte finns är den enklaste lösningen att kopiera certifikatpaketet från en annan Linux-maskin.

Ställa in anslutningsegenskaper för Amazon S3

Gör så här för att konfigurera kopplingen:

  1. I Kopplingar klickar du på Skapa koppling.

  2. Välj Amazon S3 -målkopplingen och ange följande inställningar:

Datamål

Datagateway: Välj den Gateway för dataflytt som du vill använda för att komma åt måldatabasen.

Beroende på användningsfall kan det vara samma Gateway för dataflytt som distribuerats för att mellanlagra data från datakällan eller någon annan. Information om mölliga Gateway för dataflytt distributionsalternativ finns i Vanlig användning.

Anteckning om informationKräver Gateway för dataflytt 2023.5.10 eller senare.

Anslutningsegenskaper

  • Åtkomstalternativ: Välj ett av följande

    • Nyckelpar (standard)

      Nyckelparet för åtkomst till din Amazon S3-bucket. Ange följande när det här alternativet väljs:

      • Åtkomstnyckel: åtkomstnyckeln för din Amazon S3-bucket.
      • Hemlig nyckel: Den hemliga nyckeln till din Amazon S3-bucket.

    • IAM Roles Anywhere (stöds inte när Amazon S3 används som mellanlagringsområde för Databricks):

      IAM Roles Anywhere kan konfigureras i IAM Roles Anywhere-konsolen, via AWS CLI eller med AWS SDK. Med IAM Roles Anywhere kan du använda din infrastruktur för privata nycklar (PKI) för att generera tillfälliga autentiseringsuppgifter för att komma åt IAM-roller utanför AWS. Detta innebär att du säkert kan komma åt AWS-resurser från Qlik Talend Data Integration utan att behöva hantera långsiktiga autentiseringsuppgifter.

      Ange följande när det här alternativet väljs:

      • Certifikatfil: Sökväg till det offentliga Qlik Talend Data Integration-certifikatet på Gateway för dataflytt-datorn i PEM-format. Den här filen måste signeras med CA-certifikatet som konfigurerats i IAM Roles Anywhere-konsolen.
      • Privat nyckelfil: Sökväg till privata nyckelfilen för Qlik Talend Data IntegrationGateway för dataflytt-datorn i PEM-format.
      • Lösenfras för privat nyckel: Lösenfrasen för privat nyckel. Krävs endast om filen med den privata nyckeln är krypterad.
      • Förtroendeankare ARN: ARN som är associerat med det förtroendeankare som du skapade i IAM Roles Anywhere-konsolen. Du upprättar förtroende mellan IAM Roles Anywhere och din certifikatutfärdare (CA) genom att skapa ett förtroendeankare. Ett förtroendeankare är en referens till antingen AWS Private CA eller ett externt CA-certifikat. Dina arbetsbelastningar utanför AWS autentiserar med förtroendeankaret med hjälp av certifikat utfärdade av den betrodda CA:n i utbyte mot tillfälliga AWS-autentiseringsuppgifter.
      • Profil-ARN: ARN som är associerat med den profil som du skapade i IAM Roles Anywhere-konsolen. För att ange vilka roller IAM Roles Anywhere antar och vad dina arbetsbelastningar kan göra med de tillfälliga autentiseringsuppgifterna, skapar du en profil. I en profil kan du definiera behörigheter med IAM-hanterade policyer för att begränsa behörigheterna för en skapad session.
      • Roll-ARN: ARN som är associerat med den roll som du skapade i IAM Roles Anywhere-konsolen. En roll är en IAM-identitet som du skapar i ditt konto med specifika behörigheter. För att IAM Roles Anywhere ska kunna anta en roll och leverera tillfälliga AWS-autentiseringsuppgifter måste rollen lita på tjänstens huvudkonto för IAM Roles Anywhere.

        Formatet ska vara följande:

        arn:aws:iam::<account-id>:role/<role-name-with-path>

      För mer information om IAM Roles Anywhere, se:

      Utöka AWS IAM-roller till arbetsbelastningar utanför AWS med IAM Roles Anywhere

    • IAM-roller för EC2

      Välj den här metoden om maskinen där Gateway för dataflytt är installerad är konfigurerad för att autentisera sig med en IAM-roll.

      För information om IAM-roller, se IAM-roller.

  • Bucketnamn: namn på din Amazon S3-hink.

    Anteckning om information

    Den förvalda regioninställningen för bucket är auto-detect, vilket tar bort behovet av att ställa in en specifik region. Men av säkerhetsskäl kan du för vissa regioner (till exempel AWS GovCloud) behöva ställa in regionen explicit. I sådana fall kan du ställa in regionkoden med den interna egenskapen regionCode.

    En lista med regionkoder finns i avsnittet Region availability i:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

    Instruktioner om att ställa in interna egenskaper finns nedan.

  • Använd AWS PrivateLink: Välj detta för att ansluta till en Amazon VPC och därefter ange URL:en till VPC-slutpunkten (exempelvis https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

    Anteckning om informationAlternativet Använd AWS PrivateLink stöds inte när du använder Amazon S3 bucket som förberedelseområde för ett Databricks-mål. Mer information om att ställa in kopplingen till ett Databricks-mål finns i Databricks.

Datakryptering

Välj ett av följande Krypteringsalternativ:

  • Serverkryptering med Amazon S3-hanterade nycklar (SSE-S3).

    Detta är standardvärdet.

  • Serverkryptering med AWS KMS-hanterade nycklar (SSE-KMS).

    Detta alternativ kräver också att du anger ditt KMS-nyckel-ID.

    För mer information om tillgängliga serverkrypteringsmetoder, se:

    Skydda data med serverbaserad kryptering

  • Inga

Interna egenskaper

Interna egenskaper är till för speciella användarfall och visas därför inte i dialogen. De ska bara användas om Qlik-supporten uppmanar dig att göra det.

Använd Skapa ny- och Avbryt-knapparna till höger om fälten för att lägga till och ta bort egenskaper efter behov.

Namn

Visningsnamnet för anslutningen.

Datatypsmappning

Följande tabell visar standardmappningen från Qlik Cloud-datatyper till Amazon S3-datatyper.

Anteckning om informationDatatypsmappningarna är bara relevanta om alternativet Skapa metadatafiler i målmappen i uppgiftsinställningarna "Mellanlagra data i datasjö" har aktiverats.

Mappning från Qlik Cloud-datatyper till Amazon S3

Qlik Cloud och Amazon S3-datatyper
Qlik Cloud-datatyperAmazon S3-måldatatyper

DATE

DATE

TIME

TIME

DATETIME

DATETIME

BYTES

BYTES (längd)

BLOB

BLOB

REAL4

REAL4 (7)

REAL8

REAL8 (14)

INT1

INT1 (3)

INT2

INT2 (5)

INT4

INT4 (10)

INT8

INT8 (19)

UINT1

UINT1 (3)

UINT2

UINT2 (5)

UINT4

UINT4 (10)

UINT8

UINT8 (20)

NUMERIC

NUMERIC (p,s)

STRING

STRING (längd)

WSTRING

STRING (längd)

CLOB

CLOB

NCLOB

NCLOB

BOOLEAN

BOOLEAN (1)

Mappning från Qlik Cloud-datatyper till Parquet

När Parquet ställs in som filformat kommer datatypsmappningarna att se ut som följer på grund av det begränsade antalet datatyper som stöds av Parquet:

Datatypsmappningar i Parquet
Qlik Cloud-datatypPrimitive ParquettypLogisk typ

BOOLEAN

BOOLEAN

 

INT1

INT32

INT(8, true)

INT2

INT32

INT(16, true)

INT4

INT32

 

INT8

INT64

 

UINT1

INT32

INT(8, false)

UINT2

INT32

INT(16, false)

UINT4

INT64

 

UINT8

INT64

INT(64, false)

REAL4

FLOAT

 

REAL8

DOUBLE

 

NUMERIC

FIXED_LEN_BYTE_ARRAY (16)

DECIMAL (precision, skala)

STRING

byte-array

STRING

WSTRING

byte-array

STRING

BYTES

byte-array

 

BLOB

byte-array

 

CLOB

byte-array

STRING

NCLOB

byte-array

STRING

DATE

INT32

DATE

TIME

INT32

TIME (UTC=true, unit=MILLIS)

DATETIME

INT64

TIMESTAMP (UTC=true, unit=MICROS)

Var den här sidan till hjälp för dig?

Om du stöter på några problem med den här sidan eller innehållet på den, t.ex. ett stavfel, ett saknat steg eller ett tekniskt fel – meddela oss!