Amazon S3

Amazon S3 kan användas som:

Ett mellanlagringsområde när du arbetar med Databricks- (valfritt) eller Amazon Redshift (obligatoriskt) som datapipelinemål. I molnförberedelseområdet förbereds data och ändringar innan de tillämpas och lagras.
Ett molnlagringsområde när Qlik Open Lakehouse-projekt används med CDC-källor. Detta kräver att Gateway för dataflytt och kluster kan läsa från och skriva till mellanlagrings-bucket. Mer information finns i Steg 1: skapa en nätverksintegration.
Ett molnlagringsområde när Qlik Open Lakehouse-projekt används med strömmande källor. Detta kräver att klustren kan läsa från och skriva till mellanlagrings-bucket. Mer information finns i Steg 1: skapa en nätverksintegration.
Ett mål i en replikeringsuppgift.
- En förklaring av hur du replikerar data till Amazon S3 med Standard-, Premium- och Enterprise-prenumerationer finns i Mellanlagring av data i en datasjö med en Standard-, Premium- eller Enterprise-prenumeration.
- En förklaring av hur du replikerar data till Amazon S3 med en Starter-prenumeration finns i Replikera data med en Qlik Talend Cloud Starter-prenumeration.

Behörigheter som krävs för mellanlagringsdata

Du måste ha en Amazon S3-bucket som finns tillgänglig från Gateway för dataflytt-datorn.
Mer information om hur du registrerar dig för Amazon S3 finns på http://aws.amazon.com/s3/.
Bucket-inloggningsuppgifter: Anteckna namn, åtkomstnyckel och hemlig åtkomstnyckel till Bucket – du måste ange dessa i koppling-inställningarna för Amazon S3.

Bucket-åtkomstbehörigheter: Följande bucket-åtkomstbehörigheter krävs:

{
	"Version": "2012-10-17",
	"Statement": [
	    {
	     "Sid": "Stmt1497347821000",
	     "Effect": "Allow",
	     "Action": [
                "s3:GetBucketLocation",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::YOUR_BUCKET_NAME"
            ]
        },
        {
            "Sid": "Stmt1497344984000",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
            ]
        }
    ]
}

Där YOUR_BUCKET_NAME är namnet på din bucket och target_path är den avsedda platsen för målfilerna i din bucket.

Om målsökvägen är bucketroten, specificerar du “/target_path” med en tom sträng.

Qlik Data Gateway – dataflytt förhandskrav

Gateway för dataflytt kopplar till AWS med SSL. Detta kräver att det finns ett lämpligt CA-certifikat på Gateway för dataflytt-maskinen, annars misslyckas kopplingen. Syftet med CA-certifikatet är att autentisera äganderätten till AWS-servercertifikatet.

Kontrollera att det nödvändiga CA-certifikatet finns på följande plats på Linux-maskinen:

/etc/pki/tls/certs/ca-bundle.crt

Om det inte finns är den enklaste lösningen att kopiera certifikatpaketet från en annan Linux-maskin.

Ställa in Amazon S3 kopplingsegenskaper

Gör så här för att konfigurera kopplingen:

I Kopplingar, klicka på Skapa koppling.
Välj Amazon S3-målkopplingen och ange följande inställningar:

Datamål

Användning

Välj något av följande enligt din användning:

Dataförflyttning: Välj när du använder Gateway för dataflytt för att komma åt Amazon S3-målet.
Nätverksintegration: Välj när du använder Amazon S3 för att lagra Qlik metadatafiler som behövs för Qlik Open Lakehouse nätverksintegration.
Båda: Välj när båda ovanstående är sanna.

Datagateway

När Dataförflyttning eller Båda är valda, välj den Gateway för dataflytt som du vill använda för att komma åt målet.

Beroende på användningsfall kan det vara samma Gateway för dataflytt som distribuerats för att mellanlagra data från datakällan eller någon annan. Information om mölliga Gateway för dataflytt distributionsalternativ finns i Vanliga användningsfall.

Gateway för dataflytt 2023.5.10 eller senare krävs.

Nätverksintegration

När Nätverksintegration eller Båda är valda, välj den Qlik Open Lakehouse nätverksintegration du skapade tidigare.

Anslutningsegenskaper

Åtkomstalternativ: Välj ett av följande
- Nyckelpar (standard)
  Nyckelparet för åtkomst till din Amazon S3-bucket. Ange följande när det här alternativet väljs:
  - Åtkomstnyckel: åtkomstnyckeln för din Amazon S3-bucket.
  - Hemlig nyckel: Den hemliga nyckeln till din Amazon S3-bucket.
- IAM Roles Anywhere (stöds inte när Amazon S3 används som ett mellanlagringsområde för Databricks eller Qlik Open Lakehouse):
  IAM Roles Anywhere kan konfigureras i IAM Roles Anywhere-konsolen, via AWS CLI eller med hjälp av AWS SDK. IAM Roles Anywhere gör att du kan använda din infrastruktur för privata nycklar (PKI) för att generera tillfälliga inloggningsuppgifter för åtkomst till IAM-roller utanför AWS. Detta innebär att du på ett säkert sätt kan få åtkomst till AWS-resurser från Qlik Talend Data Integration utan att behöva hantera långsiktiga inloggningsuppgifter.
  När det här alternativet är valt anger du följande:
  - Certifikatfil: Sökväg till det offentliga Qlik Talend Data Integration-certifikatet på Gateway för dataflytt-maskinen i PEM-format. Den här filen måste vara signerad med det CA-certifikat som konfigurerats i IAM Roles Anywhere-konsolen.
  - Fil med privat nyckel: Sökväg till Qlik Talend Data Integration-filen med privat nyckel på Gateway för dataflytt-maskinen i PEM-format.
  - Lösenfras för privat nyckel: Lösenfrasen för den privata nyckeln. Krävs endast om filen med den privata nyckeln är krypterad.
  - Förtroendeankarets ARN: Det ARN som är associerat med det förtroendeankare du skapade i IAM Roles Anywhere-konsolen. Du upprättar förtroende mellan IAM Roles Anywhere och din certifikatutfärdare (CA) genom att skapa ett förtroendeankare. Ett förtroendeankare är en referens till antingen AWS Private CA eller ett externt CA-certifikat. Dina arbetsbelastningar utanför AWS autentiseras med förtroendeankaret med hjälp av certifikat utfärdade av den betrodda CA:n i utbyte mot tillfälliga AWS-inloggningsuppgifter.
  - Profil- ARN: Det ARN som är associerat med den profil du skapade i IAM Roles Anywhere-konsolen. För att ange vilka roller IAM Roles Anywhere antar och vad dina arbetsbelastningar kan göra med de tillfälliga inloggningsuppgifterna skapar du en profil. I en profil kan du definiera behörigheter med IAM-hanterade policyer för att begränsa behörigheterna för en skapad session.
  - Roll-ARN: Det ARN som är associerat med den roll du skapade i IAM Roles Anywhere-konsolen. En roll är en IAM-identitet som du skapar på ditt konto med specifika behörigheter. För att IAM Roles Anywhere ska kunna anta en roll och leverera tillfälliga AWS-inloggningsuppgifter måste rollen lita på IAM Roles Anywhere-tjänstens huvudkonto (service principal).
    Formatet ska vara följande:
    arn:aws:iam::<account-id>:role/<role-name-with-path>
  För mer information om IAM Roles Anywhere, se:
  Utöka AWS IAM-roller till arbetsbelastningar utanför AWS med IAM Roles Anywhere
- IAM-roller för EC2
  Välj den här metoden om maskinen där Gateway för dataflytt är installerad är konfigurerad för att autentisera sig med en IAM-roll.
  För information om IAM-roller, se IAM-roller.
  - Anta roll: Välj det här alternativet för att anta en IAM-roll. Ange följande när det här alternativet väljs:
    - Ytterligare roll-ARN: ARN som är associerad med målrollen.
    - Ytterligare externt ID för roll: Värdet för villkoret för externt ID i målrollens förtroendeprincip (valfritt, men inte tillgängligt för Qlik Open Lakehouse nätverksintegration).
    Anteckning om informationNär Användning är inställt på Nätverksintegration och Åtkomstalternativ är inställt på IAM-roller för EC2, måste du aktivera alternativet Anta roll och ange en Ytterligare roll-ARN. Alternativet Externt ID för ytterligare roll är inte relevant när Användning är inställt på Nätverksintegration.
Bucketnamn: namn på din Amazon S3-hink.
Anteckning om information
Den förvalda regioninställningen för bucket är auto-detect, vilket tar bort behovet av att ställa in en specifik region. Men av säkerhetsskäl kan du för vissa regioner (till exempel AWS GovCloud) behöva ställa in regionen explicit. I sådana fall kan du ställa in regionkoden med den interna egenskapen regionCode.
En lista med regionkoder finns i avsnittet Region availability i:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
Instruktioner om att ställa in interna egenskaper finns nedan.
Använd AWS PrivateLink (stöds inte som ett mellanlagringsmål för Qlik Open Lakehouse ): Välj detta för att ansluta till en Amazon VPC och därefter ange URL:en till VPC-slutpunkten (exempelvis https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).
Anteckning om informationAlternativet Använd AWS PrivateLink stöds inte när du använder Amazon S3 bucket som förberedelseområde för ett Databricks-mål. Mer information om att ställa in kopplingen till ett Databricks-mål finns i Databricks.

Datakryptering

Välj ett av följande Krypteringsalternativ:

Serverkryptering med Amazon S3-hanterade nycklar (SSE-S3).
Detta är standardvärdet.
Serverkryptering med AWS KMS-hanterade nycklar (SSE-KMS).
Detta alternativ kräver också att du anger ditt KMS-nyckel-ID.
För mer information om tillgängliga serverkrypteringsmetoder, se:
Skydda data med serverbaserad kryptering
Ingen

Interna egenskaper

Interna egenskaper är till för speciella användarfall och visas därför inte i dialogen. De ska bara användas om Qlik-supporten uppmanar dig att göra det.

Använd Create new - och Cancel -knapparna till höger om fälten för att lägga till och ta bort egenskaper efter behov.

Namn

Visningsnamnet för anslutningen.

Datatypsmappning

Följande tabell visar standardmappningen från Qlik Cloud-datatyper till Amazon S3-datatyper.

Datatypsmappningarna är bara relevanta om alternativet Skapa metadatafiler i målmappen i uppgiftsinställningarna "Mellanlagra data i datasjö" har aktiverats.

Mappning från Qlik Cloud-datatyper till Amazon S3

Qlik Cloud och Amazon S3-datatyper
Qlik Cloud datatyper	Amazon S3-måldatatyper
DATE	DATE
TIME	TIME
DATETIME	DATETIME
BYTES	BYTES (längd)
BLOB	BLOB
REAL4	REAL4 (7)
REAL8	REAL8 (14)
INT1	INT1 (3)
INT2	INT2 (5)
INT4	INT4 (10)
INT8	INT8 (19)
UINT1	UINT1 (3)
UINT2	UINT2 (5)
UINT4	UINT4 (10)
UINT8	UINT8 (20)
NUMERIC	NUMERIC (p,s)
STRING	STRING (längd)
WSTRING	STRING (längd)
CLOB	CLOB
NCLOB	NCLOB
BOOLEAN	BOOLEAN (1)

Mappning från Qlik Cloud-datatyper till Parquet

När Parquet ställs in som filformat kommer datatypsmappningarna att se ut som följer på grund av det begränsade antalet datatyper som stöds av Parquet:

Datatypsmappningar i Parquet
Qlik Cloud Datatyp	Primitive Parquettyp	Logisk typ
BOOLEAN	BOOLEAN
INT1	INT32	INT(8, true)
INT2	INT32	INT(16, true)
INT4	INT32
INT8	INT64
UINT1	INT32	INT(8, false)
UINT2	INT32	INT(16, false)
UINT4	INT64
UINT8	INT64	INT(64, false)
REAL4	FLOAT
REAL8	DOUBLE
NUMERIC	byte-array med fast längd (16)	DECIMAL (precision, skala)
STRING	byte-array	STRING
WSTRING	byte-array	STRING
BYTES	byte-array
BLOB	byte-array
CLOB	byte-array	STRING
NCLOB	byte-array	STRING
DATE	INT32	DATE
TIME	INT32	TIME (UTC=true, unit=MILLIS)
DATETIME	INT64	TIMESTAMP (UTC=true, unit=MICROS)

Mer information

Var den här sidan till hjälp för dig?

Om du stöter på några problem med den här sidan eller innehållet på den, t.ex. ett stavfel, ett saknat steg eller ett tekniskt fel – meddela oss!

Lämna din feedback här