Google Cloud-lagring
Google Cloud Storage kan användas som:
- Ett molnförberedelseområde när Databricks används som ett datapipelinemål. I molnförberedelseområdet förbereds data och ändringar innan de tillämpas och lagras.
-
Ett mål i en replikeringsuppgift.
- En förklaring av hur du replikerar data till Google Cloud Storage med Standard-, Premium- och Enterprise-prenumerationer finns i Mellanlagring av data i en datasjö med en Standard-, Premium- eller Enterprise-prenumeration.
- En förklaring av hur du replikerar data till Google Cloud Storage med Starter-prenumerationen finns i Replikera data med en Qlik Talend Cloud Starter-prenumeration.
Begränsningar och överväganden
Följande begränsningar gäller:
- Fullständigt LOB-läge stöds inte.
- Databasnamn, schemanamn eller tabellnamn som innehåller snedstreck (/) eller omvända snedstreck (\) stöds inte.
Förutsättningar
JSON-autentiseringsuppgifterna som anges i anslutningsinställningarna måste vara till ett konto som har läs- och skrivåtkomst till angiven bucket.
Ställa in anslutningsegenskaper för Google Cloud Storage
Gör så här för att konfigurera kopplingen:
-
I Kopplingar klickar du på Skapa koppling.
-
Välj Google Cloud Storage -målkopplingen och ange följande inställningar:
Datamål
Datagateway: Välj den Gateway för dataflytt som kommer att användas för att testa kopplingen till Google Cloud Storage. Den ska vara samma Gateway för dataflytt som distribueras för att mellanlagra data från datakällan.
Anslutningsegenskaper
-
Servicekontonyckel: JSON-autentiseringsuppgifterna till servicekontonyckeln med läs- och skrivåtkomst till Google Cloud Storage-bucketen. Klicka på Ladda upp och välj JSON-filen med servicekontonyckeln.
Anteckning om informationDen angivna kontonyckeln måste ha läs- och skrivåtkomst till den angivna bucketen och mappen. - Bucketnamn: Google Cloud Storage-bucket.
Interna egenskaper
Interna egenskaper är till för speciella användarfall och visas därför inte i dialogen. De ska bara användas om Qlik-supporten uppmanar dig att göra det.
Använd - och -knapparna till höger om fälten för att lägga till och ta bort egenskaper efter behov.
Namn
Visningsnamnet för anslutningen.
Datatypsmappning
Följande tabell visar standardmappningen från Qlik Cloud-datatyper till Google Cloud Storage-datatyper.
Mappa från Qlik Cloud-datatyper till Google Cloud Storage
Gateway för dataflytt-datatyper | Google Cloud Storage-måldatatyper |
---|---|
Datum |
Datum |
Tid |
Tid |
Datum och tid: |
Datum och tid: |
Byte |
BYTES (längd) |
BLOB |
BLOB |
REAL4 |
REAL4 (7) |
REAL8 |
REAL8 (14) |
INT1 |
INT1 (3) |
INT2 |
INT2 (5) |
INT4 |
INT4 (10) |
INT8 |
INT8 (19) |
UINT1 |
UINT1 (3) |
UINT2 |
UINT2 (5) |
UINT4 |
UINT4 (10) |
UINT8 |
UINT8 (20) |
Numerisk |
NUMERIC (p,s) |
sträng |
STRING (längd) |
WSTRING |
STRING (längd) |
CLOB |
CLOB |
NCLOB |
NCLOB |
BOOLEAN |
BOOLEAN (1) |
Mappning från Qlik Cloud-datatyper till Parquet
När Parquet ställs in som filformat kommer datatypsmappningarna att se ut som följer på grund av det begränsade antalet datatyper som stöds av Parquet:
Qlik Cloud-datatyp | Primitive Parquettyp | Logisk typ |
---|---|---|
BOOLEAN |
BOOLEAN |
|
INT1 |
INT32 |
INT(8, true) |
INT2 |
INT32 |
INT(16, true) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8, false) |
UINT2 |
INT32 |
INT(16, false) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64, false) |
REAL4 |
FLOAT |
|
REAL8 |
DOUBLE |
|
Numerisk |
FIXED_LEN_BYTE_ARRAY (16) |
DECIMAL (precision, skala) |
sträng |
BYTE_ARRAY |
sträng |
WSTRING |
BYTE_ARRAY |
sträng |
Byte |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
sträng |
NCLOB |
BYTE_ARRAY |
sträng |
Datum |
INT32 |
Datum |
Tid |
INT32 |
TIME (UTC=true, unit=MILLIS) |
Datum och tid: |
INT64 |
TIMESTAMP (UTC=true, unit=MICROS) |