Google Cloud Storage

Senast uppdaterad: 2026-10-20

Google Cloud Storage är Googles enhetliga objektlagringstjänst för att lagra och komma åt data på Google Clouds infrastruktur. Det erbjuder hög tillgänglighet, global redundans och integreras med det bredare Google Cloud-ekosystemet.

Qlik Talend Cloud använder ett Google Cloud-tjänstekonto med läsbehörighet till målbucketen för att ansluta till Google Cloud Storage (GCS). Kopplingen hämtar filer från den angivna bucketen, identifierar automatiskt scheman genom att sampla filinnehåll och utför inkrementell datareplikering baserat på tidsstämplar för filändringar.

En översiktlig beskrivning av denna koppling, inklusive användbara länkar och funktioner som stöds.

Funktion/förmåga	Supportinformation
Stöd till Qlik Talend Data Integration-projekt	Endast replikeringsprojekt. Datapipelineprojekt stöds inte.
Metoder för uppdatering av mål	Replikeringsuppgifter: Tillämpa ändringar Lagra ändringar Mellanlagra data i datareservoar-uppgifter: Sammanställning av ändringsdata (CDC)
Koppla till SaaS-program	Manuell generering av metadata är inte nödvändig.
Automatisk utveckling av schema	Endast åtgärden Ändra kolumndatatyp stöds.
Replikering av LOB-kolumner (NCLOB, CLOB och BLOB)	Stöds inte.
Schemalagd CDC	Krävs. Det är på detta sätt som målet hålls uppdaterat med ändringar i källan. För uppgifter om replikering, se Schemalägga datauppgifter För mellanlagringsuppgifter i datasjöar, se Schemaläggning av CDC för mellanlagringsuppgift i datasjö
Meddelanden	Stöds delvis Konfigurera aviseringar vid ändringar under drift
Övervakning	Endast CDC, eftersom fullständig laddning inte är relevant för denna koppling. Övervaka en enskild datauppgift
Automatisk denestning av JSON-kolumners nyttolast	Stöds inte. Nyttolaster för JSON-kolumner i källdatauppsättningen avnästlas inte automatiskt på målet.

Förberedelser för autentisering

För att komma åt dina data måste du autentisera kopplingen med dina kontouppgifter.

Kontrollera att kontot du använder har läsåtkomst till de tabeller som du vill hämta.

För att konfigurera ditt Google Cloud Storage-konto behöver du:

Ett Google Cloud Platform-projekt (GCP) med Cloud Storage-API:et aktiverat.
En Google Cloud Storage (GCS)-bucket som innehåller filerna som ska replikeras.
Ett tjänstekonto med läsåtkomst till bucketen.
Den rekommenderade rollen är Storage Object Viewer (roles/storage.objectViewer), vilket ger de nödvändiga behörigheterna storage.objects.get och storage.objects.list. För mer information, se dokumentationen om IAM-roller för Google Cloud Storage .
En JSON-nyckelfil för tjänstekonto som laddats ned för tjänstekontot.

För att skapa ett tjänstekonto och hämta dina autentiseringsuppgifter:

Logga in på ditt Google Cloud-konto.
Navigera till IAM och administration > Tjänstekonton.
Klicka på Skapa tjänstkonto.
Ange ett namn och en beskrivning för tjänstekontot och klicka sedan på Skapa och fortsätt.
Tilldela tjänstekontot rollen Storage Object Viewer eller en anpassad roll med behörigheterna storage.objects.get och storage.objects.list .
Klicka på Fortsätt och Klar.
I ditt nyskapade tjänstekonto klickar du på menyn Åtgärder.
Navigera till Hantera nycklar > Lägg till nyckel > Skapa ny nyckel.
Välj JSON och klicka på Skapa.
JSON-nyckelfilen laddas ned direkt till din dator. Den här filen innehåller fälten project_id, client_email och private_key som krävs för att upprätta kopplingen.
Du kan endast hämta nyckelfilen en gång. Se till att förvara den säkert och säkerhetskopiera den, eftersom den ger åtkomst till dina Google Cloud-resurser.

Filformat som stöds

Avgränsad text: CSV, TSV, PSV, TXT (med konfigurerbar avgränsare)
JSON Lines (.jsonl)
Parquet (.parquet)
Avro (.avro)
Gzip-komprimerade filer (.gz) som innehåller något av ovanstående format
ZIP-arkiv som innehåller CSV-, JSON Lines-, TXT-, TSV-, PSV- eller Gzip-filer

Skapa kopplingen

Mer information finns i Koppla till SaaS-program.

Ange de kopplingsegenskaper som krävs.
Ange ett namn på kopplingen i Kopplingsnamn.
Välj Öppna kopplingsmetadata för att definiera metadata för kopplingen när den har skapats.
Klicka på Skapa.

Inställningar för anslutning
Inställning	Beskrivning
Datagateway	Välj en Gateway för dataflytt om det krävs för ditt användningsfall. Anteckning om information Detta fält är inte tillgängligt med Qlik Talend Cloud Starter-prenumerationen eftersom den inte stöder Gateway för dataflytt. Om du har en annan prenumerationsnivå och inte vill använda Gateway för dataflytt väljer du Inget. Information om fördelarna med Gateway för dataflytt och användningsfall som kräver det finns i Qlik Data Gateway – dataflytt.
Startdatum	Ange det datum, i formatet `MM/DD/YYYY`, från vilket data måste replikeras från din källa till ditt mål.
Klientens e-postadress	Klientens e-postadress från tjänstekontots JSON-nyckelfil.
Projekt-ID	Projekt-ID från tjänstekontots JSON-nyckelfil.
Bucket	Namnet på den Google Cloud Storage-bucket (GCS) där filerna lagras, till exempel `my-gcs-bucket`. Inkludera inte prefixet `gs://`.
Tabeller	Konfigurera tabeller för att styra vilka filer som läses och hur deras innehåll tolkas. Varje tabelldefinition innehåller ett filsökmönster, ett tabellnamn och valfria inställningar för avancerat beteende.
Privat nyckel	Privat nyckel från tjänstekontots JSON-nyckelfil.

Konfiguration av tabellen

Varje post i tabellkonfigurationen anger en logisk tabell som skapats från filer i mål-bucketen. Du kan konfigurera följande egenskaper för varje tabell:

Egenskap	Obligatorisk eller valfri	Beskrivning
Tabellnamn	Obligatoriskt fält	Ange ett namn för den logiska tabellen, till exempel `my_orders_csv`. Detta namn kommer att visas som strömnamnet i Qlik Talend Cloud.
Sökmönster	Obligatoriskt fält	Ange ett reguljärt uttryck för att matcha filnamn, till exempel `.\.csv$` för att välja alla CSV-filer. Kopplingen använder sökmönstersyntax för regex och glob. I regex matchar `.csv` inte CSV-filnamn eftersom `` måste följa ett uttryck för att upprepa. Använd mönster som `\.csv$` eller `.\.csv$` för att matcha filnamn som `report.csv` och `my.data.csv`.
Sökprefix	Valfritt	Ange ett sökvägsprefix i bucketen för att begränsa filsökningen, till exempel `exports/orders/`. Att använda ett prefix förbättrar prestandan genom att begränsa antalet filer som genomsöks.
Egenskaper för nyckel	Valfritt	Lista ett eller flera kolumnnamn, separerade med kommatecken, för att definiera primärnyckeln. Till exempel: `id` eller `id,date`.
Datumöverstyrningar	Valfritt	Lista kolumnnamn, separerade med kommatecken, som ska behandlas som datum/tid-fält. Använd det här alternativet om dessa fält inte identifieras automatiskt under schemaidentifiering.
Avgränsare	Valfritt	Ange tecknet som separerar värden i dina filer. Standardvärdet är `,` (kommatecken). Använd `\t` för tabbavgränsade (TSV) filer eller `\|` för pipe-separerade (PSV) filer. Om det lämnas tomt identifierar systemet automatiskt avgränsaren baserat på filens komplement.

Replikerade tabeller

Tabeller skapas baserat på tabellkonfigurationen (se ovan). Varje tabell motsvarar en uppsättning filer i Google Cloud Storage-bucketen (GCS) som matchar både det angivna sökmönstret och eventuellt valfritt prefix. Kopplingen upptäcker automatiskt scheman genom att ta stickprov på upp till 5 filer per tabell och läsa var femte rad, med maximalt 1 000 poster per fil.

Replikeringen är inkrementell och använder tidsstämplar för filändring för att spåra ändringar. Vid varje extrahering bearbetar kopplingen endast de filer som har ändrats sedan den senaste lyckade synkroniseringen, enligt vad som registrerats av synkroniseringsbokmärket.

Följande systemkolumner läggs till som standard i varje tabell:

Kolumn	Beskrivning
`_sdc_source_bucket`	Namnet på den Google Cloud Storage (GCS)-bucket där posten lästes.
`_sdc_source_file`	Den fullständiga sökvägen till filen som innehåller posten.
`_sdc_source_lineno`	Radnumret för posten i filen.
`_sdc_extra`	Eventuella extra kolumner som hittas under parsningen som inte matchar det identifierade schemat. Gäller endast JSONL-filer.

Begränsningar och överväganden

Autentiseringsuppgifter för tjänstekonto (project_id, client_email, private_key) måste anges som enskilda värden extraherade från JSON-nyckelfilen; filuppladdning stöds inte.
Gzip-komprimerade filer (.gz) stöds. Kopplingen läser det ursprungliga filnamnet från gzip-huvudet för att fastställa det inre filformatet. Gzip-filer som skapats med --no-name (inget filnamn lagrat i filhuvudet) hoppas över.
Nästlad komprimering (till exempel en .gz inuti en annan .gz eller en .zip inuti en .zip) stöds inte. Dessa filer hoppas över.
Filer med komplementen .csv, .txt, .tsv, .psv eller .jsonl kontrolleras för magiska gzip-byte och dekomprimeras om de är gzip-komprimerade – även när filen inte har ett .gz-komplement.
Fältet search_pattern använder syntax för regex- och glob-sökmönster. I regex matchar *.csv inte CSV-filnamn eftersom * måste följa ett uttryck för att upprepa. Använd .*\.csv$ för att matcha filnamn som report.csv och my.data.csv.
Kopplingen har inbyggd återförsökslogik med exponentiell backoff för hastighetsbegränsningar för Google Cloud Storage (GCS) API (429) och tillfälliga serverfel (500, 502, 503, 504). Upp till fem försök görs innan det misslyckas.
Filer utan ett identifierat komplement hoppas över och en varning utfärdas.

Var den här sidan till hjälp för dig?

Om du stöter på några problem med den här sidan eller innehållet på den, t.ex. ett stavfel, ett saknat steg eller ett tekniskt fel – meddela oss!

Lämna din feedback här