# Google Cloud Storage Google Cloud Storage is de geïntegreerde objectopslagservice van Google voor het opslaan van en toegang krijgen tot gegevens op de Google Cloud-infrastructuur. Het biedt hoge beschikbaarheid, wereldwijde redundantie en integreert met het bredere Google Cloud-ecosysteem. Qlik Talend Cloud gebruikt een Google Cloud-serviceaccount met leestoegang tot de doelbucket om verbinding te maken met Google Cloud Storage (GCS). De connector haalt bestanden op uit de opgegeven bucket, detecteert automatisch schema's door bestandsinhoud te bemonsteren en voert incrementele datareplicatie uit op basis van tijdstempels van bestandswijzigingen. [](https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/Connecting-Google-Cloud-Storage.htm) #### Momentopname functie Een beknopt overzicht van deze connector, inclusief nuttige koppelingen en ondersteunde functies. | Functie/mogelijkheden | Ondersteuningsdetails | | --- | --- | | Ondersteunde Qlik Talend Data Integration-projecten | Alleen [replicatieprojecten](https://help.qlik.com/nl-NL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/data-replication-task.htm). Gegevenspijplijnprojecten worden niet ondersteund. | | [Bijwerkmethoden doel](https://help.qlik.com/nl-NL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/Change-processing.htm) | Replicatietaken:



Gegevens tijdelijk opslaan in een datalaketaak:

| | [Verbinding maken met SaaS-applicaties](https://help.qlik.com/nl-NL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/connecting-web-applications.htm#Managing) | Handmatig metagegevens genereren is niet nodig. | | [Automatische schema-evolutie](https://help.qlik.com/nl-NL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/replicating-settings.htm#Schema) | Alleen de bewerking Type kolomgegevens wijzigen wordt ondersteund. | | Replicatie van LOB-kolommen (NCLOB, CLOB en BLOB) | Niet ondersteund. | | Gepland CDC | Vereist. Zo wordt het doel up-to-date gehouden met wijzigingen in de bron.

Voor replicatietaken raadpleegt u [Taken plannen](https://help.qlik.com/nl-NL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/replicating-settings.htm#Scheduli2)

Voor tussenopslagtaken voor lake, raadpleegt u [CDC plannen voor tussenopslagtaken in lake](https://help.qlik.com/nl-NL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes-settings.htm#Scheduli2) | | Meldingen | Gedeeltelijk ondersteund

[Meldingen instellen voor wijzigingen van de bewerking](https://help.qlik.com/nl-NL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Notifications.htm) | | Bewaking | Alleen CDC, omdat volledige lading niet relevant is voor deze connector.

[Een afzonderlijke gegevenstaak bewaken](https://help.qlik.com/nl-NL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Monitoring-data-tasks.htm) | | Automatisch denesten van nettoladingen van JSON-kolommen | Niet ondersteund. Nettoladingen van JSON-kolommen in brongegevensverzamelingen worden niet automatisch gedenest op het doel. | ## Voorbereiden op authenticatie Om toegang te krijgen tot uw gegevens, moet u de verbinding verifiiëren met uw accountgegevens. InformatieZorg dat het account dat u gebruikt leestoegang heeft voor de tabellen die u wilt ophalen. Om uw Google Cloud Storage-account in te stellen, hebt u het volgende nodig: * Een Google Cloud Platform (GCP)-project waarin de Cloud Storage API is ingeschakeld. * Een Google Cloud Storage (GCS)-bucket die de te repliceren bestanden bevat. * Een serviceaccount met leestoegang tot de bucket. De aanbevolen rol is Storage Object Viewer (`roles/storage.objectViewer`), die de vereiste machtigingen `storage.objects.get` en `storage.objects.list` verleent. Voor meer informatie raadpleegt u [de documentatie over IAM-rollen voor Google Cloud Storage](https://docs.cloud.google.com/storage/docs/access-control/iam-roles). * Een JSON-sleutelbestand van het serviceaccount dat is gedownload voor het serviceaccount. Om een serviceaccount aan te maken en uw inloggegevens op te halen: 1. Log in op uw [Google Cloud](https://accounts.google.com/v3/signin/identifier?authuser=0&ec=GAlAywI&hl=en&flowName=GlifWebSignIn&flowEntry=AddSession&dsh=S-1020015778%3A1777897358935634)-account. 2. Navigeer naar IAM & Admin > Service Accounts. 3. Klik op Serviceaccount maken. 4. Voer een naam en beschrijving in voor het serviceaccount en klik vervolgens op Maken en doorgaan. 5. Wijs het serviceaccount de rol Storage Object Viewer toe of een aangepaste rol met de machtigingen `storage.objects.get` en `storage.objects.list` rollen. 6. Klik op Doorgaan en Gereed. 7. Klik in uw nieuw gemaakte serviceaccount op het menu Acties. 8. Navigeer naar Sleutels beheren > Sleutel toevoegen > Nieuwe sleutel maken. 9. Selecteer JSON en klik op Maken. Het JSON-sleutelbestand wordt rechtstreeks naar uw computer gedownload. Dit bestand bevat de velden `project_id`, `client_email` en `private_key` die vereist zijn om de verbinding tot stand te brengen. U kunt het sleutelbestand slechts één keer downloaden. Zorg ervoor dat u dit veilig bewaart en er een back-up van maakt, aangezien het toegang biedt tot uw Google Cloud-resources. ### Ondersteunde bestandsindelingen * Tekst met scheidingstekens: CSV, TSV, PSV, TXT (met configureerbaar scheidingsteken) * JSON Lines (`.jsonl`) * Parquet (`.parquet`) * Avro (`.avro`) * Gzip-gecomprimeerde bestanden (`.gz`) die een van de bovenstaande indelingen bevatten * ZIP-archieven die CSV-, JSON Lines-, TXT-, TSV-, PSV- of Gzip-bestanden bevatten ## De verbinding maken Ga voor meer informatie naar [Verbinding maken met SaaS-applicaties](https://help.qlik.com/nl-NL/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/connecting-web-applications.htm). 1. Vul de vereiste verbindingseigenschappen in. 2. Geef in Verbindingsnaam een naam voor de verbinding op. 3. Selecteer Metagegevens verbinding openen om metagegevens te definiëren voor de verbinding nadat deze is gemaakt. 4. Klik op Maken. Verbindingsinstellingen | Instelling | Beschrijving | | --- | --- | | Gegevensgateway | Selecteer een Data Movement gateway als dit is vereist voor uw usecase.

Informatie

Dit veld is niet beschikbaar met het Qlik Talend Cloud Starter-abonnement, omdat het geen ondersteuning biedt voor Data Movement gateway. Als u een ander abonnementsniveau hebt en Data Movement gateway niet wilt gebruiken, selecteer dan Geen.

Raadpleeg [Qlik Gegevensgateway - Gegevensverplaatsing](https://help.qlik.com/nl-NL/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm) voor informatie over de voordelen van Data Movement gateway en usecases waarvoor deze is vereist. | | Begindatum | Voer de datum in, in het formaat `MM/DD/YYYY`, vanaf wanneer de gegevens van uw gegevensbron naar uw doel moeten worden gerepliceerd. | | E-mailadres klant | E-mailadres van de client uit het JSON-sleutelbestand van het serviceaccount. | | Project-ID | Project-ID uit het JSON-sleutelbestand van het serviceaccount. | | Bucket | Naam van de Google Cloud Storage (GCS)-bucket waarin de bestanden zijn opgeslagen, bijvoorbeeld `my-gcs-bucket`.

Neem het voorvoegsel `gs://` niet op. | | Tabellen | Configureer tabellen om te bepalen welke bestanden worden gelezen en hoe de inhoud ervan wordt geïnterpreteerd. Elke tabeldefinitie bevat een bestandszoekpatroon, een tabelnaam en optionele instellingen voor geavanceerd gedrag. | | Privésleutel | Privésleutel uit het JSON-sleutelbestand van het serviceaccount. | ### Tabelconfiguratie Elk item in de tabelconfiguratie specificeert een logische tabel die is gemaakt op basis van bestanden in de doelbucket. U kunt voor elke tabel de volgende eigenschappen configureren: | Eigenschap | Verplicht of optioneel | Beschrijving | | --- | --- | --- | | Tabelnaam | Verplicht | Geef een naam op voor de logische tabel, bijvoorbeeld `my_orders_csv`. Deze naam wordt weergegeven als de streamnaam in Qlik Talend Cloud. | | Zoekpatroon | Verplicht | Voer een reguliere expressie in om bestandsnamen te matchen, bijvoorbeeld `.*\.csv$` om alle CSV-bestanden te selecteren. De connector gebruikt de syntaxis van regex- en glob-zoekpatronen. In regex komt `*.csv` niet overeen met CSV-bestandsnamen omdat `*` op een expressie moet volgen om te herhalen. Gebruik patronen zoals `\.csv$` of `.*\.csv$` om bestandsnamen zoals `report.csv` en `my.data.csv` te matchen. | | Zoekprefix | Optioneel | Geef een padvoorvoegsel op binnen de bucket om het zoeken naar bestanden te verfijnen, bijvoorbeeld `exports/orders/`. Het gebruik van een prefix verbetert de prestaties door het aantal gescande bestanden te beperken. | | Sleuteleigenschappen | Optioneel | Vermeld een of meer kolomnamen, gescheiden door komma's, om de primaire sleutel te definiëren. Bijvoorbeeld: `id` of `id,date`. | | Datumuitzonderingen | Optioneel | Geef kolomnamen op, gescheiden door komma's, die als datum/tijd-velden moeten worden behandeld. Gebruik deze optie als deze velden niet automatisch worden gedetecteerd tijdens de schemadetectie. | | Scheidingsteken | Optioneel | Geef het teken op dat waarden in uw bestanden scheidt. De standaard is `,` (komma). Gebruik `\t` voor door tabs gescheiden bestanden (TSV) of `\|` voor door pipes gescheiden bestanden (PSV). Indien leeg gelaten, detecteert het systeem automatisch het scheidingsteken op basis van de bestandsuitbreiding. | ### Tabellen gerepliceerd Tabellen worden aangemaakt op basis van de tabelconfiguratie (zie hierboven). Elke tabel komt overeen met een verzameling bestanden in de Google Cloud Storage (GCS)-bucket die voldoen aan zowel het opgegeven zoekpatroon als een eventuele optionele prefix. De connector detecteert automatisch schema's door een steekproef te nemen van maximaal 5 bestanden per tabel, waarbij elke vijfde rij wordt gelezen, met een maximum van 1.000 records per bestand. Replicatie is incrementeel en maakt gebruik van tijdstempels van bestandswijzigingen om wijzigingen bij te houden. Tijdens elke extractie verwerkt de connector alleen de bestanden die zijn gewijzigd sinds de laatste succesvolle synchronisatie, zoals vastgelegd door de synchronisatiebladwijzer. De volgende systeemkolommen worden standaard aan elke tabel toegevoegd: | Kolom | Beschrijving | | --- | --- | | `_sdc_source_bucket` | De naam van de Google Cloud Storage (GCS)-bucket waar het record is gelezen. | | `_sdc_source_file` | Het volledige pad van het bestand dat de record bevat. | | `_sdc_source_lineno` | Het regelnummer van het record in het bestand. | | `_sdc_extra` | Eventuele extra kolommen die tijdens het parseren zijn gevonden en niet overeenkomen met het ontdekte schema. Alleen van toepassing op JSONL-bestanden. | ## Beperkingen en overwegingen * Inloggegevens van het serviceaccount (`project_id`, `client_email`, `private_key`) moeten worden opgegeven als afzonderlijke waarden die zijn geëxtraheerd uit het JSON-sleutelbestand; het uploaden van bestanden wordt niet ondersteund. * Gzip-gecomprimeerde bestanden (`.gz`) worden ondersteund. De connector leest de oorspronkelijke bestandsnaam uit de gzip-header om de interne bestandsindeling te bepalen. Gzip-bestanden die zijn gemaakt met `--no-name` (geen bestandsnaam opgeslagen in de header) worden overgeslagen. * Geneste compressie (bijvoorbeeld een `.gz` in een andere `.gz` of een `.zip` in een `.zip`) wordt niet ondersteund. Deze bestanden worden overgeslagen. * Bestanden met de uitbreidingen `.csv`, `.txt`, `.tsv`, `.psv` of `.jsonl` worden gecontroleerd op gzip-magic-bytes en gedecomprimeerd als ze met gzip zijn gecomprimeerd—zelfs als het bestand geen `.gz`-uitbreiding heeft. * Het veld `search_pattern` maakt gebruik van de syntaxis voor regex- en glob-zoekpatronen. In regex komt `*.csv` niet overeen met CSV-bestandsnamen omdat `*` op een expressie moet volgen om te herhalen. Gebruik `.*\.csv$` om bestandsnamen zoals `report.csv` en `my.data.csv` te matchen. * De connector heeft ingebouwde retry-logica met exponentiële back-off voor API-frequentielimieten van Google Cloud Storage (GCS) (`429`) en tijdelijke serverfouten (`500`, `502`, `503`, `504`). Er worden maximaal vijf pogingen gedaan voordat de bewerking mislukt. * Bestanden zonder een herkende uitbreiding worden overgeslagen en er wordt een waarschuwing gegeven.