Gegevens tijdelijk opslaan met een Standard-, Premium- of Enterprise-abonnement

U kunt een taak Gegevens tijdelijk opslaan in datalake instellen om gegevens tijdelijk op te slaan in de volgende doelen:

• Amazon S3

  Voor informatie over het configureren van een verbinding naar uw Amazon S3, raadpleegt u Amazon S3.

• Azure Data Lake Storage

  Raadpleeg Azure Data Lake Storage voor informatie over het configureren van een verbinding met uw Azure Data Lake Storage.

• Google-cloudopslag

  Raadpleeg Google-cloudopslag voor informatie over het configureren van een verbinding met uw Google Cloud Storage.

Voor informatie over het configureren van verbindingen naar uw gegevensbronnen, raadpleegt u Verbindingen instellen naar gegevensbronnen

Ga als volgt te werk om een tussenopslagtaak voor een datalake in te stellen:

1. In Gegevensintegratie > Projecten klikt u op Nieuwe maken > Project.

2. In het dialoogvenster Nieuw project doet u het volgende:

   1. Geef een naam op voor uw project.

   2. Selecteer de ruimte waarin u het project wilt maken.
   3. Geef desgewenst een beschrijving op.
   4. Selecteer Replication als de Gebruikscase.
   5. Schakel eventueel het selectievakje Openen uit als u een leeg project wilt maken zonder instellingen te configureren.

   6. Klik op Maken.

      Een van de volgende dingen zal gebeuren:

      • Als het selectievakje Openen in het dialoogvenster Nieuw project is geselecteerd (de standaardinstelling), wordt het project geopend.
      • Wanneer u het selectievakje Openen in het dialoogvenster Nieuw project hebt uitgeschakeld, wordt het project toegevoegd aan uw lijst met projecten. U kunt het project later openen door Openen te selecteren in het menu van het project.

3. Nadat het project is geopend, klikt u op Gegevens tijdelijk opslaan in datalake.

   De wizard Gegevens tijdelijk opslaan in datalake wordt geopend.

4. Op het tabblad Algemeen geeft u een naam en beschrijving op voor de tussenopslagtaak voor datalake. Klik vervolgens op Next (Volgende).

   InformatieNamen die een slash (/) of backslash (\) bevatten, worden niet ondersteund.

5. Selecteer op het tabblad Bronverbinding selecteren een verbinding naar de brongegevens. U kunt eventueel de verbindingsinstellingen bewerken door Bewerken te selecteren in het menu in de kolom Acties.

   InformatieAls u de bronverbinding of de brondatagateway wijzigt nadat de taak al is voorbereid, moet u alle gegevenssets opnieuw maken.

   Als er geen verbinding naar de brongegevens bestaat, moet u er eerst een maken door in de rechterbovenhoek van het tabblad te klikken op Verbinding toevoegen.

   U kunt de lijst met verbindingen filteren met behulp van de filters aan de linkerkant. Verbindingen kunnen gefilterd worden op basis van brontype, gateway, ruimte en eigenaar. De knop Alle filters boven de verbindingslijst toont het aantal huidige filters. U kunt deze knop gebruiken om het venster Filters aan de linkerkant te sluiten of openen. Huidige actieve filters worden ook getoond bovenaan de lijst met beschikbare verbindingen.

   U kunt de lijst ook sorteren door Laatst bijgewerkt, Laatst gemaakt of Alfabetisch te selecteren in de vervolgkeuzelijst aan de rechterkant. Klik op de pijl rechts van de lijst om de sorteervolgorde te wijzigen.

   Nadat u een gegevensbronverbinding hebt geselecteerd, kunt u in de rechterbovenhoek van het tabblad op Verbinding testen klikken (aanbevolen) en vervolgens op Volgende.

6. Selecteer op het tabblad Gegevensverzamelingen selecteren tabellen en of/weergaven die u wilt opnemen in de tussenopslagtaak voor datalake. U kunt ook jokertekens gebruiken en selectieregels maken, zoals beschreven in Gegevens selecteren uit een database.

   InformatieSchemanamen of tabelnamen die een slash (/) of backslash (\) bevatten, worden niet ondersteund.

7. Op het tabblad Doelverbinding selecteren selecteert u een doel in de lijst met beschikbare verbindingen en klikt u vervolgens op Volgende. Wat betreft functionaliteit werkt het tabblad Bronverbinding selecteren hetzelfde als het tabblad dat eerder is beschreven.

   InformatieAls u de doelverbinding wijzigt nadat de taak al is voorbereid, moet u alle gegevensverzamelingen opnieuw maken.

8. Op het tabblad Instellingen kunt u eventueel de volgende instellingen wijzigen, klik vervolgens op Volgende.

   Bijwerkmethode:

   • Vastleggen van wijzigingsgegevens (CDC) met behulp van wijzigingstabellen: Datalake-tussenopslagtaken starten met een volledige lading (waarbij alle geselecteerde tabellen naar het doel worden geladen). De doelgegevens worden up-to-date gehouden met behulp van de CDC-technologie (Change Data Capture - vastleggen van wijzigingsgegevens).

     InformatieCDC (vastleggen van wijzigingsgegevens) van DDL-bewerkingen wordt niet ondersteund.

     Bij het werken met Data Movement gateway, behalve bij gebruik van een SaaS-applicatiebron, worden wijzigingen vrijwel direct van de bron vastgelegd. Als u werkt zonder Data Movement gateway of met SaaS-applicatiebronnen, worden wijzigingen vastgelegd volgens de planningsinstellingen. Ga voor meer informatie naar Scheduling tasks.

   • Herladen: Voert een volledige lading uit van de gegevens van de geselecteerde brontabellen naar het doelplatform en maakt indien nodig de doeltabellen. De volledige lading vindt automatisch plaats als de taak is gestart, maar kan indien mogelijk ook handmatig of periodiek worden uitgevoerd.

     InformatieDeze instelling is niet beschikbaar bij het gebruik van een connector van een SaaS-applicatie.
   Informatie

   Wanneer Vastleggen van wijzigingsgegevens (CDC) de bijwerkmethode is, en uw gegevensbron:

   • Is geen SaaS-applicatie

   • Bevat gegevensverzamelingen die CDC ondersteunen en gegevensverzamelingen die alleen herladen ondersteunen (zoals weergaven)

   Er worden twee gegevenspijplijnen gemaakt. Eén pijplijn wordt gemaakt voor tabellen die CDC ondersteunen, en een andere pijplijn wordt gemaakt voor gegevensverzamelingen die alleen laden ondersteunen.

   Te gebruiken map

   Selecteer een van de volgende opties, afhankelijk van de bucketmap waarnaar u de bestanden wilt schrijven:

   • Standaardmap

     De indeling van de standaardmap is <uw-projectnaam>/<uw-taaknaam>

   • Hoofdmap

     De bestanden worden naar de hoofd-bucketmap geschreven.

   • Map

     Geef een mapnaam op. De map wordt tijdens de gegevenstaak gemaakt als deze nog niet bestaat.

     Informatie De mapnaam mag geen speciale tekens bevatten (bijvoorbeeld @, #, !, enzovoort).

   Replicatieplanner

   U kunt inplannen hoe vaak wijzigingen van de gegevensbron worden vastgelegd en een begindatum en -tijd instellen. Met de configuratiewizard voor taken kunt u een basisfrequentie voor planning instellen. Nadat u het instellen van de taak hebt voltooid, zijn aanvullende planningsopties beschikbaar.

   Zie voor een beschrijving van alle planningsopties Scheduling tasks.

9. Op het tabblad Overzicht ziet u een visuele weergave van de gegevenspijplijn. Kies om de <name> taak te openen of klik op Niets doen. Klik vervolgens op Maken.

   Afhankelijk van uw keuze wordt de taak geopend of er wordt een lijst met projecten getoond.

10. Als u ervoor kiest om de taak te openen, worden op het tabblad Gegevensverzamelingen de structuur en de metagegevens van de geselecteerde gegevensassettabellen getoond. Dit omvat alle expliciet vermelde tabellen en tabellen die voldoen aan de selectieregels.

    Als u meer tabellen uit de gegevensbron wilt toevoegen, klikt u op Brongegevens selecteren.

11. U kunt eventueel de taakinstelling wijzigen zoals beschreven in Instellingen voor cloudopslagdoelen.

12. U kunt transformaties uitvoeren voor gegevensverzamelingen, gegevens filteren of kolommen toevoegen.

    Ga voor meer informatie naar Gegevensverzamelingen beheren.

13. Wanneer u de gewenste transformaties hebt toegevoegd, kunt u de gegevensverzamelingen valideren door te klikken op Gegevensverzamelingen valideren. Als de validatie mislukt, moet u de fouten oplossen voordat u verdergaat.

    Ga voor meer informatie naar Valideren en aanpassen van de gegevensverzamelingen.

14. Als u klaar bent, klikt u op Voorbereiden om de tussenopslagtaak te catalogiseren en klaar te maken voor uitvoering.

15. Nadat de gegevenstaak is voorbereid, klikt u op Uitvoeren.

16. De tussenopslagtaak voor datalake moet nu starten. U kunt de voortgang volgen in de voortgangsweergave. Ga voor meer informatie naar Een afzonderlijke gegevenstaak bewaken.

Laadprioriteit voor gegevensverzamelingen instellen

U kunt de laadvolgorde beheren van gegevensverzamelingen in uw gegevenstaak door aan elke gegevensverzameling een laadprioriteit toe te wijzen. Dit kan bijvoorbeeld handig zijn als u kleine gegevensverzamelingen wilt laden voorafgaand aan grotere gegevensverzamelingen.

1. Klik op Laadprioriteit.

2. Selecteer een laadprioriteit voor elke gegevensverzameling.

   De standaardlaadprioriteit is Normaal. Gegevensverzamelingen worden in de volgende volgorde van prioriteit geladen:

   • Hoogst

   • Hoger

   • Hoog

   • Normaal

   • Laag

   • Lager

   • Laagst

   Gegevensverzamelingen met dezelfde prioriteit worden in willekeurige volgorde geladen.

3. Klik op OK.

Schema-evolutie

Met schema-evolutie kunt u eenvoudig structurele wijzigingen in meerdere gegevensbronnen detecteren en vervolgens bepalen hoe die wijzigingen worden toegepast op uw taak. Schema-evolutie kan worden gebruikt om DDL-wijzigingen in het brongegevensschema te detecteren. U kunt sommige wijzigingen ook automatisch toepassen.

Voor elk wijzigingstype kunt u selecteren hoe de wijzigingen moeten worden verwerkt in de sectie Schema-evolutie van de taakinstellingen. U kunt de wijziging toepassen, de wijziging negeren, de tabel onderbreken of de verwerking van de taak stoppen.

U kunt instellen welke actie moet worden gebruikt om de DDL-wijziging af te handelen voor elk wijzigingstype. Sommige acties zijn niet beschikbaar voor alle wijzigingstypen.

• Toepassen op doel

  Wijzigingen automatisch toepassen.

• Negeren

  Wijzigingen negeren.

• Tabel opschorten

  De tabel onderbreken. De tabel wordt als fout weergegeven in Bewaken.

• Taak stoppen

  De verwerking van de taak stoppen. Dit is handig als u alle schemawijzigingen handmatig wilt afhandelen. Hierdoor wordt de planning ook gestopt, dat wil zeggen dat geplande uitvoeringen niet worden uitgevoerd.

De volgende wijzigingen worden ondersteund:

• Kolom toevoegen

• Kolomnaam wijzigen

• Type kolomgegevens wijzigen

• Tabel toevoegen die overeenkomt met het selectiepatroon
  

  Als u een selectieregel hebt gebruikt om gegevensverzamelingen toe te voegen die aan een patroon voldoen, worden nieuwe tabellen die aan het patroon voldoen gedetecteerd en toegevoegd.

Voor meer informatie over taakinstellingen, zie Automatische schema-evolutie

U kunt ook meldingen krijgen over wijzigingen die met schema-evolutie worden afgehandeld. Ga voor meer informatie naar Meldingen instellen voor wijzigingen van de bewerking.

Beperkingen voor schema-evolutie

De volgende beperkingen zijn van toepassing op schema-evolutie:

• Schema-evolutie wordt alleen ondersteund bij gebruik van CDC als bijwerkmethode.

• Wanneer u de instellingen voor schema-evolutie hebt gewijzigd, moet u de taak opnieuw voorbereiden.

• Als u tabellen hernoemt, wordt schema-evolutie niet ondersteund. In dit geval moet u metagegevens vernieuwen voordat u de taak voorbereidt.

• Als u een taak ontwerpt, moet u de browser vernieuwen om wijzigingen van schema-evolutie te ontvangen. U kunt meldingen instellen om gewaarschuwd te worden bij wijzigingen.

• In tussenopslagtaken wordt het verwijderen van een kolom niet ondersteund. Een kolom verwijderen en toevoegen zal resulteren in een tabelfout.

• Bij tussenopslagtaken zal door een drop table-bewerking de tabel niet worden verwijderd. Als u een tabel verwijdert en vervolgens een tabel toevoegt, wordt de oude tabel alleen afgekapt en wordt er geen nieuwe tabel toegevoegd.

• Het wijzigen van de lengte van een kolom is niet voor alle doelen mogelijk, afhankelijk van de ondersteuning in de doeldatabase.

• Als een kolomnaam gewijzigd wordt, zullen expliciete transformaties die met die kolom gedefinieerd zijn niet worden toegepast, aangezien ze gebaseerd zijn op de kolomnaam.

• Beperkingen voor het vernieuwen van metagegevens gelden ook voor schema-evolutie.

• Als een taak ontwerpwijzigingen bevat die nog niet zijn voorbereid en er bronschema-evolutiewijzigingen worden gedetecteerd wanneer de taak wordt uitgevoerd, wordt de taak gestopt om conflicten te voorkomen. Bereid de in behandeling zijnde ontwerpwijzigingen voor en voer de taak opnieuw uit.

Bij het vastleggen van DDL-wijzigingen gelden de volgende beperkingen:

• Wanneer er een snelle opeenvolging van bewerkingen plaatsvindt in de brondatabase (bijvoorbeeld DDL>DML>DDL), kan Qlik Talend Data Integration het logboek in de verkeerde volgorde parseren, wat kan leiden tot ontbrekende gegevens of onvoorspelbaar gedrag. Om de kans hierop te minimaliseren, kunt u het beste wachten tot de wijzigingen op het doel zijn toegepast voordat u de volgende bewerking uitvoert.

  Als bijvoorbeeld tijdens het vastleggen van wijzigingen een brontabel meerdere keren kort na elkaar hernoemd wordt (en de tweede bewerking hernoemt de tabel terug naar de oorspronkelijke naam), kan er een foutmelding verschijnen dat de tabel al bestaat in de doeldatabase.

• Als u de naam van een tabel die in een taak wordt gebruikt wijzigt en vervolgens de taak stopt, zal Qlik Talend Data Integration geen wijzigingen in die tabel vastleggen nadat de taak is hervat.

• Het hernoemen van een brontabel terwijl een taak gestopt is, wordt niet ondersteund.

• Het opnieuw toewijzen van de Primary Key-kolommen van een tabel wordt niet ondersteund (en zal daarom niet naar de DDL History Control-tabel worden geschreven).
• Wanneer het gegevenstype van een kolom wordt gewijzigd en de (zelfde) kolom vervolgens wordt hernoemd terwijl de taak wordt gestopt, verschijnt de DDL-wijziging in de DDL History Control-tabel als "Kolom verwijderen" en vervolgens als "Kolom toevoegen" wanneer de taak wordt hervat. Let op dat hetzelfde gedrag ook kan optreden als gevolg van langdurige latentie.
• CREATE TABLE-bewerkingen die worden uitgevoerd op de bron terwijl een taak is gestopt, worden toegepast op het doel wanneer de taak wordt hervat, maar worden niet geregistreerd als een DDL in de DDL History Control-tabel.

• Bewerkingen die verband houden met wijzigingen van de metagegevens (zoals ALTER TABLE, reorg, heropbouw van een geclusterde index, enzovoort) kunnen onvoorspelbaar gedrag veroorzaken als ze werden uitgevoerd:

  • Tijdens volledige lading

    -OF-

  • Tussen de Begin met verwerken van wijzigingen vanaf tijdstempel en de huidige tijd (d.w.z. het moment dat de gebruiker op OK klikt in het dialoogvenster Geavanceerde uitvoeropties).

    Voorbeeld:

    IF:

    De aangegeven tijd voor Begin met verwerken van wijzigingen vanaf is 10:00 uur.

    AND:

    Een kolom met de naam Leeftijd is om 10:10 uur toegevoegd aan de tabel Werknemers.

    AND:

    De gebruiker klikt om 10:15 uur op OK in het dialoogvenster Geavanceerde uitvoeropties.

    THEN:

    Wijzigingen die plaatsvonden tussen 10:00 en 10:10 kunnen leiden tot CDC-fouten.

  Informatie

  In elk van de bovenstaande gevallen moet(en) de betrokken gegevenstabel(len) opnieuw worden geladen om de gegevens correct naar het doel te kunnen verplaatst.

• De DDL-instructie ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> repliceert de standaardwaarde niet naar het doel en de nieuwe/gewijzigde kolom is ingesteld op NULL. Let op dat dit zelfs kan gebeuren als de DDL die de kolom heeft toegevoegd/gewijzigd in het verleden is uitgevoerd. Als in de nieuwe/gewijzigde kolom null-waarden zijn toegestaan, werkt het broneindpunt alle tabelrijen bij voordat de DDL zelf geregistreerd wordt. Het resultaat is dat Qlik Talend Data Integration de wijzigingen vastlegt, maar het doel niet bijwerkt. Aangezien de nieuwe/gewijzigde kolom is ingesteld op NULL, als de doeltabel geen primaire sleutel/unieke index heeft, zullen volgende updates het bericht "nul rijen beïnvloed" genereren.

• Wijzigingen van TIMESTAMP- en DATE-precisiekolommen worden niet vastgelegd.

Gateway of verbindingen wijzigen

Als u de doel- of bronverbinding, of de brongateway wijzigt, moet u tabellen opnieuw maken.

Taakinformatie weergeven

Klik op in de menubalk om taakinformatie weer te geven, zoals:

• Eigenaar

• Ruimte

• Gegevensplatform

• Project-id

• Runtime-id gegevenstaak

Beperkingen en overwegingen bij het tijdelijk opslaan van gegevens in een datalake

Voor transformaties gelden de volgende beperkingen:

• Transformaties worden niet ondersteund voor kolommen met talen van die van rechts naar links worden geschreven.

• Transformaties kunnen niet uitgevoerd worden op kolommen die speciale tekens (bijv. #, \, /, -) bevatten in hun naam.

• De enige transformatie die wordt ondersteund voor LOB/CLOB-gegevenstypen is om de kolom in het doel te verwijderen.
• Een transmatie gebruiken om de naam van een kolom te wijzigen en vervolgens een kolom met dezelfde naam toe te voegen wordt niet ondersteund.

Wijzigen of null-waarden worden toegestaan is niet mogelijk in kolommen die zijn verplaatst of direct of via een transformatieregel zijn gewijzigd. Nieuwe kolommen die zijn gemaakt in de taak kunnen standaard null-waarden bevatten.