Gegevens onboarden

De eerste stap bij het maken van een gegevenspijplijn in een Qlik Open Lakehouse-project betreft het onboarden van de gegevens. Tijdens dit proces worden gegevens van de bron overgebracht en opgeslagen in geoptimaliseerde Iceberg-tabellen. Wijzigingen van de gegevensbronnen worden continu in efficiënte mini-batches op de opslagtabellen toegepast.

U maakt het onboarden in één bewerking aan, maar het wordt in twee stappen uitgevoerd.

• De gegevens tijdelijk opslaan

  Hierbij worden de gegevens continu overgebracht van een on-premise gegevensbron naar een tussenopslaggebied met behulp van een tussenopslag-gegevenstaak.

  Gegevens van gegevensbronnen tijdelijk opslaan

  U kunt gegevens ook tijdelijk opslaan in een lakehouse, waar de gegevens tijdelijk worden opgeslagen in een S3-bestandsopslag.

  Gegevens tijdelijk opslaan in Qlik Open Lakehouse

• Gegevensverzamelingen opslaan

  Dit behelst het lezen van de initiële lading van tussenopslaggegevens of stapsgewijze ladingen en het toepassen van de gegevens in een voor lezen geoptimaliseerde opmaak met een gegevensopslagtaak.

  Gegevensverzamelingen opslaan

Wanneer u de gegevens hebt ingevoerd, kunt u de opgeslagen gegevensverzamelingen op verschillende manieren gebruiken.

• U kunt de gegevensverzamelingen in een analyse-app gebruiken.

• U kunt gegevens spiegelen naar Snowflake door een gegevens spiegelen-taak rechtstreeks aan de opslaggegevenstaak toe te voegen.

• U kunt gegevens transformeren in Snowflake door een projectoverschrijdende pijplijn te maken die gegevens van uw onboardingproject gebruikt.

Gegevens onboarden

U begint met het invoeren van gegevens in een project. Gegevensverzamelingen worden opgeslagen in de S3-locatie die is gedefinieerd in het project. Voor meer informatie over projecten, gaat u naar Een gegevenspijplijnproject maken.

1. Klik in uw project op Maken en vervolgens op Gegevens onboarden.

   TipU kunt ook klikken op van een bestaande bron in het project en vervolgens klikken op Gegevens vrijgeven.

2. Voeg Naam en Beschrijving in voor het onboarden.

   Klik op Volgende.

3. Selecteer de bronverbinding.

   U kunt een bestaande bronverbinding selecteren of een nieuwe verbinding met de bron maken.

   Ga voor meer informatie naar Verbindingen instellen naar gegevensbronnen.

   Klik op Volgende.

4. Gegevens selecteren om te laden.

   Ga voor meer informatie naar Gegevens selecteren.

   Klik op Volgende.

   Instellingen wordt weergegeven waar u een updatemethode en geschiedenisinstellingen kunt selecteren.

5. Selecteer welke methode u wilt gebruiken om gegevens bij te werken in Methode bijwerken:

   • Vastleggen van wijzigingsgegevens (CDC)

     Als uw gegevens weergaven of tabellen bevatten die geen CDC ondersteunen, worden er twee gegevenspijplijnen gemaakt: een pijplijn met alle tabellen die CDC ondersteunen en een andere pijplijn met alle andere tabellen en weergaven waarbij Opnieuw laden en vergelijken wordt gebruikt.

   • Opnieuw laden en vergelijken

6. Selecteer als u de geschiedenis van eerdere gegevens wilt repliceren naast de huidige gegevens in Geschiedenis.

7. Klik op Volgende als u klaar bent.

8. Bekijk de gegevenstaken die zijn gemaakt om gegevens in te voeren en geef ze een andere naam als u dat wilt.

   TipDe namen worden gebruikt bij het benoemen van databaseschema's in de opslaggegevenstaak. Overweeg om namen te gebruiken die uniek zijn om conflicten te vermijden met gegevenstaken in andere projecten die hetzelfde gegevensplatform gebruiken.

9. Selecteer als u een van de gegevenstaken die zijn gemaakt wilt openen of keer terug naar het project.

   Als u klaar bent klikt u op Voltooien.

10. De ingevoerde gegevenstaken worden nu gemaakt. Ga als volgt te werk om gegevens te repliceren:

11. Bereid de taak voor tussenopslag voor en voer deze uit.

    Ga voor meer informatie naar Gegevens van gegevensbronnen tijdelijk opslaan.

12. Bereid de opslaggegevenstaak voor en voer deze uit.

    Ga voor meer informatie naar Gegevensverzamelingen opslaan.

Gegevens selecteren

U kunt specifieke tabellen of weergaven selecteren, of selectieregels gebruiken om groepen tabellen op te nemen of uit te sluiten.

Gebruik % als jokerteken om selectiecriteria te definiëren voor schema's en tabellen.

• %.% definieert alle tabellen in alle schema's.

• Public.% definieert alle tabellen in het schema Openbaar.

Selectiecriteria geeft een voorbeeld op basis van uw selecties.

U kunt nu kiezen tussen:

• Een regel maken om een groep tabellen op te nemen of uit te sluiten op basis van de selectiecriteria.

  Klik op Regel van selectiecriteria toevoegen om een regel te maken en selecteer Opnemen of Uitsluiten.

  U kunt de regel bekijken onder Selectieregels.

• Selecteer een of meer gegevensverzamelingen en klik op Geselecteerde gegevensverzamelingen toevoegen.

  U kunt de toegevoegde gegevensverzamelingen bekijken onder Expliciet geselecteerde gegevensverzamelingen.

Selectieregels gelden alleen voor de huidige set tabellen en weergaven, niet voor tabellen en weergaven die in de toekomst worden toegevoegd.