CDC-gegevens

Het onboardingproces draagt gegevens over van een CDC- of SaaS-bron en slaat deze op in Iceberg-tabellen. Wijzigingen van de gegevensbronnen worden continu in efficiënte mini-batches op de opslagtabellen toegepast.

Gegevens vrijgeven

U begint met het invoeren van gegevens in een project. Gegevensverzamelingen worden opgeslagen in de S3-locatie die is gedefinieerd in het project. Voor meer informatie over projecten, gaat u naar Een gegevenspijplijnproject maken.

1. Klik in uw project op Maken en vervolgens op Gegevens onboarden.

   TipU kunt ook klikken op van een bestaande bron in het project en vervolgens klikken op Gegevens vrijgeven.

2. Voeg Naam en Beschrijving in voor het onboarden.

   Klik op Volgende.

3. Selecteer de bronverbinding.

   U kunt een bestaande bronverbinding selecteren of een nieuwe verbinding met de bron maken.

   Ga voor meer informatie naar Verbindingen instellen naar gegevensbronnen.

   Klik op Volgende.

4. Gegevens selecteren om te laden.

   Ga voor meer informatie naar Gegevens selecteren.

   Klik op Volgende.

   Instellingen wordt weergegeven waar u een updatemethode en geschiedenisinstellingen kunt selecteren.

5. Selecteer welke methode u wilt gebruiken om gegevens bij te werken in Methode bijwerken:

   • Vastleggen van wijzigingsgegevens (CDC)

     Als uw gegevens weergaven of tabellen bevatten die geen CDC ondersteunen, worden er twee gegevenspijplijnen gemaakt: een pijplijn met alle tabellen die CDC ondersteunen en een andere pijplijn met alle andere tabellen en weergaven waarbij Opnieuw laden en vergelijken wordt gebruikt.

   • Opnieuw laden en vergelijken

6. Selecteer als u de geschiedenis van eerdere gegevens wilt repliceren naast de huidige gegevens in Geschiedenis.

7. Klik op Volgende als u klaar bent.

8. Bekijk de gegevenstaken die zijn gemaakt om gegevens in te voeren en geef ze een andere naam als u dat wilt.

   TipDe namen worden gebruikt bij het benoemen van databaseschema's in de opslaggegevenstaak. Overweeg om namen te gebruiken die uniek zijn om conflicten te vermijden met gegevenstaken in andere projecten die hetzelfde gegevensplatform gebruiken.

9. Selecteer als u een van de gegevenstaken die zijn gemaakt wilt openen of keer terug naar het project.

   Als u klaar bent klikt u op Voltooien.

10. De ingevoerde gegevenstaken worden nu gemaakt. Ga als volgt te werk om gegevens te repliceren:

11. Bereid de taak voor tussenopslag voor en voer deze uit.

    Ga voor meer informatie naar Gegevens van gegevensbronnen tijdelijk opslaan.

12. Bereid de opslaggegevenstaak voor en voer deze uit.

    Ga voor meer informatie naar Gegevensverzamelingen opslaan.

Gegevens selecteren

U kunt specifieke tabellen of weergaven selecteren, of selectieregels gebruiken om groepen tabellen op te nemen of uit te sluiten.

Gebruik % als jokerteken om selectiecriteria te definiëren voor schema's en tabellen.

• %.% definieert alle tabellen in alle schema's.

• Public.% definieert alle tabellen in het schema Openbaar.

Selectiecriteria geeft een voorbeeld op basis van uw selecties.

U kunt nu kiezen tussen:

• Een regel maken om een groep tabellen op te nemen of uit te sluiten op basis van de selectiecriteria.

  Klik op Regel van selectiecriteria toevoegen om een regel te maken en selecteer Opnemen of Uitsluiten.

  U kunt de regel bekijken onder Selectieregels.

• Selecteer een of meer gegevensverzamelingen en klik op Geselecteerde gegevensverzamelingen toevoegen.

  U kunt de toegevoegde gegevensverzamelingen bekijken onder Expliciet geselecteerde gegevensverzamelingen.

Selectieregels gelden alleen voor de huidige set tabellen en weergaven, niet voor tabellen en weergaven die in de toekomst worden toegevoegd.