Projectinstellingen voor datapijplijn

U kunt de instellingen voor een datapijplijnproject wijzigen in Qlik Talend Data Integration. De eigenschappen zijn gemeenschappelijk voor het project en alle opgenomen datataken. Sommige instellingen zijn alleen beschikbaar voor specifieke dataplatforms.

• Klik op Instellingen in het project.

Instellingen voor datawarehouse-datapijplijnprojecten

Dataplatform

U kunt de volgende instellingen wijzigen:

• Verbinding

  Verbinding voor het project.

• Verbinding met staging-gebied

  Deze optie is niet beschikbaar wanneer het dataplatform Snowflake is.

Metagegevens

U kunt een achtervoegsel instellen voor interne artefacten en standaardachtervoegsels voor weergaven die worden gemaakt.

• Voorkeuren voor artefacten

  • Voorvoegsel voor alle schema's: Het voorvoegsel dat moet worden toegevoegd aan dataschema's die in het project worden gemaakt. Dit is handig wanneer een geïmporteerd project zich in hetzelfde clouddatawarehouse bevindt als een geëxporteerd project.

  • Achtervoegsel voor intern schema: Het achtervoegsel dat moet worden gebruikt voor schema's die worden gebruikt om interne artefacten op te slaan.

  • Standaardhoofdlettergebruik van schemanaam: Het standaardhoofdlettergebruik voor alle schemanamen. Als uw database is geconfigureerd om hoofdlettergebruik af te dwingen, heeft deze optie geen effect.

• Achtervoegsels voor externe views

  Stel standaardachtervoegsels in voor views die worden gemaakt in datataken die in het project zijn opgenomen.

Standaardinstellingen voor nieuwe taken

U kunt standaardwaarden instellen voor datataken die in het project worden gemaakt. Wanneer u een datataak maakt, kunt u de waarde wijzigen.

U kunt de standaarddatabase instellen om doelartefacten te maken voor alle typen datataken.

Standaardinstellingen voor tussenopslagtaak

Standaarddatabase

U kunt de standaarddatabase van het project gebruiken of een andere database opgeven.

Toegang tot het doel via een proxy bij gebruik van Data Movement gateway

• Bij gebruik van Data Movement gateway, verbinding maken via proxy met

  Bij gebruik van Data Movement gateway kunt u via een proxy verbinding maken met het doelplatform en het staging-platform (gebied).

  Voor meer informatie over het configureren van Data Movement gateway voor het gebruik van een proxyserver, raadpleegt u De Qlik Cloud-tenant en een proxyserver instellen.

  • Doelplatform

    InformatieBeschikbaar bij gebruik van Snowflake, Google BigQuery en Databricks.

  • Staging-platform

    InformatieBeschikbaar bij gebruik van Azure Synapse Analytics, Amazon Redshift en Databricks.

Standaardinstellingen voor opslagtaak

• Historische gegevensopslag (Type 2)

  U kunt historische wijzigingsgegevens bewaren om eenvoudig gegevens opnieuw te creëren zoals deze er op een specifiek moment uitzagen. U kunt geschiedenisweergaven en live geschiedenisweergaven gebruiken om de historische gegevens te bekijken.

• Live weergaven

  Live weergaven tonen een weergave voor elke geselecteerde brontabel die de tabel samenvoegt met wijzigingen uit de wijzigingstabel. Dit biedt query's een live weergave van de gegevens zonder te hoeven wachten op de volgende toepassingscyclus.

Standaarddatabase

U kunt de standaarddatabase van het project gebruiken of een andere database opgeven.

Catalogus

• Publiceren naar catalogus

  Selecteer deze optie om deze versie van de gegevens te publiceren naar Catalogus als een gegevensset. De inhoud van de catalogus wordt bijgewerkt de volgende keer dat u deze taak voorbereidt.

Standaard weergavetype

• Standaardweergaven

  Gebruik standaardweergaven om de resultaten van een query weer te geven alsof het een tabel is.

• Beveiligde Snowflake-weergaven

  Gebruik beveiligde Snowflake-weergaven voor weergaven die zijn ontworpen voor gegevensprivacy of de bescherming van gevoelige informatie, zoals weergaven die zijn gemaakt om de toegang tot gevoelige gegevens te beperken die niet mogen worden blootgesteld aan alle gebruikers van de onderliggende tabellen. Beveiligde Snowflake-weergaven kunnen langzamer worden uitgevoerd dan standaardweergaven.

Standaardinstellingen voor geregistreerde datataak

Standaarddatabase

U kunt de standaarddatabase van het project gebruiken of een andere database opgeven.

Catalogus

• Publiceren naar catalogus

  Selecteer deze optie om deze versie van de gegevens te publiceren naar Catalogus als een gegevensset. De inhoud van de catalogus wordt bijgewerkt de volgende keer dat u deze taak voorbereidt.

Instellingen voor incrementeel laden

Deze instellingen zijn beschikbaar wanneer Incrementeel met hoogwatermerk is geselecteerd.

• Wijzigingstabellen

  Als de wijzigingen in dezelfde tabel staan, selecteert u Wijzigingen bevinden zich in dezelfde tabel.

  Zo niet, wis dan Wijzigingen bevinden zich in dezelfde tabel en geef een patroon voor de wijzigingstabel op.

• Watermerkkolom

  Stel de naam van de watermerkkolom in bij Naam.

• Kolom "Vanaf datum"

  U kunt de "Vanaf datum" aangeven met de starttijd, of met behulp van een geselecteerde kolom.

  Als u Geselecteerde kolom "Vanaf datum" selecteert, moet u een Patroon "Vanaf datum" definiëren.

• Zachte verwijderingen

  U kunt zachte verwijderingen opnemen in wijzigingen door Wijzigingen bevatten zachte verwijderingen te selecteren en een indicatie-expressie te definiëren.

  De indicatie-expressie moet evalueren naar Waar (True) als de wijziging een zachte verwijdering is.

  Voorbeeld: ${is_deleted} = 1

• Voor-afbeelding

  U kunt voor-afbeelding-records in wijzigingstabellen eruit filteren door Voor-afbeelding te selecteren en een indicatie-expressie te definiëren.

  De indicatie-expressie moet evalueren naar Waar (True) als de rij de afbeelding van vóór de update bevat.

  Voorbeeld: ${header__change_oper} = 'B'

Standaardinstellingen voor transformatietaak

• Historische gegevensopslag (Type 2)

  U kunt historische wijzigingsgegevens bewaren om eenvoudig gegevens opnieuw te creëren zoals deze er op een specifiek moment uitzagen. U kunt geschiedenisweergaven en live geschiedenisweergaven gebruiken om de historische gegevens te bekijken.

Materialisatie

• Niet-gematerialiseerd (alleen weergaven)

  Selecteer deze optie om alleen weergaven te maken die transformaties on the fly uitvoeren.

• Gematerialiseerd (tabellen en weergaven)

  Selecteer deze optie om zowel tabellen als weergaven te maken.

Standaarddatabase

U kunt de standaarddatabase van het project gebruiken of een andere database opgeven.

Catalogus

• Publiceren naar catalogus

  Selecteer deze optie om deze versie van de gegevens te publiceren naar Catalogus als een gegevensset. De inhoud van de catalogus wordt bijgewerkt de volgende keer dat u deze taak voorbereidt.

Standaard weergavetype

• Standaardweergaven

  Gebruik standaardweergaven om de resultaten van een query weer te geven alsof het een tabel is.

• Beveiligde Snowflake-weergaven

  Gebruik beveiligde Snowflake-weergaven voor weergaven die zijn ontworpen voor gegevensprivacy of de bescherming van gevoelige informatie, zoals weergaven die zijn gemaakt om de toegang tot gevoelige gegevens te beperken die niet mogen worden blootgesteld aan alle gebruikers van de onderliggende tabellen. Beveiligde Snowflake-weergaven kunnen langzamer worden uitgevoerd dan standaardweergaven.

Standaard tabeltype

Deze instellingen zijn alleen beschikbaar in projecten met Snowflake als gegevensplatform.

• Tabeltype

  U kunt kiezen welk type tabel u wilt gebruiken:

  • Snowflake-tabellen

  • Snowflake-beheerde Iceberg-tabellen

    U moet de standaardnaam van het externe volume instellen in Snowflake extern volume.

• Te gebruiken cloudopslagmap

  Selecteer welke map u wilt gebruiken voor het tijdelijk opslaan van gegevens in het tussenopslaggebied.

  • Standaardmap

    Hiermee wordt een map gemaakt met de standaardnaam: <projectnaam>/<gegevenstaaknaam>.

  • Hoofdmap

    Sla gegevens op in de hoofdmap van de opslag.

  • Map

    Geef een mapnaam op om te gebruiken.

• Synchroniseren met Snowflake Open Catalog

  Schakel dit in om Snowflake Open Catalog de bestanden in de cloud bestandsopslag te laten beheren.

Standaardinstellingen voor datamart-taak

Standaarddatabase

U kunt de standaarddatabase van het project gebruiken of een andere database opgeven.

Catalogus

• Publiceren naar catalogus

  Selecteer deze optie om deze versie van de gegevens te publiceren naar Catalogus als een gegevensset. De inhoud van de catalogus wordt bijgewerkt de volgende keer dat u deze taak voorbereidt.

Standaardinstellingen voor runtime

U kunt standaard runtime-prestatie-instellingen definiëren voor gegevensassets die in het project zijn opgenomen.

Standaardinstellingen voor tussenopslag

• U kunt het maximale aantal databaseverbindingen instellen in Parallelle uitvoering.

Standaardinstellingen voor opslag

• U kunt standaard planningsinstellingen instellen op een op tijd gebaseerd schema. Dit is de standaardwaarde voor elke gemaakte opslagtaak.

• U kunt het standaard datawarehouse instellen als het projectplatform Snowflake is.

Standaardinstellingen voor transformatie

• U kunt standaard planningsinstellingen instellen op een op tijd gebaseerd schema of Bij succesvolle voltooiing van een invoerdatataak. Dit is de standaardwaarde voor elke gemaakte transformatietaak.

• U kunt het standaard datawarehouse instellen als het projectplatform Snowflake is.

Standaardinstellingen voor datamart

• U kunt standaard planningsinstellingen instellen op een op tijd gebaseerd schema of Bij succesvolle voltooiing van een invoerdatataak. Dit is de standaardwaarde voor elke gemaakte datamart-taak.

• U kunt het standaard datawarehouse instellen als het projectplatform Snowflake is.

Standaardinstellingen voor spiegelen

• U kunt het standaard datawarehouse instellen als het projectplatform Snowflake is.

Instellingen voor Qlik Open Lakehouse-datapijplijnprojecten

Dataplatform

U kunt de volgende instellingen wijzigen:

• Datacatalogusverbinding: Selecteer een bestaande verbinding of klik op Nieuwe maken om een nieuwe datacatalogusverbinding toe te voegen. U kunt ook een bestaande verbinding bewerken en verifiëren of de verbinding werkt door te klikken op Verbinding testen.

• Doelverbinding voor tussenopslag: Selecteer de S3-bucket voor de tussenopslag van de gegevens of klik op Nieuwe maken om een nieuwe bucket-locatie toe te voegen. U kunt ook een bestaande verbinding bewerken en verifiëren of de verbinding werkt door te klikken op Verbinding testen.

Metagegevens

U kunt een achtervoegsel instellen voor interne artefacten en standaardachtervoegsels voor weergaven die worden gemaakt.

• Voorkeuren voor artefacten

  • Voorvoegsel voor alle schema's: Het voorvoegsel dat moet worden toegevoegd aan dataschema's die in het project worden gemaakt. Dit is handig wanneer een geïmporteerd project zich in hetzelfde clouddatawarehouse bevindt als een geëxporteerd project.

  • Achtervoegsel voor intern schema: Het achtervoegsel dat moet worden gebruikt voor schema's die worden gebruikt om interne artefacten op te slaan.

  • Standaardhoofdlettergebruik van schemanaam: Het standaardhoofdlettergebruik voor alle schemanamen. Als uw database is geconfigureerd om hoofdlettergebruik af te dwingen, heeft deze optie geen effect.

• Achtervoegsels voor externe views

  Stel standaardachtervoegsels in voor views die worden gemaakt in datataken die in het project zijn opgenomen.

• Hash

  U kunt een hash-salt-tekenreeks instellen die moet worden gebruikt bij het hashen van een kolom, bijvoorbeeld om gevoelige informatie te maskeren. Dit genereert een SHA-256-hash van de invoerkolom na samenvoeging met de hash-salt-tekenreeks.

  U kunt de project-ID als salt-tekenreeks gebruiken of een aangepaste salt-tekenreeks instellen.

Standaardinstellingen voor nieuwe taken

U kunt standaardwaarden instellen voor datataken die in het project worden gemaakt. Wanneer u een datataak maakt, kunt u de waarde wijzigen.

U kunt de standaarddatabase instellen om doelartefacten te maken voor alle typen datataken.

Standaardinstellingen voor Lake-tussenopslagtaak

Te gebruiken map

Selecteer een van de volgende opties, afhankelijk van de bucketmap waarnaar u de bestanden wilt schrijven:

• Standaardmap

  De indeling van de standaardmap is <uw-projectnaam>/<uw-taaknaam>

• Hoofdmap

  De bestanden worden naar de hoofd-bucketmap geschreven.

• Map

  Geef een mapnaam op. De map wordt tijdens de gegevenstaak gemaakt als deze nog niet bestaat.

  Informatie De mapnaam mag geen speciale tekens bevatten (bijvoorbeeld @, #, !, enzovoort).

Standaardinstellingen voor opslagtaak

• Historische gegevensopslag (Type 2)

  U kunt historische wijzigingsgegevens bewaren om eenvoudig gegevens opnieuw te creëren zoals deze er op een specifiek moment uitzagen. U kunt geschiedenisweergaven en live geschiedenisweergaven gebruiken om de historische gegevens te bekijken.

Catalogus

• Publiceren naar catalogus

  Selecteer deze optie om deze versie van de gegevens te publiceren naar Catalogus als een gegevensset. De inhoud van de catalogus wordt bijgewerkt de volgende keer dat u deze taak voorbereidt.

Te gebruiken map in staging-gebied

Selecteer een van de volgende opties, afhankelijk van de bucketmap waarnaar u de bestanden wilt schrijven:

• Standaardmap

  De indeling van de standaardmap is <uw-projectnaam>/<uw-taaknaam>

• Hoofdmap

  De bestanden worden naar de hoofd-bucketmap geschreven.

• Map

  Geef een mapnaam op. De map wordt tijdens de gegevenstaak gemaakt als deze nog niet bestaat.

  Informatie De mapnaam mag geen speciale tekens bevatten (bijvoorbeeld @, #, !, enzovoort).

Standaardinstellingen voor streaming-tussenopslagtaak

U kunt standaardwaarden instellen voor streaming-tussenopslagtaken die in het project zijn gemaakt.

Te gebruiken map

Selecteer een van de volgende opties, afhankelijk van de bucketmap waarnaar u de bestanden wilt schrijven:

• Standaardmap

  De indeling van de standaardmap is <uw-projectnaam>/<uw-taaknaam>

• Hoofdmap

  De bestanden worden naar de hoofd-bucketmap geschreven.

• Map

  Geef een mapnaam op. De map wordt tijdens de gegevenstaak gemaakt als deze nog niet bestaat.

  Informatie De mapnaam mag geen speciale tekens bevatten (bijvoorbeeld @, #, !, enzovoort).

Mapretentie

Selecteer hoe lang de gegevens moeten worden bewaard:

• Gegevens en metagegevens worden niet verwijderd

  Zowel de gegevens als de metagegevens worden niet verwijderd.

• Gegevens en metagegevens verwijderen na de retentieperiode

  Gegevens en metagegevens worden verwijderd nadat de retentieperiode is verstreken.

• Metagegevens verwijderen na de retentieperiode. De gegevens worden verwijderd door een extern systeem.

  De metagegevens worden opgeschoond nadat deze periode is verstreken. De onderliggende gegevens, bijvoorbeeld het S3-object, worden niet verwijderd door Qlik, maar worden verwijderd door een extern systeem.

Standaardinstellingen voor streaming-transformatietaak

U kunt standaardwaarden instellen voor streaming-transformatietaken die in het project zijn gemaakt.

Catalogus

• Publiceren naar catalogus

  Selecteer deze optie om deze versie van de gegevens te publiceren naar Catalogus als een gegevensset. De inhoud van de catalogus wordt bijgewerkt de volgende keer dat u deze taak voorbereidt.

Te gebruiken map

Selecteer een van de volgende opties, afhankelijk van de bucketmap waarnaar u de bestanden wilt schrijven:

• Standaardmap

  De indeling van de standaardmap is <uw-projectnaam>/<uw-taaknaam>

• Hoofdmap

  De bestanden worden naar de hoofd-bucketmap geschreven.

• Map

  Geef een mapnaam op. De map wordt tijdens de gegevenstaak gemaakt als deze nog niet bestaat.

  Informatie De mapnaam mag geen speciale tekens bevatten (bijvoorbeeld @, #, !, enzovoort).

Tabeldefinities

Configureer de standaard weergavekoptekstkolommen die standaard verschijnen in standaardweergaven voor alle streaming-transformatietaken in dit project.

• hdr__from_timestamp

  Wanneer deze optie is ingeschakeld, verschijnt de headerkolom hdr__from_timestamp in standaardweergaven. Daarnaast wordt, wanneer Partitioneren op opnamedatum van gebeurtenis is geselecteerd in de onboarding-wizard, hdr__from_timestamp gebruikt als de standaard partitiekolom. U kunt deze instelling overschrijven op taak- of datasetniveau.

  InformatieHistorieweergaven bevatten altijd alle headerkolommen van de standaardweergave, ongeacht deze instelling.

Runtime

U kunt standaard runtime-prestatie-instellingen definiëren voor datataken die in het project zijn opgenomen.

Standaardinstellingen voor Lake-tussenopslagtaak

• U kunt het maximale aantal databaseverbindingen instellen in Parallelle uitvoering.

Standaardinstellingen voor opslagtaak

Lakehouse-cluster

Kies optioneel een toegewezen Lakehouse-cluster voor opslagtaken.

Standaardinstellingen voor streaming-tussenopslagtaak

Aantal lezers

Selecteer het aantal lezers dat u wilt gebruiken. De waarde moet tussen 1 en 1.000 liggen.

Lakehouse-cluster

Kies optioneel een toegewezen Lakehouse-cluster voor opslagtaken.

Standaardinstellingen voor streaming-transformatietaak

Lakehouse-cluster

Kies optioneel een toegewezen Lakehouse-cluster voor opslagtaken.

Standaardinstellingen voor spiegelen

• U kunt het standaard datawarehouse instellen als het projectplatform Snowflake is.