Projektinställningar för datapipeline

Du kan ändra inställningarna för ett datapipeline-projekt i Qlik Talend Data Integration. Egenskaperna är gemensamma för projektet och alla inkluderade datauppgifter. Vissa inställningar är endast tillgängliga för specifika dataplattformar.

• Klicka på Inställningar i projektet.

Inställningar för datapipeline-projekt för datalager

Dataplattform

Du kan ändra följande inställningar:

• Koppling

  Koppling för projektet.

• Koppling till iscensättningsområde

  Det här alternativet är inte tillgängligt när dataplattformen är Snowflake.

Metadata

Du kan ange ett suffix för interna artefakter och standardsuffix för vyer som skapas.

• Inställningar för artefakter

  • Prefix för alla scheman: Prefixet som ska läggas till i datascheman som skapas i projektet. Detta är användbart när ett importerat projekt finns i samma molndatalager som ett exporterat projekt.

  • Suffix för internt schema: Suffixet som ska användas för scheman som används för att lagra interna artefakter.

  • Standard för versaler i schemanamn: Standard för versaler för alla schemanamn. Om din databas är konfigurerad för att tvinga fram versaler kommer det här alternativet inte att ha någon effekt.

• Suffix för externa vyer

  Ange standardsuffix för vyer som skapas i datauppgifter som ingår i projektet.

Standardinställningar för nya uppgifter

Du kan ange standardvärden för datauppgifter som skapas i projektet. När du skapar en datauppgift kan du ändra värdet.

Du kan ange standarddatabasen för att skapa målartefakter för alla typer av datauppgifter.

Standardvärden för mellanlagringsuppgifter

Standarddatabas

Du kan använda projektets standarddatabas eller ange en annan databas.

Åtkomst till målet via en proxy vid användning av Gateway för dataflytt

• När du använder Data Movement gateway, anslut via proxy till

  När du använder Gateway för dataflytt kan du ansluta till målplattformen och iscensättningsplattformen (området) via en proxy.

  För mer information om hur du konfigurerar Gateway för dataflytt för att använda en proxyserver, se Ställa in Qlik Cloud-klientorganisationen och en proxyserver.

  • Målplattform

    Anteckning om informationTillgängligt vid användning av Snowflake, Google BigQuery och Databricks.

  • Iscensättningsplattform

    Anteckning om informationTillgängligt vid användning av Azure Synapse Analytics, Amazon Redshift och Databricks.

Standardvärden för lagringsuppgifter

• Historiskt datalager (typ 2)

  Du kan behålla historiska ändringsdata för att enkelt kunna återskapa data så som de såg ut vid en specifik tidpunkt. Du kan använda historikvyer och live-historikvyer för att se historiska data.

• Live-vyer

  Live-vyer visar en vy för varje vald källtabell som slår samman tabellen med ändringar från ändringstabellen. Detta ger frågor en live-vy av data utan att behöva vänta på nästa tillämpningscykel.

Standarddatabas

Du kan använda projektets standarddatabas eller ange en annan databas.

Katalog

• Publicera till katalog

  Välj det här alternativet för att publicera den här versionen av data till Katalog som en datauppsättning. Kataloginnehållet kommer att uppdateras nästa gång du förbereder den här uppgiften.

Standardvytyp

• Standardvyer

  Använd standardvyer för att visa resultaten av en fråga som om det vore en tabell.

• Säkra Snowflake-vyer

  Använd säkra Snowflake-vyer för vyer som är avsedda för datasekretess eller skydd av känslig information, till exempel vyer som skapats för att begränsa åtkomsten till känsliga data som inte bör exponeras för alla användare av de underliggande tabellerna. Säkra Snowflake-vyer kan köras långsammare än standardvyer.

Standardvärden för registrerade datauppgifter

Standarddatabas

Du kan använda projektets standarddatabas eller ange en annan databas.

Katalog

• Publicera till katalog

  Välj det här alternativet för att publicera den här versionen av data till Katalog som en datauppsättning. Kataloginnehållet kommer att uppdateras nästa gång du förbereder den här uppgiften.

Inställningar för inkrementell laddning

Dessa inställningar är tillgängliga när Inkrementell med högvattenmärke är valt.

• Ändringstabeller

  Om ändringarna finns i samma tabell väljer du Ändringar finns i samma tabell.

  Om inte, radera Ändringar finns i samma tabell och ange ett mönster för ändringstabell.

• Vattenmärkeskolumn

  Ange namnet på vattenmärkeskolumnen i Namn.

• "Från datum"-kolumn

  Du kan ange "Från datum" genom starttiden eller genom att använda en vald kolumn.

  Om du väljer Vald "Från datum"-kolumn måste du definiera ett "Från datum"-mönster.

• Mjuka borttagningar

  Du kan inkludera mjuka borttagningar i ändringar genom att välja Ändringar inkluderar mjuka borttagningar och definiera ett indikationsuttryck.

  Indikationsuttrycket bör utvärderas till Sant om ändringen är en mjuk borttagning.

  Exempel: ${is_deleted} = 1

• Före-bild

  Du kan filtrera bort före-bild-poster i ändringstabellers ändringar genom att välja Före-bild och definiera ett indikationsuttryck.

  Indikationsuttrycket bör utvärderas till Sant om raden innehåller bilden före uppdateringen.

  Exempel: ${header__change_oper} = 'B'

Standardvärden för transformeringsuppgifter

• Historiskt datalager (typ 2)

  Du kan behålla historiska ändringsdata för att enkelt kunna återskapa data så som de såg ut vid en specifik tidpunkt. Du kan använda historikvyer och live-historikvyer för att se historiska data.

Materialisering

• Icke-materialiserad (endast vyer)

  Välj det här alternativet för att endast skapa vyer som utför transformeringar i farten.

• Materialiserad (tabeller och vyer)

  Välj det här alternativet för att skapa både tabeller och vyer.

Standarddatabas

Du kan använda projektets standarddatabas eller ange en annan databas.

Katalog

• Publicera till katalog

  Välj det här alternativet för att publicera den här versionen av data till Katalog som en datauppsättning. Kataloginnehållet kommer att uppdateras nästa gång du förbereder den här uppgiften.

Standardvytyp

• Standardvyer

  Använd standardvyer för att visa resultaten av en fråga som om det vore en tabell.

• Säkra Snowflake-vyer

  Använd säkra Snowflake-vyer för vyer som är avsedda för datasekretess eller skydd av känslig information, till exempel vyer som skapats för att begränsa åtkomsten till känsliga data som inte bör exponeras för alla användare av de underliggande tabellerna. Säkra Snowflake-vyer kan köras långsammare än standardvyer.

Standardtabelltyp

Dessa inställningar är endast tillgängliga i projekt med Snowflake som dataplattform.

• Tabelltyp

  Du kan välja vilken typ av tabell som ska användas:

  • Snowflake-tabeller

  • Iceberg-tabeller som hanteras av Snowflake

    Du måste ange standardnamnet på den externa volymen i Snowflake external volume.

• Mapp att använda i molnet

  Välj vilken mapp som ska användas när data mellanlagras i mellanlagringsområdet.

  • Standardmapp

    Detta skapar en mapp med standardnamnet: <projektnamn>/<datauppgiftens namn>.

  • Rotmapp

    Lagra data i lagringens rotmapp.

  • Mapp

    Ange namnet på mappen som ska användas.

• Synka med Snowflake Open Catalog

  Aktivera detta för att låta Snowflake Open Catalog hantera filerna i fillagringen i molnet.

Standardvärden för datatorguppgifter

Standarddatabas

Du kan använda projektets standarddatabas eller ange en annan databas.

Katalog

• Publicera till katalog

  Välj det här alternativet för att publicera den här versionen av data till Katalog som en datauppsättning. Kataloginnehållet kommer att uppdateras nästa gång du förbereder den här uppgiften.

Standardvärden för körning

Du kan definiera standardinställningar för körningsprestanda för datatillgångar som ingår i projektet.

Standardvärden för mellanlagring

• Du kan ange det maximala antalet databaskopplingar i Parallell körning.

Standardvärden för lagring

• Du kan ange standardschemaläggningsinställningar till ett tidsbaserat schema. Detta kommer att vara standardvärdet för varje lagringsuppgift som skapas.

• Du kan ange standarddatalagret om projektplattformen är Snowflake.

Standardvärden för transformering

• Du kan ange standardschemaläggningsinställningar till ett tidsbaserat schema eller Vid framgångsrikt slutförande av valfri indatauppgift. Detta kommer att vara standardvärdet för varje transformeringsuppgift som skapas.

• Du kan ange standarddatalagret om projektplattformen är Snowflake.

Standardvärden för datatorg

• Du kan ange standardschemaläggningsinställningar till ett tidsbaserat schema eller Vid framgångsrikt slutförande av valfri indatauppgift. Detta kommer att vara standardvärdet för varje datatorguppgift som skapas.

• Du kan ange standarddatalagret om projektplattformen är Snowflake.

Standardvärden för spegling

• Du kan ange standarddatalagret om projektplattformen är Snowflake.

Inställningar för Qlik Open Lakehouse-datapipeline-projekt

Dataplattform

Du kan ändra följande inställningar:

• Datakatalogkoppling: Välj en befintlig koppling eller klicka på Skapa ny för att lägga till en ny datakatalogkoppling. Du kan också redigera en befintlig koppling och verifiera att kopplingen fungerar genom att klicka på Testa koppling.

• Målkoppling för mellanlagring: Välj S3-bucket för mellanlagring av data eller klicka på Skapa ny för att lägga till en ny bucket-plats. Du kan också redigera en befintlig koppling och verifiera att kopplingen fungerar genom att klicka på Testa koppling.

Metadata

Du kan ange ett suffix för interna artefakter och standardsuffix för vyer som skapas.

• Inställningar för artefakter

  • Prefix för alla scheman: Prefixet som ska läggas till i datascheman som skapas i projektet. Detta är användbart när ett importerat projekt finns i samma molndatalager som ett exporterat projekt.

  • Suffix för internt schema: Suffixet som ska användas för scheman som används för att lagra interna artefakter.

  • Standard för versaler i schemanamn: Standard för versaler för alla schemanamn. Om din databas är konfigurerad för att tvinga fram versaler kommer det här alternativet inte att ha någon effekt.

• Suffix för externa vyer

  Ange standardsuffix för vyer som skapas i datauppgifter som ingår i projektet.

• Hash

  Du kan ange en hash-saltsträng som ska användas vid hashning av en kolumn, till exempel för att maskera känslig information. Detta genererar en SHA-256-hash av indatakolumnen efter att den har sammanfogats med hash-saltsträngen.

  Du kan antingen använda projekt-ID:t som saltsträng eller ange en anpassad saltsträng.

Standardinställningar för nya uppgifter

Du kan ange standardvärden för datauppgifter som skapas i projektet. När du skapar en datauppgift kan du ändra värdet.

Du kan ange standarddatabasen för att skapa målartefakter för alla typer av datauppgifter.

Standardvärden för Lake-mellanlagringsuppgifter

Mapp att använda

Välj ett av följande, beroende på vilken bucket-mapp du vill att filerna ska skrivas till:

• Standardmapp

  Formatet för standardmappen är <ditt-projektnamn>/<ditt-uppgiftsnamn>

• Rotmapp

  Filerna kommer att skrivas till bucket-rotmappen.

• Mapp

  Ange ett mappnamn. Mappen skapas under datauppgiften om den inte redan finns.

  Anteckning om information Mappnamnet får inte innehålla specialtecken (till exempel @, #, ! och så vidare).

Standardvärden för lagringsuppgifter

• Historiskt datalager (typ 2)

  Du kan behålla historiska ändringsdata för att enkelt kunna återskapa data så som de såg ut vid en specifik tidpunkt. Du kan använda historikvyer och live-historikvyer för att se historiska data.

Katalog

• Publicera till katalog

  Välj det här alternativet för att publicera den här versionen av data till Katalog som en datauppsättning. Kataloginnehållet kommer att uppdateras nästa gång du förbereder den här uppgiften.

Mapp att använda i iscensättningsområdet

Välj ett av följande, beroende på vilken bucket-mapp du vill att filerna ska skrivas till:

• Standardmapp

  Formatet för standardmappen är <ditt-projektnamn>/<ditt-uppgiftsnamn>

• Rotmapp

  Filerna kommer att skrivas till bucket-rotmappen.

• Mapp

  Ange ett mappnamn. Mappen skapas under datauppgiften om den inte redan finns.

  Anteckning om information Mappnamnet får inte innehålla specialtecken (till exempel @, #, ! och så vidare).

Standardvärden för strömmande mellanlagringsuppgifter

Du kan ange standardvärden för strömmande mellanlagringsuppgifter som skapas i projektet.

Mapp att använda

Välj ett av följande, beroende på vilken bucket-mapp du vill att filerna ska skrivas till:

• Standardmapp

  Formatet för standardmappen är <ditt-projektnamn>/<ditt-uppgiftsnamn>

• Rotmapp

  Filerna kommer att skrivas till bucket-rotmappen.

• Mapp

  Ange ett mappnamn. Mappen skapas under datauppgiften om den inte redan finns.

  Anteckning om information Mappnamnet får inte innehålla specialtecken (till exempel @, #, ! och så vidare).

Mapplagringstid

Välj hur länge data ska behållas:

• Data och metadata raderas inte

  Varken data eller metadata raderas.

• Radera data och metadata efter lagringstiden

  Data och metadata raderas efter att lagringstiden har löpt ut.

• Radera metadata efter lagringstiden. Data raderas av externt system.

  Metadata rensas efter att denna period har löpt ut. Underliggande data, till exempel S3-objektet, raderas inte av Qlik utan raderas av ett externt system.

Standardvärden för strömmande transformeringsuppgifter

Du kan ange standardvärden för strömmande transformeringsuppgifter som skapas i projektet.

Katalog

• Publicera till katalog

  Välj det här alternativet för att publicera den här versionen av data till Katalog som en datauppsättning. Kataloginnehållet kommer att uppdateras nästa gång du förbereder den här uppgiften.

Mapp att använda

Välj ett av följande, beroende på vilken bucket-mapp du vill att filerna ska skrivas till:

• Standardmapp

  Formatet för standardmappen är <ditt-projektnamn>/<ditt-uppgiftsnamn>

• Rotmapp

  Filerna kommer att skrivas till bucket-rotmappen.

• Mapp

  Ange ett mappnamn. Mappen skapas under datauppgiften om den inte redan finns.

  Anteckning om information Mappnamnet får inte innehålla specialtecken (till exempel @, #, ! och så vidare).

Tabelldefinitioner

Konfigurera standardvyernas rubrikkolumner som visas som standard i standardvyer för alla strömmande transformeringsuppgifter i det här projektet.

• hdr__from_timestamp

  När det här alternativet är aktiverat kommer rubrikkolumnen hdr__from_timestamp att visas i standardvyer. Dessutom, när Partitionera efter händelseinläsningsdatum väljs i introduktionsguiden, kommer hdr__from_timestamp att användas som standardpartitionskolumn. Du kan åsidosätta den här inställningen på uppgifts- eller datauppsättningsnivå.

  Anteckning om informationHistorikvyer inkluderar alltid alla rubrikkolumner för standardvyer, oavsett denna inställning.

Körning

Du kan definiera standardinställningar för körningsprestanda för datauppgifter som ingår i projektet.

Standardvärden för Lake-mellanlagringsuppgifter

• Du kan ange det maximala antalet databaskopplingar i Parallell körning.

Standardvärden för lagringsuppgifter

Lakehouse-kluster

Välj eventuellt ett dedikerat Lakehouse-kluster för lagringsuppgifter.

Standardvärden för strömmande mellanlagringsuppgifter

Antal läsare

Välj antalet läsare som ska användas. Värdet måste vara mellan 1 och 1 000.

Lakehouse-kluster

Välj eventuellt ett dedikerat Lakehouse-kluster för lagringsuppgifter.

Standardvärden för strömmande transformeringsuppgifter

Lakehouse-kluster

Välj eventuellt ett dedikerat Lakehouse-kluster för lagringsuppgifter.

Standardvärden för spegling

• Du kan ange standarddatalagret om projektplattformen är Snowflake.