Data pipeline project settings

You can change the settings for a data pipeline project in Qlik Talend Data Integration. The properties are common to the project and all included data tasks. Some settings are only available for specific data platforms.

• Click Ustawienia in the project.

Settings for data warehouse data pipeline projects

Data platform

You can change the following settings:

• Połączenie

  Connection for the project.

• Połączenie z obszarem pomostowym

  This option is not available when the data platform is Snowflake.

Metadata

You can set a suffix for internal artifacts and default suffixes for views that are created.

• Preferencje artefaktów

  • Prefiks dla wszystkich schematów: Prefiks dodawany do schematów danych tworzonych w projekcie. Jest to przydatne, gdy zaimportowany projekt znajduje się w tej samej hurtowni danych w chmurze co wyeksportowany projekt.

  • Sufiks dla schematu wewnętrznego: Sufiks, który ma być używany dla schematów służących do przechowywania wewnętrznych artefaktów.

  • Domyślna wielkość liter w nazwie schematu: Domyślna wielkość liter dla wszystkich nazw schematów. Jeśli baza danych jest skonfigurowana tak, aby wymuszać wielkość liter, ta opcja nie będzie miała wpływu.

• Sufiksy dla widoków zewnętrznych

  Ustaw domyślne sufiksy dla widoków tworzonych w zadaniach danych uwzględnionych w projekcie.

Default settings for new tasks

You can set default values for data tasks that are created in the project. When you create a data task you can change the value.

You can set the default database to create target artifacts for all types of data tasks.

Landing task defaults

Domyślna baza danych

You can use the default database of the project or specify another database.

Uzyskiwanie dostępu do celu przez serwer proxy podczas korzystania z Brama danych ruchu danych

• Podczas korzystania z Data Movement gateway połącz się przez serwer proxy z

  When using Brama danych ruchu danych, you can connect to the target platform and the staging platform (area) via a proxy.

  For more information about configuring Brama danych ruchu danych to use a proxy server, see Konfigurowanie dzierżawy Qlik Cloud i serwera proxy.

  • Platforma docelowa

    InformacjaAvailable when using Snowflake, Google BigQuery, and Databricks.

  • Platforma pomostowa

    InformacjaAvailable when using Azure Synapse Analytics, Amazon Redshift, and Databricks.

Storage task defaults

• Magazyn danych historycznych (Typ 2)

  You can keep historical change data to let you easily recreate data as it looked at a specific point in time. You can use history views and live history views to see the historical data.

• Widoki na żywo

  Live views show a view for each selected source table which merges the table with changes from the change table. This provides queries with a live view of the data without having to wait for the next apply cycle.

Domyślna baza danych

You can use the default database of the project or specify another database.

Katalog

• Publikuj w katalogu

  Select this option to publish this version of the data to Katalogu as a dataset. The Catalog content will be updated the next time you prepare this task.

Default view type

• Widoki standardowe

  Użyj widoków standardowych, aby wyświetlić wyniki zapytania tak, jakby były tabelą.

• Bezpieczne widoki Snowflake

  Użyj bezpiecznych widoków Snowflake w przypadku widoków przeznaczonych do ochrony prywatności danych lub poufnych informacji, takich jak widoki utworzone w celu ograniczenia dostępu do poufnych danych, które nie powinny być ujawniane wszystkim użytkownikom tabel podstawowych. Bezpieczne widoki Snowflake mogą wykonywać się wolniej niż widoki standardowe.

Registered data task defaults

Domyślna baza danych

You can use the default database of the project or specify another database.

Katalog

• Publikuj w katalogu

  Select this option to publish this version of the data to Katalogu as a dataset. The Catalog content will be updated the next time you prepare this task.

Ustawienia ładowania przyrostowego

These settings are available when Przyrostowe przy użyciu górnego limitu is selected.

• Tabele zmian

  If the changes are in the same table, select Zmiany znajdują się w tej samej tabeli.

  If not, clear Zmiany znajdują się w tej samej tabeli and specify a change table pattern.

• Kolumna limitu

  Set the name of the watermark column in Nazwa.

• Kolumna „Od daty”

  You can indicate the "From date" by the start time, or using a selected column.

  If you select Wybrana kolumna „Od daty”, you must define a Wzorzec „Od daty”.

• Usuwanie nietrwałe

  You can include soft deletions in changes by selecting Zmiany obejmują usuwanie nietrwałe and defining an indication expression.

  The indication expression should evaluate to True if the change is a soft delete.

  Example: ${is_deleted} = 1

• Przed obrazem

  You can filter out before image records in change tables changes by selecting Przed obrazem and defining an indication expression.

  The indication expression should evaluate to True if the row contains the image before the update.

  Example: ${header__change_oper} = 'B'

Transform task defaults

• Magazyn danych historycznych (Typ 2)

  You can keep historical change data to let you easily recreate data as it looked at a specific point in time. You can use history views and live history views to see the historical data.

Materializacja

• Niezmaterializowane (tylko widoki)

  Select this option to only create views that perform transformations on the fly.

• Zmaterializowane (tabele i widoki)

  Select this option to create both tables and views.

Domyślna baza danych

You can use the default database of the project or specify another database.

Katalog

• Publikuj w katalogu

  Select this option to publish this version of the data to Katalogu as a dataset. The Catalog content will be updated the next time you prepare this task.

Default view type

• Widoki standardowe

  Użyj widoków standardowych, aby wyświetlić wyniki zapytania tak, jakby były tabelą.

• Bezpieczne widoki Snowflake

  Użyj bezpiecznych widoków Snowflake w przypadku widoków przeznaczonych do ochrony prywatności danych lub poufnych informacji, takich jak widoki utworzone w celu ograniczenia dostępu do poufnych danych, które nie powinny być ujawniane wszystkim użytkownikom tabel podstawowych. Bezpieczne widoki Snowflake mogą wykonywać się wolniej niż widoki standardowe.

Default table type

Ustawienia te są dostępne tylko w projektach, w których platformą danych jest Snowflake.

• Rodzaj tabeli

  Można wybrać typ tabeli:

  • Tabele Snowflake

  • Tabele Iceberg zarządzane przez Snowflake

    Należy ustawić domyślną nazwę woluminu zewnętrznego w Wolumin zewnętrzny Snowflake.

• Folder pamięci w chmurze do użycia

  Wybierz folder, który będzie używany podczas umieszczania danych w obszarze tymczasowym.

  • Domyślny folder

    W ten sposób zostanie utworzony folder o domyślnej nazwie: <nazwa projektu>/<nazwa zadania danych>.

  • Folder główny

    Zapisz dane w głównym folderze pamięci masowej.

  • Folder

    Określ nazwę folderu, który ma być używany.

• Synchronizuj ze Snowflake Open Catalog

  Włącz tę opcję, aby umożliwić aplikacji Snowflake Open Catalog zarządzanie plikami w pamięci masowej plików w chmurze.

Data mart task defaults

Domyślna baza danych

You can use the default database of the project or specify another database.

Katalog

• Publikuj w katalogu

  Select this option to publish this version of the data to Katalogu as a dataset. The Catalog content will be updated the next time you prepare this task.

Runtime defaults

You can define default runtime performance settings for data assets that are included in the project.

Landing defaults

• You can set the maximum number of database connections in Wykonywanie równoległe.

Storage defaults

• You can set default scheduling settings to a time based schedule. This will be the default value for each storage task created.

• You can set the default data warehouse if the project platform is Snowflake.

Transform defaults

• You can set default scheduling settings to a time based schedule or Po pomyślnym zakończeniu dowolnego zadania danych wejściowych. This will be the default value for each transformation task created.

• You can set the default data warehouse if the project platform is Snowflake.

Data mart defaults

• You can set default scheduling settings to a time based schedule or Po pomyślnym zakończeniu dowolnego zadania danych wejściowych. This will be the default value for each data mart task created.

• You can set the default data warehouse if the project platform is Snowflake.

Mirror defaults

• You can set the default data warehouse if the project platform is Snowflake.

Settings for Qlik Open Lakehouse data pipeline projects

Data platform

You can change the following settings:

• Połączenie z katalogiem danych: Select an existing connection or click Utwórz nowe to add a new data catalog connection. You can also edit an existing connection and verify that the connection works by clicking Testuj połączenie.

• Połączenie docelowe umieszczania: Select the S3 bucket for landing the data or click Utwórz nowe to add a new bucket location. You can also edit an existing connection and verify that the connection works by clicking Testuj połączenie.

Metadata

You can set a suffix for internal artifacts and default suffixes for views that are created.

• Preferencje artefaktów

  • Prefiks dla wszystkich schematów: Prefiks dodawany do schematów danych tworzonych w projekcie. Jest to przydatne, gdy zaimportowany projekt znajduje się w tej samej hurtowni danych w chmurze co wyeksportowany projekt.

  • Sufiks dla schematu wewnętrznego: Sufiks, który ma być używany dla schematów służących do przechowywania wewnętrznych artefaktów.

  • Domyślna wielkość liter w nazwie schematu: Domyślna wielkość liter dla wszystkich nazw schematów. Jeśli baza danych jest skonfigurowana tak, aby wymuszać wielkość liter, ta opcja nie będzie miała wpływu.

• Sufiksy dla widoków zewnętrznych

  Ustaw domyślne sufiksy dla widoków tworzonych w zadaniach danych uwzględnionych w projekcie.

• Skrót

  You can set a hash salt string to be used when hashing a column, for example to mask sensitive information. This will generate a SHA-256 hash of the input column after concatenating it with the hash salt string.

  You can either use the project ID as salt string, or set a custom salt string.

Default settings for new tasks

You can set default values for data tasks that are created in the project. When you create a data task you can change the value.

You can set the default database to create target artifacts for all types of data tasks.

Lake landing task defaults

Folder do użycia

Wybierz jedną z poniższych opcji, w zależności od tego, do którego folderu zasobnika mają zostać zapisane pliki:

• Folder domyślny

  Domyślny format folderu to <nazwa-twojego-projektu>/<nazwa-twojego-zadania>

• Folder główny

  Pliki zostaną zapisane w głównym folderze zasobnika.

• Folder

  Określ nazwę folderu. Folder zostanie utworzony podczas zadania danych, jeśli jeszcze nie istnieje.

  Informacja Nazwa folderu nie może zawierać znaków specjalnych (na przykład @, #, ! itp.).

Storage task defaults

• Magazyn danych historycznych (Typ 2)

  You can keep historical change data to let you easily recreate data as it looked at a specific point in time. You can use history views and live history views to see the historical data.

Katalog

• Publikuj w katalogu

  Select this option to publish this version of the data to Katalogu as a dataset. The Catalog content will be updated the next time you prepare this task.

Folder do użycia w obszarze pomostowym

Wybierz jedną z poniższych opcji, w zależności od tego, do którego folderu zasobnika mają zostać zapisane pliki:

• Folder domyślny

  Domyślny format folderu to <nazwa-twojego-projektu>/<nazwa-twojego-zadania>

• Folder główny

  Pliki zostaną zapisane w głównym folderze zasobnika.

• Folder

  Określ nazwę folderu. Folder zostanie utworzony podczas zadania danych, jeśli jeszcze nie istnieje.

  Informacja Nazwa folderu nie może zawierać znaków specjalnych (na przykład @, #, ! itp.).

Streaming landing task defaults

You can set default values for Streaming landing tasks created in the project.

Folder do użycia

Wybierz jedną z poniższych opcji, w zależności od tego, do którego folderu zasobnika mają zostać zapisane pliki:

• Folder domyślny

  Domyślny format folderu to <nazwa-twojego-projektu>/<nazwa-twojego-zadania>

• Folder główny

  Pliki zostaną zapisane w głównym folderze zasobnika.

• Folder

  Określ nazwę folderu. Folder zostanie utworzony podczas zadania danych, jeśli jeszcze nie istnieje.

  Informacja Nazwa folderu nie może zawierać znaków specjalnych (na przykład @, #, ! itp.).

Przechowywanie folderów

Select how long to retain the data:

• Dane i metadane nie są usuwane

  Neither the data nor the metadata are deleted.

• Usuń dane i metadane po upływie okresu przechowywania

  Data and metadata are deleted after the retention period has elapsed.

• Usuń metadane po upływie okresu przechowywania. Dane są usuwane przez system zewnętrzny.

  The metadata is purged after this period elapses. The underlying data, for example the S3 object, is not deleted by Qlik but is deleted by an external system.

Streaming transform task defaults

You can set default values for Streaming Transform tasks created in the project.

Katalog

• Publikuj w katalogu

  Select this option to publish this version of the data to Katalogu as a dataset. The Catalog content will be updated the next time you prepare this task.

Folder do użycia

Wybierz jedną z poniższych opcji, w zależności od tego, do którego folderu zasobnika mają zostać zapisane pliki:

• Folder domyślny

  Domyślny format folderu to <nazwa-twojego-projektu>/<nazwa-twojego-zadania>

• Folder główny

  Pliki zostaną zapisane w głównym folderze zasobnika.

• Folder

  Określ nazwę folderu. Folder zostanie utworzony podczas zadania danych, jeśli jeszcze nie istnieje.

  Informacja Nazwa folderu nie może zawierać znaków specjalnych (na przykład @, #, ! itp.).

Definicje tabel

Configure the standard view header columns that appear by default in standard views for all Streaming Transform tasks in this project.

• hdr__from_timestamp

  Gdy ta opcja jest włączona, kolumna nagłówka hdr__from_timestamp pojawi się w widokach standardowych. Ponadto, gdy w kreatorze wdrażania zostanie wybrana opcja Partycjonuj według daty pozyskania zdarzenia, hdr__from_timestamp zostanie użyta jako domyślna kolumna partycji. To ustawienie można zastąpić na poziomie zadania lub zestawu danych.

  InformacjaWidoki historii zawsze uwzględniają wszystkie kolumny nagłówka widoku standardowego, niezależnie od tego ustawienia.

Runtime

You can define default runtime performance settings for data tasks that are included in the project.

Lake landing task defaults

• You can set the maximum number of database connections in Wykonywanie równoległe.

Storage task defaults

Lakehouse cluster

Optionally, choose a dedicated Lakehouse cluster for storage tasks.

Streaming landing task defaults

Number of readers

Select the number of readers to use. The value must be between 1 and 1,000.

Lakehouse cluster

Optionally, choose a dedicated Lakehouse cluster for storage tasks.

Streaming transform task defaults

Lakehouse cluster

Optionally, choose a dedicated Lakehouse cluster for storage tasks.

Mirror defaults

• You can set the default data warehouse if the project platform is Snowflake.