Daten-Pipeline-Projekteinstellungen

Sie können die Einstellungen für ein Daten-Pipeline-Projekt in Qlik Talend Data Integration ändern. Die Eigenschaften gelten für das Projekt und alle eingeschlossenen Datenaufgaben. Einige Einstellungen sind nur für spezifische Datenplattformen verfügbar.

• Klicken Sie im Projekt auf Einstellungen.

Einstellungen für Data Warehouse-Daten-Pipeline-Projekte

Datenplattform

Sie können die folgenden Einstellungen ändern:

• Verbindung

  Datenverbindung für das Projekt.

• Verbindung zu Bereitstellungsbereich

  Diese Option ist nicht verfügbar, wenn die Datenplattform Snowflake ist.

Metadaten

Sie können ein Suffix für interne Artefakte und Standardsuffixe für erstellte Ansichten festlegen.

• Einstellungen für Artefakte

  • Präfix für alle Schemas: das Präfix, das zu im Projekt erstellten Datenschemas hinzugefügt wird. Das ist nützlich, wenn sich ein importiertes Projekt im gleichen Cloud Data Warehouse wie ein exportiertes Projekt befindet.

  • Suffix für internes Schema: das Suffix, das für Schemas zum Speichern interner Artefakte verwendet wird.

  • Standardgroßschreibung von Schemanamen: Standardgroßschreibung für alle Schemanamen. Wenn Ihre Datenbank so konfiguriert ist, dass die Großschreibung erzwungen wird, hat diese Option keine Wirkung.

• Suffixe für externe Ansichten

  Legen Sie Standardsuffixe für Ansichten fest, die in den im Projekt enthaltenen Datenaufgaben erstellt werden.

Standardeinstellungen für neue Aufgaben

Sie können Standardwerte für Datenaufgaben festlegen, die im Projekt erstellt werden. Wenn Sie eine Datenaufgabe erstellen, können Sie den Wert ändern.

Sie können die Standarddatenbank festlegen, um Zielartefakte für alle Typen von Datenaufgaben zu erstellen.

Standardeinstellungen für Bereitstellungsaufgaben

Standarddatenbank

Sie können die Standarddatenbank des Projekts verwenden oder eine andere Datenbank angeben.

Zugriff auf das Ziel über einen Proxy bei Verwendung von Data Movement gateway

• Bei Verwendung des Data Movement Gateway eine Verbindung über den Proxy herstellen mit

  Bei Verwendung von Data Movement gateway können Sie über einen Proxy eine Verbindung zur Zielplattform und zur Staging-Plattform (Bereich) herstellen.

  Weitere Informationen zum Konfigurieren von Data Movement gateway für die Verwendung eines Proxy-Servers finden Sie unter Festlegen des Qlik Cloud Mandanten und eines Proxy-Servers.

  • Zielplattform

    InformationshinweisVerfügbar, wenn Snowflake, Google BigQuery und Databricks verwendet werden.

  • Bereitstellungsplattform

    InformationshinweisVerfügbar, wenn Azure Synapse Analytics, Amazon Redshift und Databricks verwendet werden.

Standardeinstellungen für Speicheraufgaben

• Verlaufsdatenspeicher (Typ 2)

  Sie können Verlaufsänderungsdaten beibehalten, um Daten leicht erneut so erstellen zu können, wie sie zu einem bestimmten Zeitpunkt aussahen. Sie können Verlaufsansichten und Live-Verlaufsansichten verwenden, um die Verlaufsdaten anzuzeigen.

• Live-Ansichten

  Live-Ansichten zeigen eine Ansicht für jede ausgewählte Quelltabelle, in der die Tabelle mit Änderungen aus der Änderungstabelle zusammengeführt wird. Dadurch sind Abfragen mit einer Live-Ansicht der Daten möglich, ohne auf den nächsten Anwendungszyklus warten zu müssen.

Standarddatenbank

Sie können die Standarddatenbank des Projekts verwenden oder eine andere Datenbank angeben.

Katalog

• In Katalog veröffentlichen

  Wählen Sie diese Option aus, um diese Version der Daten als Datensatz im Katalog zu veröffentlichen. Der Kataloginhalt wird aktualisiert, wenn Sie diese Aufgabe zum nächsten Mal vorbereiten.

Standardansichtstyp

• Standardansichten

  Verwenden Sie Standardansichten, um die Ergebnisse einer Abfrage in Tabellenform anzuzeigen.

• Sichere Snowflake-Ansichten

  Verwenden Sie sichere Snowflake-Ansichten für Ansichten, die für den Schutz von Daten oder sensiblen Informationen vorgesehen sind, z.B. Ansichten, die erstellt wurden, um den Zugriff auf sensible Daten zu beschränken, die nicht für alle Benutzer der zugrunde liegenden Tabellen zugänglich sein sollen. Sichere Snowflake- Ansichten können langsamer ausgeführt werden als Standardansichten.

Standardeinstellungen für registrierte Datenaufgaben

Standarddatenbank

Sie können die Standarddatenbank des Projekts verwenden oder eine andere Datenbank angeben.

Katalog

• In Katalog veröffentlichen

  Wählen Sie diese Option aus, um diese Version der Daten als Datensatz im Katalog zu veröffentlichen. Der Kataloginhalt wird aktualisiert, wenn Sie diese Aufgabe zum nächsten Mal vorbereiten.

Einstellungen für inkrementelles Laden

Diese Einstellungen sind verfügbar, wenn die Option Inkrementell mit hohem Grenzwert ausgewählt ist.

• Änderungstabellen

  Wenn die Änderungen sich in der gleichen Tabelle befinden, wählen Sie die Option Änderungen befinden sich in der gleichen Tabelle aus.

  Andernfalls deaktivieren Sie die Option Änderungen befinden sich in der gleichen Tabelle und geben Sie ein Änderungstabellenmuster an.

• Grenzwertspalte

  Legen Sie den Namen der Grenzwertspalte in Name fest.

• „Von-Datum“-Spalte

  Sie können als „Von-Datum“ das Startdatum angeben oder eine ausgewählte Spalte verwenden.

  Wenn Sie die Option Ausgewählte „Von-Datum“-Spalte auswählen, müssen Sie ein „Von-Datum“-Muster definieren.

• Vorläufige Löschungen

  Sie können vorläufige Löschungen einschließen, indem Sie die Option Änderungen umfassen vorläufiges Löschen auswählen und eine Indikationsformel definieren.

  Die Indikationsformel muss „wahr“ ausgewertet werden, wenn die Änderung ein vorläufiger Löschvorgang ist.

  Beispiel: ${is_deleted} = 1

• Vor dem Image

  Sie können Datensätze vor dem Image in Änderungstabellenänderungen herausfiltern, indem Sie die Option Vor dem Image aktivieren und eine Indikationsformel definieren.

  Die Indikationsformel muss als „wahr“ ausgewertet werden, wenn die Zeile das Image vor der Aktualisierung enthält.

  Beispiel: ${header__change_oper} = 'B'

Standardeinstellungen für Umwandlungsaufgaben

• Verlaufsdatenspeicher (Typ 2)

  Sie können Verlaufsänderungsdaten beibehalten, um Daten leicht erneut so erstellen zu können, wie sie zu einem bestimmten Zeitpunkt aussahen. Sie können Verlaufsansichten und Live-Verlaufsansichten verwenden, um die Verlaufsdaten anzuzeigen.

Materialisierung

• Nicht materialisiert (nur Ansichten)

  Wählen Sie diese Option aus, um nur Ansichten zu erstellen, die Umwandlungen spontan durchführen.

• Materialisiert (Tabellen und Ansichten)

  Wählen Sie diese Option aus, um sowohl Tabellen und Ansichten zu erstellen.

Standarddatenbank

Sie können die Standarddatenbank des Projekts verwenden oder eine andere Datenbank angeben.

Katalog

• In Katalog veröffentlichen

  Wählen Sie diese Option aus, um diese Version der Daten als Datensatz im Katalog zu veröffentlichen. Der Kataloginhalt wird aktualisiert, wenn Sie diese Aufgabe zum nächsten Mal vorbereiten.

Standardansichtstyp

• Standardansichten

  Verwenden Sie Standardansichten, um die Ergebnisse einer Abfrage in Tabellenform anzuzeigen.

• Sichere Snowflake-Ansichten

  Verwenden Sie sichere Snowflake-Ansichten für Ansichten, die für den Schutz von Daten oder sensiblen Informationen vorgesehen sind, z.B. Ansichten, die erstellt wurden, um den Zugriff auf sensible Daten zu beschränken, die nicht für alle Benutzer der zugrunde liegenden Tabellen zugänglich sein sollen. Sichere Snowflake- Ansichten können langsamer ausgeführt werden als Standardansichten.

Standardtabellentyp

Diese Einstellungen sind nur in Projekten mit Snowflake als Datenplattform verfügbar.

• Tabellentyp

  Sie können auswählen, welchen Tabellentyp Sie verwenden möchten:

  • Snowflake-Tabellen

  • Von Snowflake verwaltete Iceberg-Tabellen

    Sie müssen den Standardnamen des externen Volumes in Externes Snowflake-Volume festlegen.

• Zu verwendender Cloud-Speicherordner

  Sie können auswählen, welcher Ordner beim Bereitstellen von Daten im Bereitstellungsbereich verwendet werden soll.

  • Standardordner

    Dadurch wird ein Ordner mit dem Standardnamen <projektname>/<datenaufgabenname> erstellt.

  • Stammordner

    Speichern Sie Daten im Stammordner des Speichers.

  • Ordner

    Geben Sie einen Ordnernamen an, der verwendet werden soll.

• Mit Snowflake Open Catalog synchronisieren

  Aktivieren Sie diese Option, damit Snowflake Open Catalog die Dateien im Cloud-Dateispeicher verwalten kann.

Standardeinstellungen für Data Mart-Aufgaben

Standarddatenbank

Sie können die Standarddatenbank des Projekts verwenden oder eine andere Datenbank angeben.

Katalog

• In Katalog veröffentlichen

  Wählen Sie diese Option aus, um diese Version der Daten als Datensatz im Katalog zu veröffentlichen. Der Kataloginhalt wird aktualisiert, wenn Sie diese Aufgabe zum nächsten Mal vorbereiten.

Laufzeit-Standardeinstellungen

Sie können Standard-Laufzeitleistungseinstellungen für Datenobjekte festlegen, die im Projekt enthalten sind.

Bereitstellungs-Standardeinstellungen

• Sie können die maximale Anzahl Datenbankverbindungen in Parallele Ausführung festlegen.

Speicher-Standardeinstellungen

• Sie können Standardplanungseinstellungen für einen zeitbasierten Plan festlegen. Dies wird zum Standardwert für jede erstellte Speicheraufgabe.

• Sie können das standardmäßige Data Warehouse festlegen, wenn die Projektplattform Snowflake ist.

Umwandlungs-Standardeinstellungen

• Sie können Standardplaneinstellungen für einen zeitbasierten Plan oder die Option Bei erfolgreichem Abschluss einer Eingabedatenaufgabe festlegen. Dies wird zum Standardwert für jede erstellte Umwandlungsaufgabe.

• Sie können das standardmäßige Data Warehouse festlegen, wenn die Projektplattform Snowflake ist.

Data Mart-Standardeinstellungen

• Sie können Standardplaneinstellungen für einen zeitbasierten Plan oder die Option Bei erfolgreichem Abschluss einer Eingabedatenaufgabe festlegen. Dies wird zum Standardwert für jede erstellte Data Mart-Aufgabe.

• Sie können das standardmäßige Data Warehouse festlegen, wenn die Projektplattform Snowflake ist.

Spiegel-Standardeinstellungen

• Sie können das standardmäßige Data Warehouse festlegen, wenn die Projektplattform Snowflake ist.

Einstellungen für Qlik Open Lakehouse-Daten-Pipeline-Projekte

Datenplattform

Sie können die folgenden Einstellungen ändern:

• Datenkatalogverbindung: Wählen Sie in der Liste eine bestehende Verbindung aus oder klicken Sie auf Neu erstellen, um eine neue Datenkatalogverbindung hinzuzufügen. Sie können auch eine bestehende Verbindung bearbeiten und überprüfen, ob die Verbindung funktioniert, indem Sie auf Verbindung testen klicken.

• Bereitstellungszielverbindung: Wählen Sie den S3-Bucket für die Bereitstellung der Daten aus oder klicken Sie auf Neu erstellen, um einen neuen Bucket-Speicherort hinzuzufügen. Sie können auch eine bestehende Verbindung bearbeiten und überprüfen, ob die Verbindung funktioniert, indem Sie auf Verbindung testen klicken.

Metadaten

Sie können ein Suffix für interne Artefakte und Standardsuffixe für erstellte Ansichten festlegen.

• Einstellungen für Artefakte

  • Präfix für alle Schemas: das Präfix, das zu im Projekt erstellten Datenschemas hinzugefügt wird. Das ist nützlich, wenn sich ein importiertes Projekt im gleichen Cloud Data Warehouse wie ein exportiertes Projekt befindet.

  • Suffix für internes Schema: das Suffix, das für Schemas zum Speichern interner Artefakte verwendet wird.

  • Standardgroßschreibung von Schemanamen: Standardgroßschreibung für alle Schemanamen. Wenn Ihre Datenbank so konfiguriert ist, dass die Großschreibung erzwungen wird, hat diese Option keine Wirkung.

• Suffixe für externe Ansichten

  Legen Sie Standardsuffixe für Ansichten fest, die in den im Projekt enthaltenen Datenaufgaben erstellt werden.

• Hash

  Sie können eine Hash-Salt-Zeichenfolge festlegen, die beim Hashing einer Spalte verwendet wird, zum Beispiel um vertrauliche Informationen zu maskieren. Dadurch wird ein SHA-256-Hash der Eingabespalte generiert, nachdem diese mit der Hash-Salt-Zeichenfolge zusammengefasst wurde.

  Sie können entweder die Projekt-ID als Salt-String verwenden oder einen benutzerdefinierten Salt-String festlegen.

Standardeinstellungen für neue Aufgaben

Sie können Standardwerte für Datenaufgaben festlegen, die im Projekt erstellt werden. Wenn Sie eine Datenaufgabe erstellen, können Sie den Wert ändern.

Sie können die Standarddatenbank festlegen, um Zielartefakte für alle Typen von Datenaufgaben zu erstellen.

Standardeinstellungen für Lake-Bereitstellungsaufgaben

Zu verwendender Ordner

Wählen Sie eine der folgenden Optionen aus, je nachdem, in welchen Bucket-Ordner die Dateien geschrieben werden sollen:

• Standardordner

  Das Standard-Ordnerformat lautet <ihr-projektname>/<ihr-aufgabenname>

• Stammordner

  Die Dateien werden in den Bucket-Stammordner geschrieben.

• Ordner

  Geben Sie einen Ordnernamen an. Wenn der Ordner noch nicht vorhanden ist, wird er während der Datenaufgabe erstellt.

  Informationshinweis Der Ordnername darf keine Sonderzeichen (@, #, ! usw.) enthalten.

Standardeinstellungen für Speicheraufgaben

• Verlaufsdatenspeicher (Typ 2)

  Sie können Verlaufsänderungsdaten beibehalten, um Daten leicht erneut so erstellen zu können, wie sie zu einem bestimmten Zeitpunkt aussahen. Sie können Verlaufsansichten und Live-Verlaufsansichten verwenden, um die Verlaufsdaten anzuzeigen.

Katalog

• In Katalog veröffentlichen

  Wählen Sie diese Option aus, um diese Version der Daten als Datensatz im Katalog zu veröffentlichen. Der Kataloginhalt wird aktualisiert, wenn Sie diese Aufgabe zum nächsten Mal vorbereiten.

In Bereitstellungsbereich zu verwendender Ordner

Wählen Sie eine der folgenden Optionen aus, je nachdem, in welchen Bucket-Ordner die Dateien geschrieben werden sollen:

• Standardordner

  Das Standard-Ordnerformat lautet <ihr-projektname>/<ihr-aufgabenname>

• Stammordner

  Die Dateien werden in den Bucket-Stammordner geschrieben.

• Ordner

  Geben Sie einen Ordnernamen an. Wenn der Ordner noch nicht vorhanden ist, wird er während der Datenaufgabe erstellt.

  Informationshinweis Der Ordnername darf keine Sonderzeichen (@, #, ! usw.) enthalten.

Standardeinstellungen für Streaming-Bereitstellungsaufgaben

Sie können Standardwerte für Streaming-Bereitstellungsaufgaben festlegen, die im Projekt erstellt werden.

Zu verwendender Ordner

Wählen Sie eine der folgenden Optionen aus, je nachdem, in welchen Bucket-Ordner die Dateien geschrieben werden sollen:

• Standardordner

  Das Standard-Ordnerformat lautet <ihr-projektname>/<ihr-aufgabenname>

• Stammordner

  Die Dateien werden in den Bucket-Stammordner geschrieben.

• Ordner

  Geben Sie einen Ordnernamen an. Wenn der Ordner noch nicht vorhanden ist, wird er während der Datenaufgabe erstellt.

  Informationshinweis Der Ordnername darf keine Sonderzeichen (@, #, ! usw.) enthalten.

Ordneraufbewahrung

Wählen Sie aus, wie lange die Daten aufbewahrt werden sollen:

• Daten und Metadaten werden nicht gelöscht

  Weder die Daten noch die Metadaten werden gelöscht.

• Daten und Metadaten nach dem Aufbewahrungszeitraum löschen

  Daten und Metadaten werden nach Ablauf des Aufbewahrungszeitraums gelöscht.

• Metadaten werden nach dem Aufbewahrungszeitraum gelöscht. Die Daten werden vom externen System gelöscht.

  Die Metadaten werden nach Ablauf dieser Frist bereinigt. Die zugrunde liegenden Daten, zum Beispiel das S3-Objekt, werden von Qlik nicht gelöscht, jedoch von einem externen System.

Standardeinstellungen für Streaming-Umwandlungsaufgaben

Sie können Standardwerte für Streaming-Umwandlungsaufgaben festlegen, die im Projekt erstellt werden.

Katalog

• In Katalog veröffentlichen

  Wählen Sie diese Option aus, um diese Version der Daten als Datensatz im Katalog zu veröffentlichen. Der Kataloginhalt wird aktualisiert, wenn Sie diese Aufgabe zum nächsten Mal vorbereiten.

Zu verwendender Ordner

Wählen Sie eine der folgenden Optionen aus, je nachdem, in welchen Bucket-Ordner die Dateien geschrieben werden sollen:

• Standardordner

  Das Standard-Ordnerformat lautet <ihr-projektname>/<ihr-aufgabenname>

• Stammordner

  Die Dateien werden in den Bucket-Stammordner geschrieben.

• Ordner

  Geben Sie einen Ordnernamen an. Wenn der Ordner noch nicht vorhanden ist, wird er während der Datenaufgabe erstellt.

  Informationshinweis Der Ordnername darf keine Sonderzeichen (@, #, ! usw.) enthalten.

Tabellendefinitionen

Konfigurieren Sie die Standardansichts-Kopfzeilenspalten, die standardmäßig in Standardansichten für alle Streaming-Umwandlungsaufgaben in diesem Projekt angezeigt werden.

• hdr__from_timestamp

  Wenn diese Option aktiviert ist, wird die Kopfzeilenspalte hdr__from_timestamp in Standardansichten angezeigt. Wenn zudem Nach Übernahmedatum des Ereignisses partitionieren im Onboarding-Assistenten ausgewählt ist, wird hdr__from_timestamp als Standard-Partitionsspalte verwendet. Sie können diese Einstellung auf Aufgaben- oder Datensatzebene überschreiben.

  InformationshinweisVerlaufsansichten enthalten immer alle Kopfzeilenspalten der Standardansicht, unabhängig von dieser Einstellung.

Laufzeit

Sie können Standard-Laufzeitleistungseinstellungen für Datenaufgaben festlegen, die im Projekt enthalten sind.

Standardeinstellungen für Lake-Bereitstellungsaufgaben

• Sie können die maximale Anzahl Datenbankverbindungen in Parallele Ausführung festlegen.

Standardeinstellungen für Speicheraufgaben

Lakehouse-Cluster

Optional können Sie einen dedizierten Lakehouse-Cluster für Speicheraufgaben auswählen.

Standardeinstellungen für Streaming-Bereitstellungsaufgaben

Anzahl der Leser

Wählen Sie die Anzahl der zu verwendenden Reader. Der Wert muss zwischen 1 und 1.000 liegen.

Lakehouse-Cluster

Optional können Sie einen dedizierten Lakehouse-Cluster für Speicheraufgaben auswählen.

Standardeinstellungen für Streaming-Umwandlungsaufgaben

Lakehouse-Cluster

Optional können Sie einen dedizierten Lakehouse-Cluster für Speicheraufgaben auswählen.

Spiegel-Standardeinstellungen

• Sie können das standardmäßige Data Warehouse festlegen, wenn die Projektplattform Snowflake ist.