Entwerfen des Datenintegrationsprojekts
Qlik Talend Data Integration bietet die Möglichkeit, Daten-Pipelines für eine Reihe von Datenintegrationsaufgaben zu erstellen, um Ihre Datenarchitektur und Analyseanforderungen zu unterstützen.
Sie erstellen den Datenintegrationsfluss in einem Projekt mithilfe von Datenaufgaben. Das Projekt wird mit einer Datenplattform verknüpft, die als Ziel für alle Ausgaben verwendet wird. Das Projekt wird in einem Datenbereich gespeichert. Sie müssen auch Verbindungen zu Ihren Quellen und Zielen erstellen.
Einen Bereich erstellen
Arbeiten in Bereichen in Data Integration
Erstellen Sie einen Datenbereich, der zum Erstellen und Speichern Ihres Projekts verwendet wird. Innerhalb des Bereichs können Sie auch neue Verbindungen anhand von Konnektoren erstellen und den Zugriff auf Data Movement Gateways verwalten.
Verbindungen zu Ihren Quellen und Zielen erstellen
Einrichten von Verbindungen zu Datenquellen
Erstellen Sie Verbindungen zu Ihren Datenquellen.
Einrichten von Verbindungen zu Zielen
Erstellen Sie Verbindungen zu Ihrer Zielplattform.
Qlik Data Gateway - Data Movement
Richten Sie Qlik Data Gateway - Data Movement ein, um das sichere Verschieben von Daten aus Ihren Unternehmensdatenquellen und SaaS-Anwendungen an unterstützte Ziele zu vereinfachen.
Projekt erstellen
Wenn Sie ein Projekt erstellen, müssen Sie Ihren Anwendungsfall auswählen.
Erstellen eines Daten-Pipeline-Projekts
Daten-Pipeline-Projekte unterstützen das Einlesen von Daten aus einer großen Anzahl von unterstützten Quellen in eine Datenplattform, auf der Sie dann Daten mit ELT-Umwandlungen (Pushdown) umwandeln können, um Data Lakehouse- und Data Warehouse-Architekturen zu unterstützen. Pipelines unterstützen protokollbasierte CDC und inkrementelle Datenquellen, bieten jedoch eine Reihe von Optionen für das Einlesen von Daten in die wichtigsten Data Warehouse-Plattformen.
Verwenden Sie ein Daten-Pipeline-Projekt, wenn Sie Folgendes vorhaben:
-
Unterstützen von Datenstrukturen vom Typ 1 und Typ 2 mit Ihren Einleseprozessen.
-
Umwandeln und Neuformen von Daten, um eine zweckmäßige Ausgabe oder Sternschemas für analytische Arbeitslasten zu erhalten.
-
Erstellen eines Lakehouse basierend auf Iceberg.
-
Erstellen Sie ein Qlik Open Lakehouse auf der Basis von Apache Iceberg und spiegeln Sie Tabellen in Snowflake.
-
Erstellen komplexer Pipelines, die projektübergreifend für organisatorische oder funktionale Grenzen verwaltet werden.
Erstellen eines Replikationsprojekts
Replikationsprojekte unterstützen die direkte Replikation von einer großen Anzahl unterstützter Quellen zu Data Lakes oder beliebigen unterstützten Zielplattformen. Daten werden direkt auf die Zielstrukturen angewendet, aber komplexe Umwandlungen oder Umformungen von Daten werden nicht unterstützt. Replikations-Pipelines unterstützen eine größere Anzahl von Zieltechnologien für Replikationsszenarien.
Verwenden Sie ein Replikationsprojekt, wenn Sie Folgendes vorhaben:
-
Replizieren von Daten an das Ziel, ohne komplexe Umwandlungen für diese Daten zu benötigen.
-
Replizieren von Daten an ein Ziel, das nicht von Daten-Pipelines unterstützt wird.
Verwalten der Versionen Ihres Pipeline-Projekts
Verwalten Ihrer Projekte mit Versionskontrolle
Verwenden Sie Versionskontrolle, um die Entwicklung eines Datenprojekts zu verwalten und die Änderungen zu verfolgen.