Zu Hauptinhalt springen Zu ergänzendem Inhalt springen

Erstellen einer Daten-Pipeline in einem Datenprojekt

Sie können eine Daten-Pipeline erstellen, um Ihre ganze Datenintegration innerhalb eines Datenprojekts mithilfe von Datenaufgaben durchzuführen. Beim Onboarding werden Daten aus lokalen bzw. Cloud-Datenquellen in das Projekt verschoben und in einsatzbereiten Datensätzen gespeichert. Sie können auch Umwandlungen vornehmen und Data Marts erstellen, um Ihre generierten und umgewandelten Datensätze zu nutzen. Die Daten-Pipeline kann einfach und linear sein, oder es kann sich um eine komplexe Pipeline handeln, die mehrere Datenquellen nutzt und zahlreiche Ausgaben erstellt.

Dies sind die Hauptaufgaben, die Sie in einem Datenprojekt durchführen können. Sie können sie beliebig kombinieren.

  1. Führen Sie das Onboarding für die Daten durch.

    Dies umfasst das Bereitstellen der Daten in einem Bereitstellungsbereich und das anschließende Speichern der Datensätze in einem Cloud Data Warehouse. Bereitstellungs- und Speicherdatenaufgaben werden in einem einzigen Schritt erstellt. Bei Bedarf können Sie die Bereitstellung und die Speicherung auch in getrennten Aufgaben durchführen.

    Eingliederung von Daten

  2. Wandeln Sie die Daten nach dem Onboarding um.

    Erstellen Sie wiederverwendbare Umwandlungen auf Zeilenebene basierend auf Regeln und benutzerdefinierter SQL. Damit wird eine Umwandlungsdatenaufgabe erstellt.

    Umwandeln von Daten

  3. Erstellen Sie einen Data Mart, um Ihre Datensätze zu nutzen. Damit wird eine Data Mart-Datenaufgabe erstellt.

    Erstellen und Verwalten von Data Marts

Das Datenobjekt wird mit einer Datenplattform verknüpft, die als Ziel für alle Ausgaben verwendet wird. Die folgenden Plattformen werden unterstützt:

  • Google BigQuery

  • Snowflake

  • Microsoft Azure Synapse Analytics

  • Databricks

  • Amazon Redshift

  • Qlik Cloud

    Wenn diese Plattform verwendet wird, müssen Daten an einen Amazon S3-Bucket bereitgestellt werden. Sie können QVD-Tabellen in einem von Qlik Cloud verwalteten Speicher oder in einem von Ihnen verwalteten Amazon S3-Speicher generieren.

Weitere Informationen zum Verbinden mit Datenplattformen finden Sie unter Herstellen einer Verbindung zu Cloud-Datenplattformen in Ihren Datenprojekten

Alle Datenaufgaben werden im gleichen Bereich wie das Datenprojekt erstellt, zu dem sie gehören.

Beispiel für das Erstellen eines Datenprojekts

Im folgenden Beispiel wird das Onboarding von Daten, das Umwandeln der Daten und das Erstellen eines Data Mart gezeigt. Damit wird eine einfache lineare Daten-Pipeline erstellt, die Sie durch Onboarding weiterer Datenquellen erweitern können. Sie können weitere Umwandlungen erstellen und die generierten Datenaufgaben zum Data Mart hinzufügen.

Beispiel einer linearen Daten-Pipeline in einem Datenprojekt

  1. Klicken Sie auf der Qlik Cloud-Datenintegration-Startseite auf Neu hinzufügen und dann auf Datenprojekt erstellen.

    1. Geben Sie einen Namen und eine Beschreibung für das Datenprojekt ein, und wählen Sie einen Bereich aus, in dem das neue Datenprojekt erstellt werden soll. Alle Datenaufgaben werden im Bereich des Datenprojekts erstellt, zu der sie gehören.

    2. Wählen Sie aus, welche Datenplattform im Projekt verwendet werden soll.

    3. Wählen Sie eine Datenverbindung zum Cloud Data Warehouse aus, die Sie im Projekt verwenden möchten. Sie wird verwendet, um Datendateien bereitzustellen und Datensätze und Ansichten zu speichern. Wenn Sie noch keine Datenverbindung vorbereitet haben, erstellen Sie eine mit Verbindung hinzufügen.

      Wenn Sie Google BigQuery, Databricks oder Microsoft Azure Synapse Analytics als Datenplattform ausgewählt haben, müssen Sie auch eine Verbindung mit einem Bereitstellungsbereich herstellen.

    4. Wenn Sie Qlik Cloud als Datenplattform ausgewählt haben:

      Sie können Daten entweder im verwalteten Speicher von Qlik oder in Ihrem eigenen verwalteten Amazon S3-Bucket speichern. Wenn Sie Ihren eigenen Amazon S3-Bucket verwenden möchten, müssen Sie eine Datenverbindung mit diesem Bucket auswählen.

      In beiden Fällen müssen Sie auch eine Datenverbindung mit einem Amazon S3-Bereitstellungsbereich auswählen. Wenn Sie den gleichen Bucket verwenden, den Sie im vorherigen Schritt definiert haben, vergewissern Sie sich, dass Sie einen anderen Ordner im Bucket für die Bereitstellung verwenden.

    5. Klicken Sie auf Create.

      Das Datenprojekt wird erstellt, und Sie können Ihre Daten-Pipeline erstellen, indem Sie Datenaufgaben hinzufügen.

  2. Klicken Sie auf Neu hinzufügen und dann auf Onboarding für Daten.

    Weitere Informationen finden Sie unter Eingliederung von Daten.

    Damit wird eine Bereitstellungsdatenaufgabe und eine Speicherdatenaufgabe erstellt. Um mit der Replikation von Daten zu beginnen, müssen Sie Folgendes tun:

  3. Nachdem die Speicherdatenaufgabe erstellt ist, gehen Sie zurück zum Datenprojekt. Jetzt können Sie für die erstellten Datensätze Umwandlungen durchführen.

    Klicken Sie in der Speicherdatenaufgabe auf ... und wählen Sie Daten umwandeln aus, um eine Umwandlungsdatenaufgabe basierend auf dieser Speicherdatenaufgabe zu erstellen. Anleitungen zu Umwandlungen finden Sie unter Umwandeln von Daten.

  4. Sie können einen Data Mart basierend auf einer Speicherdatenaufgabe oder einer Umwandlungsdatenaufgabe erstellen.

    Klicken Sie in der Datenaufgabe auf ... und wählen Sie Data Mart erstellen aus, um eine Data Mart-Datenaufgabe zu erstellen. Anleitungen zum Erstellen eines Data Mart finden Sie unter:

    Erstellen und Verwalten von Data Marts

Nachdem Sie das erste vollständige Laden der gespeicherten und umgewandelten Datensätze und Data Marts durchgeführt haben, können Sie sie beispielsweise in einer Analyse-App verwenden. Weitere Informationen zum Erstellen von Analyse-Apps finden Sie unter Erstellen einer Analyse-App anhand von mit Qlik Cloud-Datenintegration erstellen Datensätzen.

Sie können auch die Daten-Pipeline erweitern, indem Sie ein Onboarding weiterer Datenquellen durchführen, und diese in der Umwandlung oder im Data Mart kombinieren.

Planen von Datenaufgaben

Sie können Datenaufgaben planen, um die Daten-Pipeline zu organisieren. Sie können einen zeitbasierten oder einen ereignisbasierten Plan verwenden, um Daten durch die Daten-Pipeline zu leiten, sobald sie verfügbar sind. Weitere Informationen finden Sie unter:

Ändern der Ansicht eines Datenprojekts

Es gibt zwei verschiedene Ansichten für ein Datenprojekt. Sie können zwischen den Ansichten wechseln, indem Sie auf Pipeline-Ansicht klicken.

  • Die Pipeline-Ansicht zeigt den Datenfluss der Datenaufgaben.

    Sie können wählen, wie viele Informationen Sie für die Datenaufgaben anzeigen möchten, indem Sie auf Ebenen klicken. Aktivieren oder deaktivieren Sie die folgenden Informationen:

    • Status

    • Aktualität der Daten

    • Zeitplan

  • Die Kartenansicht zeigt Informationen über die Datenaufgabe.

    Sie können nach Objekttyp und Besitzer filtern.

Exportieren und Importieren von Datenprojekten

Sie können ein Datenprojekt in eine JSON-Datei exportieren, die alle erforderlichen Informationen zum Rekonstruieren des Datenprojekts enthält. Die exportierte JSON-Datei kann in den gleichen Mandanten oder in einen anderen Mandanten exportiert werden. Sie können dies beispielsweise zum Verschieben von Datenprojekten von einem Mandanten zum anderen oder zum Erstellen von Sicherungskopien von Datenprojekten verwenden.

Weitere Informationen finden Sie unter Exportieren und Importieren von Datenprojekten.

Datenprojekteinstellungen

Sie können gemeinsame Eigenschaften für das Projekt und alle eingeschlossenen Datenaufgaben festlegen.

  • Klicken Sie auf Einstellungen.

Weitere Informationen finden Sie unter Datenprojekteinstellungen.

Weitere Informationen

Hat diese Seite Ihnen geholfen?

Wenn Sie Probleme mit dieser Seite oder ihren Inhalten feststellen – einen Tippfehler, einen fehlenden Schritt oder einen technischen Fehler –, teilen Sie uns bitte mit, wie wir uns verbessern können!