Bereitstellen von Daten aus Datenquellen

Der erste Schritt bei der Datenübertragung beim Onboarding besteht im Bereitstellen der Daten. Das bedeutet, dass die Daten fortlaufend von der lokalen Datenquelle an einen Bereitstellungsbereich übertragen werden.

Sie können Daten über Quellenverbindungen aus einer großen Anzahl von Datenquellen bereitstellen.

Der Bereitstellungsbereich wird definiert, wenn Sie das Projekt erstellen.

• Qlik Cloud (über Amazon S3)

  Wenn Sie Daten an Qlik Cloud (über Amazon S3) bereitstellen, können Sie sie verwenden, um analysefähige QVD-Tabellen in Qlik Cloud zu generieren.

• Cloud Data Warehouse

  Wenn Sie Daten in einem Cloud Data Warehouse wie beispielsweise Snowflake oder Azure Synapse Analytics bereitstellen, können Sie Tabellen im selben Cloud Data Warehouse speichern.

Erstellen und Konfigurieren einer Bereitstellungsdatenaufgabe

Hier wird beschrieben, wie Sie eine Bereitstellungsdatenaufgabe erstellen. Die schnellste Art und Weise, eine Daten-Pipeline zu erstellen, ist die Eingliederung von Daten, wodurch eine Bereitstellungsdatenaufgabe und eine Speicherdatenaufgabe erstellt wird, die zur Vorbereitung und Ausführung bereit sind. Weitere Informationen finden Sie unter Eingliederung von Daten.

1. Klicken Sie in Ihrem Projekt auf Neu hinzufügen und wählen Sie Daten bereitstellen aus.

2. Geben Sie im Dialogfeld Daten bereitstellen einen Namen und eine Beschreibung der Datenaufgabe ein.

   Wählen Sie Öffnen aus, um die Bereitstellungsdatenaufgabe zu öffnen, wenn sie erstellt wird.

   Klicken Sie auf Erstellen.

3. Klicken Sie auf Quelldaten auswählen.

4. Wählen Sie eine Verbindung zu den Quelldaten aus und klicken Sie auf Weiter.

   Sie können die Filter im linken Fenster verwenden, um die Liste der Verbindungen nach Quelltyp, Bereich und Besitzer zu filtern.

   Wenn Sie noch keine Verbindung zu den Quelldaten haben, müssen Sie zuerst eine erstellen, indem Sie auf Verbindung hinzufügen klicken.

   Weitere Informationen zur Einrichtung einer Verbindung zu den unterstützten Quellen finden Sie unter Einrichten von Verbindungen zu Datenquellen.

   InformationshinweisWenn Sie im nächsten Schritt Tabellen ausgewählt haben, ist es nicht möglich, die Quellverbindung von einer lokalen Datenquelle in eine Cloud-Datenquelle zu ändern oder umgekehrt. Sie können nur die Verbindung zu einer anderen Datenquelle desselben Typs ändern.

5. Wählen Sie in die Datenaufgabe einzuschließende Datensätze aus. Das Auswahldialogfeld ist anders, je nachdem, mit welchem Quelltyp Sie eine Verbindung hergestellt haben.

   Wenn Sie mit der Auswahl von Tabellen fertig sind, klicken Sie auf Speichern.

   Es wird Datensätze angezeigt.

6. Sie können Einstellung für die Bereitstellung ändern. Dies ist nicht erforderlich.

   • Klicken Sie auf Einstellungen.

   Weitere Informationen zu Einstellungen finden Sie unter Bereitstellungseinstellungen.

7. Sie können die Vorschau der Struktur und Metadaten der ausgewählten Datenobjekttabellen anzeigen. Diese enthält alle explizit aufgelisteten Tabellen und Tabellen, die mit den Auswahlregeln übereinstimmen.

   Wenn Sie weitere Tabellen aus der Datenquelle hinzufügen möchten, klicken Sie auf Quelldaten auswählen.

8. Sie können grundlegende Umwandlungen auf die Datensätze anwenden, also beispielsweise Daten filtern oder Spalten hinzufügen. Dies ist nicht erforderlich.

   Weitere Informationen finden Sie unter Verwalten von Datensätzen.

9. Wenn Sie die gewünschten Transformationen hinzugefügt haben, können Sie die Datasets validieren, indem Sie auf Datensätze validieren klicken. Falls bei der Validierung Fehler gefunden werden, beheben Sie diese, bevor Sie fortfahren.

   Weitere Informationen finden Sie unter Validieren und Anpassen der Datensätze.

10. Wenn Sie bereit sind, klicken Sie auf Vorbereiten, um die Datenaufgabe zu katalogisieren und sie für die Ausführung vorzubereiten.

    Sie können den Fortschritt unter Vorbereitungsfortschritt unten im Bildschirm verfolgen.

11. Wenn die Datenaufgabe vorbereitet ist und Sie bereit sind, mit der Replizierung von Daten zu beginnen, klicken Sie auf Ausführen.

Die Replizierung sollte jetzt beginnen und der Fortschritt in Überwachung zu sehen sein. Weitere Informationen finden Sie unter Überwachen einer einzelnen Datenaufgabe.

Auswählen von Daten aus einer Datenbank

Sie können bestimmte Tabellen oder Ansichten auswählen oder Auswahlregeln zum Ein- oder Ausschließen von Tabellengruppen verwenden.

Verwenden Sie % als Platzhalter, um ein Auswahlkriterium für Schemas und Tabellen zu definieren.

• %.% definiert alle Tabellen in allen Schemas.

• Öffentlich.% definiert alle Tabellen im Schema Öffentlich.

Auswahlkriterien bietet Ihnen eine Vorschau anhand Ihrer Auswahl.

Sie haben jetzt folgende Möglichkeiten:

• Erstellen Sie eine Regel zum Ein- oder Ausschließen einer Gruppe von Tabellen anhand der Auswahlkriterien.

  Klicken Sie auf Regel aus Auswahlkriterien hinzufügen, um eine Regel zu erstellen, und wählen Sie dann entweder Einschließen oder Ausschließen.

  Sie können die Regel unter Auswahlregeln sehen.

• Wählen Sie einen oder mehrere Datensätze aus und klicken Sie auf Ausgewählte Datasets hinzufügen.

  Sie können die hinzugefügten Datensätze unter Explizit ausgewählte Datasets sehen.

Auswahlregeln gelten nur für den aktuellen Satz Tabellen und Ansichten, nicht für Tabellen und Ansichten, die in Zukunft hinzugefügt werden.

Ausführen einer Bereitstellungsaufgabe mit Change Data Capture (CDC)

Sie können die Bereitstellungsaufgabe ausführen, nachdem sie vorbereitet ist. Damit wird die Replikation gestartet, die Daten von der lokalen Datenquelle an den Bereitstellungsbereich überträgt.

• Klicken Sie auf Ausführen, um mit dem Bereitstellen der Daten zu beginnen.

Die Replikation sollte jetzt starten, und die Datenaufgabe hat dann den Status Wird ausgeführt. Zuerst wird die vollständige Datenquelle kopiert, dann werden Änderungen verfolgt. Das bedeutet, dass Änderungen fortlaufend nachverfolgt und bei Erkennung übertragen werden. Dadurch werden die Bereitstellungsdaten im Bereitstellungsbereich aktuell gehalten.

Auf der Startseite von Qlik Talend Data Integration können Sie den Status, das Datum und die Uhrzeit der Aktualisierung der Bereitstellungsdaten sowie die Anzahl der Tabellen mit Fehler anzeigen. Sie können auch die Datenaufgabe öffnen und die Registerkarte Tabellen wählen, um grundlegende Metadateninformationen für die Tabellen anzuzeigen.

Sie können den Fortschritt genau überwachen, indem Sie die Registerkarte Überwachen öffnen. Weitere Informationen finden Sie unter Überwachen einer einzelnen Datenaufgabe.

Wenn alle Tabellen geladen sind und der erste Satz Änderungen verarbeitet wurde, gibt Daten werden aktualisiert auf auf der Karte der Datenaufgabe an, dass Quelländerungen bis zu diesem Zeitpunkt in der Datenaufgabe verfügbar sind.

Laden von Tabellen

Sie können Daten aus der Quelle laden.

Laden von einzelnen Tabellen

Sie können spezifische Tabellen manuell laden, ohne Change Data Capture zu beeinträchtigen. Das ist nützlich, wenn CDC-Probleme mit einer oder mehreren Tabellen vorliegen.

1. Öffnen Sie die Bereitstellungsdatenaufgabe und wählen Sie die Registerkarte Überwachen aus.

2. Wählen Sie die Tabellen aus, die Sie laden möchten.

3. Klicken Sie auf Tabellen laden.

Wenn Sie diese Probleme nicht durch erneutes Laden der Tabellen beheben können, oder wenn die Probleme die ganze Aufgabe betreffen, können Sie stattdessen alle Tabellen neu ins Ziel laden. Dadurch wird Change Data Capture neu gestartet.

Erneutes Laden aller Tabellen ins Ziel

Sie können alle Tabellen erneut ins Ziel laden, wenn Sie CDC-Probleme haben, die sich nicht durch das erneute Laden bestimmter Tabellen beheben lassen. Beispiele dieser Probleme sind fehlende Ereignisse, durch eine Neuorganisation der Quelldatenbank entstandene Probleme oder Ausfälle beim Lesen von Quelldatenbankereignissen.

1. Halten Sie die Datenaufgabe und alle diese nutzenden Aufgaben an.

2. Öffnen Sie die Datenaufgabe und wählen Sie die Registerkarte Überwachen aus.

3. Klicken Sie auf ... und dann auf Ziel neu laden.

Dadurch werden alle Tabellen mittels Löschen und Erstellen neu ins Ziel geladen, und alle Change Data Capture-Vorgänge starten ab diesem Zeitpunkt neu.

• Speicheraufgaben, die diese Bereitstellungsdatenaufgabe nutzen, werden bei ihrer nächsten Ausführung mit Vergleichen und Anwenden neu geladen, um synchronisiert zu werden. Der vorhandene Verlauf wird beibehalten. Der Verlauf für Typ 2 wird aktualisiert und spiegelt die Änderungen wider, nachdem der Lade- und Vergleichsprozess ausgeführt wurde.

  Der Zeitstempel für das Von-Datum im Verlauf für Typ 2 spiegelt das Ladedatum wider, das nicht unbedingt dem Datum der Änderung in der Quelle entspricht.

• Speicher-Live-Ansichten sind während des Vorgangs „Ziel neu laden“ nicht zuverlässig, bis der Speicher wieder synchronisiert ist. Der Speicher wird in folgenden Fällen vollständig synchronisiert:

  • Alle Tabellen werden mit „Vergleichen und anwenden“ neu geladen.

  • Ein Änderungszyklus wird für jede Tabelle durchgeführt.

Ausführen einer Bereitstellungsdatenaufgabe mit Neu laden und vergleichen

Sie können Daten mit der Bereitstellungsaufgabe kopieren, nachdem sie vorbereitet ist.

• Klicken Sie auf Ausführen, um den vollständigen Ladevorgang zu starten.

Das Kopieren der Daten wird gestartet, und die Datenaufgaben hat den Status Wird ausgeführt. Wenn die ganze Datenquelle kopiert ist, lautet der Status Abgeschlossen.

Auf der Startseite von Qlik Talend Data Integration können Sie den Status, das Datum und die Uhrzeit der Aktualisierung der Bereitstellungsdaten sowie die Anzahl der Tabellen mit Fehler anzeigen. Sie können auch die Datenaufgabe öffnen und die Registerkarte Tabellen wählen, um grundlegende Metadateninformationen für die Tabellen anzuzeigen.

Sie können den Fortschritt genau überwachen, indem Sie die Registerkarte Überwachen öffnen. Weitere Informationen finden Sie unter Überwachen einer einzelnen Datenaufgabe.

Wenn alle Tabellen geladen sind, gibt Daten werden aktualisiert auf auf der Karte der Datenaufgabe an, dass Quelländerungen bis zu diesem Zeitpunkt im Datenobjekt verfügbar sind. Manche Tabellen der Datenaufgabe können aber bis zu einem späteren Zeitpunkt aktualisiert werden, abhängig davon, wann der Ladevorgang begann. Das bedeutet, dass keine Datenkonsistenz garantiert ist. Wenn beispielsweise der Ladevorgang um 8 Uhr begann und 4 Stunden dauerte, zeigt Daten werden aktualisiert auf 8 Uhr an, wenn der Ladevorgang abgeschlossen ist. Eine Tabelle, deren Neuladevorgang um 11.30 Uhr startete, enthält jedoch Quelländerungen, die zwischen 8 Uhr und 11.30 Uhr eingetreten sind.

Daten werden aktualisiert auf enthält nur Informationen zu Tabellen, die erfolgreich geladen wurden. Es sind keine Angaben für Tabellen enthalten, deren Ladevorgang fehlgeschlagen ist. In Cloud-Zielen ist das Feld leer, wenn bei einem Ladevorgang für alle Tabellen Fehler aufgetreten sind.

Laden von Daten unter Verwendung von Neu laden und vergleichen

Wenn Sie Laden und vergleichen als Aktualisierungsmethode verwenden, müssen Sie die Daten erneut laden, um sie mit der Datenquelle aktualisiert zu halten.

• Klicken Sie auf Laden, um einen manuellen Datenladevorgang aller Tabellen auszuführen.

• Richten Sie einen geplanten Ladevorgang ein.

Laden von einzelnen Tabellen

Sie können bestimmte Tabellen manuell neu laden. Das ist nützlich, wenn Probleme mit einer oder mehreren Tabellen vorliegen.

1. Öffnen Sie die Bereitstellungsdatenaufgabe und wählen Sie die Registerkarte Überwachen aus.

2. Wählen Sie die Tabellen aus, die Sie laden möchten.

3. Klicken Sie auf Tabellen laden.

Planen einer Bereitstellungsdatenaufgabe mit Neu laden und vergleichen

Sie können regelmäßige Ladevorgänge für die Bereitstellungsdatenaufgabe planen, wenn Sie die Rolle Kann bedienen im Bereich der Datenaufgabe haben. Der Status der Datenaufgabe muss mindestens Vorbereitet sein, damit der Zeitplan aktiv ist.

• Klicken Sie in einer Datenaufgabe auf ... und wählen Sie Planung aus.

  Sie können einen zeitbasierten Plan festlegen.

  Weitere Informationen zu Mindestplanintervallen entsprechend dem Datenquellentyp und der Abonnementstufe finden Sie unter Zulässige Mindestintervalle für die Planung.

Festlegen der Ladepriorität für Datensätze

Sie können die Ladereihenfolge der Datensätze in Ihrer Datenaufgabe steuern, indem Sie jedem Datensatz eine Ladepriorität zuweisen. Das kann zum Beispiel nützlich sein, wenn kleinere Datensätze vor größeren Datensätzen geladen werden sollen.

1. Klicken Sie auf Ladepriorität.

2. Wählen Sie für jeden Datensatz eine Ladepriorität aus.

   Die Standard-Ladepriorität ist Normal. Datensätze werden in der folgenden Prioritätsreihenfolge geladen:

   • Höchste

   • Höher

   • Hoch

   • Normal

   • Niedrig

   • Niedriger

   • Niedrigste

   Datensätze mit der gleichen Priorität werden in keiner bestimmten Reihenfolge geladen.

3. Klicken Sie auf OK.

Vorgänge für die Bereitstellungsdatenaufgabe

Sie können die folgenden Vorgänge für eine Bereitstellungsdatenaufgabe über das Aufgabenmenü durchführen.

• Öffnen

  Damit wird die Bereitstellungsdatenaufgabe geöffnet. Sie können die Tabellenstruktur und die Details zur Datenaufgabe anzeigen.

• Bearbeiten

  Sie können den Namen und die Beschreibung der Aufgabe bearbeiten.

• Löschen

  Sie können die Datenaufgabe löschen.

  Die folgenden Objekte werden nicht gelöscht und müssen manuell gelöscht werden:

  • Die Daten im Bereitstellungsbereich.

• Ausführen

  Sie können die Datenaufgabe ausführen, um mit dem Kopieren der Daten zu beginnen.

  Ausführen einer Bereitstellungsaufgabe mit Change Data Capture (CDC)

  Ausführen einer Bereitstellungsdatenaufgabe mit Neu laden und vergleichen

• Anhalten

  Sie können den Vorgang für die laufende Datenaufgabe anhalten. Der Bereitstellungsbereich wird nicht mit den geänderten Daten aktualisiert.

  Wenn Sie eine Datenaufgabe mit „Vollständiges Laden“ und einem Ladeplan anhalten, wird nur der aktuelle Ladevorgang angehalten. Wenn der Datenaufgabenstatus Angehalten lautet und ein aktiver Ladeplan vorhanden ist, wird das Objekt zur nächsten geplanten Zeit erneut geladen. Sie müssen den Ladeplan unter Erneutes Laden planen deaktivieren.

• Laden

  Sie können eine Datenaufgabe im Aktualisierungsmodus Neu laden und vergleichen manuell laden.

• Vorbereiten

  Dadurch wird eine Aufgabe für die Ausführung vorbereitet. Der Vorgang umfasst Folgendes:

  • Validierung, dass das Design gültig ist.

  • Erstellen oder Ändern der physischen Tabellen und Ansichten entsprechend dem Design.

  • Generieren des SQL-Codes für die Datenaufgabe.

  • Erstellen oder Ändern der Katalogeinträge für die Ausgabendatensätze der Aufgabe.

  Sie können den Fortschritt unter Vorbereitungsfortschritt unten im Bildschirm verfolgen.

• Tabellen neu erstellen

  Dadurch werden die Datasets von der Quelle neu erstellt.

• Planung

  Sie können einen geplanten Ladevorgang für Bereitstellungsdatenaufgaben im Modus Vollständiges Laden einrichten. Sie können einen zeitbasierten Plan festlegen, der angepasst werden kann.

  Sie können geplante Ladevorgänge auch aktivieren oder deaktivieren.

  Sie benötigen die Rolle Kann bedienen in dem Bereich für die Datenaufgabe, um Ladevorgänge zu planen.

• Daten speichern

  Sie können eine Speicherdatenaufgabe erstellen, die Daten dieser Bereitstellungsdatenaufgabe nutzt.

Aktualisieren von Metadaten

Sie können die Metadaten in der Aufgabe in der Ansicht Design einer Aufgabe aktualisieren, um sie an Änderungen in den Metadaten in der Quelle auszurichten. Für SaaS-Anwendungen, die Metadata Manager verwenden, muss Metadata Manager aktualisiert werden, bevor Sie Metadaten in der Datenaufgabe aktualisieren können.

1. Sie haben folgende Möglichkeiten:

   • Klicken Sie auf ... und dann auf Metadaten aktualisieren, um Metadaten für alle Datensätze in der Aufgabe zu aktualisieren.

   • Klicken Sie auf ... in einem Datensatz in Datensätze und dann auf Metadaten aktualisieren, um Metadaten für einen einzelnen Datensatz zu aktualisieren.

   Sie können den Status der Metadatenaktualisierung unter Metadaten aktualisieren unten im Bildschirm anzeigen. Wenn Sie den Cursor über bewegen, können Sie sehen, wann die Metadaten zuletzt aktualisiert wurden.

2. Bereiten Sie die Datenaufgabe vor, um die Änderungen anzuwenden.

   Wenn Sie die Datenaufgabe vorbereitet haben und die Änderungen angewendet wurden, werden die Änderungen aus Metadaten aktualisieren entfernt.

Sie müssen Speicheraufgaben vorbereiten, die diese Aufgabe nutzen, um die Änderungen weiterzugeben.

Wenn eine Spalte entfernt wird, wird eine Umwandlung mit Null-Werten hinzugefügt, um sicherzustellen, dass im Speicher keine historischen Daten verloren gehen.

Beschränkungen

• Wenn vor dem Umbenennen im gleichen Zeitfenster eine Spalte gelöscht wurde, führt dies zur Umbenennung der gelöschten Spalte, falls sie den gleichen Datentyp und die gleiche Datenlänge hat.

  Beispiel:  

  Vorher: a b c d

  Nachher: a c1 d

  In diesem Beispiel wurde b gelöscht und c in c1 umbenannt, und b und c haben den gleichen Datentyp und die gleiche Datenlänge.

  Dies wird als Umbenennung von b in c1 und Löschen von c interpretiert.

• Die Umbenennung der letzten Spalte wird nicht erkannt, auch wenn die letzte Spalte gelöscht und die vorherige umbenannt wurde.

  Beispiel:  

  Vorher: a b c d

  Nachher: a b c1

  In diesem Beispiel wurde d gelöscht und c in c1 umbenannt.

  Dies wird als Löschen von c und d und Hinzufügen von c1 interpretiert.

• Es wird davon ausgegangen, dass neue Spalten am Ende hinzugefügt werden. Wenn Spalten in der Mitte mit dem gleichen Datentyp wie die nächste Spalte hinzugefügt werden, kann dies als Löschen und Umbenennen interpretiert werden.

Entfernen von Spalten

Wenn Sie eine Spalte löschen, die von einer Speicherdatenaufgabe mit aktiviertem Verlauf genutzt wird, müssen Sie die folgenden Schritte ausführen, um den Verlauf beizubehalten und mögliche Datenverluste zu verhindern.

1. Halten Sie die Bereitstellungsdatenaufgabe an.

2. Führen Sie die Speicherdatenaufgabe aus, um zu gewährleisten, dass alle Bereitstellungsdaten gelesen werden.

3. Löschen Sie die Spalte in der Bereitstellung.

4. Führen Sie die Bereitstellungsdatenaufgabe aus.

5. Fügen Sie im Speicher die Spalte mit einer Standardformel (Null oder Standardwert) hinzu oder löschen Sie die Spalte.

Instandhaltung des Bereitstellungsbereichs

Die automatische Bereinigung des Bereitstellungsbereichs wird nicht unterstützt. Dies kann sich auf die Leistung auswirken.
Es wird empfohlen, manuelle Bereinigungen der Daten alter vollständiger Ladevorgänge im Bereitstellungsbereich durchzuführen.

• Qlik Cloud (über Amazon S3)

  Wenn mehrere Ordner mit Daten aus vollständigen Ladevorgängen vorhanden sind, können Sie alle außer dem neuesten Ordner löschen. Sie können auch Änderungsdatenpartitionen löschen, die verarbeitet wurden.

• Cloud Data Warehouse

  Sie können den vollständigen Ladevorgang und Änderungstabellendatensätze löschen, die verarbeitet wurden.

Empfehlungen

• Wenn ein Primärschlüssel in einer Quelltabelle aktualisiert werden kann, aktivieren Sie LÖSCHEN und EINFÜGEN, wenn eine Primärschlüsselspalten-Option in Feinabstimmung der Änderungsverarbeitung aktualisiert wird.

Beschränkungen

• Die Replikation von längeren varchar-Daten als 8000 Byte oder längeren Nvarchar-Daten als 4000 Byte wird nicht unterstützt.

• Das Ändern der Nullfähigkeit, entweder direkt oder über eine Umwandlungsregel, wird für Spalten, die verschoben werden, nicht unterstützt. Neue Spalten, die in der Aufgabe erstellt werden, sind jedoch standardmäßig nullfähig.

Umwandlungen unterliegen folgenden Einschränkungen:

• Umwandlungen werden für Spalten mit Sprachen, die von rechts nach links geschrieben werden, nicht unterstützt.

• Umwandlungen können nicht für Spalten durchgeführt werden, die Sonderzeichen (z. B. #, \, /, -) in ihrem Namen enthalten.

• Die einzige unterstützte Umwandlung für LOB/CLOB-Datentypen ist das Ablegen der Spalte auf das Ziel.
• Die Verwendung einer Umwandlung zur Umbenennung einer Spalten und anschließenden Hinzufügung einer neuen Spalten mit demselben Namen wird nicht unterstützt.