Speichern von Datensätzen
Sie können Datensätze mit einer Speicherdatenaufgabe speichern. Die Speicherdatenaufgabe nutzt die Daten, die für den Cloud-Bereitstellungsbereich von einer Bereitstellungsdatenaufgabe bereitgestellt wurden. Sie können die Tabellen beispielsweise in einer Analyse-App verwenden.
-
Sie können eine Speicherdatenaufgabe entwerfen, wenn der Status der Bereitstellungsdatenaufgabe mindestens Zur Vorbereitung bereit ist.
-
Sie können eine Speicherdatenaufgabe vorbereiten, wenn der Status der Bereitstellungsdatenaufgabe mindestens Zur Ausführung bereit ist.
Die Speicherdatenaufgabe verwendet den gleichen Vorgangsmodus (Vollständiges Laden oder Vollständiges Laden und CDC) wie die genutzte Bereitstellungsdatenaufgabe. Die Konfigurationseigenschaften, die Überwachungs- und die Steueroptionen sind für die beiden Vorgangsmodi unterschiedlich. Wenn Sie eine Cloud-Ziel-Bereitstellungsdatenaufgabe mit nur vollständigem Laden verwenden, erstellt die Speicherdatenaufgabe Ansichten für die Bereitstellungstabellen anstelle von physischen Tabellen.
Erstellen einer Speicherdatenaufgabe
Sie können eine Speicherdatenaufgabe auf drei Weisen erstellen:
-
Klicken Sie für eine Speicherdatenaufgabe auf ... und wählen Sie Daten speichern aus, um eine Speicherdatenaufgabe basierend auf dieser Bereitstellungsdatenaufgabe zu erstellen.
-
Klicken Sie auf Neu hinzufügen und dann Daten speichern. In diesem Fall müssen Sie angeben, welche Bereitstellungsdatenaufgabe verwendet werden soll.
-
Wenn Sie Daten eingliedern, wird eine Speicherdatenaufgabe erstellt. Sie wird mit der Bereitstellungsdatenaufgabe verbunden, die ebenfalls erstellt wird, wenn Daten eingegliedert werden.
Weitere Informationen finden Sie unter Eingliederung von Daten.
Wenn Sie die Speicherdatenaufgabe erstellt haben:
-
Öffnen Sie die Speicherdatenaufgabe, indem Sie auf ... klicken und Öffnen auswählen.
Die Speicherdatenaufgabe wird geöffnet, und Sie können eine Vorschau der Ausgabedatensätze anzeigen, die auf den Tabellen aus dem Bereitstellungsdatenobjekt basieren. -
Nehmen Sie alle notwendigen Änderungen an den inbegriffenen Datasets wie beispielsweise Transformationen, Filtern von Daten oder Hinzufügen von Spalten vor.
Weitere Informationen finden Sie unter Verwalten von Datensätzen.
-
Wenn Sie die gewünschten Transformationen hinzugefügt haben, können Sie die Datasets validieren, indem Sie auf Datensätze validieren klicken. Falls bei der Validierung Fehler gefunden werden, beheben Sie diese, bevor Sie fortfahren.
Weitere Informationen finden Sie unter Validieren und Anpassen der Datensätze.
-
Datenmodell erstellen
Klicken Sie auf Modell, um die Beziehungen zwischen den enthaltenen Datasets festzulegen.
Weitere Informationen finden Sie unter Erstellung eines Datenmodells.
-
Klicken Sie auf Vorbereiten, um die Datenaufgabe und alle erforderlichen Artefakte vorzubereiten. Dies kann eine Weile dauern.
Sie können den Fortschritt unter Vorbereitungsfortschritt unten im Bildschirm verfolgen.
-
Wenn der Status Zur Ausführung bereit anzeigt, können Sie die Datenaufgabe ausführen.
Klicken Sie auf Ausführen.
Die Datenaufgabe beginnt nun mit der Erstellung von Datensätzen, um die Daten zu speichern.
Beibehalten von Verlaufsdaten
Sie können Verlaufsänderungsdaten des Typs 2 beibehalten, um Daten leicht neu so erstellen zu können, wie sie zu einem bestimmten Zeitpunkt aussahen. Damit wird auch ein vollständiger Verlaufsdatenspeicher (HDS) generiert.
-
Sich langsam ändernde Dimensionen des Typs 2 werden unterstützt.
-
Wenn ein geänderter Datensatz zusammengeführt wird, erstellt er einen neuen Datensatz zum Speichern der geänderten Daten und lässt den alten Datensatz unverändert.
-
Neue HDS-Datensätze werden automatisch mit Zeitstempel versehen, damit Sie eine Trendanalyse und andere zeitbezogene analytische Data Marts erstellen können.
Sie können Verlaufsdaten aktivieren, indem Sie Folgendes anklicken:
-
Replikation sowohl mit aktuellen Daten als auch mit vorherigen Verlaufsdaten in Einstellungen, wenn Sie Daten eingliedern.
-
Verlaufsdatensätze beibehalten und Datensatzarchiv ändern im Dialogfeld Einstellungen einer Speicheraufgabe.
HDS-Daten werden in der Tabelle „Prior“ im internen Datenschema gespeichert. Sie können die Verlaufsansichten und Live-Verlaufsansichten im externen Datenschema verwenden, um die Verlaufsdaten anzuzeigen.
-
In der Verlaufsansicht werden Daten aus der Tabelle „Current“ und der Tabelle „Prior“ zusammengeführt. Diese Ansicht enthält alle zusammengeführten Änderungen.
-
In der Live-Verlaufsansicht werden Daten aus der Tabelle „Current“, der Tabelle „Prior“ und der Tabelle „Changes“ zusammengeführt. Diese Ansicht enthält also auch alle noch nicht zusammengeführten Änderungen.
Weitere Informationen finden Sie unter Dataset-Architektur in einem Cloud Data Warehouse.
Planen einer Speicheraufgabe
Sie können eine Speicheraufgabe planen, damit sie regelmäßig aktualisiert wird.
-
Wenn die Eingabe-Bereitstellungsdatenaufgabe Vollständiges Laden und CDC verwendet, können Sie nur einen zeitbasierten Plan festlegen.
-
Wenn die Eingabe-Bereitstellungsdatenaufgabe Vollständiges Laden verwendet, können Sie entweder einen zeitbasierten Plan festlegen oder definieren, dass die Aufgabe nach Abschluss der Eingabe-Bereitstellungsdatenaufgabe ausgeführt wird.
InformationshinweisWenn Sie einen zeitbasierten Plan mit einer Eingabe-Bereitstellungsdatenaufgabe mit Vollständiges Laden ausführen, beachten Sie, dass jede abgeschlossene Tabelle in der Bereitstellung verfügbar ist, während die Bereitstellungsaufgabe noch läuft. Damit können der Bereitstellungs- und der Speichervorgang gleichzeitig ausgeführt werden, was die Gesamtladezeit verkürzen kann.
Klicken Sie in einer Datenaufgabe auf ... und wählen Sie Planung aus, um einen Plan zu erstellen. Die Standardplanungseinstellung wird aus den Einstellungen im Datenprojekt übernommen. Weitere Informationen zu Standardeinstellungen finden Sie unter Speicherstandardwerte. Sie müssen Planung immer auf Ein festlegen, um den Plan zu aktivieren.
Zeitbasierte Pläne
Sie können einen zeitbasierten Plan verwenden, um die Speicherdatenaufgabe unabhängig vom Bereitstellungstyp auszuführen.
-
Wählen Sie in Datenaufgabe ausführen die Option Zu einer bestimmten Uhrzeit aus.
Sie können einen stündlichen, täglichen, wöchentlichen oder monatlichen Plan erstellen.
Ereignisbasierte Pläne
-
Wählen Sie in Datenaufgabe ausführen die Option Bei erfolgreichem Abschluss einer Eingabedatenaufgabe aus.
Die Speicheraufgabe wird jedes Mal ausgeführt, wenn die Eingabe-Bereitstellungsdatenaufgabe erfolgreich abgeschlossen wurde.
Überwachen einer Speicheraufgabe
Sie können den Status und Fortschritt einer Speicheraufgabe überwachen, indem Sie auf Überwachen klicken.
Weitere Informationen finden Sie unter Überwachen einer einzelnen Datenaufgabe.
Fehlerbehebung für eine Speicherdatenaufgabe
Wenn Probleme mit einer oder mehreren Tabellen in einer Speicherdatenaufgabe vorliegen, müssen Sie möglicherweise die Daten neu laden oder neu erstellen. Dafür sind mehrere Optionen verfügbar. Erwägen Sie die verfügbaren Optionen in der folgenden Reihenfolge:
-
Sie können den Datensatz in der Bereitstellung neu laden. Das Laden des Datensatzes in der Bereitstellung löst den Vergleichsprozess im Speicher aus und korrigiert Daten, während der Typ-2-Verlauf beibehalten wird. Diese Option sollte auch in folgenden Fällen erwogen werden:
-
Wenn das vollständige Laden vor längerer Zeit erfolgte und sehr viele Änderungen vorhanden sind.
-
Wenn Datensätze für vollständiges Laden und Änderungstabellen, die verarbeitet wurden, im Rahmen der Wartung des Bereitstellungsbereichs gelöscht wurden.
-
-
Sie können Daten in der Speicherdatenaufgabe neu laden.
Wenn Verlaufsdaten aktiviert sind, kann ein Ladevorgang im Speicher zum Verlust von Verlaufsdaten führen. Wenn das ein Problem ist, können Sie stattdessen die Bereitstellung aus der Quelle neu laden.
-
Sie können Tabellen neu erstellen. Dadurch werden die Datasets von der Quelle neu erstellt.
-
Klicken Sie auf ... und dann auf Tabellen neu erstellen. Bei der Neuerstellung einer Tabelle reagiert die nachgelagerte Aufgabe so, als ob ein Ladevorgang mit Abschneiden und Neuladen für die Quelldatensätze aufgetreten wäre.
-
Laden von Daten
Sie können einen manuellen Tabellenladevorgang ausführen. Das ist nützlich, wenn Probleme mit einer oder mehreren Tabellen vorliegen.
-
Öffnen Sie die Datenaufgabe und wählen Sie die Registerkarte Überwachen aus.
-
Wählen Sie die Tabellen aus, die Sie laden möchten.
-
Klicken Sie auf Tabellen laden.
Der Ladevorgang findet bei der nächsten Aufgabenausführung statt und wird wie folgt durchgeführt:
-
Die Tabellen werden abgeschnitten.
-
Die Bereitstellungsdaten werden in die Tabellen geladen.
-
Die ab dem Ladezeitpunkt angesammelten Änderungen werden geladen.
Im Allgemeinen sollte als Best Practice stattdessen der Datensatz bei der Bereitstellung neu geladen werden. Dies gilt insbesondere für die folgenden Fälle:
-
Wenn Verlaufsdaten aktiviert sind, kann ein Ladevorgang im Speicher zum Verlust von Verlaufsdaten führen. Das Laden des Datensatzes in der Bereitstellung löst den Vergleichsprozess im Speicher aus und korrigiert Daten, während der Typ-2-Verlauf beibehalten wird.
-
Wenn das vollständige Laden vor längerer Zeit erfolgte und sehr viele Änderungen vorhanden sind.
-
Wenn Datensätze für vollständiges Laden und Änderungstabellen, die verarbeitet wurden, im Rahmen der Wartung des Bereitstellungsbereichs gelöscht wurden.
Nachgelagerte Aufgaben werden neu geladen, um Änderungen anzuwenden und Rückdatierung zu vermeiden. Wenn ein Ladevorgang mit Abschneiden und Neuladen durchgeführt wird, werden alle nachgelagerten Objekte ebenfalls durch Abschneiden und Neuladen geladen.
Die Auswirkung auf nachgelagerte Objekte hängt vom Typ des durchgeführten Ladevorgangs und vom Typ des unmittelbar nachgelagerten Datensatzes ab. Standardverarbeitung bedeutet, dass der Datensatz reagieren und die Daten mit der konfigurierten Methode für den angegebenen Datensatz verarbeiten wird.
-
In nachgelagerten Umwandlungsaufgaben:
Datensatzumwandlungen werden durch Abschneiden und Neuladen geladen.
SQL-Umwandlungen und Umwandlungsflüsse werden neu geladen, indem mit dem vollständigen Ladevorgang verglichen und Änderungen angewendet werden.
-
Data Mart-Aufgaben, die einer Speicheraufgabe unmittelbar folgen, werden durch Abschneiden und Neuladen geladen.
Sie können den Ladevorgang für Tabellen mit ausstehendem Laden abbrechen, indem Sie auf Ladevorgang abbrechen klicken. Bereits geladene Tabellen sind davon nicht betroffen, und aktuell laufende Ladevorgänge werden abgeschlossen.
Speichereinstellungen
Sie können Eigenschaften für die Speicherdatenaufgabe festlegen, wenn die Datenplattform ein Cloud Data Warehouse ist. Wenn Sie Qlik Cloud als Datenplattform verwenden, finden Sie weitere Informationen unter -Speichereinstelllungen für Datenprojekte mit Qlik Cloud als Datenplattform.
Klicken Sie auf Einstellungen.
Allgemeine Einstellungen
Datenbank
Datenbank, die in der Datenquelle verwendet werden soll
Aufgabenschema
Sie können den Namen des Speicher-Datenaufgabenschemas ändern. Der Standardname ist der Name der Speicheraufgabe.
Internes Schema
Sie können den Namen des Datenobjektschemas des internen Speichers ändern. Der Standardname ist der Name der Speicheraufgabe, an den _internal angehängt ist.
- Präfix für alle Tabellen und Ansichten
Sie können ein Präfix für alle Tabellen und Ansichten festlegen, die mit dieser Aufgabe erstellt wurden.
InformationshinweisSie müssen ein eindeutiges Präfix verwenden, wenn Sie ein Datenbankschema in mehreren Datenaufgaben nutzen möchten. Verlauf
Sie können Verlaufsänderungsdaten beibehalten, um Daten leicht erneut so erstellen zu können, wie sie zu einem bestimmten Zeitpunkt aussahen. Sie können Verlaufsansichten und Live-Verlaufsansichten verwenden, um Verlaufsdaten anzuzeigen. Wählen Sie Verlaufsdatensätze beibehalten und Datensatzarchiv ändern, um historische Änderungsdaten zu aktivieren.
Wenn Sie Speicher mit Bereitstellung vergleichen, können Sie wählen, wie Datensätze, die in der Bereitstellung nicht vorhanden sind, verwaltet werden sollen.
Als gelöscht markieren
Dadurch wird ein vorläufiges Löschen von Datensätzen durchgeführt, die in der Bereitstellung nicht vorhanden sind.
Behalten
Dadurch werden alle Datensätze beibehalten, die in der Bereitstellung nicht vorhanden sind.
InformationshinweisFür Datensätze in Speicherdatenaufgaben muss ein Primärschlüssel festgelegt werden. Andernfalls wird jedes Mal, wenn Bereitstellungsdaten geladen werden, ein anfänglicher Ladevorgang für die Speicherdatenaufgabe durchgeführt.
Einstellungen für Ansichten
Live-Ansichten
Verwenden Sie Live-Ansichten, um die Tabellen mit der niedrigsten Latenz zu lesen.
Weitere Informationen zu Live-Ansichten finden Sie unter Verwendung von Live-Ansichten.
InformationshinweisLive-Ansichten sind weniger effizient als Standardansichten und benötigen mehr Ressourcen, da die angewandten Daten neu berechnet werden müssen.
Laufzeiteinstellungen
Parallele Ausführung
Sie können die maximale Anzahl an Verbindungen für vollständige Ladevorgänge auf eine Zahl von 1 bis 5 setzen.
Warehouse
Der Name des Cloud Data Warehouse. Diese Einstellung ist nur für Snowflake anwendbar.
Katalogeinstellungen
In Katalog veröffentlichen
Wählen Sie diese Option aus, um diese Version der Daten als Datensatz im Katalog zu veröffentlichen. Der Kataloginhalt wird aktualisiert, wenn Sie diese Aufgabe zum nächsten Mal vorbereiten.
Weitere Informationen zu Katalog finden Sie unter Verstehen Ihrer Daten mit Katalogwerkzeugen.
-Speichereinstelllungen für Datenprojekte mit Qlik Cloud als Datenplattform
Sie können festlegen, welchen Ordner Sie im Speicher verwenden möchten, wenn die Datenplattform Qlik Cloud ist.
Klicken Sie auf Einstellungen.
Wählen Sie, welcher Ordner im Speicher verwendet werden soll.
Klicken Sie auf OK, wenn Sie fertig sind.
Vorgänge für die Speicherdatenaufgabe
Sie können die folgenden Vorgänge für eine Speicherdatenaufgabe über das Aufgabenmenü durchführen.
Öffnen
Damit wird die Speicherdatenaufgabe geöffnet. Sie können die Tabellenstruktur und die Details der Datenaufgabe anzeigen und den Status für den vollständigen Ladevorgang und die Änderungssätze überwachen.
Bearbeiten
Sie können den Namen und die Beschreibung der Aufgabe bearbeiten und Tags hinzufügen.
Löschen
Sie können die Datenaufgabe löschen.
Vorbereiten
Dadurch wird eine Aufgabe für die Ausführung vorbereitet. Der Vorgang umfasst Folgendes:
Validierung, dass das Design gültig ist.
Erstellen oder Ändern der physischen Tabellen und Ansichten entsprechend dem Design.
Generieren des SQL-Codes für die Datenaufgabe
Erstellen oder Ändern der Katalogeinträge für die Ausgabendatensätze der Aufgabe.
Sie können den Fortschritt unter Vorbereitungsfortschritt unten im Bildschirm verfolgen.
Datensätze validieren
Dadurch werden alle in der Datenaufgabe enthaltenen Datensätze validiert.
Erweitern Sie Validieren und anpassen, um alle Validierungsfehler und Designänderungen anzuzeigen.
Tabellen neu erstellen
Dadurch werden die Datasets von der Quelle neu erstellt. Bei der Neuerstellung einer Tabelle reagiert die nachgelagerte Aufgabe so, als ob ein Ladevorgang mit Abschneiden und Neuladen für die Quelldatensätze aufgetreten wäre. Weitere Informationen finden Sie unterFehlerbehebung für eine Speicherdatenaufgabe.
Anhalten
Sie können den Vorgang für die Datenaufgabe anhalten. Die Datenaufgabe aktualisiert dann die Tabellen nicht mehr.
InformationshinweisDiese Option ist verfügbar, wenn die Datenaufgabe ausgeführt wird.Fortsetzen
Sie können den Vorgang für eine Datenaufgabe an der Stelle wieder aufnehmen, an der er angehalten wurde.
InformationshinweisDiese Option ist verfügbar, wenn die Datenaufgabe angehalten wird.Daten umwandeln
Erstellen Sie wiederverwendbare Umwandlungen auf Zeilenebene basierend auf Regeln und benutzerdefinierter SQL. Damit wird eine Umwandlungsdatenaufgabe erstellt.
Data Mart erstellen
Erstellen Sie einen Data Mart, um Ihre Datenaufgaben zu nutzen. Damit wird eine Data Mart-Datenaufgabe erstellt.
Einschränkungen
Falls die Datenaufgabe Datensätze enthält und Sie beliebige Parameter in der Verbindung ändern, zum Beispiel Benutzername, Datenbank oder Schema, wird davon ausgegangen, dass die Daten im neuen Speicherort vorhanden sind. Ist dies nicht der Fall, können Sie Folgendes tun:
Die Daten in der Quelle an den neuen Speicherort verschieben.
Eine neue Datenaufgabe mit denselben Einstellungen erstellen.
Es ist nicht möglich, Primärschlüssel in Speicheraufgaben in Projekten mit Qlik Cloud (QVD) als Ziel zu ändern. Aktualisieren Sie die Primärschlüssel in der Bereitstellungsaufgabe, erstellen Sie die Bereitstellungsaufgabe neu und erstellen Sie dann die Speicheraufgabe neu.