Streaming-Lake-Bereitstellungseinstellungen

Die folgenden Einstellungen für Streaming-Lake-Bereitstellungsaufgaben gelten für Qlik Open Lakehouse-Projekte, die eine Streaming-Quelle verwenden.

Allgemein

Zu verwendender Ordner
Sie können auswählen, welcher Ordner beim Bereitstellen von Daten im Bereitstellungsbereich verwendet werden soll.

• Standardordner

  Dadurch wird ein Ordner mit dem Standardnamen <projektname>/<datenaufgabenname> erstellt.

• Stammordner

  Speichern Sie Daten im Stammordner des Speichers.

• Ordner

  Geben Sie einen Ordnernamen an, der verwendet werden soll.

Ordneraufbewahrung
Wählen Sie aus, wie lange die Daten aufbewahrt werden sollen:

• Daten und Metadaten werden nicht gelöscht: Weder die Daten noch die Metadaten werden gelöscht.

• Daten und Metadaten nach der Aufbewahrungsfrist löschen: Daten und Metadaten werden nach Ablauf der Aufbewahrungsfrist gelöscht,

• Metadaten werden nach dem Aufbewahrungszeitraum gelöscht. Die Daten werden von einem externen System gelöscht.Die Daten werden nach Ablauf dieser Frist dauerhaft gelöscht. Die Metadaten werden bereinigt, aber die zugrunde liegenden Daten, zum Beispiel das S3-Objekt, werden von Qlik nicht gelöscht.

Daten lesen aus
Wählen Sie, wann die Daten aufgenommen werden sollen:

• Ab jetzt starten

  Nur die Ereignisse aufnehmen, die eintreten, wenn die Pipeline beginnt.

• Ab dem frühesten Ereignis starten (Standard)

  Alle Verlaufsdaten aufnehmen.

Inhaltstyp
Wählen Sie das Dateiformat aus der Liste aus, zum Beispiel JSON oder CSV. Dies kann geändert werden, nachdem die Aufgabe ausgeführt wurde, indem die Aufgabe neu erstellt wird. Unter Inhaltstypen finden Sie Details zu jedem Dateiformat.

Schemaentwicklung

Neues Thema/neuer StreamWählen Sie aus, wie neue Streams/Themen behandelt werden sollen.

• Zu Ziel hinzufügen: Wenn Sie alle Tabellen in eine einzelne Zieltabelle laden, werden neue Daten zu dieser Tabelle hinzugefügt. Wenn Sie jedes Thema in einen anderen Datensatz laden, wird ein neues Thema zu einem neuen Datensatz hinzugefügt.

• Ignorieren: Neue Daten werden dem Ziel nicht hinzugefügt.

Laufzeit

Anzahl der Leser

• Apache Kafka: Wählen Sie die Anzahl der zu verwendenden Reader. Der Wert muss zwischen 1 und 1.000 liegen.

• Amazon Kinesis: Wählen Sie die Anzahl der Stream-Shards.

• Amazon S3: Diese Einstellung ist nicht auf S3-Streaming-Quellen anwendbar.

Lakehouse-Cluster
Wählen Sie den Streaming-Cluster. Die Streaming-Bereitstellungsaufgabe und Streaming-Umwandlungsaufgaben müssen sich nicht auf demselben Cluster befinden, jedoch in derselben Netzwerkintegration.

Inhaltstypen

Die folgenden Einstellungen gelten für jedes Dateiformat.

• JSON

  • Dies ist das Standarddateiformat, wenn nicht anders definiert.

• CSV und TSV

  • Erste Zeile enthält Kopfzeilen: Standardmäßig ausgewählt, um anzugeben, dass die erste Zeile den Kopfzeilen-Datensatz enthält.

  • Kopfzeile(Optional): Wenn die erste Zeile nicht die Kopfzeile ist, definieren Sie die Kopfzeilennamen.

  • Trennzeichen: Wählen Sie das Standardtrennzeichen aus, wenn dies nicht das Standardtrennzeichen ist (Komma für CSV, Tabulator für TSV). 

  • Anführungszeichen-Escape-Zeichen: Wählen Sie das Standard-Anführungszeichen-Escape-Zeichen aus, wenn dies kein doppeltes Anführungszeichen ist, wie standardmäßig definiert. 

  • Nullwert (Optional): Geben Sie den Ersatz-Nullwert ein.

  • Duplizierte Kopfzeilen zulassen: Wenn zwei Spalten denselben Namen haben, wird die zweite mit einem anderen Namen hinzugefügt.

• Parquet, Avro und ORC

  • Es sind keine zusätzlichen Einstellungen zu konfigurieren.

• Regulärer Ausdruck

  • Muster: Geben Sie das Muster des regulären Ausdrucks ein.

  • Mehrere Zeilen: Standardmäßig ausgewählt.

• Zeilen aufteilen:

  • Regex: Geben Sie den regulären Ausdruck für die Aufteilung ein.