Almacenar conjuntos de datos de streaming

Las siguientes configuraciones de la tarea de transformación de streaming se aplican a los proyectos de Qlik Open Lakehouse que utilizan una fuente de streaming.

Puede almacenar y transformar datos de streaming mediante la tarea de Transformar datos de streaming. Los datos de streaming a menudo contienen estructuras anidadas y matrices que requieren aplanamiento, y se necesitan capacidades de transformación durante la fase de almacenamiento. Estas capacidades están disponibles para la tarea de transformación de streaming, lo que le permite aplicar transformaciones inmediatamente después de que sus datos de streaming lleguen a destino.

Configuración de almacenamiento

Puede establecer propiedades para la tarea de datos de Streaming Transform cuando la plataforma de datos es Qlik Open Lakehouse.

• Haga clic en Configuración.

Ajustes generales

• Esquema de tarea

  Puede cambiar el nombre del esquema de la tarea de Streaming Transform. El nombre predeterminado es el nombre de la tarea de almacenamiento.

• Esquema interno

  Puede cambiar el nombre del esquema de activos de datos de almacenamiento interno. El nombre predeterminado es el nombre de la tarea de almacenamiento con el sufijo _internal adjunto.

• Prefijo para todas las tablas y vistas

  Puede establecer un prefijo para todas las tablas y vistas creadas con esta tarea.

  Nota informativaDebe usar un prefijo único cuando desee usar un esquema de base de datos en varias tareas de datos.

• Carpeta que usar

  Puede cambiar la carpeta de almacenamiento de la tarea de Streaming Transform.

• Configuración de carga para nuevos conjuntos de datos

  • Solo anexar

    Agrega nuevos registros sin modificar los datos existentes.Las restricciones de clave no se aplican si llegan registros duplicados.

  • Aplicar cambios (Combinar)

    Actualiza los registros existentes e inserta nuevos registros basándose en campos clave.

    Si selecciona combinar cambios, también puede seleccionar lo siguiente:

    • Eliminar registros de forma lógica proporcionando una expresión de eliminación

      Defina una expresión de eliminación para marcar los registros para su eliminación.

    • Mantener registros históricos (Tipo 2)

      Mantener versiones anteriores de los registros modificados.

• Desanidamiento de columnas

  • Conservar las columnas anidadas

    Seleccione para conservar los datos anidados.

  • Desanidar en columnas separadas

    El comportamiento predeterminado es desanidar en columnas separadas.

• Partición de las tablas de destino

  • Sin partición

    Las tablas nuevas se crean sin particiones.

  • Partición por fecha de evento

    Las tablas nuevas se particionan por la fecha en que se ingieren los eventos.

Configuración de tiempo de ejecución

• Clúster de lakehouse

  Puede cambiar el clúster de lakehouse, pero este debe admitir cargas de trabajo de streaming o cargas de trabajo mixtas.

Configuración de la evolución del esquema

• Añadir columnas en el nivel raíz

  Esta configuración se aplica cuando se añaden nuevas columnas a la tarea de destino de streaming en el nivel raíz.

  • Aplicar al objetivo

    Añade automáticamente nuevas columnas de nivel raíz de la tarea de destino de Streaming a la tarea de transformación de Streaming. Esta es la configuración predeterminada.

  • Ignorar

    No añade nuevas columnas de nivel raíz.

  • Detener tarea

    Detiene la tarea de transformación si se detecta una nueva columna de nivel raíz en la tarea de destino/aterrizaje de stream.

• Añadir columnas a las estructuras

  Esta configuración se aplica cuando se añaden nuevos campos dentro de una estructura anidada existente en la tarea de destino/aterrizaje de stream.

  • Aplicar al objetivo

    Añade automáticamente nuevos campos a las estructuras existentes en la tarea de transformación de streaming si se añaden a la estructura de destino/aterrizaje.

  • Ignorar

    No añade nuevos campos a las estructuras existentes.

  • Detener tarea

    Detiene la tarea de transformación si se añade un nuevo campo a una estructura en la tarea de destino de streaming.

• Cambiar el tipo de datos del campo

  • Ignorar

    No cambia el tipo de datos.

  • Detener tarea

    Detiene la tarea de transformación si se detecta un cambio en el tipo de datos en la tarea de destino de streaming.