Opciones de configuración de un proyecto de canalización de datos

Puede cambiar la configuración de un proyecto de canalización de datos en Qlik Talend Data Integration. Las propiedades son comunes al proyecto y a todas las tareas de datos incluidas. Algunas configuraciones solo están disponibles para plataformas de datos específicas.

• Haga clic en Configuración, en el proyecto.

Configuración para proyectos de procesos de datos de almacén de datos

Plataforma de datos

Puede cambiar los siguientes ajustes:

• Conexión

  La conexión para el proyecto.

• Conexión con el área de preparación

  Esta opción no está disponible cuando la plataforma de datos es Snowflake.

Metadatos

Puede establecer un sufijo para artefactos internos y sufijos predeterminados para las vistas que se crean.

• Preferencias de artefactos

  • Prefijo para todos los esquemas: El prefijo que se agregará a los esquemas de datos que se crean en el proyecto. Esto es útil cuando un proyecto importado está en el mismo almacén de datos en la nube que un proyecto exportado.

  • Sufijo para esquema interno: el sufijo que se utilizará para los esquemas empleados para almacenar artefactos internos.

  • Uso de mayúsculas predeterminado del nombre de esquema: el uso de mayúsculas predeterminado para todos los nombres de esquema. Si su base de datos está configurada para obligar al uso de mayúsculas, esta opción no tendrá efecto.

• Sufijos para vistas externas

  Establezca sufijos predeterminados para las vistas que se crean en las tareas de datos incluidas en el proyecto.

Configuración por defecto para nuevas tareas

Puede establecer valores predeterminados para las tareas de datos que se creen en el proyecto. Cuando crea una tarea de datos, puede cambiar el valor.

Puede configurar la base de datos predeterminada para crear artefactos de destino para todos los tipos de tareas de datos.

Ajustes predeterminados de tareas de aterrizaje

Base de datos predeterminada

Puede utilizar la base de datos predeterminada del proyecto o especificar otra base de datos.

Acceso al destino a través de un proxy al usar Data Movement gateway

• Al utilizar la pasarela de movimiento de datos Data Movement gateway, conéctese a través de un proxy a

  Al usar Data Movement gateway, puede conectarse a la plataforma de destino y a la plataforma (área) de ensayo a través de un proxy.

  Para más información sobre cómo configurar Data Movement gateway para usar un servidor proxy, vea Configurar el espacio empresarial inquilino de Qlik Cloud y un servidor proxy.

  • Plataforma de destino

    Nota informativaDisponible cuando se usan Snowflake, Google BigQuery y Databricks.

  • Plataforma de preparación

    Nota informativaDisponible cuando se usan Azure Synapse Analytics, Amazon Redshift y Databricks.

Ajustes predeterminados de tareas de almacenamiento

• Almacén de datos históricos (Tipo 2)

  Puede conservar los datos de cambios históricos para permitirle recrear fácilmente los datos tal y como se veían en un punto específico en el tiempo. Puede usar las vistas del historial y vistas del historial en vivo para ver los datos históricos.

• Vistas en vivo

  Las vistas en vivo muestran una vista por cada tabla de origen seleccionada. Dicha vista fusiona la tabla con los cambios de la tabla de cambios. Esto proporciona a las consultas una vista en vivo de los datos sin tener que esperar al siguiente ciclo de solicitud.

Base de datos predeterminada

Puede utilizar la base de datos predeterminada del proyecto o especificar otra base de datos.

Catálogo

• Publicar en el catálogo

  Seleccione esta opción para publicar esta versión de los datos en el Catálogo como un conjunto de datos. El contenido del catálogo se actualizará la próxima vez que prepare esta tarea.

Tipo de vista predeterminada

• Vistas estándar

  Utilice las vistas estándar para mostrar los resultados de una consulta como si se tratara de una tabla.

• Vistas seguras de Snowflake

  Utilice las vistas seguras de Snowflake para aquellas vistas que precisen protección de la privacidad de datos o de la información sensible, como las vistas creadas para limitar el acceso a datos sensibles que no deban estar expuestos a todos los usuarios de las tablas. Las vistas seguras de Snowflake pueden ejecutarse más lentamente que las vistas Estándar.

Ajustes predeterminados de tareas de datos registrados

Base de datos predeterminada

Puede utilizar la base de datos predeterminada del proyecto o especificar otra base de datos.

Catálogo

• Publicar en el catálogo

  Seleccione esta opción para publicar esta versión de los datos en el Catálogo como un conjunto de datos. El contenido del catálogo se actualizará la próxima vez que prepare esta tarea.

Configuraciones de carga incremental

Estos ajustes están disponibles cuando se selecciona Incremental usando límite máximo.

• Tablas de cambios

  Si los cambios están en la misma tabla, seleccione Los cambios están dentro de la misma tabla.

  De lo contrario, borre Los cambios están dentro de la misma tabla y especifique un patrón para la tabla de cambios.

• Columna de límite máximo

  Establezca el nombre de la columna de límite máximo en Nombre.

• Columna "Desde la fecha"

  Puede indicar la "Fecha de inicio" por la hora de inicio o mediante una columna seleccionada.

  Si selecciona Columna "Desde la fecha" seleccionada, debe definir un Patrón "Desde la fecha".

• Eliminación temporal

  Puede incluir eliminaciones temporales en los cambios seleccionando Los cambios incluyen eliminaciones temporales y definiendo una expresión que lo indique.

  La expresión de la indicación debe evaluarse como True si el cambio es una eliminación temporal.

  Ejemplo: ${is_deleted} = 1

• Antes de la imagen

  Puede filtrar los registros de imágenes antes de que cambien las tablas de cambios seleccionando Antes de la imagen y definiendo una expresión de indicación.

  La expresión de la indicación debe evaluarse como True si la fila contiene la imagen antes de la actualización.

  Ejemplo: ${header__change_oper} = 'B'

Valores predeterminados de la tarea de transformación

• Almacén de datos históricos (Tipo 2)

  Puede conservar los datos de cambios históricos para permitirle recrear fácilmente los datos tal y como se veían en un punto específico en el tiempo. Puede usar las vistas del historial y vistas del historial en vivo para ver los datos históricos.

Materialización

• No materializado (solo vistas)

  Seleccione esta opción para crear únicamente vistas que realicen transformaciones sobre la marcha.

• Materializadas (tablas y vistas)

  Seleccione esta opción para crear tablas y vistas.

Base de datos predeterminada

Puede utilizar la base de datos predeterminada del proyecto o especificar otra base de datos.

Catálogo

• Publicar en el catálogo

  Seleccione esta opción para publicar esta versión de los datos en el Catálogo como un conjunto de datos. El contenido del catálogo se actualizará la próxima vez que prepare esta tarea.

Tipo de vista predeterminada

• Vistas estándar

  Utilice las vistas estándar para mostrar los resultados de una consulta como si se tratara de una tabla.

• Vistas seguras de Snowflake

  Utilice las vistas seguras de Snowflake para aquellas vistas que precisen protección de la privacidad de datos o de la información sensible, como las vistas creadas para limitar el acceso a datos sensibles que no deban estar expuestos a todos los usuarios de las tablas. Las vistas seguras de Snowflake pueden ejecutarse más lentamente que las vistas Estándar.

Tipo de tabla predeterminada

Estos ajustes solo están disponibles en proyectos con Snowflake como plataforma de datos.

• Tipo de tabla

  Puede seleccionar el tipo de tabla que desea utilizar:

  • Tablas de Snowflake

  • Tablas Iceberg gestionadas por Snowflake

    Debe establecer el nombre predeterminado del volumen externo en Volumen externo de Snowflake.

• Carpeta de almacenamiento en la nube que usar

  Seleccione la carpeta que se utilizará para el destino/aterrizaje de los datos.

  • Carpeta predeterminada

    Esto crea una carpeta con el nombre predeterminado: <nombre de proyecto>/<nombre de la tarea de datos>.

  • Carpeta raíz

    Almacene los datos en la carpeta raíz del almacenamiento.

  • Carpeta

    Especifique un nombre de carpeta que usar.

• Sincronizar con el catálogo abierto de Snowflake

  Actívelo para permitir que Snowflake Open Catalog gestione los archivos del almacenamiento de archivos en la nube.

Valores predeterminados de la tarea de data mart

Base de datos predeterminada

Puede utilizar la base de datos predeterminada del proyecto o especificar otra base de datos.

Catálogo

• Publicar en el catálogo

  Seleccione esta opción para publicar esta versión de los datos en el Catálogo como un conjunto de datos. El contenido del catálogo se actualizará la próxima vez que prepare esta tarea.

Valores predeterminados de tiempo de ejecución

Puede definir la configuración predeterminada del rendimiento del tiempo de ejecución para los activos de datos que se incluyen en el proyecto.

Valores predeterminados de aterrizaje

• Puede establecer el número máximo de conexiones de bases de datos en Ejecución en paralelo.

Valores predeterminados de almacenamiento

• Puede establecer la configuración de programación predeterminada en una programación basada en el tiempo. Este será el valor predeterminado para cada tarea de almacenamiento creada.

• Puede establecer el almacén de datos predeterminado si la plataforma del proyecto es Snowflake.

Valores predeterminados de transformación

• Puede establecer la configuración de programación predeterminada en una programación basada en el tiempo o Al completar con éxito cualquier tarea de datos de entrada. Este será el valor predeterminado para cada tarea de transformación creada.

• Puede establecer el almacén de datos predeterminado si la plataforma del proyecto es Snowflake.

Valores predeterminados del data mart

• Puede establecer la configuración de programación predeterminada en una programación basada en el tiempo o Al completar con éxito cualquier tarea de datos de entrada. Este será el valor predeterminado para cada tarea de data mart creada.

• Puede establecer el almacén de datos predeterminado si la plataforma del proyecto es Snowflake.

Valores predeterminados del reflejo

• Puede establecer el almacén de datos predeterminado si la plataforma del proyecto es Snowflake.

Configuración para proyectos de canalización de datos Qlik Open Lakehouse

Plataforma de datos

Puede cambiar los siguientes ajustes:

• Conexión con el catálogo de datos: Seleccione una conexión existente o haga clic en Crear nueva para añadir una nueva conexión al catálogo de datos. También puede editar una conexión existente y verificar que la conexión funciona haciendo clic en Probar conexión.

• Conexión de aterrizaje en destino: seleccione el depósito de S3 para el destino temporal o aterrizaje de los datos, o haga clic en Crear nuevo para añadir una nueva ubicación del depósito. También puede editar una conexión existente y verificar que la conexión funciona haciendo clic en Probar conexión.

Metadatos

Puede establecer un sufijo para artefactos internos y sufijos predeterminados para las vistas que se crean.

• Preferencias de artefactos

  • Prefijo para todos los esquemas: El prefijo que se agregará a los esquemas de datos que se crean en el proyecto. Esto es útil cuando un proyecto importado está en el mismo almacén de datos en la nube que un proyecto exportado.

  • Sufijo para esquema interno: el sufijo que se utilizará para los esquemas empleados para almacenar artefactos internos.

  • Uso de mayúsculas predeterminado del nombre de esquema: el uso de mayúsculas predeterminado para todos los nombres de esquema. Si su base de datos está configurada para obligar al uso de mayúsculas, esta opción no tendrá efecto.

• Sufijos para vistas externas

  Establezca sufijos predeterminados para las vistas que se crean en las tareas de datos incluidas en el proyecto.

• Hash

  Puede establecer una cadena de sal de hash para usarla al aplicar hash a una columna, por ejemplo, para enmascarar información confidencial. Esto generará un hash SHA-256 de la columna de entrada después de concatenarla con la cadena de sal de hash.

  Puede usar el ID de proyecto como cadena de sal, o establecer una cadena de sal personalizada.

Configuración por defecto para nuevas tareas

Puede establecer valores predeterminados para las tareas de datos que se creen en el proyecto. Cuando crea una tarea de datos, puede cambiar el valor.

Puede configurar la base de datos predeterminada para crear artefactos de destino para todos los tipos de tareas de datos.

Valores predeterminados de las tareas de aterrizaje en un lago de datos

Carpeta que usar

Seleccione una de las siguientes opciones, según la carpeta de depósitos en la que desee que se escriban los archivos:

• Carpeta predeterminada

  El formato de carpeta por defecto es <nombre-de-su-proyecto>/<nombre-de-su-tarea>.

• Carpeta raíz

  Los archivos se escribirán en la carpeta raíz del depósito.

• Carpeta

  Especifique un nombre de carpeta. La carpeta se creará durante la tarea de datos si aún no existe.

  Nota informativa El nombre de la carpeta no puede incluir caracteres especiales (por ejemplo, @, #, !, etc.).

Valores predeterminados de las tareas de almacenamiento

• Almacén de datos históricos (Tipo 2)

  Puede conservar los datos de cambios históricos para permitirle recrear fácilmente los datos tal y como se veían en un punto específico en el tiempo. Puede usar las vistas del historial y vistas del historial en vivo para ver los datos históricos.

Catálogo

• Publicar en el catálogo

  Seleccione esta opción para publicar esta versión de los datos en el Catálogo como un conjunto de datos. El contenido del catálogo se actualizará la próxima vez que prepare esta tarea.

Carpeta para usar en el área de preparación

Seleccione una de las siguientes opciones, según la carpeta de depósitos en la que desee que se escriban los archivos:

• Carpeta predeterminada

  El formato de carpeta por defecto es <nombre-de-su-proyecto>/<nombre-de-su-tarea>.

• Carpeta raíz

  Los archivos se escribirán en la carpeta raíz del depósito.

• Carpeta

  Especifique un nombre de carpeta. La carpeta se creará durante la tarea de datos si aún no existe.

  Nota informativa El nombre de la carpeta no puede incluir caracteres especiales (por ejemplo, @, #, !, etc.).

Valores predeterminados de las tareas de aterrizaje de streaming

Puede establecer valores predeterminados para las tareas de aterrizaje de transmisión creadas en el proyecto.

Carpeta que usar

Seleccione una de las siguientes opciones, según la carpeta de depósitos en la que desee que se escriban los archivos:

• Carpeta predeterminada

  El formato de carpeta por defecto es <nombre-de-su-proyecto>/<nombre-de-su-tarea>.

• Carpeta raíz

  Los archivos se escribirán en la carpeta raíz del depósito.

• Carpeta

  Especifique un nombre de carpeta. La carpeta se creará durante la tarea de datos si aún no existe.

  Nota informativa El nombre de la carpeta no puede incluir caracteres especiales (por ejemplo, @, #, !, etc.).

Retención de carpetas

Seleccione cuánto tiempo retener los datos:

• Los datos y metadatos no se eliminan

  Ni los datos ni los metadatos se eliminan.

• Eliminar datos y metadatos después del período de retención

  Los datos y metadatos se eliminan una vez transcurrido el período de retención.

• Eliminar metadatos después del periodo de retención. Los datos son eliminados por un sistema externo.

  Los metadatos se purgan una vez transcurrido este período. Los datos subyacentes, por ejemplo el objeto S3, no son eliminados por Qlik, sino por un sistema externo.

Valores predeterminados de las tareas de transformación de streaming

Puede establecer valores predeterminados para las tareas de transformación de streaming creadas en el proyecto.

Catálogo

• Publicar en el catálogo

  Seleccione esta opción para publicar esta versión de los datos en el Catálogo como un conjunto de datos. El contenido del catálogo se actualizará la próxima vez que prepare esta tarea.

Carpeta que usar

Seleccione una de las siguientes opciones, según la carpeta de depósitos en la que desee que se escriban los archivos:

• Carpeta predeterminada

  El formato de carpeta por defecto es <nombre-de-su-proyecto>/<nombre-de-su-tarea>.

• Carpeta raíz

  Los archivos se escribirán en la carpeta raíz del depósito.

• Carpeta

  Especifique un nombre de carpeta. La carpeta se creará durante la tarea de datos si aún no existe.

  Nota informativa El nombre de la carpeta no puede incluir caracteres especiales (por ejemplo, @, #, !, etc.).

Definiciones de tabla

Configure las columnas de encabezado de vista estándar que aparecen por defecto en las vistas estándar para todas las tareas de transformación de streaming en este proyecto.

• hdr__from_timestamp

  Cuando esta opción está habilitada, la columna de encabezado hdr__from_timestamp aparecerá en las vistas estándar. Además, cuando se selecciona Particionar por fecha de ingesta de eventos en el asistente de incorporación, hdr__from_timestamp se utilizará como columna de partición predeterminada. Puede anular esta configuración a nivel de tarea o de conjunto de datos.

  Nota informativaLas vistas de historial siempre incluyen todas las columnas de encabezado de vista estándar, independientemente de esta configuración.

Tiempo de ejecución

Puede definir la configuración predeterminada del rendimiento del tiempo de ejecución para las tareas de datos que se incluyen en el proyecto.

Valores predeterminados de las tareas de aterrizaje en el lago de datos

• Puede establecer el número máximo de conexiones de bases de datos en Ejecución en paralelo.

Valores predeterminados de las tareas de almacenamiento

Clúster de lakehouse

Opcionalmente, elija un clúster de Lakehouse dedicado para las tareas de almacenamiento.

Valores predeterminados de la tarea de destino de streaming

Número de lectores

Seleccione el número de lectores que va a utilizar. El valor debe estar entre 1 y 1.000.

Clúster de lakehouse

Opcionalmente, elija un clúster de Lakehouse dedicado para las tareas de almacenamiento.

Valores predeterminados de la tarea de transformación de streaming

Clúster de lakehouse

Opcionalmente, elija un clúster de Lakehouse dedicado para las tareas de almacenamiento.

Reflejar los valores predeterminados

• Puede establecer el almacén de datos predeterminado si la plataforma del proyecto es Snowflake.