Configuraciones de datos de un proyecto de canalización o proceso analítico de datos (data pipeline)
Puede cambiar la configuración de un proyecto de canalización de datos en Qlik Talend Data Integration. Las propiedades son comunes al proyecto y a todas las tareas de datos incluidas. Algunas configuraciones solo están disponibles para plataformas de datos específicas.
-
Haga clic en Configuración, en el proyecto.
Plataforma de datos
Puede cambiar los siguientes ajustes:
-
Conexión
Conexión para el proyecto.
-
Conexión con el área de preparación
Esta opción no está disponible cuando la plataforma de datos es Snowflake.
Metadatos
Puede establecer un sufijo para artefactos internos y sufijos predeterminados para las vistas que se crean.
-
Preferencias de artefactos internos
Especifique el sufijo que se utilizará en los esquemas empleados para almacenar artefactos internos en Sufijo de esquema.
-
Sufijos de vistas externas
Establezca sufijos predeterminados para las vistas que se crean en las tareas de datos incluidas en el proyecto.
Valores predeterminados de tareas de datos
Puede establecer valores predeterminados para las tareas de datos que se incluyen en el proyecto. Cuando crea una tarea de datos, puede cambiar el valor.
Puede configurar la base de datos predeterminada para crear artefactos de destino para todos los tipos de tareas de datos.
Valores predeterminados de aterrizaje
-
Servidor proxy cuando se utiliza la pasarela de movimiento de datos
Puede seleccionar usar un servidor proxy cuando la puerta de enlace de Data Movement se conecta al almacén de datos en la nube y al área de almacenamiento.
Para obtener más información sobre cómo configurar la pasarela o puerta de enlace de Data Movement para usar un servidor proxy, consulte Configurar el espacio empresarial inquilino de Qlik Cloud y un servidor proxy.
-
Usar proxy para conectarse al almacén de datos en la nube
Nota informativaDisponible al usar Snowflake, Google BigQuery y Databricks. -
Usar proxy para conectarse al almacenamiento
Nota informativaDisponible al usar Azure Synapse Analytics, Amazon Redshift y Databricks.
-
Valores predeterminados de almacenamiento
-
Almacén de datos históricos (Tipo 2)
Puede conservar los datos de cambios históricos para permitirle recrear fácilmente los datos tal y como se veían en un punto específico en el tiempo. Puede usar las vistas de historial y vistas de historial en vivo para ver los datos históricos.
-
Vistas en vivo
Las vistas en vivo muestran una vista para cada tabla de origen seleccionada. Dicha vista fusiona la tabla con los cambios de la tabla de cambios. Esto proporciona a las consultas una vista en vivo de los datos sin tener que esperar al siguiente ciclo de solicitud.
Base de datos predeterminada
Puede utilizar la base de datos predeterminada del proyecto o especificar otra base de datos.
Catálogo
-
Publicar en el catálogo
Seleccione esta opción para publicar esta versión de los datos en el Catálogo como un conjunto de datos. El contenido del catálogo se actualizará la próxima vez que prepare esta tarea.
Transformar valores predeterminados
-
Almacén de datos históricos (Tipo 2)
Puede conservar los datos de cambios históricos para permitirle recrear fácilmente los datos tal y como se veían en un punto específico en el tiempo. Puede usar las vistas del historial y vistas del historial en vivo para ver los datos históricos.
Materialización
-
No materializado (solo vistas)
Seleccione esta opción para crear únicamente vistas que realicen transformaciones sobre la marcha.
-
Materializadas (tablas y vistas)
Seleccione esta opción para crear tablas y vistas.
Base de datos predeterminada
Puede utilizar la base de datos predeterminada del proyecto o especificar otra base de datos.
Catálogo
-
Publicar en el catálogo
Seleccione esta opción para publicar esta versión de los datos en el Catálogo como un conjunto de datos. El contenido del catálogo se actualizará la próxima vez que prepare esta tarea.
Valores predeterminados del data mart
Base de datos predeterminada
Puede utilizar la base de datos predeterminada del proyecto o especificar otra base de datos.
Catálogo
-
Publicar en el catálogo
Seleccione esta opción para publicar esta versión de los datos en el Catálogo como un conjunto de datos. El contenido del catálogo se actualizará la próxima vez que prepare esta tarea.
Valores predeterminados de datos registrados
Base de datos predeterminada
Puede utilizar la base de datos predeterminada del proyecto o especificar otra base de datos.
Catálogo
-
Publicar en el catálogo
Seleccione esta opción para publicar esta versión de los datos en el Catálogo como un conjunto de datos. El contenido del catálogo se actualizará la próxima vez que prepare esta tarea.
Configuraciones de carga incremental
Estos ajustes están disponibles cuando se selecciona Incremental usando límite máximo.
-
Tablas de cambios
Si los cambios están en la misma tabla, seleccione Los cambios están dentro de la misma tabla.
De lo contrario, desmarque la opción Los cambios están dentro de la misma tabla y especifique un patrón de tabla de cambios.
-
Columna de límite máximo
Establezca el nombre de la columna de límite máximo en Nombre.
-
Columna "Desde la fecha"
Puede indicar la "Fecha de inicio" por la hora de inicio o mediante una columna seleccionada.
Si selecciona Columna "Desde la fecha" seleccionada, debe definir un Patrón "Desde la fecha".
-
Eliminación temporal
Puede incluir eliminaciones temporales en los cambios seleccionando Los cambios incluyen eliminaciones temporales y definiendo una expresión que lo indique.
La expresión de la indicación debe evaluarse como True si el cambio es una eliminación temporal.
Ejemplo: ${is_deleted} = 1
-
Antes de la imagen
Puede filtrar los registros de imágenes antes de que cambien las tablas de cambios seleccionando Antes de la imagen y definiendo una expresión de indicación.
La expresión de la indicación debe evaluarse como True si la fila contiene la imagen antes de la actualización.
Ejemplo: ${header__change_oper} = 'B'
Tiempo de ejecución
Puede definir la configuración predeterminada del rendimiento del tiempo de ejecución para los activos de datos que se incluyen en el proyecto.
Valores predeterminados de aterrizaje
-
Puede establecer el número máximo de conexiones de bases de datos en Ejecución en paralelo.
Valores predeterminados de almacenamiento
-
Puede establecer la configuración de programación predeterminada en una programación basada en el tiempo. Este será el valor predeterminado para cada tarea de almacenamiento creada.
-
Puede establecer el almacén de datos predeterminado si la plataforma del proyecto es Snowflake.
Transformar valores predeterminados
-
Puede establecer la configuración de programación predeterminada en una programación basada en el tiempo o Al completar con éxito cualquier tarea de datos de entrada. Este será el valor predeterminado para cada tarea de transformación creada.
-
Puede establecer el almacén de datos predeterminado si la plataforma del proyecto es Snowflake.
Valores predeterminados del data mart
-
Puede establecer la configuración de programación predeterminada en una programación basada en el tiempo o Al completar con éxito cualquier tarea de datos de entrada. Este será el valor predeterminado para cada tarea de data mart creada.
-
Puede establecer el almacén de datos predeterminado si la plataforma del proyecto es Snowflake.