Calidad de los datos para conjuntos de datos Snowflake

Para beneficiarse de la detección de tipos semánticos y de las lecturas de calidad de datos en sus conjuntos de datos Snowflake, necesita establecer un requisito previo importante con sus conexiones de datos en el contexto de los productos de datos.

Configuración de conexiones Snowflake

Para que pueda crear conjuntos de datos desde Snowflake, y posteriormente tener acceso a su esquema y calidad en la vista general de conjuntos de datos y en la vista general de productos de datos, necesita configurar la misma conexión tanto en el centro de control Qlik Talend Data Integration como en el centro de control de Qlik Analytics Services.

Supongamos que desea traer datos almacenados en una base de datos Snowflake, añadirlos a su Catálogo como conjuntos de datos y agruparlos en un producto de datos que utilizará para una app de analítica.

1. En Qlik Talend Data Integration, haga clic en Añadir nuevo y luego en Conexión de datos.

2. Configure su acceso a la base de datos Snowflake utilizando las credenciales de un usuario que tenga permisos WRITE y acceso a las tablas que desea importar.

3. En Qlik Analytics Services, haga clic en Añadir nuevo y después en Conexión de datos.

4. Configure su acceso a la misma base de datos Snowflake que antes, utilizando las credenciales del mismo usuario idealmente, o uno que tenga al menos los permisos READ en las tablas.

5. En el campo Rol, debe introducir un rol que corresponda a un rol existente creado en la base de datos Snowflake y que tenga los siguientes privilegios sobre estos objetos.

   • USAGE en WAREHOUSE

   • USAGE en DATABASE

   • USAGE en SCHEMA

   • CREATE TABLE en SCHEMA

   • CREATE FUNCTION en SCHEMA

   • CREATE VIEW en SCHEMA

   • SELECT en TABLE

6. De vuelta en la página de inicio de Qlik Talend Data Integration, haga clic en Añadir nuevo y después en Crear proyecto de datos.

7. Utilice su conexión Snowflake del paso 2 como fuente para su proyecto y empiece a crear su canalización. Consulte Crear una canalización de datos si desea obtener más información.

8. En cualquier punto de su canalización, seleccione una tarea de datos, vaya a Configuración y, a continuación, a la pestaña Catálogo, donde podrá seleccionar la casilla de verificación Publicar en Catálogo.

   Significa que esta versión del conjunto de datos se publicará en el Catálogo cuando se prepare y ejecute el proyecto de datos. También es posible marcar esta opción a nivel de proyecto.

9. Ejecute su proyecto de datos.

Tras ejecutar su proyecto de datos, el nuevo conjunto de datos se añade al Catálogo y podrá acceder a los indicadores de calidad y a más información sobre su contenido. Esta configuración también permite utilizar los conjuntos de datos Snowflake como fuente para las apps de analítica.

Puede añadir tantos conjuntos de datos como sea necesario antes de crear su producto de datos. Dado que se puede acceder al Catálogo tanto desde el centro de control de Qlik Talend Data Integration como desde el centro de control de Qlik Analytics Services, puede abrir sus conjuntos de datos en la ubicación que prefiera y se utilizará la conexión adecuada en función del contexto.

Cálculo de calidad en pushdown

Al utilizar el botón Calcular o Actualizar en la Vista general de su conjunto de datos, se desencadena un cálculo de calidad en una muestra de 1000 filas de la base de datos. Esta operación se produce en pushdown, en el lado de Snowflake.

A continuación, una muestra de 100 filas se envía de nuevo a Qlik Cloud, donde puede visualizarla como vista previa con tipos semánticos actualizados y estadísticas de validez y exhaustividad. Después, esta muestra se almacena en MongoDB.

El siguiente diagrama resume la operación de tratamiento de la calidad de los datos.