Crear una canalización de datos en un proyecto de datos

Puede crear una canalización de datos para realizar toda su integración de datos dentro de un proyecto de datos mediante tareas de datos. La incorporación mueve datos al proyecto desde fuentes de datos que están en las instalaciones o en la nube y almacena los datos en conjuntos de datos listos para consumir. También puede realizar transformaciones y crear data marts para aprovechar sus conjuntos de datos generados y transformados. La canalización de datos puede ser simple y lineal, o puede ser una canalización compleja que consuma varias fuentes de datos y genere muchas salidas.

Estas son las principales tareas que puede realizar en un proyecto de datos. Puede combinarlas como mejor le parezca.

1. Incorporar los datos.

   Esto incluye enviar los datos a un área de preparación y luego almacenar los conjuntos de datos en un almacén de datos en la nube. Las tareas de ubicación de destino y almacenamiento de datos se crean en un solo paso. Si lo necesita, también puede realizar ubicación de destino y almacenamiento como tareas aparte.

   Incorporar datos

2. Registrar datos

   Registre datos que ya existen en la plataforma de datos y genere conjuntos de datos en formato de lectura optimizada. Esto le permite usar datos que están integrados con otras herramientas además de Qlik Cloud Integración de datos, por ejemplo, Qlik Replicate.

   Registrar datos que ya están en la plataforma de datos

3. Transformar los datos incorporados.

   Cree transformaciones de nivel de fila reutilizables basadas en reglas y SQL personalizado. Esto crea una tarea de Transformación de datos.

   Transformar datos

4. Cree un data mart para aprovechar sus conjuntos de datos. Esto crea una tarea de datos de Data Mart.

   Crear y administrar data marts

El proyecto de datos va asociado a una plataforma de datos que se utiliza como destino para todos los resultados. Las siguientes plataformas son compatibles:

• Google BigQuery

• Snowflake

• Microsoft Azure Synapse Analytics

• Databricks

• Amazon Redshift

• Qlik Cloud

  El uso de esta plataforma requiere datos de aterrizaje en un depósito de Amazon S3. Puede generar tablas QVD en el almacenamiento administrado por Qlik Cloud o en el almacenamiento de Amazon S3 administrado por usted.

Para obtener más información sobre la conexión a plataformas de datos, vea Conexión a plataformas de datos en la nube en sus proyectos de datos

Todas las tareas de datos se crearán en el mismo espacio que el proyecto de datos al que pertenecen.

Ejemplo de creación de un proyecto de datos

El siguiente ejemplo realiza la incorporación de datos, la transformación de los datos y la creación de un data mart. Esto creará una canalización de datos lineal simple que podría expandir al incorporar más fuentes de datos, crear más transformaciones y agregar los conjuntos de datos generados al data mart.

1. Cree un nuevo proyecto de datos.

   Haga clic en Añadir nuevo y luego en Crear proyecto de datos en la página de Inicio de Qlik Cloud Integración de datos.

   1. Escriba un nombre y una descripción para el proyecto de datos y seleccione un espacio para crear el proyecto de datos. Todas las tareas de datos se crearán en el espacio del proyecto de datos al que pertenecen.

   2. Seleccione qué plataforma de datos usar en el proyecto.

   3. Seleccione una conexión de datos al almacén de datos en la nube que desea usar en el proyecto. Esto se utilizará para transferir archivos de datos y almacenar conjuntos de datos y vistas. Si aún no ha preparado una conexión de datos, cree una con Agregar conexión.

      Si seleccionó Google BigQuery, Databricks o Microsoft Azure Synapse Analytics como plataforma de datos, también debe conectarse a un área de preparación.

   4. Si seleccionó Qlik Cloud como plataforma de datos:

      Puede almacenar datos en el almacenamiento administrado de Qlik o en su propio depósito de Amazon S3 administrado. Si desea utilizar su propio depósito de Amazon S3, debe seleccionar una conexión de datos a ese depósito.

      En ambos casos, también debe seleccionar una conexión de datos a un área de preparación de Amazon S3. Si utiliza el mismo depósito que definió en el paso anterior, asegúrese de usar otra carpeta en el depósito para la preparación.

   5. Haga clic en Crear.

      Se crea el proyecto de datos y puede crear su canalización de datos agregando tareas de datos.

2. Incorporar los datos

   Haga clic en Añadir nuevo y luego en Incorporar datos.

   Para más información, vea Incorporar datos.

   Esto creará una tarea de aterrizaje de datos y una tarea de almacenamiento de datos. Para comenzar a replicar datos, necesita hacer lo siguiente:

   • Preparar y ejecutar la tarea de aterrizaje de datos.

     Para más información, vea Transferir datos desde fuentes de datos.

   • Preparar y ejecutar la tarea de almacenamiento de datos.

     Para más información, vea Generar y almacenar conjuntos de datos.

3. Transformar los datos

   Cuando se haya creado la tarea de almacenamiento de datos, vuelva al proyecto de datos. Ahora puede realizar transformaciones en los conjuntos de datos creados.
   

   Haga clic en ... en la tarea de almacenamiento de datos y seleccione Transformar datos para crear una tarea de datos de transformación basada en esta tarea de almacenamiento de datos. Para obtener instrucciones acerca de las transformaciones, vea Transformar datos.

4. Crear una galería de datos (data mart)

   Puede crear una galería de datos o data mart basado en una tarea de almacenamiento de datos o una tarea de transformación de datos.

   Haga clic en ... en la tarea de datos y seleccione Crear data mart para crear una tarea de data mart. Para obtener instrucciones sobre cómo crear un data mart, consulte:

   Crear y administrar data marts

Cuando haya realizado la primera carga completa de los conjuntos de datos y data marts almacenados y transformados, puede usarlos en una aplicación de análisis, por ejemplo. Para obtener más información sobre cómo crear aplicaciones de análisis, vea Crear una app de análisis usando conjuntos de datos generados por Qlik Cloud Integración de datos .

También puede ampliar la canalización de datos incorporando más orígenes de datos y combinándolos en la transformación o en el data mart.

Programar tareas de datos en un proyecto de datos

Puede programar tareas de datos para orquestar la canalización de datos. Puede utilizar una programación basada en tiempo o una programación basada en eventos para permitir que los datos fluyan por la canalización de datos a medida que estén disponibles.

Para obtener más información sobre la programación de tareas de datos individuales, vea:

• Programar una tarea de aterrizaje de datos de Carga completa

• Programar una tarea de almacenamiento

• Supervisar una tarea de transformación

• Programar una tarea de data mart

Cambiar la vista de un proyecto de datos

Hay dos vistas diferentes del proyecto de datos. Puede cambiar entre las vistas haciendo clic en Vista de canalización.

• La vista de canalización muestra el flujo de datos de las tareas de datos.

  Puede elegir cuánta información mostrar para las tareas de datos haciendo clic en Capas. Active o desactive la siguiente información:

  • Estado

  • Actualización de datos

  • Programar

• La vista del panel muestra una vista con un panel que contiene información sobre la tarea de datos.

  Puede filtrar por tipo de activo y propietario.

Exportar e importar proyectos de datos

Puede exportar un proyecto de datos a un archivo JSON que contenga todo lo necesario para reconstruir el proyecto de datos. El archivo JSON exportado se puede importar en el mismo espacio empresarial inquilino o en otro. Puede usar esto, por ejemplo, para mover proyectos de datos de un espacio inquilino a otro, o para hacer copias de seguridad de proyectos de datos.

Para más información, vea Exportar e importar proyectos de datos.

Configuración del proyecto de datos

Puede establecer propiedades que son comunes al proyecto y todas las tareas de datos incluidas.

• Haga clic en Configuración.

Para más información, vea Configuración del proyecto de datos.