Saltar al contenido principal Saltar al contenido complementario

Crear una canalización de datos

Puede crear una canalización de datos para realizar toda su integración de datos dentro de un proyecto de datos mediante tareas de datos. La incorporación mueve datos al proyecto desde fuentes de datos que están en las instalaciones o en la nube y almacena los datos en conjuntos de datos listos para consumir. También puede realizar transformaciones y crear data marts para aprovechar sus conjuntos de datos generados y transformados. La canalización de datos puede ser simple y lineal, o puede ser una canalización compleja que consuma varias fuentes de datos y genere muchas salidas.

Todas las tareas de datos se crearán en el mismo espacio que el proyecto de datos al que pertenecen.

También puede ver el linaje para rastrear los datos y las transformaciones de datos hacia atrás hasta la fuente original, y realizar un análisis de impacto que muestre la vista descendente y prospectiva de las dependencias de tareas, conjuntos de datos o campos. Para más información, vea Trabajar con el análisis de linaje e impacto en Integración de datos.

Incorporar datos

Esto incluye enviar los datos a un área de preparación y luego almacenar los conjuntos de datos en un almacén de datos en la nube. Las tareas de ubicación de destino y almacenamiento de datos se crean en un solo paso. Si lo necesita, también puede realizar ubicación de destino y almacenamiento como tareas aparte.

Registrar datos que ya están en la plataforma de datos

Registre los datos que ya existen en la plataforma de datos para conservarlos y transformarlos, y crear data marts. Esto le permite utilizar datos que estén integrados con otras herramientas además de Qlik Cloud Integración de datos, por ejemplo, Qlik Replicate o Stitch.

Transformar datos

Cree transformaciones reutilizables a nivel de fila en los datos incorporados según reglas y SQL personalizado. Esto crea una tarea de Transformación de datos.

Crear y administrar data marts

Cree un data mart para aprovechar sus conjuntos de datos. Esto crea una tarea de datos de Data Mart.

Plataformas de datos de destino

El proyecto de datos va asociado a una plataforma de datos que se utiliza como destino para todos los resultados.

Para más información sobre plataformas de datos compatibles, vea Conexión a plataformas de destino.

Vídeo de introducción a los proyectos de datos

Ejemplo de creación de un proyecto de datos

El siguiente ejemplo realiza la incorporación de datos, la transformación de los datos y la creación de un data mart. Esto creará una canalización de datos lineal simple que podría expandir al incorporar más fuentes de datos, crear más transformaciones y agregar los conjuntos de datos generados al data mart.

Ejemplo de canalización de datos lineal en un proyecto de datos

  1. Haga clic en Añadir nuevo y luego en Crear proyecto de datos en la página de Inicio de Qlik Cloud Integración de datos.

    1. Escriba un nombre y una descripción para el proyecto de datos y seleccione un espacio para crear el proyecto de datos. Todas las tareas de datos se crearán en el espacio del proyecto de datos al que pertenecen.

    2. Seleccione Canalización de datos en Caso de uso.
    3. Seleccione qué plataforma de datos usar en el proyecto.

    4. Seleccione una conexión de datos al almacén de datos en la nube que desea usar en el proyecto. Esto se utilizará para transferir archivos de datos y almacenar conjuntos de datos y vistas. Si aún no ha preparado una conexión de datos, cree una con Agregar conexión.

      Si seleccionó Google BigQuery, Databricks o Microsoft Azure Synapse Analytics como plataforma de datos, también debe conectarse a un área de preparación.

    5. Si seleccionó Qlik Cloud como plataforma de datos:

      Puede almacenar datos en el almacenamiento administrado de Qlik o en su propio depósito de Amazon S3 administrado. Si desea utilizar su propio depósito de Amazon S3, debe seleccionar una conexión de datos a ese depósito.

      En ambos casos, también debe seleccionar una conexión de datos a un área de preparación de Amazon S3. Si utiliza el mismo depósito que definió en el paso anterior, asegúrese de usar otra carpeta en el depósito para la preparación.

    6. Haga clic en Crear.

      Se crea el proyecto de datos y puede crear su canalización de datos agregando tareas de datos.

  2. Haga clic en Añadir nuevo y luego en Incorporar datos.

    Para más información, vea Incorporar datos.

    Esto creará una tarea de aterrizaje de datos y una tarea de almacenamiento de datos. Para comenzar a replicar datos, necesita hacer lo siguiente:

  3. Cuando se haya creado la tarea de almacenamiento de datos, vuelva al proyecto de datos. Ahora puede realizar transformaciones en los conjuntos de datos creados.

    Haga clic en ... en la tarea de almacenamiento de datos y seleccione Transformar datos para crear una tarea de datos de transformación basada en esta tarea de almacenamiento de datos. Para obtener instrucciones acerca de las transformaciones, vea Transformar datos.

  4. Puede crear una galería de datos o data mart basado en una tarea de almacenamiento de datos o una tarea de transformación de datos.

    Haga clic en ... en la tarea de datos y seleccione Crear data mart para crear una tarea de data mart. Para obtener instrucciones sobre cómo crear un data mart, consulte:

    Crear y administrar data marts

Cuando haya realizado la primera carga completa de los conjuntos de datos y data marts almacenados y transformados, puede usarlos en una aplicación de análisis, por ejemplo. Para obtener más información sobre cómo crear aplicaciones de análisis, vea Crear una app de análisis usando conjuntos de datos generados por Qlik Cloud Integración de datos .

También puede ampliar la canalización de datos incorporando más orígenes de datos y combinándolos en la transformación o en el data mart.

Operaciones en un proyecto de datos

Puede realizar las mismas operaciones que están disponibles para una tarea de datos como operaciones de proyecto de datos. Esto le permite orquestar las operaciones en la canalización de datos.

Nota informativaSolo puede realizar una operación de proyecto de datos a la vez por proyecto de datos.
  • Activar y desactivar programaciones

  • Realizar operaciones de diseño

  • Iniciar y detener la ejecución de tareas de datos

  • Eliminar tareas de datos

Haga clic en Operaciones para ver el estado de una operación en curso o la última operación realizada.

Puede detener una operación en curso haciendo clic en Detener operación. Las tareas de datos que están en progreso no se detendrán, pero cancelará cualquier tarea que aún no haya comenzado.

Activar y desactivar programaciones

Puede controlar las programaciones de las tareas de datos a nivel de proyecto.

  • Haga clic en ..., y luego en Programación.

    Puede activar o desactivar la programación para todas las tareas de datos o para una selección de tareas. Solo se muestran las tareas que tienen una programación definida.

    Nota informativaEsta opción no está disponible para proyectos de datos con Qlik Cloud como plataforma de datos.

Para obtener más información sobre la programación de tareas de datos individuales, vea:

Realizar operaciones de diseño.

Puede realizar operaciones de diseño en todas las tareas de datos del proyecto de datos o en una selección de tareas. Esto facilita el control de las tareas del conjunto de datos en el proyecto de datos, en lugar de realizar las operaciones de diseño individualmente en cada tarea.

  • Validar

    Haga clic en Validar para validar todas las tareas, o una selección de las mismas. Las tareas de datos que se cambiaron desde la última operación de validación están preseleccionadas.

    Las tareas de datos se validan en orden de canalización.

  • Preparar

    Haga clic en Preparar para preparar todas las tareas, o una selección de tareas. Las tareas de datos que se cambiaron desde la última operación de preparación están preseleccionadas.

    Puede optar por recrear conjuntos de datos que requieran un cambio de estructura no admitido por la plataforma de datos. Esto puede conducir a la pérdida de datos.

  • Volver a crear

    Haga clic en ... y luego en Volver a crear para volver a crear los conjuntos de datos desde el origen para todas las tareas o para una selección de tareas.

Ejecutar tareas de datos

Puede iniciar la ejecución de todas las tareas de datos en el proyecto de datos, o en una selección de tareas, en lugar de ejecutar las tareas individualmente. Por ejemplo, puede ejecutar todas las tareas conforme a una programación basada en el tiempo. Esto iniciará las tareas posteriores según una programación basada en eventos.

  • Ejecutar

    Haga clic en Ejecutar para iniciar la ejecución de todas las tareas, o una selección de tareas. Esto inicia la ejecución de todas las tareas seleccionadas y finaliza tan pronto como comienzan a ejecutarse.

    Puede seleccionar entre todas las tareas que están listas para ejecutarse. Las tareas con una programación basada en el tiempo y las tareas que utilizan CDC están preseleccionadas. Las tareas con una programación basada en eventos no se preseleccionan, ya que se ejecutarán cuando tengan datos para procesar.

    En un proyecto con Qlik Cloud como plataforma de datos, todas las tareas de aterrizaje y almacenamiento están preseleccionadas.

    Nota informativaTodas las tareas de datos se ejecutan en paralelo. Esto significa que las comprobaciones de dependencia pueden impedir que se ejecuten algunas tareas.
  • Detener

    Haga clic en Detener para detener todas las tareas, o una selección de tareas.

    Puede seleccionar entre las tareas que se están ejecutando.

Eliminar tareas de datos

  • Haga clic en Eliminar para eliminar todas las tareas de datos del proyecto de datos o una selección de tareas.

Cambiar la vista de un proyecto de datos

Hay dos vistas diferentes del proyecto de datos. Puede cambiar entre las vistas haciendo clic en Vista de canalización.

  • La vista de canalización muestra el flujo de datos de las tareas de datos.

    Puede elegir cuánta información mostrar para las tareas de datos haciendo clic en Capas. Active o desactive la siguiente información:

    • Estado

    • Actualización de datos

    • Programar

  • La vista del panel muestra una vista con un panel que contiene información sobre la tarea de datos.

    Puede filtrar por tipo de activo y propietario.

Exportar e importar proyectos de datos

Puede exportar un proyecto de datos a un archivo JSON que contenga todo lo necesario para reconstruir el proyecto de datos. El archivo JSON exportado se puede importar en el mismo espacio empresarial inquilino o en otro. Puede usar esto, por ejemplo, para mover proyectos de datos de un espacio inquilino a otro, o para hacer copias de seguridad de proyectos de datos.

Para más información, vea Exportar e importar canalizaciones de datos.

Configuración del proyecto de datos

Puede establecer propiedades que son comunes al proyecto y todas las tareas de datos incluidas.

  • Haga clic en Configuración.

Para más información, vea Configuración del proyecto de datos.

Más información

¿Esta página le ha sido útil?

No dude en indicarnos en qué podemos mejorar si encuentra algún problema en esta página o su contenido, como, por ejemplo, errores tipográficos, pasos que falta o errores técnicos.