Crear un proyecto de Qlik Open Lakehouse

Cree una canalización de datos en Qlik Open Lakehouse para ingerir datos de cualquier fuente. Almacene sus datos en formato de tabla abierta Iceberg.

Requisitos previos

Para crear un proyecto de Qlik Open Lakehouse, necesita:

• Una integración de red para permitir que Qlik aprovisione y administre recursos informáticos en su nombre.

• Un clúster de lakehouse configurado para ejecutar la tarea de almacenamiento de datos dentro de su proyecto de Iceberg.

• Una conexión a un catálogo de datos para utilizarlo como destino de los datos de su proyecto, o los detalles necesarios para que pueda crear una nueva conexión.

Tareas que admite

En un proyecto de Qlik Open Lakehouse se admiten las siguientes tareas.

Fuentes de aplicaciones CDC y SaaS

• Tarea de aterrizaje de datos en un lago

  Aterrice datos en formato CSV en S3, desde cualquier fuente compatible con Qlik, incluidos los streams de datos de gran volumen.

  Para más información, vea Enviar datos de destino a Qlik Open Lakehouse.

• Tarea de almacenamiento de datos

  La tarea de almacenamiento de datos consume los datos aterrizados en la nube por la tarea de ubicación de destino/aterrizaje en el lago. La tarea escribe datos en tablas Iceberg para un almacenamiento y consulta eficaces.

• Para más información, vea Almacenar conjuntos de datos.

• Tarea de datos de reflejo

  Duplicar tablas de Iceberg de su tarea de almacenamiento en su almacén de datos en la nube. Los usuarios pueden consultar datos a través de tablas externas sin migrar datos a su almacén de datos en la nube.

Fuentes de streaming

• Tarea de datos de aterrizaje de streaming

  Aterrice datos en formato Avro en S3, desde cualquier fuente de streaming compatible con Qlik.

  Para más información, vea Enviar datos de streaming a Qlik Open Lakehouse.

• Tarea de transformación de datos de streaming

  La tarea de transformación de datos de streaming consume los eventos aterrizados en la nube por la tarea de aterrizaje de streaming. La tarea escribe datos en tablas Iceberg para un almacenamiento y consulta eficaces, y admite transformaciones.

  Para más información, vea Almacenar conjuntos de datos de streaming.

• Tarea de datos de reflejo

  Duplique las tablas Iceberg desde su tarea de almacenamiento de streaming a su almacén de datos en la nube. Los usuarios pueden consultar datos a través de tablas externas sin migrar datos a su almacén de datos en la nube.

Ejemplo de creación de un proyecto Qlik Open Lakehouse

En el siguiente ejemplo se crea un proyecto de canalización de Qlik Open Lakehouse, se incorporan datos de una fuente CDC y se almacenan en tablas con formato Iceberg. Este ejemplo crea una canalización de datos sencilla, que podría ampliar incorporando más fuentes de datos. Podría añadir una tarea de reflejo de datos para reflejar sus tablas en su almacén de datos sin duplicar datos, o utilizar este proyecto como fuente para un proyecto que requiera transformaciones en su almacén de datos en la nube.

Para crear un proyecto de Qlik Open Lakehouse, haga lo siguiente:

1. En la página de inicio de Integración de datos , haga clic en Crear canalización y configúrelo:

• Nombre: indique el nombre del proyecto.

• Espacio: seleccione el espacio al que pertenecerá el proyecto.

• Descripción: si lo desea, escriba una descripción para el proyecto.

2. En Caso de uso, seleccione Canalización de datos.

3. Configure la Plataforma de datos:

• Plataforma de datos: seleccione Qlik Open Lakehouse en la lista.

• Conexión con el catálogo de datos: en la lista, seleccione una conexión disponible o haga clic en Crear nueva para añadir una nueva conexión al catálogo de datos.

• Conexión de aterrizaje en destino: seleccione el depósito de S3 para el destino temporal o aterrizaje de los datos, o haga clic en Crear nuevo para añadir una nueva ubicación del depósito.

• Clúster de cómputo de almacenamiento: seleccione el clúster de lakehouse que ejecutará la tarea de almacenamiento.

4. Cree el proyecto.

5. Siga los pasos del asistente de incorporación de datos.Para más información, consulte Incorporar datos, que proporciona instrucciones para fuentes CDC y de streaming.