Datos de CDC

El proceso de incorporación transfiere datos desde un origen CDC o SaaS y los almacena en tablas Iceberg. Los cambios en las fuentes de datos se aplican continuamente a las tablas de almacenamiento en minilotes eficientes.

Incorporar datos

Comience incorporando datos en un proyecto. Los conjuntos de datos se almacenan en la ubicación S3 definida en el proyecto. Para obtener más información sobre los proyectos, vea Crear un proyecto de canalización de datos.

1. En su proyecto, haga clic en Crear y después en Aterrizar datos.

   Nota de sugerenciaTambién puede hacer clic en en una fuente del proyecto y luego hacer clic en Incorporar datos.

2. Agregue un Nombre y una Descripción para la incorporación.

   Haga clic en Siguiente.

3. Seleccione la conexión de origen.

   Puede seleccionar una conexión de origen existente o crear una nueva conexión a la fuente.

   Para más información, vea Crear conexiones con fuentes de datos.

   Haga clic en Siguiente.

4. Seleccione los datos que cargar.

   Para más información, vea Seleccionar datos.

   Haga clic en Siguiente.

   Se muestra Configuración, donde puede seleccionar el método de actualización y la configuración del historial.

5. Seleccione qué método utilizar para actualizar los datos en Método de actualización:

   • Captura de datos de cambios(CDC)

     Si sus datos contienen tablas que no admiten CDC, o vistas, se crearán dos canalizaciones de datos: una canalización con todas las tablas que admiten CDC, y otra canalización con el resto de tablas y vistas que utilizan Volver a cargar y comparar.

   • Volver a cargar y comparar

6. Seleccione si desea replicar el historial de los datos anteriores además de los datos actuales en Historial.

7. Haga clic en Siguiente cuando esté listo.

8. Obtenga una vista previa de las tareas de datos que se crean para incorporar datos y cámbieles el nombre, si lo prefiere.

   Nota de sugerenciaLos nombres se utilizan cuando se nombran los esquemas de las bases de datos en la tarea Almacenamiento de datos. Considere la posibilidad de utilizar nombres que sean singulares y únicos para evitar conflictos con las tareas de datos de otros proyectos que utilicen la misma plataforma de datos.

9. Seleccione si desea abrir alguna de las tareas de datos que se crean o volver al proyecto.

   Cuando esté listo, haga clic en Finalizar.

10. Ahora ya se han creado las tareas de datos de incorporación. Para comenzar a replicar datos, necesita hacer lo siguiente:

11. Prepare y ejecute la tarea de aterrizaje de datos.

    Para más información, vea Transferir datos desde fuentes de datos.

12. Prepare y ejecute la tarea Almacenamiento de datos.

    Para más información, vea Almacenar conjuntos de datos.

Seleccionar datos

Puede seleccionar tablas o vistas específicas, o usar reglas de selección para incluir o excluir grupos de tablas.

Utilice % como comodín para definir un criterio de selección para esquemas y tablas.

• %.% define todas las tablas en todos los esquemas.

• Public.% define todas las tablas del esquema Público.

Criterios de selección le ofrece una vista previa basada en sus selecciones.

Ahora puede o bien:

• Crear una regla para incluir o excluir un grupo de tablas según los criterios de selección.

  Haga clic en Agregar regla desde los criterios de selección para crear una regla y seleccione o bien Incluir o Excluir.

  Puede ver la regla bajo Reglas de selección.

• Seleccione uno o más conjuntos de datos y haga clic en Agregar conjuntos de datos seleccionados.

  Puede ver los conjuntos de datos agregados en Conjuntos de datos seleccionados de forma explícita.

Las reglas de selección solo se aplican al conjunto actual de tablas y vistas, no a las tablas y vistas que se agreguen en el futuro.