Transformar datos

Puede crear transformaciones de datos reutilizables y basadas en reglas como parte de su canalización de datos. Puede realizar transformaciones como parte de su incorporación de datos o crear tareas de datos de transformación reutilizables. Puede realizar transformaciones a nivel de fila y crear conjuntos de datos que o bien se materialicen como tablas, o bien se creen como vistas que realizan transformaciones sobre la marcha.

• Puede realizar transformaciones explícitas de conjunto de datos o crear reglas globales que transformen varios conjuntos de datos. También puede filtrar un conjunto de datos para crear un subconjunto de filas.

• Puede agregar transformaciones SQL. Una transformación SQL le permite insertar una consulta SQL SELECT en una canalización para definir transformaciones complejas o simples.

• Puede agregar flujos de transformación visualmente utilizando fuentes, procesadores y destinos para definir transformaciones complejas o sencillas.

Una tarea de transformación de datos contiene tres vistas:

• Transformar

  Esta vista muestra todas las transformaciones para visualizar el flujo desde el conjunto de datos de origen al conjunto de datos de destino.

• Conjuntos de datos

  Esta vista muestra todas las transformaciones básicas de los conjuntos de datos, como filtrar datos o agregar columnas, así como las reglas para realizar transformaciones globales.

• Modelo

  Esta vista le permite crear un modelo de datos con las relaciones entre los conjuntos de datos incluidos.

Crear una tarea de transformación de datos

La forma más fácil de crear una tarea de transformación de datos es hacer clic en ... en una tarea de almacenamiento de datos y luego seleccionar Transformar datos.

También puede hacer clic en Crear en un proyecto y seleccionar Transformar datos. En este caso, debe definir qué tarea de datos de origen utilizar.

1. Defina sus datos de origen y destinos en Transformar.

   Puede, o bien:

   • Realizar transformaciones de conjuntos de datos

     Seleccione conjuntos de datos de origen y haga clic en Agregar al destino para agregarlos al Destino.

     Luego puede realizar transformaciones básicas en los conjuntos de datos, como filtrar datos o agregar columnas, en Conjuntos de datos.

     Para obtener más información, consulte Administrar conjuntos de datos.

   • Agregar una transformación SQL

     Seleccione conjuntos de datos de origen y haga clic en Agregar transformación SQL.

     Una transformación SQL le permite insertar una consulta SQL SELECT en una canalización para definir transformaciones complejas o simples.

     Para obtener más información, consulte Agregar transformaciones SQL.

   • Agregar un flujo de transformación

     Seleccione conjuntos de datos de origen y haga clic en Agregar flujo de transformación.

     El diseñador de flujo le permite crear un flujo de transformación con fuentes, procesadores y destinos para definir transformaciones complejas o simples.

     Para obtener más información, consulte Agregar flujos de transformación.

   Nota de sugerenciaTambién puede agregar más conjuntos de datos de otras tareas de almacenamiento de datos haciendo clic en Seleccionar datos de origen.

2. Cuando haya agregado las transformaciones que desea, puede validar los conjuntos de datos haciendo clic en Validar conjuntos de datos. Si la validación encuentra errores, corríjalos antes de continuar.

   Para obtener más información, consulte Validar y ajustar los conjuntos de datos.

3. Crear un modelo de datos

   Haga clic en Modelo para establecer las relaciones entre los conjuntos de datos incluidos.

   Para obtener más información, consulte Crear un modelo de datos.

4. Haga clic en Preparar para preparar la tarea de datos y todos los artefactos necesarios. Esto puede tomar un poco de tiempo.

   Puede seguir el progreso en Progreso de la preparación, en la parte inferior de la pantalla.

5. Cuando el estado muestra Preparado, puede ejecutar la tarea de datos.

   Haga clic en ... y después en Ejecutar.

La tarea de datos ahora comenzará a crear conjuntos de datos para transformar los datos.

Utilizar la vista Transformación

En Transformación, se muestran todas las transformaciones para visualizar el flujo desde el conjunto de datos de origen al conjunto de datos de destino.

• Seleccione una transformación para ver qué conjuntos de datos de origen se utilizan y qué conjuntos de datos de destino se crean.

• Seleccione un origen para ver todas las transformaciones en las que se utiliza y todos los destinos resultantes.

• Seleccione un destino para ver cuáles son los conjuntos de datos de origen y qué transformación creó este conjunto de datos de destino.

Puede cambiar la siguiente configuración haciendo clic en Opciones de visualización:

• Filtrar por tipo de transformación

  Mostrar solo transformaciones de uno o dos tipos de transformación.

• Filtrar

  Permite mostrar todas las transformaciones o solo la transformación seleccionada. Debe seleccionar una transformación para habilitar esta opción.

• Densidad

  Seleccione si desea mostrar las transformaciones con un diseño compacto o con un diseño amplio utilizando más espacio.

Usar la vista de Conjuntos de datos

En Conjuntos de datos puede ver y editar todos los conjuntos de datos de destino en la tarea de transformación.

Consulte también Administrar conjuntos de datos para obtener más información.

Añadido un conjunto de datos de destino

Puede añadir más conjuntos de datos de destino a la tarea de transformación.

1. Haga clic en Agregar conjunto de datos.

2. Proporcione el Nombre y, opcionalmente, la Descripción del conjunto de datos.

3. Seleccione un conjunto de datos de origen de entre los conjuntos de datos disponibles en la tarea en Conjunto de datos de origen.

   Nota de sugerenciaPuede seleccionar Sin conjunto de datos de origen para crear un conjunto de datos vacío, no conectado a ninguna fuente. Puede añadir columnas al conjunto de datos durante el diseño, pero debe conectarse a un conjunto de datos de origen antes de poder preparar la tarea.

Ahora se añade el conjunto de datos de destino.

Cambiar el conjunto de datos de origen

Puede cambiar el conjunto de datos de origen de un conjunto de datos de destino.

1. Haga clic en después de Origen: [nombre del conjunto de datos de origen].

2. Seleccione otro conjunto de datos de origen de los conjuntos de datos disponibles en la tarea en Conjunto de datos de origen.

   Nota de sugerenciaPuede seleccionar Sin conjunto de datos de origen para desconectar el conjunto de datos de destino del origen. Puede editar el conjunto de datos durante el diseño, pero debe conectarse a un conjunto de datos de origen antes de poder preparar la tarea.

Añadir nuevas columnas

Puede añadir columnas nuevas al conjunto de datos de destino.

• Añadir una columna nueva desde cero

  Haga clic en + Añadir.

  Proporcione un nombre para la columna y establezca una expresión para definir los datos de la columna.

  Para más información, consulte Agregar columnas a un conjunto de datos.

• Añadir una columna desde la fuente de origen

  Haga clic en junto a Añadir y seleccione Añadir columna desde origen.

  Seleccione una columna del conjunto de datos de origen.

Reordenación de columnas

Puede modificar la posición ordinal de una columna.

1. Seleccione una columna.

2. Haga clic en y luego en Reordenar.

3. Utilice las flechas para mover la columna en sentido ascendente o descendente.

4. Cierre Cambiar ordinal cuando esté listo.

Crear reglas de transformación

Puede crear reglas de transformación reutilizables para realizar transformaciones globales en conjuntos de datos.

Para obtener más información sobre la creación de reglas, consulte Crear reglas para transformar conjuntos de datos.

Filtrar un conjunto de datos

Puede filtrar datos para crear un subconjunto de filas, si es necesario.

• Haga clic en y luego en Filtrar.

Para obtener más información sobre el filtrado, consulte Filtrar un conjunto de datos.

Programar una tarea de transformación

Puede programar una tarea de transformación para que se actualice periódicamente. Puede establecer una programación basada en el tiempo o configurar la tarea para que se ejecute cuando las tareas de datos de entrada hayan terminado de ejecutarse.

Haga clic en ... en una tarea de datos y seleccione Programación para crear una programación. La configuración de programación predeterminada se hereda de la configuración del proyecto. Para obtener más información sobre la configuración predeterminada, vea Transformar valores predeterminados.

Siempre debe establecer Programación en Activado para habilitar la programación.

Programaciones basadas en el tiempo

Puede utilizar una programación basada en el tiempo para ejecutar la tarea independientemente de cuándo se actualicen las distintas fuentes de entrada.

• Seleccione A una hora específica en Ejecutar la tarea de datos.

Puede establecer una programación por hora, diaria, semanal o mensual.

Programaciones basadas en eventos

Puede usar un programa basado en eventos para ejecutar la tarea cuando las tareas de datos de entrada hayan terminado de ejecutarse.

• Seleccione En un evento específico en Ejecutar la tarea de datos.

Puede seleccionar si desea ejecutar la tarea cuando cualquiera de las tareas de entrada se haya completado correctamente, o cuando alguna de las tareas de entrada seleccionadas se haya completado correctamente.

Supervisar una tarea de transformación

Puede supervisar el estado y el progreso de una tarea de transformación haciendo clic en Supervisar.

Para obtener más información, consulte Supervisión de una tarea de datos individual.

Recargar datos

Puede realizar una recarga manual de tablas si los datos se materializan como tablas físicas. Esto resulta útil cuando hay problemas con una o más tablas.

1. Abra la tarea de datos y seleccione la pestaña Supervisar.

2. Seleccione las tablas que desea cargar.

3. Haga clic en Cargar tablas.

La recarga se producirá la próxima vez que se ejecute la tarea. El proceso de recarga se comporta de manera diferente según la configuración del historial y el tipo de transformación de cada conjunto de datos. Esto significa que el proceso de recarga puede diferir entre conjuntos de datos en una tarea de datos.

• Las transformaciones de conjuntos de datos se recargan truncando y cargando.

• Las transformaciones de SQL y los flujos de transformación se pueden recargar truncándolos y cargándolos o comparándolos con la carga completa y aplicando los cambios. La mejor práctica es comparar y aplicar los camios.

  Recargar un conjunto de datos basado en una transformación SQL o un flujo de transformación

Puede cancelar la recarga de las tablas pendientes de recarga haciendo clic en Cancelar recarga. Esto no afectará a las tablas que ya estén recargadas, y las recargas que se estén ejecutando en ese momento se completarán.

Las tareas posteriores se recargarán para aplicar los cambios y evitar la retroactivación.

El impacto en sentido descendente depende del tipo de operación de recarga ejecutada y del tipo de conjunto de datos inmediatamente posterior. El procesamiento estándar significa que el conjunto de datos reaccionará y procesará los datos utilizando el método configurado para el conjunto de datos específico.

Ejemplo: Recargar un conjunto de datos mediante truncar y cargar

• Si el siguiente conjunto de datos utiliza transformaciones del conjunto de datos, se recargará en la siguiente ejecución mediante truncamiento y carga.

• Si el siguiente conjunto de datos es una transformación SQL o un flujo de transformación, se recargará mediante comparar y aplicar.

Recargar un conjunto de datos sin historial

En este caso, no hay antecedentes que considerar. Para reducir el procesamiento en el destino, la recarga se realiza:

1. Truncando las tablas.

2. Cargando datos actuales de la tarea de datos ascendente.

Las tareas posteriores se recargarán para aplicar los cambios.

Recargar un conjunto de datos con el historial habilitado

La recarga se realiza:

1. Truncando las tablas actuales, anteriores y de cambios.

2. Cargando datos de la tarea de datos previa, incluidas las tablas anteriores.

Recargar un conjunto de datos basado en una transformación SQL o un flujo de transformación

• Truncar y volver a cargar

  Nota informativaEsta opción puede provocar la pérdida del historial.

  1. Truncar las tablas actuales y de cambios.

  2. Ejecutar la consulta y cargarla en las tablas actuales.

• Volver a cargar y comparar

  1. Ejecutar la consulta y compararla con las tablas actuales.

  2. Agregar los cambios.

Opciones de configuración de la transformación

Puede establecer propiedades para la tarea de transformación de datos.

• Haga clic en Configuración.

Configuración general

• Base de datos

  Base de datos que se utilizará en el origen de datos.

• Esquema de tarea

  Puede cambiar el nombre del esquema de la tarea de datos. El nombre predeterminado es el nombre de la tarea.

• Esquema interno

  Puede cambiar el nombre del esquema de almacenamiento interno. El nombre predeterminado es el nombre de la tarea de almacenamiento con el sufijo _internal.

• Prefijo para todas las tablas y vistas

  Puede establecer un prefijo para todas las tablas y vistas creadas con esta tarea.

  Nota informativaDebe usar un prefijo único cuando desee usar un esquema de base de datos en varias tareas de datos.

• Materializado

  Puede seleccionar crear solo vistas que realicen transformaciones sobre la marcha (No materializadas) o crear tablas y vistas (Materializadas).

• Historial

  Puede conservar los datos de cambios históricos para permitirle recrear fácilmente los datos tal y como se veían en un punto específico en el tiempo. Puede usar las vistas del historial y las vistas del historial en vivo para ver los datos históricos.

Configuración de tiempo de ejecución

• Ejecución en paralelo

  Puede establecer el número máximo de conexiones para cargas completas en un número del 1 al 5.

• Almacén

  El nombre del almacén de datos en la nube.

Configuración del catálogo

• Publicar en el catálogo

  Seleccione esta opción para publicar esta versión de los datos en el Catálogo como un conjunto de datos. El contenido del catálogo se actualizará la próxima vez que prepare esta tarea.

Para obtener más información sobre el catálogo, consulte Comprender sus datos con las herramientas del catálogo.

Limitaciones

• No es posible cambiar los tipos de datos en una tarea de transformación de datos cuando se selecciona la opción No materializado.

• El linaje a nivel de campo no está disponible para los conjuntos de datos creados en transformaciones SQL o flujos de transformación.