Destino Kafka

Este tema explica cómo configurar la conectividad a un destino Kafka utilizando el conector de destino Kafka . Kafka únicamente se puede utilizar como destino en una tarea de replicación.

Configurar Kafka como destino implica:

Cumplir los requisitos previos
Configurar una conexión a Kafka

Configurar las propiedades de la conexión

Para configurar el conector, haga lo siguiente:

En Conexiones, haga clic en Crear conexión.
Seleccione el conector de destino Kafka y luego proporcione la siguiente configuración:

Destino de datos

Pasarela de datos

Este campo no está disponible con la suscripción Qlik Talend Cloud Starter porque Data Movement gateway no se admite con este nivel de suscripción.

Al mover datos a Amazon MSK, solo se requiere una Data Movement gateway si Amazon MSK no es accesible desde Qlik Cloud y solo se puede acceder a ella mediante un vínculo privado (por ejemplo, si está ubicada en una nube privada virtual). En tal caso, seleccione la Data Movement gateway a través de la cual desea acceder a la base de datos de destino. En función del caso de uso que precise, será la misma Data Movement gateway implementada para transferir los datos desde la fuente de datos u otra distinta.

Si está moviendo datos a una instancia de Amazon MSK que sea directamente accesible desde Qlik Cloud, seleccione Ninguno.

Si está moviendo datos a Kafka local (consulte Proveedor de nube a continuación), debe seleccionar un Data Movement gateway, independientemente de si Kafka es directamente accesible desde Qlik Cloud o no.
Si necesita usar Data Movement gateway, se requiere la versión 2025.5.40 o posterior.

Para obtener información sobre casos de uso de Data Movement gateway, consulte ¿Cuándo es obligatorio Data Movement gateway? y Casos de uso habituales.

Proveedor de nube

Elija Ninguno para usar Kafka localmente o Amazon MSK para usar Amazon MSK.

Servidores de intermediación

Especifique uno o más servidores de intermediación utilizando el siguiente formato (para alta disponibilidad):

server1[:port1][,server2[:port2]]

Ejemplo:

192.168.1.100:9092,192.168.1.101:9093

La tarea de datos se conectará al primer host disponible. Si se especifica un host sin un puerto, entonces se utilizará el puerto 9092 como predeterminado.

Cuando utilice autenticación SSL o Kerberos, debe especificar el FQDN del bróker (es decir, no la dirección IP).

Todos los servidores de bróker de su clúster deben ser accesibles desde la máquina de Data Movement gateway. Sin embargo, no es necesario especificar todos los servidores en el Servidores de intermediarios . Esto se debe a que Data Movement gateway solo necesita conectarse a uno de los servidores para recuperar los detalles de conexión de los demás servidores del clúster. Por lo tanto, la mejor práctica es especificar los servidores que tienen más probabilidades de estar disponibles cuando se ejecuta la tarea. Los servidores a los que la tarea de datos produce mensajes se determinan por el tema y el tema de partición, así como por la configuración de partición.

Propiedades de la cuenta

Método de autenticación

Seleccione una de las siguientes opciones:

Ninguno: Sin autenticación.
Certificado: Si selecciona esta opción, también debe proporcionar la siguiente información:

NotaLos archivos de clave pública y privada deben estar en formato PEM.
- Archivo de clave pública: Navegue hasta el archivo de clave pública en formato PEM. Al hacer clic en Guardar, el archivo se cargará en Qlik Talend Cloud y se implementará en el Data Movement gateway seleccionado en la configuración del conector.
- Archivo de clave privada: Navegue hasta el archivo de clave privada en formato PEM. Al hacer clic en Guardar, el archivo se cargará en Qlik Talend Cloud y se implementará en el Data Movement gateway seleccionado en la configuración del conector.
- Contraseña de clave privada: La contraseña para el archivo de clave privada.
Kerberos (SASL/GSSAPI): Seleccione para autenticarse con el clúster de Kafka mediante Kerberos.

Nota informativa
Este método de autenticación no está disponible cuando el proveedor de la nube seleccionado es Amazon MSK.
- Principal: El principal de Kerberos utilizado para autenticarse con el/los servidor(es) de intermediación.
- Archivo keytab: Navegue hasta el archivo keytab. Al hacer clic en Guardar, el archivo se cargará en Qlik Talend Cloud y se implementará en el Data Movement gateway seleccionado en la configuración del conector.
Nota informativa
Para usar la autenticación Kerberos en Linux, se debe instalar el paquete de cliente (estación de trabajo) de Kerberos.
Nombre de usuario y contraseña (SASL/PLAIN): Puede seleccionar esta opción para autenticarse usando un nombre de usuario y una contraseña (SASL/PLAIN). Para evitar que la contraseña se envíe en texto sin cifrar, se recomienda encarecidamente habilitar también la opción Habilitar TLS.

Nota informativa
Este método de autenticación no está disponible cuando el proveedor de nube seleccionado es Amazon MSK.
Nombre de usuario y contraseña (SASL/SCRAM-SHA-256): Puede seleccionar esta opción para autenticarse con un nombre de usuario y una contraseña (SASL/SCRAM-SHA-256).

Tenga en cuenta que seleccionar esta opción también requiere que el archivo server.properties de cada agente esté configurado con el mecanismo SASL/SCRAM correspondiente.

Nota informativa
Este método de autenticación no está disponible cuando el proveedor de nube seleccionado es Amazon MSK.
Nombre de usuario y contraseña (SASL/SCRAM-SHA-512): Puede seleccionar esta opción para autenticarse con un nombre de usuario y una contraseña (SASL/SCRAM-SHA-512).

Tenga en cuenta que al seleccionar esta opción también es necesario que el archivo server.properties de cada corredor esté configurado con el archivo correspondiente. SASL/SCRAM mecanismo.

Opciones de SSL

Habilitar TLS (compatible con TLS 1.0, 1.1 y 1.2)

Seleccione esta opción para cifrar la comunicación entre el Qlik Talend Cloud y el/los servidor(es) de intermediarios. Si los intermediarios están configurados para requerir SSL, entonces debe seleccionar esta opción.

Archivo CA: busque el certificado CA en formato PEM. Al hacer clic en Guardar, el archivo se cargará en Qlik Talend Cloud y se implementará en el Data Movement gateway seleccionado en la configuración del conector.

Nota informativa
No es necesario cuando el proveedor de la nube seleccionado es Amazon MSK.

Publicación de mensajes de metadatos

El registro de esquemas estará disponible para la publicación de mensajes de metadatos

En la lista desplegable, seleccione una de las siguientes opciones:

No

Cuando se selecciona esta opción, solo se publicarán los mensajes de datos.

Registro de esquemas de Confluent

Si selecciona esta opción, también debe configurar las propiedades de conexión del registro de esquemas que se describen a continuación.

Las opciones del Registro de esquemas de Confluent solo admiten el formato de mensaje Avro.
Se recomienda encarecidamente no publicar mensajes de esquema en el mismo tema que los mensajes de datos.
Si los temas no existen, configure los brokers con auto.create.topics.enable=true para permitir que la tarea de datos cree los temas durante el tiempo de ejecución. De lo contrario, la tarea fallará.

Formato de mensaje

Elija JSON o Avro como formato de mensaje. Avro será la única opción disponible si seleccionó el Esquema de registro de Confluent.

Propiedades de conexión del registro de esquemas

Servidores del registro de esquemas

Especifique uno o más servidores de Registro de esquemas utilizando el siguiente formato (para alta disponibilidad):

Al publicar esquemas de datos en el Registro de esquemas de Confluent:

server1:port1[,server2[:port2]]

Ejemplo:

192.168.1.100:8081,192.168.1.101:8081

La tarea de datos se conectará al primer host disponible.

Al publicar esquemas de datos en el Registro de esquemas de Hortonworks:

server1:port1[,server2[:port2]]

Ejemplo:

192.168.1.100:7788,192.168.1.101:7788

La tarea de datos se conectará al primer host disponible.

Método de Autenticación

Seleccione una de las siguientes opciones de autenticación de Registro de esquemas:

Ninguno: Sin autenticación.
Kerberos: selecciónelo para autenticarse usando Kerberos.

Nota informativa
Para usar la autenticación Kerberos en Linux, se debe instalar el paquete de cliente (estación de trabajo) de Kerberos.

Principal: el principal de Kerberos utilizado para autenticarse en el Registro de esquemas.
Archivo de tabla de claves: Busque el archivo keytab. Cuando haga clic en Guardar, el archivo se cargará en Qlik Talend Cloud y se implementará en cualquier Data Movement gateway seleccionado en la configuración del conector.

Certificado: Selecciónelo para autenticarse usando un certificado.

Nota informativa
Esta opción solo es compatible al publicar en el Confluent Schema Registry.

Si selecciona esta opción, también deberá proporcionar la siguiente información:

Archivo de clave pública: Busque el archivo de clave pública en formato PEM. Al hacer clic en Guardar, el archivo se cargará en Qlik Talend Cloud y se implementará en el Data Movement gateway seleccionado en la configuración del conector.
Archivo de clave privada: Busque el archivo de clave privada en formato PEM. Al hacer clic en Guardar, el archivo se cargará en Qlik Talend Cloud y se implementará en el Data Movement gateway seleccionado en la configuración del conector.
Contraseña de clave privada: La contraseña para el archivo de clave privada.

Nombre de usuario y contraseña: Seleccione para autenticarse con un Nombre de usuario y Contraseña. Luego, introduzca sus credenciales de inicio de sesión en los campos Nombre de usuario y Contraseña.

Nota informativa
Esta opción solo es compatible al publicar en Confluent Schema Registry.
Certificado + Nombre de usuario y Contraseña: Seleccione para autenticarse utilizando un certificado y un Nombre de usuario y Contraseña.

Cuando se selecciona esta opción, introduzca la información requerida en los campos Archivo de clave pública, Archivo de clave privada, Contraseña de clave privada, Nombre de usuario y Contraseña descritos anteriormente.

Nota informativa
Esta opción solo es compatible al publicar en Confluent Schema Registry.
Habilitar TLS (admite TLS 1.0, 1.1 y 1.2): seleccione esta opción para cifrar los datos entre la máquina de Data Movement gateway y el/los servidor(es) de Schema Registry. Si los servidores están configurados para requerir SSL, entonces debe seleccionar esta opción.
- Archivo CA: Navegue hasta el certificado de CA en formato PEM. Al hacer clic en Guardar, el archivo se cargará en Qlik Talend Cloud y se implementará en el Data Movement gateway seleccionado en la configuración del conector.

Propiedades internas

Las propiedades internas son para casos de uso especiales y, por lo tanto, no se exponen en el cuadro de diálogo. Solo deberá usarlas si se lo indica el Soporte de Qlik.

Haga uso de los botones Crear nuevo y Cancelar a la derecha de los campos para agregar o eliminar propiedades según sea necesario.

Nombre

El nombre que mostrará la conexión.

Requisitos previos

Antes de poder usar Kafka como destino, deben cumplirse los siguientes requisitos previos:

Abra los puertos TCP a todos los brokers desde la máquina de Data Movement gateway
Establezca los permisos que permitirán a la tarea de datos escribir en los temas de destino. Una forma de hacerlo es usar el script de ACL de Kafka (kafka-acls).
Cree un tema llamado attrep_apply_exceptions antes de iniciar la tarea de datos o configure los intermediarios con auto.create.topics.enable=true.

Tenga en cuenta que si este tema no existe, la tarea siempre fallará cuando encuentre un error de datos, independientemente de la política de gestión de errores.

Para obtener una descripción de la tabla de control attrep_apply_exceptions, consulte Aplicar excepciones.

Limitaciones y consideraciones

Al definir una tarea con Kafka como conector de destino, se aplican las siguientes limitaciones:

Configuración de tareas no admitida:
- El conector de destino de Kafka no admite un tamaño de LOB ilimitado. Por lo tanto, al mover datos de tablas de origen con columnas LOB, no seleccione la opción Permitir tamaño de LOB ilimitado.
- El modo Guardar cambios no es compatible.
- El modo de aplicación optimizado por lotes no es compatible. Kafka siempre funciona en modo de aplicación transaccional.
- La configuración Ignorar ALTER Aplicar cambios no es compatible con los cambios en los tipos de datos de origen y el cambio de nombre de tablas.
- La opción Eliminar y crear tabla del campo Preparación de tabla de destino no es compatible.
- La opción Truncar antes de cargar del campo Preparación de tabla de destino no es compatible.
- La tabla de control Particionamiento de datos de cambio no es compatible.
Limitaciones generales:
- Los nombres de los temas de Kafka no pueden contener espacios ni exceder los 255 caracteres (249 a partir de Kafka 0.10) y solo pueden contener los siguientes caracteres:
  a-z|A-Z|0-9|. (punto)|_(guión bajo)|-(guión)
  Si los nombres de las tablas de origen exceden la longitud máxima permitida o contienen caracteres no admitidos, debe modificar los nombres antes de iniciar la tarea o definir una transformación global.
- Los nombres de las columnas deben comenzar con [A-Za-z_] (letras o un guión bajo) seguido de [A-Za-z0-9_] (letras, dígitos o un guión bajo). Por ejemplo, _Test_ es un nombre de columna válido, mientras que &Test no lo es.
  Si el nombre de una columna de origen no se adhiere a esta regla, entonces se debe usar una transformación para renombrar la columna.
- No se admite eliminar o renombrar una tabla de origen.

Tipos de datos

La tabla siguiente muestra los tipos de datos de Kafka que se admiten al utilizar Qlik Cloud y la asignación predeterminada de tipos de datos de Qlik Cloud.

Cuando se utiliza el formato de mensaje JSON, los valores binarios se representan como dígitos hexadecimales.

Asignación de datos de Kafka
Tipos de datos en Qlik Cloud	Tipos de datos de destino de Kafka en mensajes de esquema
DATE	DATE
TIME	TIME
DATETIME	DATETIME
BYTES	BYTES (length)
BLOB	BLOB
REAL4	REAL4 (7)
REAL8	REAL8 (14)
INT1	INT1 (3)
INT2	INT2 (5)
INT4	INT4 (10)
INT8	INT8 (19)
UINT1	UINT1 (3)
UINT2	UINT2 (5)
UINT4 Nota informativa No se admiten valores superiores a 2^31-1.	UINT4 (10)
UINT8 Nota informativa No se admiten valores superiores a 2^63-1.	UINT8 (20)
NUMERIC	NUMERIC (p,s)
STRING	STRING (Length)
WSTRING	STRING (Length)
CLOB	CLOB
NCLOB	NCLOB
BOOLEAN	BOOLEAN (1)

Asignación a JSON y Avro

El formato de mensaje de Avro utiliza tipos lógicos para una representación más precisa del tipo de datos.

Qlik Cloud tipos de datos solo se asignarán a tipos de datos lógicos Avro compatibles si la casilla de verificación Usar tipos de datos lógicos para tipos de datos específicos está seleccionada.

Correspondencias entre tipos de datos
Tipos de datos en Qlik Cloud	JSON	Tipos de datos lógicos Avro
DATE	STRING	DATE Anota un INT de Avro.
TIME	STRING	TIME-MILLIS Anota un Avro INT.
TIMESTAMP	STRING	TIMESTAMP-MICROS Anota un Avro LONG.
STRING	STRING	-
WSTRING	STRING	-
CLOB	STRING	-
NCLOB	STRING	-
NUMERIC	STRING	DECIMAL (p,s) Anota un Avro BYTES.
BYTES	BYTES	-
BLOB	BYTES	-
REAL4	FLOAT	-
REAL8	DOUBLE	-
INT1	INT	-
INT2	INT	-
INT4	INT	-
UINT1	INT	-
UINT2	INT	-
UINT4	LONG	-
INT8	LONG	-
UINT8	STRING	DECIMAL (20,0) Anota un Avro BYTES.
BOOLEAN	BOOLEAN	-

Trabajar con Confluent Cloud

La siguiente sección explica cómo configurar el conector de Kafka para que funcione con Confluent Cloud.

Cree un clúster en Confluent Cloud.
Copie el valor de Servidor de arranque de la configuración del clúster en el campo Servidores de intermediario de la pestaña General de la configuración del conector.
En la configuración del conector, seleccione Nombre de usuario y contraseña (SASL/PLAIN) de la lista desplegable Método de autenticación.
En la pantalla Acceso a la API de su clúster de Confluent, cree un par de claves de API.
Copie la clave y el secreto en los campos Nombre de usuario y Contraseña del conector de Kafka, respectivamente.
En la configuración del conector de Kafka, seleccione la opción Habilitar TLS y especifique la ruta completa al archivo CA en el campo Ruta de CA. El archivo CA debe crearse según las directrices de Confluent y debe contener la CA que firma todos los certificados de Confluent Cloud, así como su firmante de CA raíz.

Ya debería estar todo listo para trabajar con Confluent Cloud.

¿Esta página le ha sido útil?

Si encuentra algún problema con esta página o su contenido (errores tipográficos, pasos que faltan o errores técnicos), no dude en ponerse en contacto con nosotros.

Deje aquí sus comentarios