Kafka destinazione

Questo argomento spiega come configurare la connettività a una destinazione Kafka utilizzando il connettore di destinazione Kafka . È possibile utilizzare Kafka come destinazione solo in un'attività di replica.

Per l'impostazione di Kafka come destinazione sono necessari i seguenti elementi:

Adempimento dei prerequisiti
Configurazione di una connessione a Kafka

Impostazione delle proprietà di connessione

Per configurare il connettore, procedere come segue:

In Connessioni, fare clic su Crea connessione.
Selezionare il connettore Kafka di destinazione, quindi fornire le seguenti impostazioni:

Destinazione dati

Gateway dati

Questo campo non è disponibile con la sottoscrizione Avvio Qlik Talend Cloud, poiché il Gateway Data Movement non è supportato con i livelli di sottoscrizione.

Quando si spostano dati in Amazon MSK, è richiesto un Gateway Data Movement solo se Amazon MSK non è accessibile da Qlik Cloud e può essere accessibile solo utilizzando un Private Link (ad esempio, se si trova in un Virtual Private Cloud). In questo caso, selezionare il Gateway Data Movement che si desidera utilizzare per accedere al database di destinazione. A seconda del caso di utilizzo, questo sarà lo stesso Gateway Data Movement distribuito per spostare i dati da una sorgente dati, oppure uno differente.

Se si stanno spostando dati in un'istanza Amazon MSK direttamente accessibile da Qlik Cloud, selezionare Nessuno.

Se si stanno spostando dati in Kafka on-premises (vedere Provider cloud di seguito), è necessario selezionare un Gateway Data Movement, indipendentemente dal fatto che Kafka sia o meno direttamente accessibile da Qlik Cloud.
Se è necessario utilizzare Gateway Data Movement, è richiesta la versione 2025.5.40 o successiva.

Per informazioni sui casi di utilizzo del Gateway Data Movement, vedere Quando è richiesto il Gateway Data Movement? e Casi di utilizzo comuni.

Provider cloud

Scegli Nessuno per usare Kafka on-premises o Amazon MSK per usare Amazon MSK.

Server broker

Specifica uno o più server broker usando il seguente formato (per l'alta disponibilità):

server1[:port1][,server2[:port2]]

Esempio:

192.168.1.100:9092,192.168.1.101:9093

L'attività dati si connetterà al primo host disponibile. Se un host è specificato senza una porta, allora la porta 9092 verrà usata come predefinita.

Quando si utilizza l'autenticazione SSL o Kerberos, è necessario specificare il FQDN del broker (cioè non l'indirizzo IP).

Tutti i server broker nel cluster devono essere accessibili dalla macchina Gateway Data Movement. Tuttavia, non è necessario specificare tutti i server nel Server broker . Questo perché Gateway Data Movement deve connettersi solo a uno dei server per recuperare i dettagli di connessione per gli altri server nel cluster. È quindi prassi consigliata specificare i server che sono più probabile che siano disponibili quando l'attività viene eseguita. I server a cui l'attività dati produce messaggi sono determinati dall'argomento e dall'argomento di partizionamento, nonché dalle impostazioni di partizionamento.

Proprietà dell'account

Metodo di autenticazione

Selezionare una delle seguenti:

Nessuna: Nessuna autenticazione.
Certificato:: Se selezioni questa opzione, devi anche fornire le seguenti informazioni:

NotaI file di chiave pubblica e privata devono essere in formato PEM.
- File di chiave pubblica: Cerca il file di chiave pubblica in formato PEM. Quando fai clic su Salva, il file verrà caricato su Qlik Talend Cloud e distribuito a Gateway Data Movement selezionato nelle impostazioni del connettore.
- File della chiave privata:: Sfoglia fino al file della chiave privata in formato PEM. Quando si fa clic su Salva, il file verrà caricato su Qlik Talend Cloud e distribuito all'Gateway Data Movement selezionato nelle impostazioni del connettore.
- Password del file della chiave privata:: La password per il file della chiave privata.
Kerberos (SASL/GSSAPI): Selezionare per autenticarsi al cluster Kafka usando Kerberos.

Nota informatica
Questo metodo di autenticazione non è disponibile quando il provider cloud selezionato è Amazon MSK.
- Principal: Il principal Kerberos utilizzato per autenticarsi al/ai server broker.
- File keytab: Sfoglia il file keytab. Quando fai clic su Salva, il file verrà caricato su Qlik Talend Cloud e distribuito a Gateway Data Movement selezionato nelle impostazioni del connettore.
Nota informatica
Per utilizzare l'autenticazione Kerberos su Linux, il pacchetto client Kerberos (workstation) deve essere installato.
Nome utente e password (SASL/PLAIN): È possibile selezionare questa opzione per autenticarsi utilizzando un nome utente e una password (SASL/PLAIN). Per evitare che la password venga inviata in testo in chiaro, si raccomanda vivamente di abilitare anche l'opzione Abilita TLS.

Nota informatica
Questo metodo di autenticazione non è disponibile quando il provider cloud selezionato è Amazon MSK.
Nome utente e password (SASL/SCRAM-SHA-256): È possibile selezionare questa opzione per autenticarsi utilizzando un nome utente e una password (SASL/SCRAM-SHA-256).

Si noti che la selezione di questa opzione richiede anche che il server.properties file di ogni broker sia configurato con il meccanismo SASL/SCRAM corrispondente.

Nota informatica
Questo metodo di autenticazione non è disponibile quando il provider cloud selezionato è Amazon MSK.
Nome utente e password (SASL/SCRAM-SHA-512): È possibile selezionare questa opzione per autenticarsi utilizzando un nome utente e una password (SASL/SCRAM-SHA-512).

Si noti che la selezione di questa opzione richiede anche che il server.properties file di ogni broker sia configurato con il meccanismo SASL/SCRAM corrispondente.

Opzioni SSL

Abilita TLS (supporta TLS 1.0, 1.1 e 1.2)

Selezionare questa opzione per crittografare la comunicazione tra Qlik Talend Cloud e il/i server broker. Se i broker sono configurati per richiedere SSL, allora è necessario selezionare questa opzione.

File CA: Individuare il certificato CA in formato PEM. Quando si fa clic su Salva, il file verrà caricato su Qlik Talend Cloud e distribuito a Gateway Data Movement selezionato nelle impostazioni del connettore.

Nota informatica
Non necessario quando il provider cloud selezionato è Amazon MSK.

Pubblicazione messaggi metadati

Il registro schema sarà disponibile per la pubblicazione di messaggi di metadati

Dall'elenco a discesa, selezionare una delle seguenti opzioni:

No

Quando questa opzione è selezionata, verranno pubblicati solo i messaggi di dati.

Registro schema Confluent

Se si seleziona questa opzione, è necessario configurare anche le proprietà di connessione del registro schema descritte di seguito.

Le opzioni di Confluent Schema Registry supportano solo il formato di messaggio Avro.
Si raccomanda vivamente di non pubblicare i messaggi dello schema nello stesso argomento dei messaggi di dati.
Se gli argomenti non esistono, configurare i broker con auto.create.topics.enable=true per consentire all'attività di dati di creare gli argomenti durante l'esecuzione. In caso contrario, l'attività non verrà completata.

Formato messaggio

Scegli JSON o Avro come formato del messaggio. Avro sarà l'unica opzione disponibile se hai selezionato Confluent schema registry.

Proprietà di connessione del registro schema

Server del registro schema

Specifica uno o più server del registro schema utilizzando il seguente formato (per l'alta disponibilità):

Quando si pubblicano schemi di dati nel Confluent Schema Registry:

server1:port1[,server2[:port2]]

Esempio:

192.168.1.100:8081,192.168.1.101:8081

L'attività di dati si connetterà al primo host disponibile.

Quando si pubblicano schemi di dati nel Hortonworks Schema Registry:

server1:port1[,server2[:port2]]

Esempio:

192.168.1.100:7788,192.168.1.101:7788

L'attività di dati si connetterà al primo host disponibile.

Autenticazione metodo

Seleziona una delle seguenti opzioni di autenticazione di Schema Registry:

Nessuna: Nessuna autenticazione.
Kerberos: Seleziona per autenticare usando Kerberos.

Nota informatica
Per usare l'autenticazione Kerberos su Linux, il pacchetto client (workstation) Kerberos dovrebbe essere installato.

Principal: Il principal Kerberos utilizzato per l'autenticazione con lo Schema Registry.
File keytab: Sfoglia il file keytab. Quando fai clic su Salva, il file verrà caricato su Qlik Talend Cloud e distribuito a qualsiasi Gateway Data Movement selezionato nelle impostazioni del connettore.

Certificato: Seleziona per autenticarti usando un certificato.

Nota informatica
Questa opzione è supportata solo quando si pubblica nel Confluent Schema Registry.

Se selezioni questa opzione, devi anche fornire le seguenti informazioni:

File chiave pubblica: Sfoglia il file della chiave pubblica in formato PEM. Quando fai clic su Salva, il file verrà caricato su Qlik Talend Cloud e distribuito a Gateway Data Movement selezionato nelle impostazioni del connettore.
File della chiave privata: Cerca il file della chiave privata in formato PEM. Quando fai clic su Salva, il file verrà caricato su Qlik Talend Cloud e distribuito a Gateway Data Movement selezionato nelle impostazioni del connettore.
Password della chiave privata: La password per il file della chiave privata.

Nome utente e password: Selezionare per autenticarsi con un nome utente e una password. Quindi inserire le credenziali di accesso nei campi Nome utente e password .

Nota informatica
Questa opzione è supportata solo quando si pubblica nel Confluent Schema Registry.
Certificato + Nome utente e password: Selezionare per autenticarsi utilizzando sia un certificato che un nome utente e una password.

Quando questa opzione è selezionata, inserire le informazioni richieste nei campi File chiave pubblica, File chiave privata, Password chiave privata, Nome utente e Password descritti sopra.

Nota informatica
Questa opzione è supportata solo durante la pubblicazione nel Confluent Schema Registry.
Abilita TLS (supporta TLS 1.0, 1.1 e 1.2): Selezionare questa opzione per crittografare i dati tra la macchina Gateway Data Movement e il/i server dello Schema Registry. Se i server sono configurati per richiedere SSL, allora è necessario selezionare questa opzione.
- File CA: Cercare il certificato CA in formato PEM. Quando si fa clic su Salva, il file verrà caricato su Qlik Talend Cloud e distribuito a Gateway Data Movement selezionato nelle impostazioni del connettore.

Proprietà interne

Le proprietà interne servono per casi d'uso speciali e pertanto non vengono visualizzate nella finestra di dialogo. Gli utenti devono utilizzarle solo se indicato dal Supporto di Qlik.

Usare i pulsanti Crea nuovo e Annulla a destra del campo per aggiungere o rimuovere proprietà in base alle esigenze.

Nome

Il nome visualizzato per la connessione.

Prerequisiti

Prima di poter utilizzare Kafka come destinazione, è necessario soddisfare i seguenti prerequisiti:

Aprire le porte TCP a tutti i broker dalla macchina Gateway Data Movement
Imposta le autorizzazioni che consentiranno all'attività dati di scrivere negli argomenti di destinazione. Un modo per farlo è utilizzare lo script degli ACL di Kafka (kafka-acls).
Creare un argomento denominato attrep_apply_exceptions prima di avviare l'attività dati oppure configurare i broker con auto.create.topics.enable=true.

Si noti che se questo argomento non esiste, l'attività fallirà sempre quando rileva un errore di dati, indipendentemente dalla politica di gestione degli errori.

Per una descrizione della tabella di controllo attrep_apply_exceptions, consultare Applica eccezioni.

Limiti e considerazioni

Quando si definisce un'attività con Kafka come connettore di destinazione, si applicano le seguenti limitazioni:

Impostazioni dell'attività non supportate:
- Il connettore di destinazione Kafka non supporta dimensioni LOB illimitate. Pertanto, quando si spostano dati da tabelle di origine con colonne LOB, non selezionare l'opzione Consenti dimensione LOB illimitata.
- La modalità Archivia modifiche non è supportata.
- La modalità Applica ottimizzata in batch non è supportata. Kafka funziona sempre in modalità Applica transazionale.
- L'impostazione Ignora ALTER Modifiche applica non è supportata per le modifiche ai tipi di dati di origine e alla ridenominazione delle tabelle.
- L'opzione Elimina e crea tabella del campo Preparazione tabella di destinazione non è supportata.
- L'opzione Tronca prima del caricamento del campo Preparazione tabella di destinazione non è supportata.
- La tabella di controllo Change Data Partitioning non è supportata.
Limitazioni generali:
- I nomi degli argomenti Kafka non possono contenere spazi o superare i 255 caratteri (249 da Kafka 0.10) e possono contenere solo i caratteri seguenti:
  a-z|A-Z|0-9|. (punto)|_(underscore)|-(meno)
  Se i nomi delle tabelle di origine superano la lunghezza massima consentita o contengono caratteri non supportati, è necessario modificare i nomi prima di avviare l'attività o definire una trasformazione globale.
- I nomi delle colonne devono iniziare con [A-Za-z_] (lettere o un carattere di sottolineatura) seguiti da [A-Za-z0-9_] (lettere, cifre o un carattere di sottolineatura). Ad esempio, _Test_ è un nome di colonna valido, mentre &Test non lo è.
  Se il nome di una colonna di origine non rispetta questa regola, è necessario utilizzare una trasformazione per rinominare la colonna.
- L'eliminazione o la ridenominazione di una tabella di origine non è supportata.

Tipi di dati

La seguente tabella mostra i tipi di dati Kafka supportati quando si utilizza Qlik Cloud e il mapping predefinito dai tipi di dati Qlik Cloud.

Quando si utilizza il formato di messaggio JSON, i valori binari sono rappresentati come cifre esadecimali.

Mappatura dei dati Kafka
Tipi di dati Qlik Cloud	Tipi di dati di destinazione Kafka nei messaggi schema
DATE	DATE
TIME	TIME
DATETIME	DATETIME
BYTES	BYTES (lunghezza)
BLOB	BLOB
REAL4	REAL4 (7)
REAL8	REAL8 (14)
INT1	INT1 (3)
INT2	INT2 (5)
INT4	INT4 (10)
INT8	INT8 (19)
UINT1	INT1 (3)
UINT2	INT2 (5)
UINT4 Nota informatica I valori maggiori di 2^31-1 non sono supportati.	INT4 (10)
UINT8 Nota informatica I valori maggiori di 2^63-1 non sono supportati.	UINT8 (20)
NUMERIC	NUMERIC (p,s)
STRING	STRING (Lunghezza)
WSTRING	STRING (Lunghezza)
CLOB	CLOB
NCLOB	NCLOB
BOOLEAN	BOOLEAN (1)

Mappatura a JSON e Avro

Il formato dei messaggi Avro utilizza tipi logici per una rappresentazione più precisa del tipo di dati.

I tipi di dati Qlik Cloud verranno mappati solo ai tipi di dati logici Avro supportati se la casella di controllo Usa tipi di dati logici per tipi di dati specifici è selezionata.

Mappature del tipo di dati
Tipi di dati Qlik Cloud	JSON	Tipi di dati logici Avro
DATE	STRING	DATE Annota un Avro INT.
TIME	STRING	TIME-MILLIS Annota un Avro INT.
TIMESTAMP	STRING	TIMESTAMP-MICROS Annota un Avro LONG.
STRING	STRING	-
WSTRING	STRING	-
CLOB	STRING	-
NCLOB	STRING	-
NUMERIC	STRING	DECIMAL (p,s) Annota un Avro BYTES.
BYTES	BYTES	-
BLOB	BYTES	-
REAL4	FLOAT	-
REAL8	DOUBLE	-
INT1	INT	-
INT2	INT	-
INT4	INT	-
UINT1	INT	-
UINT2	INT	-
UINT4	LONG	-
INT8	LONG	-
UINT8	STRING	DECIMAL (20,0) Annota un Avro BYTES.
BOOLEAN	BOOLEAN	-

Utilizzo di Confluent Cloud

La sezione seguente spiega come configurare il connettore Kafka per l'utilizzo con Confluent Cloud.

Crea un cluster in Confluent Cloud.
Copiare il valore di Bootstrap server dalle impostazioni del cluster nel campo Broker servers nella scheda Generale delle impostazioni del connettore.
Nelle impostazioni del connettore, selezionare Username and Password (SASL/PLAIN) dall'elenco a discesa Authentication method.
Nella schermata API access del cluster Confluent, creare una API key pair.
Copiare la chiave e il segreto rispettivamente nei campi User name e Password del connettore Kafka.
Nelle impostazioni del connettore Kafka, selezionare l'opzione Enable TLS e specificare il percorso completo del file CA nel campo CA path. Il file CA deve essere creato in conformità alle linee guida di Confluent e deve contenere la CA che firma tutti i certificati di Confluent Cloud, nonché il suo firmatario CA principale.

Ora dovresti essere pronto per lavorare con Confluent Cloud.

Hai trovato utile questa pagina?

Se riscontri problemi con questa pagina o con il suo contenuto – un errore di battitura, un passaggio mancante o un errore tecnico – ti pregiamo di farcelo sapere!

Lascia qui il tuo feedback