Kafka miejsce docelowe

W tym temacie wyjaśniono, jak skonfigurować łączność z miejscem docelowym Kafka przy użyciu łącznika miejsca docelowego Kafka . Kafka może być miejscem docelowym tylko w zadaniu replikacji.

Konfigurowanie Kafka jako miejsca docelowego obejmuje:

Spełnienie warunków wstępnych
Konfiguracja połączenia z Kafka

Konfiguracja właściwości połączenia

Aby skonfigurować łącznik, wykonaj następujące czynności:

W obszarze Połączenia kliknij Utwórz połączenie.
Wybierz łącznik miejsca docelowego Kafka, a następnie podaj następujące ustawienia:

Miejsce docelowe danych

Brama danych

To pole jest niedostępne w subskrypcji Qlik Talend Cloud Starter, ponieważ brama Brama danych ruchu danych jest nieobsługiwana na tym poziomie subskrypcji.

Podczas przenoszenia danych do Amazon MSK, brama Brama danych ruchu danych jest wymagana tylko wtedy, gdy Amazon MSK nie jest dostępny z Qlik Cloud i można uzyskać do niego dostęp tylko za pośrednictwem łącza prywatnego (na przykład, jeśli znajduje się w wirtualnej chmurze prywatnej). W takim przypadku wybierz tę bramę Brama danych ruchu danych, przez którą chcesz uzyskiwać dostęp do docelowej bazy danych. W zależności od zastosowania będzie to ta sama Brama danych ruchu danych, która została wdrożona do przenoszenia danych ze źródła, lub inna.

Jeśli przenosisz dane do instancji Amazon MSK, która jest bezpośrednio dostępna z Qlik Cloud, wybierz Brak.

Jeśli przenosisz dane do lokalnej instancji Kafka (zobacz Dostawca usługi w chmurze poniżej), musisz wybrać Brama danych ruchu danych, niezależnie od tego, czy Kafka jest bezpośrednio dostępna z Qlik Cloud.
Jeśli musisz użyć Brama danych ruchu danych, wymagana jest wersja 2025.5.40 lub nowsza.

Informacje na temat zastosowań związanych z Brama danych ruchu danych zawierają tematy Kiedy jest wymagana brama Brama danych ruchu danych? i Typowe zastosowania.

Dostawca usługi w chmurze

Wybierz Brak aby użyć Kafka lokalnie lub Amazon MSK aby użyć Amazon MSK.

Serwery brokera

Określ jeden lub więcej serwerów brokera, używając następującego formatu (dla wysokiej dostępności):

server1[:port1][,server2[:port2]]

Przykład:

192.168.1.100:9092,192.168.1.101:9093

Zadanie danych połączy się z pierwszym dostępnym hostem. Jeśli host zostanie określony bez portu, wówczas port 9092 zostanie użyty jako domyślny.

W przypadku korzystania z uwierzytelniania SSL lub Kerberos należy określić nazwę FQDN brokera (tj. nie adres IP).

Wszystkie serwery brokera w klastrze muszą być dostępne z maszyny Brama danych ruchu danych. Jednakże nie trzeba określać wszystkich serwerów w Serwery brokera (Wartości). Dzieje się tak, ponieważ Brama danych ruchu danych musi połączyć się tylko z jednym z serwerów, aby pobrać szczegóły połączenia dla pozostałych serwerów w klastrze. Dlatego najlepszą praktyką jest określenie serwerów, które najprawdopodobniej będą dostępne w momencie uruchomienia zadania. Serwery, do których zadanie danych wysyła komunikaty, są określane przez temat i temat partycjonowania, a także ustawienia partycjonowania.

Właściwości konta

Uwierzytelnianie metoda

wybierz jedną z następujących opcji:

Brak: Brak uwierzytelnienia.
Certyfikat: Jeśli wybierzesz tę opcję, musisz również podać następujące informacje:

UwagaPliki kluczy publicznego i prywatnego muszą być w formacie PEM.
- Plik klucza publicznego: Przejdź do pliku klucza publicznego w formacie PEM. Po kliknięciu Zapisz plik zostanie przesłany do Qlik Talend Cloud i wdrożony w Brama danych ruchu danych wybranym w ustawieniach łącznika.
- Plik klucza prywatnego: Przejdź do pliku klucza prywatnego w formacie PEM. Po kliknięciu Zapisz, plik zostanie przesłany do Qlik Talend Cloud i wdrożony do Brama danych ruchu danych wybranego w ustawieniach łącznika.
- Hasło do klucza prywatnego: Hasło do pliku klucza prywatnego.
Kerberos (SASL/GSSAPI): Wybierz, aby uwierzytelnić się w klastrze Kafka przy użyciu Kerberosa.

Informacja
Ta metoda uwierzytelniania nie jest dostępna, gdy wybrany dostawca chmury to Amazon MSK.
- Podmiot zabezpieczeń: Podmiot zabezpieczeń Kerberos używany do uwierzytelniania w serwerze(-ach) brokera.
- Plik keytab: Przejdź do pliku keytab. Po kliknięciu Zapisz, plik zostanie przesłany do Qlik Talend Cloud i wdrożony do Brama danych ruchu danych wybranego w ustawieniach łącznika.
Informacja
Aby użyć uwierzytelniania Kerberos w systemie Linux, pakiet klienta Kerberos (stacji roboczej) powinien być zainstalowany.
Nazwa użytkownika i hasło (SASL/PLAIN): Możesz wybrać tę opcję, aby uwierzytelnić się za pomocą nazwy użytkownika i hasła (SASL/PLAIN). Aby zapobiec wysyłaniu hasła w tekście jawnym, zdecydowanie zaleca się również włączenie opcji Włącz TLS.

Informacja
Ta metoda uwierzytelniania nie jest dostępna, gdy wybrany dostawca chmury to Amazon MSK.
Nazwa użytkownika i hasło (SASL/SCRAM-SHA-256): Możesz wybrać tę opcję, aby uwierzytelnić się za pomocą nazwy użytkownika i hasła (SASL/SCRAM-SHA-256).

Należy pamiętać, że wybranie tej opcji wymaga również skonfigurowania pliku server.properties każdego brokera z odpowiednim mechanizmem SASL/SCRAM.

Informacja
Ta metoda uwierzytelniania nie jest dostępna, gdy wybrany dostawca chmury to Amazon MSK.
Nazwa użytkownika i hasło (SASL/SCRAM-SHA-512): Możesz wybrać tę opcję, aby uwierzytelnić się za pomocą nazwy użytkownika i hasła (SASL/SCRAM-SHA-512).

Należy pamiętać, że wybranie tej opcji wymaga również skonfigurowania pliku server.properties każdego brokera z odpowiednim mechanizmem SASL/SCRAM.

Opcje SSL

Włącz TLS (obsługuje TLS 1.0, 1.1 i 1.2)

Wybierz tę opcję, aby zaszyfrować komunikację między Qlik Talend Cloud a serwerem(-ami) brokera. Jeśli brokerzy są skonfigurowani tak, aby wymagać SSL, to musisz wybrać tę opcję.

Plik CA: Przejdź do certyfikatu CA w formacie PEM. Po kliknięciu Zapisz plik zostanie przesłany do Qlik Talend Cloud i wdrożony do Brama danych ruchu danych wybranego w ustawieniach łącznika.

Informacja
Niepotrzebne, gdy wybrany dostawca chmury to Amazon MSK.

Publikowanie wiadomości metadanych

Rejestr schematów będzie dostępny do publikowania komunikatów metadanych

Z listy rozwijanej wybierz jedną z następujących opcji:

Nie

Po wybraniu tej opcji publikowane będą tylko komunikaty danych.

Rejestr schematów Confluent

Jeśli wybierzesz tę opcję, musisz również skonfigurować właściwości połączenia rejestru schematów opisane poniżej.

Opcje rejestru schematów Confluent obsługują tylko format wiadomości Avro.
Zdecydowanie zaleca się nie publikowanie wiadomości schematu w tym samym temacie co wiadomości danych.
Jeśli tematy nie istnieją, skonfiguruj brokerów za pomocą auto.create.topics.enable=true, aby umożliwić zadaniu danych tworzenie tematów podczas działania. W przeciwnym razie zadanie zakończy się niepowodzeniem.

Format wiadomości

Wybierz JSON lub Avro jako format wiadomości. Avro będzie jedyną dostępną opcją, jeśli wybrano rejestr schematów Confluent.

Właściwości połączenia rejestru schematów

Serwery rejestru schematów

Określ jeden lub więcej serwerów rejestru schematów, używając następującego formatu (dla wysokiej dostępności):

Podczas publikowania schematów danych w Confluent Schema Registry:

server1:port1[,server2[:port2]]

Przykład:

192.168.1.100:8081,192.168.1.101:8081

Zadanie danych połączy się z pierwszym dostępnym hostem.

Podczas publikowania schematów danych w Hortonworks Schema Registry:

server1:port1[,server2[:port2]]

Przykład:

192.168.1.100:7788,192.168.1.101:7788

Zadanie danych połączy się z pierwszym dostępnym hostem.

Uwierzytelnianie metoda

Wybierz jedną z następujących opcji uwierzytelniania rejestru schematów:

Brak: Brak uwierzytelnienia.
Kerberos: Wybierz, aby uwierzytelnić się za pomocą Kerberosa.

Informacja
Aby użyć uwierzytelniania Kerberos w systemie Linux, należy zainstalować pakiet klienta (stacji roboczej) Kerberos.

Podmiot: Podmiot Kerberos używany do uwierzytelniania w rejestrze schematów.
Plik keytab: Przejdź do pliku keytab. Po kliknięciu Zapisz plik zostanie przesłany do Qlik Talend Cloud i wdrożony do dowolnego Brama danych ruchu danych wybranego w ustawieniach łącznika.

Certyfikat: Wybierz, aby uwierzytelnić się za pomocą certyfikatu.

Informacja
Ta opcja jest obsługiwana tylko podczas publikowania w Confluent Schema Registry.

Jeśli wybierzesz tę opcję, musisz również podać następujące informacje:

Plik klucza publicznego: Przejdź do pliku klucza publicznego w formacie PEM. Po kliknięciu Zapisz, plik zostanie przesłany do Qlik Talend Cloud i wdrożony do Brama danych ruchu danych wybranego w ustawieniach łącznika.
Plik klucza prywatnego: Wskaż plik klucza prywatnego w formacie PEM. Po kliknięciu Zapisz, plik zostanie przesłany do Qlik Talend Cloud i wdrożony do Brama danych ruchu danych wybranego w ustawieniach łącznika.
Hasło do klucza prywatnego: Hasło do pliku klucza prywatnego.

Nazwa użytkownika i Hasło: Wybierz, aby uwierzytelnić się za pomocą nazwy użytkownika i hasła. Następnie wprowadź swoje dane logowania w polach Nazwa użytkownika i hasło .

Informacja
Ta opcja jest obsługiwana tylko podczas publikowania w rejestrze schematów Confluent.
Certyfikat + Nazwa użytkownika i Hasło: Wybierz, aby uwierzytelnić się za pomocą certyfikatu oraz nazwy użytkownika i hasła.

Po wybraniu tej opcji wprowadź wymagane informacje w polach Plik klucza publicznego, Plik klucza prywatnego, Hasło klucza prywatnego, Nazwa użytkownika i Hasło opisanych powyżej.

Informacja
Ta opcja jest obsługiwana tylko podczas publikowania w Confluent Schema Registry.
Włącz TLS (obsługuje TLS 1.0, 1.1 i 1.2): Wybierz tę opcję, aby zaszyfrować dane między maszyną Brama danych ruchu danych a serwerem (serwerami) Schema Registry. Jeśli serwery są skonfigurowane tak, aby wymagały SSL, wówczas musisz wybrać tę opcję.
- Plik CA: Przejdź do certyfikatu CA w formacie PEM. Po kliknięciu Zapisz, plik zostanie przesłany do Qlik Talend Cloud i wdrożony do Brama danych ruchu danych wybranego w ustawieniach łącznika.

Właściwości wewnętrzne

Właściwości wewnętrzne są przeznaczone dla specjalnych przypadków, w związku z czym nie są ukazywane w oknie dialogowym. Należy ich używać tylko na polecenie Qlik Pomocy technicznej.

Użyj przycisków Utwórz nowy i Anuluj znajdujących się po prawej stronie pól, aby dodać lub usunąć właściwości zgodnie z potrzebą.

Nazwa

Nazwa wyświetlana dla połączenia.

Wymagania wstępne

Zanim będzie można użyć Kafki jako celu, należy spełnić następujące warunki wstępne:

Otwórz porty TCP do wszystkich brokerów z Brama danych ruchu danych maszyny
Ustaw uprawnienia, które umożliwią zadaniu danych zapisywanie do tematów docelowych. Jednym ze sposobów jest użycie skryptu Kafka ACLs (kafka-acls).
Utwórz temat o nazwie attrep_apply_exceptions przed uruchomieniem zadania danych lub skonfiguruj brokerów za pomocą auto.create.topics.enable=true.

Należy pamiętać, że jeśli ten temat nie istnieje, zadanie zawsze zakończy się niepowodzeniem, gdy napotka błąd danych, niezależnie od zasad obsługi błędów.

Opis tabeli kontrolnej attrep_apply_exceptions znajduje się w Zastosuj wyjątki.

Ograniczenia i uwagi

Podczas definiowania zadania z łącznikiem docelowym Kafka, obowiązują następujące ograniczenia:

Ustawienia zadania, które nie są obsługiwane:
- Łącznik docelowy Kafka nie obsługuje nieograniczonego rozmiaru LOB. Dlatego, podczas przenoszenia danych z tabel źródłowych z kolumnami LOB, nie wybieraj opcji Zezwalaj na nieograniczony rozmiar LOB.
- Tryb Zapisz zmiany nie jest obsługiwany.
- Tryb stosowania zoptymalizowanego pod kątem partii nie jest obsługiwany. Kafka zawsze działa w transakcyjnym trybie stosowania.
- Ustawienie Ignoruj zmiany ALTER Apply nie jest obsługiwane w przypadku zmian typów danych źródłowych i zmiany nazw tabel.
- Opcja Usuń i utwórz tabelę pola Przygotowanie tabeli docelowej nie jest obsługiwana.
- Opcja Truncate przed ładowaniem pola Przygotowanie tabeli docelowej nie jest obsługiwana.
- Tabela sterująca Partycjonowaniem Danych Zmian nie jest obsługiwana.
Ograniczenia ogólne:
- Nazwy tematów Kafka nie mogą zawierać spacji ani przekraczać 255 znaków (249 od Kafka 0.10) i mogą zawierać tylko następujące znaki:
  a-z|A-Z|0-9|. (kropka)|_(podkreślenie)|-(łącznik)
  Jeśli nazwy tabel źródłowych przekraczają maksymalną dozwoloną długość lub zawierają nieobsługiwane znaki, należy zmodyfikować nazwy przed rozpoczęciem zadania lub zdefiniować globalną transformację.
- Nazwy kolumn muszą zaczynać się od [A-Za-z_] (liter lub podkreślenia), po którym następuje [A-Za-z0-9_] (litery, cyfry lub podkreślenie). Na przykład _Test_ jest prawidłową nazwą kolumny, natomiast &Test nie.
  Jeśli nazwa kolumny źródłowej nie przestrzega tej reguły, należy użyć transformacji do zmiany nazwy kolumny.
- Usuwanie lub zmiana nazwy tabeli źródłowej nie jest obsługiwana.

Typy danych

Następująca tabela pokazuje typy danych Kafka, które są obsługiwane podczas używania Qlik Cloud, i domyślne mapowanie z typów danych Qlik Cloud.

Podczas używania formatu wiadomości JSON wartości binarne są reprezentowane jako cyfry szesnastkowe.

Mapowanie danych Kafka
Typy danych Qlik Cloud	Docelowe typy danych Kafka w wiadomościach schematu
DATE	DATE
TIME	TIME
DATETIME	DATETIME
BYTES	BYTES (długość)
BLOB	BLOB
REAL4	REAL4 (7)
REAL8	REAL8 (14)
INT1	INT1 (3)
INT2	INT2 (5)
INT4	INT4 (10)
INT8	INT8 (19)
UINT1	UINT1 (3)
UINT2	UINT2 (5)
UINT4 Informacja Wartości mające ponad 2^31-1 nie są obsługiwane.	UINT4 (10)
UINT8 Informacja Wartości mające ponad 2^63-1 nie są obsługiwane.	UINT8 (20)
NUMERIC	NUMERIC (p,s)
STRING	STRING (długość)
WSTRING	STRING (długość)
CLOB	CLOB
NCLOB	NCLOB
BOOLEAN	BOOLEAN (1)

Mapowanie na JSON i Avro

Format wiadomości Avro używa typów logicznych dla bardziej precyzyjnej reprezentacji typu danych.

Qlik Cloud typy danych zostaną zamapowane tylko na obsługiwane logiczne typy danych Avro, jeśli pole wyboru Użyj logicznych typów danych dla określonych typów danych jest zaznaczone.

Mapowania typów danych
Typy danych Qlik Cloud	JSON	Logiczne typy danych Avro
DATE	STRING	DATE Adnotuje Avro INT.
TIME	STRING	TIME-MILLIS Adnotuje Avro INT.
ZNACZNIK CZASU	STRING	TIMESTAMP-MICROS Adnotuje Avro LONG.
STRING	STRING	-
WSTRING	STRING	-
CLOB	STRING	-
NCLOB	STRING	-
NUMERIC	STRING	DECIMAL (p,s) Adnotuje Avro BYTES.
BYTES	BYTES	-
BLOB	BYTES	-
REAL4	FLOAT	-
REAL8	DOUBLE	-
INT1	INT	-
INT2	INT	-
INT4	INT	-
UINT1	INT	-
UINT2	INT	-
UINT4	LONG	-
INT8	LONG	-
UINT8	STRING	DECIMAL (20,0) Adnotuje Avro BYTES.
BOOLEAN	BOOLEAN	-

Praca z Confluent Cloud

Poniższa sekcja wyjaśnia, jak skonfigurować łącznik Kafka do pracy z Confluent Cloud.

Utwórz klaster w Confluent Cloud.
Skopiuj wartość serwera Bootstrap z ustawień klastra do pola Serwery brokera na karcie Ogólne w ustawieniach łącznika.
W ustawieniach łącznika wybierz Nazwa użytkownika i hasło (SASL/PLAIN) z listy rozwijanej Metoda uwierzytelniania.
Na ekranie Dostęp do API klastra Confluent utwórz parę kluczy API.
Skopiuj klucz i sekret odpowiednio do pól Nazwa użytkownika i Hasło łącznika Kafka.
W ustawieniach łącznika Kafka, wybierz opcję Włącz TLS i określ pełną ścieżkę do pliku CA w polu Ścieżka CA. Plik CA powinien zostać utworzony zgodnie z wytycznymi Confluent i powinien zawierać CA, które podpisuje wszystkie certyfikaty Confluent Cloud, a także jego Podpisującego Głównego CA.

Powinieneś być teraz gotowy do pracy z Confluent Cloud.

Czy ta strona była pomocna?

Jeżeli natkniesz się na problemy z tą stroną lub jej zawartością — literówkę, brakujący krok lub błąd techniczny — daj nam znać!

Przekaż tu opinię