Fluxo de dados Apache Kafka

Última atualização: 2026-11-10

Conecte-se ao seu cluster Apache Kafka para usar como uma fonte de dados de fluxo em seus projetos do Qlik Open Lakehouse. As conexões Kafka só podem ser usadas com a tarefa de aterrisagem de streaming e a tarefa de transformação de streaming.

O Qlik Open Lakehouse permite que as organizações criem pipelines em tempo real, prontos para análise, em uma arquitetura aberta e escalável. Ao integrar o Apache Kafka como uma fonte de fluxo, o Qlik suporta a ingestão contínua de dados de eventos de alto volume em tabelas do Apache Iceberg. Essa combinação oferece disponibilidade de dados de baixa latência e evolução robusta de esquema, permitindo que as equipes operacionalizem insights em tempo real e acelerem as transformações a jusante.

Tarefas de aterrisagem de streaming e tarefas de transformação de streaming permitem que os tópicos do Kafka sejam componentes centrais dos seus projetos do Qlik Open Lakehouse. À medida que os dados fluem para o Iceberg, eles são rapidamente acessíveis para cargas de trabalho de análise, IA e aprendizado de máquina, apoiando a tomada de decisões sensíveis ao tempo e práticas escaláveis de engenharia de dados. O resultado é uma camada de dados unificada e otimizada para consulta que fortalece a confiabilidade e o desempenho das suas arquiteturas de streaming. Para analisar dados do Kafka usando o mecanismo de consulta do seu armazém de dados na nuvem, aterrisse e armazene os dados em um Qlik Open Lakehouse e espelhe os dados para o seu armazém usando uma Tarefa de espelhamento de dados.

Pré-requisitos

Os seguintes requisitos se aplicam ao criar e usar uma fonte de streaming Kafka:

• Uma integração de rede que tenha conectividade de rede com os servidores de broker.

• Certifique-se de que o cluster Kafka ao qual você deseja se conectar esteja acessível a partir da VPC onde o cluster Lakehouse que executará a tarefa de aterrissagem está localizado.

• Uma conexão de origem de streaming Kafka requer uma plataforma de destino do Qlik Open Lakehouse.

Definindo as propriedades de conexão Kafka

Para configurar sua conexão Kafka, faça o seguinte:

1. Em Conexões, clique em Criar conexão.

2. Selecione o Espaço onde você deseja criar a conexão ou escolha Criar novo espaço de dados.

3. Selecione Kafka na lista de nomes do Conector ou use a caixa Pesquisar. Certifique-se de que o Tipo seja Fonte e de que a Categoria seja Streaming.

4. Configure as seguintes propriedades:

Fonte de dados

Defina suas propriedades de conexão da fonte de dados conforme a seguir:

• Selecione sua Integração de rede na lista.

• Em Servidores de broker, insira um único host usando o formato hostname:port, por exemplo, host1:9092.

  Para inserir uma lista de hosts, use o formato: hostname:port, hostname:port, por exemplo, host1:9092,host2:9092.

Detalhes de autenticação

• Selecione seu Método de autenticação na lista:

  • PLAIN: Esta configuração não é segura, pois o cliente tem acesso irrestrito ao seu cluster do Kafka e os dados são transmitidos sem criptografia. Use esta opção apenas ao se conectar a brokers que não exigem autenticação baseada em SASL ou Kerberos.

  • SASL/SCRAM-SHA-256: Use esta opção para autenticar com um nome de usuário e senha usando o mecanismo de desafio-resposta SCRAM-SHA-256. Este método oferece maior proteção de credenciais do que o SASL/PLAIN e requer que as credenciais SCRAM correspondentes sejam configuradas no Kafka.

  • SASL/SCRAM-SHA-512: esta opção autentica com um nome de usuário e senha usando o mecanismo SCRAM-SHA-512. Essa é a variante SCRAM mais segura e requer que credenciais SCRAM-SHA-512 correspondentes sejam configuradas no cluster Kafka.

TLS

Opcionalmente, você pode adicionar uma Autoridade de Certificação (CA).

• Para adicionar uma CA, selecione Usar CA de confiança personalizada.

• Em Caminho da CA, insira o caminho do arquivo da CA para carregar no Qlik Cloud. O arquivo da CA está disponível para os clusters que executam as tarefas.

Propriedades adicionais do Kafka

As propriedades adicionais do Kafka são opcionais.

Adicione uma Chave e um Valor para todas as tags que você deseja incluir e que o ajudam a identificar, organizar e gerenciar recursos.

Conexão do Schema Registry

O servidor do Schema Registry é opcional.

Para se conectar a um Schema Registry, clique em Configurar um servidor do Schema Registry e configure as definições:

• URI do Schema Registry: insira a URI no formato http://schema-registry1.example.com:8081;http://schema-registry2.example.com:8081.

• Nome de usuário: insira o nome de usuário para a conexão do servidor.

• Senha: insira a senha para a conexão do servidor.

TLS da conexão do Schema Registry

Se você optar por configurar um servidor de registro de esquema, você tem a opção de adicionar uma Autoridade de Certificação (CA).

• Para adicionar uma CA, selecione Usar CA de confiança personalizada.

• Em Caminho da CA, insira o caminho do arquivo da CA para carregar no Qlik Cloud. O arquivo da CA está disponível para os clusters que executam as tarefas.

Criar a conexão

Quando você tiver configurado seu método de segurança, conclua as seguintes etapas para criar sua conexão:

• Em Nome, insira o nome de exibição da conexão, por exemplo, My Kafka Streaming Source connection.

• Clique em Testar conexão para validar as credenciais.

• Clique em Criar.

Mapeando tópicos para conjuntos de dados

Os seguintes casos de uso são compatíveis ao ingerir de uma fonte Kafka: