Integração de dados do Qlik Replicate
Você pode aproveitar a funcionalidade completa de Qlik Open Lakehouse sem abandonar sua infraestrutura Replicate existente. Use o assistente de integração de dados para criar um pipeline que processa dados da saída do Amazon S3 do Qlik Replicate e os armazena como tabelas Iceberg usando Qlik Open Lakehouse.
Pré-requisitos
Antes de iniciar o assistente de dados de integração, certifique-se de ter cumprido os seguintes pré-requisitos.
Pré-requisitos do Qlik Replicate
Configurar uma tarefa do Qlik Replicate para mover dados para um compartimento do Amazon S3 (via o endpoint de destino do Amazon S3).
Pré-requisitos da tarefa do Qlik Replicate
-
Habilite apenas as opções de replicação de Carregamento total e/ou Armazenar alterações (necessário para manter os dados atualizados).
-
Na guia Armazenar Configurações de Alteração das configurações da tarefa:
-
Configure as Configurações da Tabela da seguinte forma:
-
Sufixo: __ct
-
Prefixo da coluna de cabeçalho: header__
-
Opções de DDL: Aplicar à tabela de alterações
-
Na ATUALIZAÇÃO: Armazenar após imagem apenas
-
-
Deixe Alterar Particionamento de Dados desativado (o padrão).
-
-
Na guia Metadados > Tabelas de Controle das configurações da tarefa, certifique-se de que as tabelas de controle Aplicar Exceções e Histórico de DDL estejam selecionadas.
Para obter mais informações sobre essas configurações, consulte a ajuda de configurações de tarefas do Qlik Replicate (somente em inglês).
Pré-requisitos do ponto de extremidade de destino do Amazon S3 para o Qlik Replicate
Na guia Geral :
- Na seção Arquivos de Metadados, habilite a opção Criar arquivos de metadados na pasta de destino (Replicate novembro de 2025 ou anterior) ou Criar um arquivo de metadados para cada arquivo de dados (Replicate maio de 2026 ou posterior). Isso criará arquivos com a .dfm extensão no compartimento S3.
- Na seção Atributos do Arquivo, certifique-se de que:
- CSV é o Formato selecionado (o padrão)
- Compactar arquivos usando está definido como Nenhum (o padrão)
- Ambas as opções de Adicionar cabeçalho de metadados estão habilitadas (Com nomes de colunas e Com tipos de dados)
- Ao configurar as definições de armazenamento do Amazon S3, se o seu compartimento contiver ficheiros não-Replicate, é recomendado especificar uma Pasta de Destino. Fazer isso tornará mais fácil localizar a saída necessária ao integrar os dados com Qlik Open Lakehouse.
Para obter mais informações sobre essas configurações, consulte a ajuda do endpoint de destino do Amazon S3 (somente em inglês).
Qlik Open LakehousePré-requisitos
Um conector de fluxo de dados do AWS S3 configurado para acessar a saída do Replicate Amazon S3.
Para obter instruções, consulte Fluxo de dados do AWS S3.
Como Replicate organiza dados no S3
A familiaridade com a estrutura que o Qlik Replicate usa para organizar dados no S3 facilitará a localização desses arquivos no Navegador de diretórios, descrito em Criar uma tarefa de integração abaixo.
-
s3://bucket-name/target-path/schema.table/
Contém arquivos de carga completos e arquivos de metadados DFM em formato sequencial, como no exemplo a seguir:
-
LOAD00000001.csv
-
LOAD00000001.dfm
-
LOAD00000002.csv
-
LOAD00000002.dfm
-
-
s3://bucket-name/target-path/schema.table__ct/
Contém arquivos de Captura de Dados de Alteração e arquivos de metadados DFM no formato de carimbo de data/hora, como no exemplo a seguir:
-
20250121-083015000.csv
-
20250121-083015000.dfm
-
20250121-091522000.csv
-
20250121-091522000.dfm
-
Criar uma tarefa de integração
Siga estas etapas para configurar uma tarefa de integração para dados Replicate:
-
Inicie o assistente de integração da seguinte forma:
-
Novo projeto: Clique em Integrar dados no centro da janela do projeto.
-
Projeto existente: No canto superior direito do seu Qlik Open Lakehouse projeto, clique em Criar novo > Integrar dados para iniciar o assistente de integração.
-
- Insira um nome de tarefa e descrição.
- Selecione Qlik Replicate nas opções de Origem de dados. Em seguida, clique em Próximo.
- Selecione o conector Fluxo de Dados AWS S3 que você configurou anteriormente. Em seguida, clique em Próximo.
-
No painel Navegador de diretórios à esquerda, selecione o diretório raiz que contém a saída do Replicate.
Nota de dicaSe você não especificou uma pasta de destino nas configurações do endpoint de destino do Replicate Amazon S3 (conforme recomendado nos pré-requisitos acima), seu compartimento pode conter muitos arquivos não relacionados. Neste caso, se você souber o caminho exato, poderá colá-lo diretamente no Replicate caminho do diretório raiz campo. - Clique em Carregar para detectar tabelas disponíveis. Todas as tabelas disponíveis serão exibidas na lista Tabelas selecionadas para registrar.
- Na Selecionar fonte de dados para descobrir tabelas região à direita, as seguintes configurações estão disponíveis:
- Incluir todas as tabelas atuais: Ativar para aterrissar todas as tabelas existentes. Quando esta opção está desativada, você precisa selecionar tabelas individuais.
Excluir os arquivos de origem após a ingestão: Ative para remover permanentemente os arquivos do compartimento S3 do Replicate depois que forem processados com sucesso.
Uma vez que os arquivos S3 são excluídos, todos os pipelines conectados que usam os mesmos arquivos S3 como fonte ficarão inativos e incapazes de funcionar. Você deve, portanto, habilitar esta opção somente se tiver certeza de que os arquivos não são necessários para nenhum outro processo de pipeline.
- Clique em Próximo.
- Na etapa Tipo de Conteúdo, o formato do arquivo (CSV) é detectado automaticamente a partir dos seus dados Replicate. As seguintes opções também estão disponíveis:
- Armazenamento de Dados Históricos (Tipo 2): Ative se precisar manter versões históricas dos registros e um arquivo das alterações.
- Verificar se os eventos foram carregados corretamente: Você pode selecionar um conjunto de dados para verificar se ele contém os dados corretos.
- Clique em Próximo.
- Revise a configuração da tarefa e clique em Create para criar a tarefa de integração.
-
Clique em Preparar para catalogar a tarefa de dados e prepará-la para execução.
Você pode acompanhar o progresso da preparação no bloco da tarefa. Após a conclusão, Preparar: Sucesso deve ser exibido.
-
Quando estiver pronto para iniciar a integração de dados, clique em Executar.
O que acontece a seguir
Uma vez ativado, a tarefa de integração:
- Começa a monitorar seu Replicate S3 compartimento para alterações de dados
- Detecta arquivos de Carregamento total e CDC (Change Data Capture) do Replicate
- Processa os arquivos e cria tabelas do Iceberg em Qlik Open Lakehouse
- Continua a monitorar novos dados
- Se ativado, exclui automaticamente os arquivos de origem após ingestão bem-sucedida
Configurações de tarefas
Para alterar as configurações da tarefa, abra a tarefa Onboarding_Qlik_Replicate (nome padrão) e clique no botão Settings da barra de ferramentas.
O diálogo Configurações: <task name> é aberto.
Guia Geral
Estas opções são descritas na Etapa 7 de Criar uma tarefa de aterrisagem acima.
-
Incluir automaticamente todas as tabelas atuais e futuras
-
Excluir os arquivos de origem após a ingestão
Guia Tempo de execução
Alterar o Cluster do Lakehouse
Considerações e limitações
Considerações e limitações gerais
- Operações de Carregamento Total e Recarregamento podem apresentar um atraso no processamento antes que os dados apareçam em tabelas Iceberg. O sistema aguarda até 15 minutos após a conclusão do Carregamento Total para garantir que os arquivos estejam completos. Como resultado, executar carregamentos totais no Replicate (programados ou manualmente) com menos de 15 minutos de intervalo não é suportado.
- Tabelas Replicate vazias (tabelas sem arquivos de dados) não são detectadas ou registradas pelo sistema.
- Se você habilitar Excluir os arquivos de origem após a ingestão, a tarefa de aterrisagem não pode ser recarregada. Para carregar dados, você deve regenerá-los no Replicate.
- Do Qlik Replicate As tabelas já estão carregadas. (somente em inglês)A opção de execução avançada Iniciar processamento de alterações a partir de (somente em inglês) não tem suporte. Quando o Tipo 2 (dados históricos) estiver ativado, usar esta opção irá corromper a tabela de histórico.
- A evolução do esquema não é compatível
CDC vs Pipeline de Replicate
Em um pipeline regular que ingere de fontes CDC, a Dados atualizados até métrica sempre indica a Atualização atual dos dados (por exemplo, 1 minuto atrás). Isso ocorre porque o pipeline tem acesso direto ao log de transações do banco de dados, o que fornece conhecimento em tempo real de cada evento de INSERT/UPDATE/DELETE. No entanto, em um pipeline que ingere dados do Replicate, a métrica Dados atualizados em não indica a atualização atual dos dados, e pode, de fato, dar a falsa impressão de que os dados estão desatualizados (por exemplo, 8 horas atrás). Isso ocorre porque o Replicate pipeline não tem acesso direto ao log de transações. Em vez disso, Replicate grava arquivos em um compartimento S3, e a pipeline verifica o carimbo de data/hora de criação do arquivo para determinar a Atualização dos dados. Então, se não houve novas alterações no banco de dados de origem por um tempo, Replicate não criará um novo arquivo e o carimbo de data/hora Dados atualizados em ficará antigo (dando a impressão equivocada de que os dados estão obsoletos).