Aterrissagem de dados de fontes de dados

A primeira etapa da transferência de dados durante a integração é a aterrisagem dos dados. Isso envolve a transferência de dados continuamente da fonte de dados local para uma área de aterrissagem.

Você pode obter dados de várias fontes de dados por meio de conexões de origem.

A área de aterrissagem é definida quando você cria o projeto.

• Qlik Cloud (via Amazon S3)

  Ao transferir dados ao Qlik Cloud (via Amazon S3), você pode usá-los para gerar tabelas QVD prontas para análise no Qlik Cloud.

• Data warehouse de nuvem

  Quando você transfere dados em um data warehouse de nuvem, como o Snowflake ou o Azure Synapse Analytics, pode armazenar tabelas no mesmo data warehouse de nuvem.

Criar e configurar uma tarefa de aterrissagem de dados

Isso descreve como criar uma tarefa de dados de aterrisagem. A maneira mais rápida de criar um pipeline de dados é integrar dados que criam uma tarefa de aterrissagem de dados e uma tarefa de dados de armazenamento, prontas para serem preparados e executados. Para obter mais informações, consulte Integrando dados.

1. No seu projeto, clique em Adicionar novo e selecione Aterrisar dados.

2. No diálogo Aterrisar dados, insira um nome e uma descrição da tarefa de dados.

   Selecione Abrir para abrir a tarefa de aterrissagem de dados quando ela for criada.

   Clique em Criar.

3. Clique em Selecionar dados de origem.

4. Selecione uma conexão com os dados de origem e clique em Avançar.

   Você pode usar os filtros no painel esquerdo para filtrar a lista de conexões por tipo de origem, espaço e proprietário.

   Se você ainda não tiver uma conexão com os dados de origem, será necessário criar uma primeiro clicando em Adicionar conexão.

   Para obter mais informações sobre como configurar uma conexão com as fontes compatíveis, consulte Configurando conexões com fontes de dados.

   Nota informativaQuando você seleciona tabelas na próxima etapa, não pode alterar a conexão de origem de uma fonte de dados local para uma fonte de dados na nuvem, ou vice-versa. Você só pode alterar a conexão com outra fonte de dados do mesmo tipo.

5. Selecione conjuntos de dados para incluir na tarefa de dados. O diálogo de seleção é diferente dependendo do tipo de fonte à qual você se conectou.

   Quando terminar de selecionar tabelas, clique em Salvar.

   Conjuntos de dados é exibido.

6. Você pode alterar as configurações para a aterrisagem. Isso não é obrigatório.

   • Clique em Configurações.

   Para obter mais informações sobre as configurações, consulte Configurações de aterrisagem.

7. Você agora pode visualizar a estrutura e os metadados das tabelas de ativos de dados selecionadas. Isso inclui todas as tabelas explicitamente listadas e as tabelas que correspondem às regras de seleção.

   Se quiser adicionar mais tabelas da fonte de dados, clique em Selecionar dados de origem.

8. Você pode realizar transformações básicas nos conjuntos de dados, como filtrar dados ou adicionar colunas. Isso não é obrigatório.

   Para obter mais informações, consulte Gerenciando conjuntos de dados.

9. Depois de adicionar as transformações desejadas, você pode validar os conjuntos de dados clicando em Validar conjuntos de dados. Se a validação encontrar erros, corrija os erros antes de continuar.

   Para obter mais informações, consulte Validando e ajustando os conjuntos de dados.

10. Quando estiver pronto, clique em Preparar para catalogar a tarefa de dados e prepará-la para execução.

    Você pode acompanhar o progresso em Progresso da preparação na parte inferior da tela.

11. Quando a tarefa de dados estiver preparada e você estiver pronto para começar a replicar os dados, clique em Executar.

A replicação deve começar agora, e você pode ver o progresso em Monitorar. Para obter mais informações, consulte Monitorando uma tarefa de dados individual.

Selecionando dados de um banco de dados

Você pode selecionar tabelas ou exibições específicas ou usar regras de seleção para incluir ou excluir grupos de tabelas.

Use % como curinga para definir um critério de seleção para esquemas e tabelas.

• %.% define todas as tabelas em todos os esquemas.

• Public.% define todas as tabelas no esquema Público.

Critérios de seleção fornece uma visualização com base em suas seleções.

Agora você pode:

• Crie uma regra para incluir ou excluir um grupo de tabelas com base nos critérios de seleção.

  Clique em Adicionar regra dos critérios de seleção para criar uma regra e selecione Incluir ou Excluir.

  Você pode ver a regra em Regras de seleção.

• Selecione um ou mais conjuntos de dados e clique em Adicionar conjuntos de dados selecionados.

  Você pode ver os conjuntos de dados adicionados em Conjuntos de dados explicitamente selecionados.

As regras de seleção se aplicam apenas ao conjunto atual de tabelas e exibições, não a tabelas e exibições que são adicionadas no futuro.

Executando uma tarefa de aterrissagem com Captura de dados alterados (CDC)

Você pode executar a tarefa de aterrissagem quando ela estiver preparada. Isso inicia a replicação que transfere dados da fonte de dados local para a área de aterrissagem.

• Clique em Executar para iniciar os aterrissagem de dados.

A replicação deve começar agora, e a tarefa de dados terá o status Em execução. Em primeiro lugar, a fonte de dados completa é copiada e depois as alterações são rastreadas. Isso significa que as alterações são continuamente rastreadas e transferidas quando descobertas. Isso mantém atualizados os aterrissagem de dados na área de aterrissagem.

Na página inicial do Qlik Talend Data Integration, você pode ver o status, a data e a hora de quando os aterrissagem de dados são atualizados e o número de tabelas com erro. Você também pode abrir a tarefa de dados e selecionar a guia Tabelas para visualizar informações básicas de metadados das tabelas.

Você pode monitorar o progresso em detalhes abrindo a guia Monitorar. Para obter mais informações, consulte Monitorando uma tarefa de dados individual.

Quando todas as tabelas são carregadas e o primeiro conjunto de alterações é processado, a opção Os dados são atualizados em no cartão de tarefa de dados indica que as alterações na origem até esse momento estão disponíveis na tarefa de dados.

Carregando tabelas

Você pode recarregar os dados da origem.

Recarregando tabelas únicas

Você pode recarregar tabelas específicas manualmente sem interferir na captura de dados alterados. Isso é útil quando há problemas de CDC com uma ou mais tabelas.

1. Abra a tarefa de dados de aterrissagem e selecione a guia Monitor.

2. Selecione as tabelas que deseja carregar.

3. Clique em Carregar tabelas.

Se você não conseguir resolver os problemas recarregando as tabelas ou se eles afetarem a tarefa inteira, você poderá recarregar todas as tabelas no alvo. Isso reiniciará a captura de dados alterados.

Recarregando todas as tabelas para o alvo

Você poderá recarregar todas as tabelas no destino se tiver problemas de CDC que não possam ser resolvidos recarregando tabelas específicas. Exemplos de problemas são eventos ausentes, problemas causados pela reorganização do banco de dados de origem ou falha na leitura de eventos do banco de dados de origem.

1. Pare a tarefa de dados e todas as tarefas que os consomem.

2. Abra a tarefa de dados e selecione a guia Monitor.

3. Clique em ... e depois em Recarregar alvo.

Isso recarregará todas as tabelas no destino usando Drop-Create e reiniciará toda a captura de dados alterados a partir de agora.

• As tarefas de armazenamento que consumirem a tarefa de dados de aterrissagem serão recarregadas por meio de comparação e aplicação na próxima execução para sincronização. O histórico existente será mantido. O histórico do tipo 2 será atualizado para refletir as alterações após a execução do processo de recarregamento e comparação.

  O carimbo de data/hora para a data inicial no histórico tipo 2 refletirá a data de recarregamento e não necessariamente a data em que a alteração ocorreu na origem.

• Exibições ao vivo do armazenamento não serão confiáveis durante a operação de destino de recarregamento e até que o armazenamento esteja sincronizado. O armazenamento será totalmente sincronizado quando:

  • Todas as tabelas forem recarregadas usando comparação e aplicação,

  • Um ciclo de alterações é executado para cada tabela.

Executando uma tarefa de aterrissagem de dados com Recarregar e comparar

Você poderá copiar dados usando a tarefa de aterrissagem de dados quando ela estiver preparada.

• Clique em Executar para iniciar o carregamento completo.

Os dados agora começarão a ser copiados e a tarefa de dados terá o status Executando. Quando a fonte de dados completa estiver copiada, o status será Concluído.

Na página inicial do Qlik Talend Data Integration, você pode ver o status, a data e a hora de quando os aterrissagem de dados são atualizados e o número de tabelas com erro. Você também pode abrir a tarefa de dados e selecionar a guia Tabelas para visualizar informações básicas de metadados das tabelas.

Você pode monitorar o progresso em detalhes abrindo a guia Monitorar. Para obter mais informações, consulte Monitorando uma tarefa de dados individual.

Quando todas as tabelas forem carregadas, a opção Os dados são atualizados em no cartão de tarefa de dados indicará que alterações na origem até esse momento estão disponíveis no ativo de dados. No entanto, algumas tabelas da tarefa de dados podem ser atualizadas posteriormente, dependendo de quando começaram a ser carregadas. Isso significa que a consistência dos dados não é garantida. Por exemplo, se o carregamento começou às 08:00 e demorou 4 horas, a opção Os dados são atualizados no mostrará 08:00 quando o carregamento for concluído. No entanto, uma tabela que começou a ser carregada às 11h30 incluirá alterações de origem que ocorreram entre 08:00 e 11:30.

A opção Os dados são atualizados em reflete apenas as tabelas que foram carregadas com êxito. Isso não indica nada em relação às tabelas que seus carregamentos falharam. Em destinos na nuvem, o campo ficará vazio se um carregamento for concluído com todas as tabelas em estado de erro.

Recarregando dados ao usar Recarregar e comparar

Ao usar Recarregar e comparar como método de atualização, você precisa recarregar os dados para mantê-los atualizados com a fonte de dados.

• Clique em Recarregar para realizar uma recarga manual de todas as tabelas.

• Configure um carregamento agendado.

Recarregando tabelas únicas

Você pode recarregar tabelas específicas manualmente. Isso é útil quando há problemas com uma ou mais tabelas.

1. Abra a tarefa de dados de aterrissagem e selecione a guia Monitor.

2. Selecione as tabelas que deseja carregar.

3. Clique em Carregar tabelas.

Programando uma tarefa de aterrissagem de dados Recarregar e comparar

Você poderá programar carregamentos periódicos para a tarefa de se tiver a função Pode operar no espaço da tarefa de dados. O status da tarefa de dados deve ser pelo menos Preparado para que a programação esteja ativa.

• Clique em ... em uma tarefa de dados e selecione Programação.

  É possível definir uma programação baseada no tempo.

  Para obter informações sobre os intervalos mínimos de agendamento de acordo com o tipo de fonte de dados e o nível de assinatura, consulte Intervalos mínimos de agendamento permitidos.

Definindo prioridade de carregamento para conjuntos de dados

Você pode controlar a ordem de carregamento dos conjuntos de dados em sua tarefa de dados atribuindo uma prioridade de carregamento a cada conjunto de dados. Isso pode ser útil, por exemplo, se você quiser carregar conjuntos de dados menores antes de conjuntos de dados grandes.

1. Clique em Prioridade de carregamento.

2. Selecione uma prioridade de carregamento para cada conjunto de dados.

   A prioridade de carregamento padrão é Normal. Os conjuntos de dados serão carregados na seguinte ordem de prioridade:

   • Maior

   • Mais alta

   • Alta

   • Normal

   • Baixa

   • Mais baixa

   • Menor

   Conjuntos de dados com a mesma prioridade não são carregados em nenhuma ordem específica.

3. Clique em OK.

Operações na tarefa de aterrissagem de dados

Você pode executar as seguintes operações em uma tarefa de aterrissagem de dados no menu da tarefa.

• Abrir

  Isso abre a tarefa de aterrissagem de dados. É possível visualizar a estrutura da tabela e os detalhes sobre a tarefa de dados.

• Editar

  Você pode editar o nome e a descrição da tarefa.

• Excluir

  Você pode excluir a tarefa de dados.

  Os seguintes objetos não são excluídos e precisam ser excluídos manualmente:

  • Os dados na área de aterrissagem.

• Executar

  Você pode executar a tarefa de dados para começar a copiar dados.

  Executando uma tarefa de aterrissagem com Captura de dados alterados (CDC)

  Executando uma tarefa de aterrissagem de dados com Recarregar e comparar

• Parar

  Você pode interromper a operação de uma tarefa de dados em execução. A área de aterrissagem não é atualizada com os dados alterados.

  Quando você interrompe uma tarefa de dados de carregamento total com uma programação de carregamento, somente o carregamento atual é interrompido. Se o status da tarefa de dados for Interrompido e houver uma programação de carregamento ativa, ele será carregado novamente no próximo horário programado. Você deve desativar a programação de carregamento em Agendar carregamento.

• Carregar

  Você pode executar uma recarga manual de uma tarefa de dados no modo de atualização Recarregar e comparar.

• Preparar

  Isso prepara uma tarefa para execução. Isso inclui:

  • Validar que o design é válido.

  • Criar ou alterar as tabelas e exibições físicas para corresponder ao design.

  • Gerar o código SQL para a tarefa de dados.

  • Criar ou alterar as entradas do catálogo para os conjuntos de dados de saída da tarefa.

  Você pode acompanhar o progresso em Progresso da preparação na parte inferior da tela.

• Recriar tabelas

  Isso recria os conjuntos de dados da origem.

• Programação

  Você pode configurar um carregamento programado para tarefas de aterrissagem de dados no modo Carregamento total. É possível definir uma programação baseada no tempo que pode ser personalizada.

  Você também pode ativar ou desativar os carregamentos agendados.

  Você deve ter a função Pode operar no espaço da tarefa de dados para agendar carregamentos.

• Armazenar dados

  Você pode criar uma tarefa de armazenamento de dados que usa dados dessa tarefa de dados iniciais.

Atualizando metadados

Você pode atualizar os metadados na tarefa para alinhá-los com as alterações nos metadados da origem na visualização Design de uma tarefa. Para aplicativos SaaS que usam o Metadata Manager, o Metadata Manager deve ser atualizado antes de você poder atualizar os metadados na tarefa de dados.

1. Você pode:

   • Clique em ... e em Atualizar metadados para atualizar os metadados de todos os conjuntos de dados na tarefa.

   • Clique em ... em um conjunto de dados em Conjuntos de dados e, em seguida, em Atualizar metadados para atualizar os metadados de um único conjunto de dados.

   Você pode visualizar o status da atualização de metadados em Atualizar metadados na parte inferior da tela. Você pode ver quando os metadados foram atualizados pela última vez passando o cursor sobre .

2. Prepare a tarefa de dados para aplicar as alterações.

   Depois de preparar a tarefa de dados e as alterações serem aplicadas, elas serão removidas de Atualizar metadados.

Você deve preparar tarefas de armazenamento que consumam essa tarefa para propagar as alterações.

Se uma coluna for removida, uma transformação com valores nulos será adicionada para garantir que o armazenamento não perca dados históricos.

Limitações para atualização de metadados

• Uma renomeação com uma coluna descartada antes dessa, no mesmo intervalo de tempo, será convertida para a renomeação da coluna descartada se elas tiverem o mesmo tipo e comprimento de dados.

  Exemplo:  

  Antes: a b c d

  Depois: a c1 d

  Neste exemplo, b foi descartada, e c foi renomeada como c1. b e c têm o mesmo tipo e comprimento de dados.

  Isso será identificado como uma renomeação de b para c1 e um descarte de c.

• A renomeação da última coluna não é reconhecida, mesmo que a última coluna tenha sido descartada e a anterior tenha sido renomeada.

  Exemplo:  

  Antes: a b c d

  Depos: a b c1

  Neste exemplo, d foi descartada e c foi renomeada como c1.

  Isso será identificado como um descarte de c e d e uma adição de c1.

• Presume-se que novas colunas sejam adicionadas no final. Se forem adicionadas colunas no meio com o mesmo tipo de dados que a coluna seguinte, elas poderão ser interpretadas como uma ação de descarte e renomeação.

Evolução do esquema

A evolução do Esquema permite detectar facilmente alterações estruturais em várias Fontes de dados e, em seguida, controlar como essas alterações serão aplicadas à sua tarefa. A evolução do esquema pode ser usada para detectar alterações de DDL que foram feitas no esquema de dados de origem. Você também pode aplicar algumas alterações automaticamente.

Para cada tipo de alteração, é possível selecionar como lidar com as alterações na seção Evolução do esquema das configurações da tarefa. Você pode aplicar alterações, ignorar a alteração, suspender a tabela ou alterar o processamento da tarefa.

Você pode definir a ação a ser usada para tratar a alteração DDL para cada tipo de alteração. Algumas ações não estão disponíveis para todos os tipos de alteração.

• Aplicar ao destino

  Aplicar alterações automaticamente.

• Ignorar

  Ignorar alterações.

• Suspender tabela

  Suspender a tabela. A tabela será exibida como um erro no Monitor.

• Interromper tarefa

  Parar o processamento da tarefa. Isso é útil se você quiser lidar com todas as alterações de esquemas manualmente. Isso também interromperá o agendamento, ou seja, as execuções agendadas não serão realizadas.

As seguintes alterações são compatíveis:

• Adicionar coluna

• Renomear coluna

• Alterar tipo de dados da coluna

• Criar uma tabela que corresponda ao padrão de seleção
  

  Se você usou uma Regra de seleção para adicionar conjuntos de dados que correspondem a um padrão, novas tabelas que atendem ao padrão serão detectadas e adicionadas.

Para obter mais informações sobre as configurações de tarefas, consulte Evolução do esquema.

Você também pode obter notificações sobre alterações que são manipuladas com a evolução do esquema. Para obter mais informações, consulte Configurando notificações sobre alterações na operação.

Limitações para evolução do esquema

As seguintes limitações se aplicam à evolução do esquema:

• A evolução do esquema só é compatível quando a CDC é usada como método de atualização.

• Depois de alterar as configurações de evolução do esquema, você deve preparar a tarefa novamente.

• Se você renomear tabelas, a evolução do esquema não será compatível. Nesse caso, você deve atualizar os metadados antes de preparar a tarefa.

• Se você estiver projetando uma tarefa, você deve atualizar o navegador para receber alterações na evolução do esquema. Você pode definir notificações para ser alertado sobre alterações.

• Nas tarefas de aterrissagem, não há suporte para a aterrisagem de uma coluna. Eliminar uma coluna e adicioná-la resultará em um erro de tabela.

• Nas tarefas de aterrisagem, uma operação de drop table não eliminará a tabela. Se o senhor eliminar uma tabela e depois adicionar uma tabela, a tabela antiga será truncada, e uma nova tabela não será adicionada.

• Alterar o comprimento de uma coluna não é possível para todos os destinos, dependendo do suporte no banco de dados de destino.

• Se o nome de uma coluna for alterado, as transformações explícitas definidas usando essa coluna não terão efeito, pois são baseadas no nome da coluna.

• As limitações nos metadados de atualização também se aplicam à evolução do esquema.

Ao capturar alterações de DDL, aplicam-se as seguintes limitações:

• Quando ocorre uma sequência rápida de operações no banco de dados de origem (por exemplo, DDL>DML>DDL), o Qlik Talend Data Integration pode analisar o log na ordem errada, resultando na falta de dados ou em comportamento imprevisível. Para minimizar as chances de isso acontecer, a melhor prática é esperar que as alterações sejam aplicadas ao destino antes de executar a próxima operação.

  Como exemplo disso, durante a captura de alterações, se uma tabela de origem for renomeada várias vezes em rápida sucessão (e a segunda operação renomeá-la de volta ao seu nome original), um erro de que a tabela já existe no banco de dados de destino pode ser encontrado.

• Se você alterar o nome de uma tabela usada em uma tarefa e, em seguida, interromper a tarefa, o Qlik Talend Data Integration não capturará nenhuma alteração feita a essa tabela após a tarefa ser retomada.

• Não há suporte para renomear uma tabela de origem enquanto uma tarefa está parada.

• A realocação das colunas de Chave primária de uma tabela não é suportada (e, portanto, não será gravada na tabela de Controle de histórico de DDL).
• Quando o tipo de dados de uma coluna for alterado e a (mesma) coluna for renomeada enquanto a tarefa é interrompida, a alteração DDL aparecerá na tabela de controle Histórico de DDL como "Eliminar coluna" e, em seguida, "Adicionar coluna" quando a tarefa for retomada. Observe que o mesmo comportamento também pode ocorrer como resultado de uma latência prolongada.
• As operações CREATE TABLE realizadas na origem enquanto uma tarefa é interrompida serão aplicadas ao destino quando a tarefa for retomada, mas não serão registradas como DDL na tabela de controle Histórico de DDL.

• As operações associadas a alterações de metadados (como ALTER TABLE, reorg, reconstrução de um índice em cluster etc.) podem causar um comportamento imprevisível se forem executadas:

  • Durante o carregamento total

    -OU-

  • Entre o carimbo de data/hora Iniciar alterações de processamento de e a hora atual (ou seja, o momento em que o usuário clica em OK no diálogo Opções Avançadas de Execução).

    Exemplo:

    SE:

    O horário especificado para Iniciar alterações de processamento de é 10h.

    E:

    Uma coluna chamada Idade foi adicionada à tabela Funcionários às 10h10.

    E:

    O usuário clica em OK no diálogo Opções Avançadas de Execução às 10h15.

    ENTÃO:

    As alterações ocorridas entre 10h e 10h10 podem resultar em erros de CDC.

  Nota informativa

  Em qualquer um dos casos acima, as tabelas afetadas devem ser recarregadas para que os dados sejam corretamente movido para o destino.

• A instrução de DDL ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> não replica o valor padrão para o destino e a coluna nova/modificada é definida como NULL. Observe que isso pode acontecer mesmo que o DDL que adicionou/modificou a coluna tenha sido executado no passado. Se a coluna nova/modificada for anulável, o ponto de extremidade de origem atualizará todas as linhas da tabela antes de registrar o DDL em si. Como resultado, o Qlik Talend Data Integration captura as alterações, mas não atualiza o destino. Como a coluna nova/modificada é definida como NULL, se a tabela de destino não tiver chave primária/índice exclusivo, as atualizações subsequentes gerarão uma mensagem de "zero linha afetada".

• As modificações nas colunas de precisão TIMESTAMP e DATE não serão capturadas.

Manipulando alterações que não são aplicadas automaticamente

Isso descreve como manipular alterações que não podem ser aplicadas ao destino, ou seja, a ação é Ignorar, Suspender ou Parar tarefa.

Removendo colunas

Se você descartar uma coluna que é consumida por uma tarefa de armazenamento de dados com o histórico habilitado, será necessário seguir estas etapas para preservar o histórico e evitar possível perda de dados.

1. Pare a tarefa de dados de destino.

2. Execute a tarefa de armazenamento de dados para garantir que todos os dados de destino sejam lidos.

3. Solte a coluna na aterrissagem.

4. Execute a tarefa de dados de aterrissagem.

5. No armazenamento, adicione a coluna com uma expressão padrão (nulo ou valor padrão) ou elimine a coluna.

Manutenção da área de aterrissagem

A limpeza automática da área de aterrissagem não tem suporte. Isso pode afetar o desempenho.
Recomendamos que você execute limpezas manuais de dados antigos de carregamento total na área de aterrissagem.

• Qlik Cloud (via Amazon S3)

  Se houver várias pastas de dados de carregamento total, você poderá excluir todas elas, exceto a mais recente. Você também pode excluir as partições de dados alterados que foram processadas.

• Data warehouse de nuvem

  Você pode excluir o carregamento total e alterar os registros da tabela que foram processados.

Recomendações

• Se uma chave primária em uma tabela de origem puder ser atualizada, habilite DELETE e INSERT ao atualizar uma opção de coluna de chave primária no Ajuste de processamento de alterações.

Limitações

• Não há suporte para replicar dados varchar com mais de 8000 bytes ou Nvarchar com mais de 4000 bytes.

• Não é possível alterar a nulidade em colunas que são movidas, seja alterando-a diretamente ou usando uma regra de transformação. No entanto, novas colunas criadas na tarefa são anuláveis por padrão.

As transformações estão sujeitas às seguintes limitações:

• Transformações não são compatíveis para colunas com idiomas da direita para a esquerda.

• As transformações não podem ser realizadas em colunas que contenham caracteres especiais (por exemplo, #, \, /, -) no nome.

• A única transformação compatível com os tipos de dados LOB/CLOB é eliminar a coluna no destino.
• Não há suporte para o uso de uma transformação para renomear uma coluna e depois adicionar uma nova coluna com o mesmo nome.