Pré-requisitos
Antes de fazer a aterrissagem ou a replicação dos dados, certifique-se de atender aos seguintes pré-requisitos:
-
Instalar o driver necessário no servidor do Data Movement gateway
Nota informativaIsso apenas será necessário se você optar por trabalhar com o Data Movement gateway. Para obter informações sobre os benefícios do Data Movement gateway e quando ele é necessário, consulte Qlik Data Gateway - Data Movement.
Observe que o Data Movement gateway não está disponível com a assinatura do Iniciante do Qlik Talend Cloud.
-
Conceder as permissões necessárias na fonte de dados
-
Configurar o conector de fontes de dados
Configuração do driver
Você pode instalar o driver usando o utilitário de instalação do driver (recomendado) ou manualmente. A instalação manual só deve ser tentada no caso improvável de você encontrar um problema com o utilitário de instalação do driver.
Usando o utilitário de instalação de driver para instalar o driver
Esta seção descreve como instalar o driver necessário. O processo envolve a execução de um script que baixará, instalará e configurará automaticamente os driver necessários. Você também pode executar scripts para atualizar e desinstalar o driver como necessário.
Preparando a instalação
-
Certifique-se de que o Python 3.6.x ou mais recente esteja instalado no servidor de gateway do Movimentação de dados.
O Python vem pré-instalado na maioria das distribuições do Linux. Você pode verificar qual versão do Python está instalada em seu sistema executando o seguinte comando:
python3 --version
Instalando o driver
Para baixar e instalar o driver:
-
Na máquina do gateway do Movimentação de dados, altere o diretório de trabalho para:
opt/qlik/gateway/movement/drivers/bin
-
Execute o seguinte comando:
Sintaxe:
./install sqlserver
Se o driver não puder ser baixado (devido a restrições de acesso ou problemas técnicos), uma mensagem será exibida informando onde baixar o driver e onde copiá-lo na máquina de gateway do Movimentação de dados. Depois de fazer isso, execute o comando install sqlserver novamente.
Caso contrário, o EULA do driver será exibido.
-
Realize uma das seguintes ações:
- Pressione [Enter] repetidamente para percorrer lentamente o EULA.
- Pressione a barra de espaço repetidamente para rolar rapidamente pelo EULA.
- Pressione q para sair do texto da licença e ser apresentado às opções de aceitação do EULA.
-
Realize uma das seguintes ações:
- Digite "y" e pressione [Enter] para aceitar o EULA e iniciar a instalação.
- Digite "n" e pressione [Enter] para rejeitar o EULA e sair da instalação.
-
Digite "v" e pressione [Enter] para visualizar o EULA novamente.
O driver será instalado.
Atualizando o driver
Execute o comando de atualização se quiser desinstalar versões anteriores do driver antes de instalar o driver fornecido.
Para baixar e atualizar o driver:
-
Na máquina do gateway do Movimentação de dados, altere o diretório de trabalho para:
opt/qlik/gateway/movement/drivers/bin
-
Execute o seguinte comando:
Sintaxe:
./update sqlserver
Se o driver não puder ser baixado (devido a restrições de acesso ou problemas técnicos), uma mensagem será exibida informando onde baixar o driver e onde copiá-lo na máquina de gateway do Movimentação de dados. Depois de fazer isso, execute o comando update sqlserver novamente.
Caso contrário, o EULA do driver será exibido.
-
Realize uma das seguintes ações:
- Pressione [Enter] repetidamente para percorrer lentamente o EULA.
- Pressione a barra de espaço repetidamente para rolar rapidamente pelo EULA.
- Pressione q para sair do texto da licença e ser apresentado às opções de aceitação do EULA.
-
Realize uma das seguintes ações:
- Digite "y" e pressione [Enter] para aceitar o EULA e iniciar a instalação.
- Digite "n" e pressione [Enter] para rejeitar o EULA e sair da instalação.
- Digite "v" e pressione [Enter] para revisar o EULA desde o início.
O driver antigo será desinstalado, e o novo driver será instalado.
Desinstalando o driver
Execute o comando de desinstalação se quiser desinstalar o driver.
Para desinstalar o driver:
-
Pare todas as tarefas configuradas para usar esse conector.
-
Na máquina do gateway do Movimentação de dados, altere o diretório de trabalho para:
opt/qlik/gateway/movement/drivers/bin
-
Execute o seguinte comando:
Sintaxe:
./uninstall sqlserver
O driver será desinstalado.
Instalando o driver manualmente
Você só deve tentar instalar o driver manualmente se a instalação automática do driver não for concluída com êxito.
Após a instalação do Data Movement gateway, baixe o driver msodbcsql<versão>.x86_64.rpm. Você pode encontrar um link de download direto para a versão compatível em binary-artifacts em /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. Assim que o download for concluído, copie o RPM para a máquina Data Movement gateway.
No servidor do Data Movement gateway, abra um prompt de shell e faça o seguinte:
-
Pare o serviço do Data Movement gateway:
sudo systemctl stop repagent
-
Opcionalmente, confirme se o serviço foi interrompido:
sudo systemctl status repagent
-
Instale o driver (RPM).
-
Altere o diretório de trabalho para <product_dir>/bin.
-
Copie a localização do driver para o arquivo
site_arep_login.sh
, conforme a seguir:echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/
msodbcsql<version>
/lib64/" >> site_arep_login.sh
Isso adicionará o driver a "LD_LIBRARY_PATH" e atualizará a localização do driver no arquivo site_arep_login.sh .
-
Opcionalmente, confirme se a localização do driver foi copiada:
cat site_arep_login.sh
-
Inicie o serviço do Data Movement gateway:
sudo systemctl start repagent
-
Opcionalmente, confirme se o serviço foi iniciado:
sudo systemctl status repagent
O status deverá ser o seguinte:
Active: active (running) since <timestamp> ago
-
O Data Movement gateway requer a seguinte biblioteca ODBC: msodbcsql-18.1.so.1.1
Para verificar qual versão da biblioteca está instalada no momento, emita o seguinte comando:
ls /opt/microsoft/msodbcsql<version>/lib64/
Se a biblioteca existente tiver um número de versão diferente (por exemplo libmsodbcsql-18.0.so.1.1), você precisará criar um link simbólico entre a biblioteca existente e a biblioteca necessária.
Para fazer isso, emita os seguintes comandos:
cd /opt/microsoft/msodbcsql<version>/lib64/
ln -s existing_library_name
msodbcsql-18.1.so.1.1em que
existing_library_name
é o nome da biblioteca atualmente instalada (por exemplo. libmsodbcsql-18.0.so.1.1).
O status deverá ser o seguinte:
Active: inactive (dead) since <timestamp> ago
Seleção do banco de dados
Para poder selecionar um banco de dados (clicando em Carregar bancos de dados no diálogo do conector), o usuário especificado nas configurações do conector precisa ser criado no banco de dados mestre.
Porta
Por padrão, a porta 1434 precisa ser aberta para comunicação de saída no servidor do Gateway Data Movement. Você pode alterar isso nas configurações do conector.
Preparando o banco de dados para CDC
A seção a seguir explica como configurar o banco de dados para CDC.
Para configurar o banco de dados para CDC:
-
Configure o banco de dados para MS-CDC executando o seguinte:
exec source_db_name.dbo.sp_cdc_enable_db
em que source_db_name é o nome do banco de dados de origem.
-
A tarefa de landing habilita automaticamente o MS-CDC para todas as tabelas de origem. No entanto, se você preferir habilitar o MS-CDC manualmente, execute o seguinte script (para cada uma das tabelas de origem pretendidas):
exec sys.sp_cdc_enable_table
@source_schema = N'schema_name',
@source_name = N'table_name',
@role_name = NULL
em que schema_name e table_name são os nomes do esquema de origem e da tabela de origem, respectivamente.
Nota informativa- Os nomes das tabelas CT devem usar o formato de nomenclatura padrão: <SchemaName>_<TableName>_CT
-
A tabela CT deve incluir as seguintes colunas: [__$start_lsn], [__$end_lsn], [__$seqval], [__$operation], [__$update_mask], <all the data columns>, [__$command_id]
-
Certifique-se de que os trabalhos de captura e limpeza do MS-CDC estejam em execução.
Nota informativa- Você pode controlar os trabalhos usando sys.sp_cdc_change_job. Para obter informações adicionais, consulte a Ajuda da Microsoft.
- Para reduzir a latência, você pode querer definir o parâmetro @pollinginterval para um valor pequeno.