Azure Synapse Analytics

Você pode usar o Azure Synapse Analytics como uma plataforma de dados de destino em um pipeline de dados. Em um pipeline de dados, várias operações ELT podem ser executadas na plataforma de destino, incluindo armazenamento de dados, transformação de dados, criação de data marts e registro de dados.

A configuração do Azure Synapse Analytics como um destino envolve:

• Atender aos pré-requisitos
• Configurando uma conexão com uma área de teste na nuvem (Azure Data Lake Storage). Isto não é necessário se você estiver registrando dados existentes.
• Configurando uma conexão com o Azure Synapse Analytics

Configurando uma área de teste na nuvem

Você também precisa de uma área de teste na nuvem do Azure Data Lake Storage em que os dados e as alterações sejam testados antes de serem aplicados e armazenados. Para obter informações sobre como configurar uma conexão com o Azure Data Lake Storage, consulte Azure Data Lake Storage.

Definindo propriedades de conexão do Azure Synapse Analytics

Depois de fornecer as configurações de Destino do Azure Data Lake Storage, faça o seguinte:

1. Em Conexões, clique em Criar conexão.

2. Selecione o conector de destino do Azure Synapse Analytics e forneça as seguintes configurações:

Destino de dados

Gateway de dados

O Data Movement gateway apenas será necessário se o banco de dados de destino não estiver acessível a partir do Qlik Cloud e somente pode ser acessado através de um link privado (por exemplo, se estiver localizado em uma nuvem privada virtual). Se esse for o caso, selecione o Data Movement gateway através do qual você deseja acessar o banco de dados de destino.

Dependendo do seu caso de uso, será o mesmo Data Movement gateway implementado para mover dados da fonte de dados ou de uma fonte diferente.

Para obter informações sobre casos de uso do Data Movement gateway, consulte Quando o Data Movement gateway é necessário? e Casos de uso comuns.

Se o banco de dados de destino estiver acessível diretamente no Qlik Cloud, selecione Nenhum.

Propriedades da conexão

• Servidor: nome do host para identificar a localização do banco de dados do Azure Synapse Analytics.

• Porta: a porta pela qual acessar seu banco de dados Azure Synapse Analytics. O padrão é 1433.

Propriedades da conta

Nome de usuário e Senha: o nome de usuário e a senha de um usuário autorizado a acessar o banco de dados Azure Synapse Analytics.

Propriedades do banco de dados

• Nome do banco de dados: há dois métodos que você pode usar para especificar um banco de dados:

  • Método 1 - Selecionar em uma lista: Este método requer que o usuário seja criado no banco de dados mestre. Clique em Carregar bancos de dados e selecione um banco de dados.
  • Método 2 - Manualmente: Selecione Inserir nome do banco de dados manualmente e insira o nome do banco de dados.

Propriedades de carregamento de dados

A credencial do SQL Server pode ser criada automaticamente durante o tempo de execução (o padrão) ou você pode usar uma credencial existente. Execute um dos seguintes procedimentos, conforme apropriado:

• Quando a caixa de seleção Criar credencial do SQL Server estiver marcada (o padrão), a credencial do SQL Server será criada automaticamente durante o tempo de execução. Especifique sua chave de acesso no campo Chave de acesso.
• Para usar uma credencial existente, desmarque a caixa de seleção Criar credencial do SQL Server e especifique o nome da credencial do SQL Server no campo Nome da credencial.

Nome

O nome de exibição da conexão.

Pré-requisitos

Permissões

Você precisa conceder permissões de armazenamento e de banco de dados, conforme descrito abaixo.

Permissões de armazenamento

O usuário especificado no conector do Azure Synapse Analytics deve receber as seguintes permissões de armazenamento.

• No contêiner de armazenamento do ADLS Gen2: LIST
• Na pasta ADLS Gen2 Storage: READ, WRITE e DELETE
• Nas configurações de controle de acesso (IAM) para o sistema de arquivos ADLS Gen2, atribua a função "Colaborador de dados Blob de armazenamento" ao Gateway Data Movement (ID do aplicativo AD). Pode levar alguns minutos para que a função entre em vigor.

Permissões do banco de dados

O usuário especificado no conector do Azure Synapse Analytics deve receber as seguintes permissões no banco de dados:

• Permissões gerais:

  • db_owner role

• Permissões da tabela:

  • SELECT, INSERT, UPDATE e DELETE
  • Carregamento em massa
  • CREATE, ALTER, DROP (se exigido pela definição da tarefa)

Seleção do banco de dados

Para poder selecionar um banco de dados (clicando em Carregar bancos de dados no diálogo do conector), o usuário especificado nas configurações do conector precisa ser criado no banco de dados mestre.

Configuração do driver

Um driver apenas será necessário se você estiver acessando o banco de dados via Data Movement gateway. Nesse caso, você precisa instalar o driver na máquina Data Movement gateway.

Você pode instalar o driver usando o utilitário de instalação do driver (recomendado) ou manualmente. A instalação manual só deve ser tentada no caso improvável de você encontrar um problema com o utilitário de instalação do driver.

Usando o utilitário de instalação de driver para instalar o driver

Esta seção descreve como instalar o driver necessário. O processo envolve a execução de um script que baixará, instalará e configurará automaticamente os driver necessários. Você também pode executar scripts para atualizar e desinstalar o driver como necessário.

Preparando a instalação

• Certifique-se de que o Python 3.6.x ou mais recente esteja instalado no servidor de gateway do Movimentação de dados.

  O Python vem pré-instalado na maioria das distribuições do Linux. Você pode verificar qual versão do Python está instalada em seu sistema executando o seguinte comando:

  python3 --version

Instalando o driver

Para baixar e instalar o driver:

1. Pare o serviço do Gateway Data Movement:

   sudo systemctl stop repagent

2. Opcionalmente, confirme se o serviço foi interrompido:

   sudo systemctl status repagent

   O status deverá ser o seguinte:

   Active: inactive (dead) since <timestamp> ago

3. Na máquina do gateway do Movimentação de dados, altere o diretório de trabalho para:

   opt/qlik/gateway/movement/drivers/bin

4. Execute o seguinte comando:

   Sintaxe:

   ./install sqlserver

   Se o driver não puder ser baixado (devido a restrições de acesso ou problemas técnicos), uma mensagem será exibida informando onde baixar o driver e onde copiá-lo na máquina de gateway do Movimentação de dados. Depois de fazer isso, execute o comando install sqlserver novamente.

   Caso contrário, o EULA do driver será exibido.

5. Realize uma das seguintes ações:

   • Pressione [Enter] repetidamente para percorrer lentamente o EULA.
   • Pressione a barra de espaço repetidamente para rolar rapidamente pelo EULA.
   • Pressione q para sair do texto da licença e ser apresentado às opções de aceitação do EULA.

6. Realize uma das seguintes ações:

   • Digite "y" e pressione [Enter] para aceitar o EULA e iniciar a instalação.
   • Digite "n" e pressione [Enter] para rejeitar o EULA e sair da instalação.

   • Digite "v" e pressione [Enter] para visualizar o EULA novamente.

O driver será instalado.

7. Aguarde a conclusão da instalação (indicada por "Concluído!") e inicie o serviço do Gateway Data Movement:

   sudo systemctl start repagent

8. Opcionalmente, confirme se o serviço foi iniciado:

   sudo systemctl status repagent

   O status deverá ser o seguinte:

   Active: active (running) since <timestamp> ago

Atualizando o driver

Execute o comando de atualização se quiser desinstalar versões anteriores do driver antes de instalar o driver fornecido.

Para baixar e atualizar o driver:

1. Pare o serviço do Gateway Data Movement:

   sudo systemctl stop repagent

2. Opcionalmente, confirme se o serviço foi interrompido:

   sudo systemctl status repagent

   O status deverá ser o seguinte:

   Active: inactive (dead) since <timestamp> ago

3. Na máquina do gateway do Movimentação de dados, altere o diretório de trabalho para:

   opt/qlik/gateway/movement/drivers/bin

4. Execute o seguinte comando:

   Sintaxe:

   ./update sqlserver

   Se o driver não puder ser baixado (devido a restrições de acesso ou problemas técnicos), uma mensagem será exibida informando onde baixar o driver e onde copiá-lo na máquina de gateway do Movimentação de dados. Depois de fazer isso, execute o comando update sqlserver novamente.

   Caso contrário, o EULA do driver será exibido.

5. Realize uma das seguintes ações:

   • Pressione [Enter] repetidamente para percorrer lentamente o EULA.
   • Pressione a barra de espaço repetidamente para rolar rapidamente pelo EULA.
   • Pressione q para sair do texto da licença e ser apresentado às opções de aceitação do EULA.

6. Realize uma das seguintes ações:

   • Digite "y" e pressione [Enter] para aceitar o EULA e iniciar a instalação.
   • Digite "n" e pressione [Enter] para rejeitar o EULA e sair da instalação.
   • Digite "v" e pressione [Enter] para revisar o EULA desde o início.

O driver antigo será desinstalado, e o novo driver será instalado.

7. Aguarde a conclusão da instalação (indicada por "Concluído!") e inicie o serviço do Gateway Data Movement:

   sudo systemctl start repagent

8. Opcionalmente, confirme se o serviço foi iniciado:

   sudo systemctl status repagent

   O status deverá ser o seguinte:

   Active: active (running) since <timestamp> ago

Desinstalando o driver

Execute o comando de desinstalação se quiser desinstalar o driver.

Para desinstalar o driver:

1. Pare todas as tarefas configuradas para usar esse conector.

2. Na máquina do gateway do Movimentação de dados, altere o diretório de trabalho para:

   opt/qlik/gateway/movement/drivers/bin

3. Execute o seguinte comando:

   Sintaxe:

   ./uninstall sqlserver

   O driver será desinstalado.

Instalando manualmente o driver

Você só deve tentar instalar o driver manualmente se a instalação automática do driver não for concluída com êxito.

Você precisa instalar um driver ODBC e um driver JDBC.

Instalar o driver ODBC

Após a instalação do Data Movement gateway, baixe o driver msodbcsql<versão>.x86_64.rpm. Você pode encontrar um link de download direto para a versão compatível em binary-artifacts em /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. Assim que o download for concluído, copie o RPM para a máquina Data Movement gateway.

No servidor do Data Movement gateway, abra um prompt de shell e faça o seguinte:

1. Pare o serviço do Data Movement gateway:

   sudo systemctl stop repagent

2. Opcionalmente, confirme se o serviço foi interrompido:

   sudo systemctl status repagent

O status deverá ser o seguinte:

Active: inactive (dead) since <timestamp> ago

3. Instale o driver (RPM).

4. Altere o diretório de trabalho para <product_dir>/bin.

5. Copie a localização do driver para o arquivo site_arep_login.sh, conforme a seguir:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

   Isso adicionará o driver a "LD_LIBRARY_PATH" e atualizará a localização do driver no arquivo site_arep_login.sh .

6. Opcionalmente, confirme se a localização do driver foi copiada:

   cat site_arep_login.sh

7. Inicie o serviço do Data Movement gateway:

   sudo systemctl start repagent

8. Opcionalmente, confirme se o serviço foi iniciado:

   sudo systemctl status repagent

   O status deverá ser o seguinte:

   Active: active (running) since <timestamp> ago

9. O Data Movement gateway requer a seguinte biblioteca ODBC: msodbcsql-18.1.so.1.1

   Para verificar qual versão da biblioteca está instalada no momento, emita o seguinte comando:

   ls /opt/microsoft/msodbcsql<version>/lib64/

   Se a biblioteca existente tiver um número de versão diferente (por exemplo libmsodbcsql-18.0.so.1.1), você precisará criar um link simbólico entre a biblioteca existente e a biblioteca necessária.

   Para fazer isso, emita os seguintes comandos:

   cd /opt/microsoft/msodbcsql<version>/lib64/
   ln -s existing_library_name msodbcsql-18.1.so.1.1

   em que existing_library_name é o nome da biblioteca atualmente instalada (por exemplo. libmsodbcsql-18.0.so.1.1).

Instalar o driver JDBC

1. Faça download do arquivo mssql-jdbc-<version>.jar. Você pode encontrar um link de download direto para a versão compatível em binary-artifacts em /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. Assim que o download for concluído, copie o arquivo JAR para a seguinte pasta na máquina do Data Movement gateway:

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Reinicie o serviço Data Movement gateway executando o comando descrito em Reiniciando o serviço

Portas

• Quando o Gateway Data Movement for executado em uma máquina fora do Azure - Abra a porta 1433 para comunicação de saída.
• Quando o Gateway Data Movement for executado em um AzureVM - Abra as seguintes portas para comunicação de saída:
  • 1433
  • 11000-11999
  • 14000-14999

Limitações e considerações

Ao utilizar o Azure Synapse Analytics como destino, é necessário ter em conta as seguintes limitações e considerações:

• Colunas de origem com tipos de dados CHAR/VARCHAR e um agrupamento não latino (por exemplo, "Chinese_PRC_CI_AS") precisam ser mapeadas para NVARCHAR.

• Manipulação de coluna de origem vazia:

  • Ao movendo uma coluna binária de origem (por exemplo, VARBINARY ou BLOB) com um valor vazio, o Qlik Talend Data Integration insere um NULL na coluna de destino correspondente.

  Nota informativaValores vazios não são NULL, mas dados com comprimento zero.
• Movendo de registros que excedam 1 MB não são compatíveis.
• Movendo de dados com caracteres emoji de 4 bytes exige que o tipo de dados seja uma string longa (por exemplo, NCHAR/NVARCHAR/NCLOB) no destino.

Tipos de dados

A tabela a seguir mostra os tipos de dados Azure Synapse Analytics que são suportados durante o uso do Qlik Cloud e o mapeamento padrão dos tipos de dados do Qlik Cloud.

As informações do tipo de dados nativo são preservadas e exibidas na coluna Tipo de dados nativo nas visualizações do conjunto de dados. Se a coluna não estiver visível, será necessário abrir o seletor de colunas da visualização do conjunto de dados e selecionar a coluna Tipo de dados nativo.