Ir para conteúdo principal Pular para conteúdo complementar

Microsoft Fabric

Você pode usar o Microsoft Fabric como uma plataforma de dados de destino em um pipeline de dados ou em uma tarefa de replicação. Em um pipeline de dados, várias operações ELT podem ser executadas na plataforma de destino, incluindo armazenamento de dados, transformação de dados, criação de data marts e registro de dados. Uma tarefa de replicação, por outro lado, envolve a replicação de dados diretamente de um sistema de origem para um sistema de destino com capacidades básicas de transformação, mas sem suporte para operações ELT.

Nota informativaRequer o Data Movement gateway 2023.5.15 ou mais recente.

A configuração do Microsoft Fabric como um destino envolve:

Configurando uma área de teste na nuvem

Nota informativaSe você estiver registrando dados existentes, não precisará configurar uma área de teste na nuvem.

Você também precisa de uma área de teste na nuvem do Azure Data Lake Storage em que os dados e as alterações sejam testados antes de serem aplicados e armazenados. Para obter informações sobre como configurar uma conexão com o Azure Data Lake Storage, consulte Azure Data Lake Storage.

Configurando as propriedades de conexão do Microsoft Fabric

Depois de fornecer as configurações de Destino do Azure Data Lake Storage, faça o seguinte:

  1. Em Conexões, clique em Criar conexão.

  2. Selecione o conector de destino do Microsoft Fabric e forneça as seguintes configurações:

Destino de dados

Nota informativaEste campo não está disponível com as assinaturas do Iniciante do Qlik Talend Cloud, pois o Data Movement gateway não é compatível com esse nível de assinatura.

O Data Movement gateway apenas será necessário se o banco de dados de destino não estiver acessível a partir do Qlik Cloud e somente pode ser acessado através de um link privado (por exemplo, se estiver localizado em uma nuvem privada virtual). Se esse for o caso, selecione o Data Movement gateway através do qual você deseja acessar o banco de dados de destino.

Dependendo do seu caso de uso, será o mesmo Data Movement gateway implementado para mover dados da fonte de dados ou de uma fonte diferente.

Para obter informações sobre casos de uso do Data Movement gateway, consulte Quando o Data Movement gateway é necessário? e Casos de uso comuns.

Se o banco de dados de destino estiver acessível diretamente no Qlik Cloud, selecione Nenhum.

Nota informativaAo acessar o banco de dados de destino via Data Movement gateway, você também precisa instalar o driver apropriado na máquina do Data Movement gateway. Para detalhes, consulte Microsoft Fabric abaixo.

Propriedades da conexão

  • Servidor: O nome do servidor Microsoft Fabric Data Warehouse que você está usando.

Propriedades da conta

Método de autenticação: Selecione uma das seguintes opções:

  • Entidade de serviço do Azure Active Directory

    Em seguida, forneça seu ID do cliente e Segredo do cliente nos campos designados.

  • Entidade de serviço de usuário do Azure Active Directory

    Em seguida, forneça um Nome de usuário e uma Senha nos campos designados.

Propriedades do banco de dados

  • Nome do banco de dados: há dois métodos que você pode usar para especificar um banco de dados:

    • Método 1 - Selecionar em uma lista: Clique em Carregar bancos de dados e selecione um banco de dados.
    • Método 2 - Manualmente: Selecione Inserir nome do banco de dados manualmente e insira o nome do banco de dados.

Carregamento de dados

  • Token SAS: O token SAS que será usado pelo Microsoft Fabric para acessar a conta de armazenamento ADLS. Isto não é necessário se você estiver registrando dados existentes.

Nome

O nome de exibição da conexão.

Pré-requisitos

Permissões do banco de dados

O diretor de usuário/serviço do Azure Active Directory especificado na seção Acesso ODBC das configurações do conector do Microsoft Fabric deve receber a função de Colaborador.

Configuração do driver

Um driver apenas será necessário se você estiver acessando o banco de dados via Data Movement gateway. Nesse caso, você precisa instalar o driver na máquina Data Movement gateway.

Você pode instalar o driver usando o utilitário de instalação do driver (recomendado) ou manualmente. A instalação manual só deve ser tentada no caso improvável de você encontrar um problema com o utilitário de instalação do driver.

Usando o utilitário de instalação de driver para instalar o driver

Esta seção descreve como instalar o driver necessário. O processo envolve a execução de um script que baixará, instalará e configurará automaticamente os driver necessários. Você também pode executar scripts para atualizar e desinstalar o driver como necessário.

  • Certifique-se de que o Python 3.6.x ou mais recente esteja instalado no servidor de gateway do Movimentação de dados.

    O Python vem pré-instalado na maioria das distribuições do Linux. Você pode verificar qual versão do Python está instalada em seu sistema executando o seguinte comando:

    python3 --version

Para baixar e instalar o driver:

  1. Pare o serviço do Gateway Data Movement:

    sudo systemctl stop repagent

  2. Opcionalmente, confirme se o serviço foi interrompido:

    sudo systemctl status repagent

    O status deverá ser o seguinte:

    Active: inactive (dead) since <timestamp> ago

  3. Na máquina do gateway do Movimentação de dados, altere o diretório de trabalho para:

    opt/qlik/gateway/movement/drivers/bin

  4. Execute o seguinte comando:

    Sintaxe:

    ./install fabric

    Se o driver não puder ser baixado (devido a restrições de acesso ou problemas técnicos), uma mensagem será exibida informando onde baixar o driver e onde copiá-lo na máquina de gateway do Movimentação de dados. Depois de fazer isso, execute o comando install fabric novamente.

    Caso contrário, o EULA do driver será exibido.

  5. Realize uma das seguintes ações:

    • Pressione [Enter] repetidamente para percorrer lentamente o EULA.
    • Pressione a barra de espaço repetidamente para rolar rapidamente pelo EULA.
    • Pressione q para sair do texto da licença e ser apresentado às opções de aceitação do EULA.
  6. Realize uma das seguintes ações:

    • Digite "y" e pressione [Enter] para aceitar o EULA e iniciar a instalação.
    • Digite "n" e pressione [Enter] para rejeitar o EULA e sair da instalação.
    • Digite "v" e pressione [Enter] para visualizar o EULA novamente.

  7. O driver será instalado.

  8. Aguarde a conclusão da instalação (indicada por "Concluído!") e inicie o serviço do Gateway Data Movement:

    sudo systemctl start repagent

  9. Opcionalmente, confirme se o serviço foi iniciado:

    sudo systemctl status repagent

    O status deverá ser o seguinte:

    Active: active (running) since <timestamp> ago

Execute o comando de atualização se quiser desinstalar versões anteriores do driver antes de instalar o driver fornecido.

Para baixar e atualizar o driver:

  1. Pare o serviço do Gateway Data Movement:

    sudo systemctl stop repagent

  2. Opcionalmente, confirme se o serviço foi interrompido:

    sudo systemctl status repagent

    O status deverá ser o seguinte:

    Active: inactive (dead) since <timestamp> ago

  3. Na máquina do gateway do Movimentação de dados, altere o diretório de trabalho para:

    opt/qlik/gateway/movement/drivers/bin

  4. Execute o seguinte comando:

    Sintaxe:

    ./update fabric

    Se o driver não puder ser baixado (devido a restrições de acesso ou problemas técnicos), uma mensagem será exibida informando onde baixar o driver e onde copiá-lo na máquina de gateway do Movimentação de dados. Depois de fazer isso, execute o comando update fabric novamente.

    Caso contrário, o EULA do driver será exibido.

  5. Realize uma das seguintes ações:

    • Pressione [Enter] repetidamente para percorrer lentamente o EULA.
    • Pressione a barra de espaço repetidamente para rolar rapidamente pelo EULA.
    • Pressione q para sair do texto da licença e ser apresentado às opções de aceitação do EULA.
  6. Realize uma das seguintes ações:

    • Digite "y" e pressione [Enter] para aceitar o EULA e iniciar a instalação.
    • Digite "n" e pressione [Enter] para rejeitar o EULA e sair da instalação.
    • Digite "v" e pressione [Enter] para revisar o EULA desde o início.
  7. O driver antigo será desinstalado, e o novo driver será instalado.

  8. Aguarde a conclusão da instalação (indicada por "Concluído!") e inicie o serviço do Gateway Data Movement:

    sudo systemctl start repagent

  9. Opcionalmente, confirme se o serviço foi iniciado:

    sudo systemctl status repagent

    O status deverá ser o seguinte:

    Active: active (running) since <timestamp> ago

Execute o comando de desinstalação se quiser desinstalar o driver.

Para desinstalar o driver:

  1. Pare todas as tarefas configuradas para usar esse conector.

  2. Na máquina do gateway do Movimentação de dados, altere o diretório de trabalho para:

    opt/qlik/gateway/movement/drivers/bin

  3. Execute o seguinte comando:

    Sintaxe:

    ./uninstall fabric

    O driver será desinstalado.

Instalando manualmente o driver

Você só deve tentar instalar o driver manualmente se a instalação automática do driver não for concluída com êxito.

Você precisa instalar um driver ODBC e um driver JDBC.

Após a instalação do Data Movement gateway, baixe o driver msodbcsql<versão>.x86_64.rpm. Você pode encontrar um link de download direto para a versão compatível em binary-artifacts em /opt/qlik/gateway/movement/drivers/manifests/fabric.yaml. Assim que o download for concluído, copie o RPM para a máquina Data Movement gateway.

  1. Pare o serviço do Gateway Data Movement:

    sudo systemctl stop repagent

  2. Opcionalmente, confirme se o serviço foi interrompido:

    sudo systemctl status repagent

  3. O status deverá ser o seguinte:

    Active: inactive (dead) since <timestamp> ago

  4. Instale o driver na máquina do Gateway Data Movement.

  5. Copie a localização do driver para o arquivo site_arep_login.sh, conforme a seguir:

    echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

    Exemplo:

    echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql17/lib64/" >> site_arep_login.sh

    Isso adicionará o driver a "LD_LIBRARY_PATH" e atualizará a localização do driver no arquivo site_arep_login.sh .

  6. Opcionalmente, confirme se a localização do driver foi copiada:

    cat site_arep_login.sh
  7. Inicie o serviço do Gateway Data Movement:

    sudo systemctl start repagent

  8. Opcionalmente, confirme se o serviço foi iniciado:

    sudo systemctl status repagent

    O status deverá ser o seguinte:

    Active: active (running) since <timestamp> ago

  1. Baixe os arquivos JAR listados em binary-artifacts em /opt/qlik/gateway/movement/drivers/manifests/fabric.yaml: Em seguida, copie os arquivos para a seguinte pasta na máquina do Data Movement gateway:

    /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

  2. Reinicie o serviço Data Movement gateway executando o comando descrito em Reiniciando o serviço

Nota de advertênciaSe você estiver usando uma fonte de dados do Microsoft SQL Server (baseada em CDC ou baseada em log), a desinstalação do driver do Fabric também interromperá a conectividade com o SQL Server, pois eles compartilham o mesmo driver.

Portas

Abra a porta 1433 para comunicação de saída.

Limitações e considerações

As seguintes operações não são compatíveis e não serão aplicadas ao destino:

  • RENOMEAR coluna
  • ADICIONAR/DESCARTAR/ALTERAR coluna

As colunas BLOB e BYTES não são compatíveis. Se suas tabelas de origem contiverem colunas com esses tipos de dados, você poderá usar uma transformação para convertê-las em STRING ou excluí-las da replicação.

Tipos de dados

A tabela a seguir mostra os tipos de dados Microsoft Fabric que são suportados durante o uso do Qlik Cloud e o mapeamento padrão dos tipos de dados do Qlik Cloud.

As informações do tipo de dados nativo são preservadas e exibidas na coluna Tipo de dados nativo nas visualizações do conjunto de dados. Se a coluna não estiver visível, será necessário abrir o seletor de colunas da visualização do conjunto de dados e selecionar a coluna Tipo de dados nativo.

Tipos de dados com suporte
Tipos de dados do Qlik Talend Data Integration Tipos de dados do Microsoft Fabric

BOOL

BIT

BYTES

Se o comprimento for 1-8000:

VARBINARY (Comprimento em bytes)

Se o comprimento exceder 8.000:

VARBINARY (8000)

DATE

DATE

TIME

Se a escala for de 0 a 6:

TIME (Escala)

Se a escala exceder 6:

TIME (6)

TIMESTAMP

Se a escala for de 0 a 6:

DATETIME2 (Escala)

Se a escala exceder 6:

DATETIME2 (6)

INT1

SMALLINT

INT2

SMALLINT

INT4

INT

INT8

BIGINT

NUMERIC

DECIMAL (p,s)

REAL4

FLOAT(24)

REAL8

FLOAT(53)

STRING

Se o comprimento em bytes for 1-8000:

VARCHAR (Comprimento em bytes)

Se o comprimento em bytes exceder 8.000:

VARCHAR (8000)

UINT1

SMALLINT

UINT2

INT

UINT4

BIGINT

UINT8

DECIMAL (20,0)

WSTRING

Se o comprimento em bytes for 1-8000:

VARCHAR (Comprimento em bytes)

Se o comprimento em bytes exceder 8.000:

VARCHAR (8000)

BLOB

VARBINARY (8000)

Nota informativa
  • VARBINARY (8000) aplica-se a todo o registro. Assim, por exemplo, se o registro contiver duas colunas BLOB, o tamanho total delas não poderá exceder 8.000 bytes.
  • Ao capturar alterações, o número máximo de bytes que pode ser capturado é 4000.

NCLOB

VARCHAR (8000)

CLOB

VARCHAR (8000)

Nota informativaTipos de dados LOB completos não são compativeis. Para obter informações sobre como incluir tipos de dados LOB de tamanho limitado no movendo, consulte Aterrissagem de dados de fontes de dados.

Esta página ajudou?

Se você encontrar algum problema com esta página ou seu conteúdo - um erro de digitação, uma etapa ausente ou um erro técnico - informe-nos como podemos melhorar!