Azure Data Lake Storage

O Azure Data Lake Storage pode ser usado como:

• Uma área de teste na nuvem ao usar Databricks, Microsoft Fabric ou Azure Synapse Analytics como destino de pipeline de dados. A área de teste na nuvem é onde os dados e as alterações são testados antes de serem aplicados e armazenados.

• Um destino em uma tarefa de replicação.

  • Para obter uma explicação sobre como replicar dados para o Azure Data Lake Storage com assinaturas Standard, Premium e Enterprise, consulte Aterrisar ddados em um data lake com uma assinatura Standard, Premium ou Enterprise.
  • Para obter uma explicação sobre como replicar dados para o Azure Data Lake Storage com a assinatura Starter, consulte Replicando dados com uma assinatura do Iniciante do Qlik Talend Cloud.

Limitações e considerações

As seguintes limitações são aplicáveis:

• Não há suporte para o modo LOB completo.
• Nomes de banco de dados ou nomes de tabelas contendo caracteres de barra (/) ou barra invertida (\) não são aceitos.

Permissões de armazenamento

O locatário do Azure Active Directory especificado nas configurações do conector deve receber as seguintes permissões de armazenamento do ADLS Gen2.

• No contêiner de armazenamento: LIST
• No diretório de armazenamento: READ, WRITE e DELETE
• Nas configurações de controle de acesso (IAM) para o sistema de arquivos ADLS Gen2, atribua a função "Colaborador de dados Blob de armazenamento" para o Replicate (ID do aplicativo AD). Pode levar alguns minutos para que a função entre em vigor.

Configurando propriedades de conexão do Azure Data Lake Storage

Para configurar o conector, faça o seguinte:

1. Em Conexões, clique em Criar conexão.

2. Selecione o conector de destino do Azure Data Lake Storage e forneça as seguintes configurações:

Destino de dados

Gateway de dados: Selecione o Data Movement gateway que será usado para testar a conexão com ADLS. Ele deve ser o mesmo Data Movement gateway implantado para preparar dados da fonte de dados.

Propriedades da conexão

• Conta de armazenamento

  Nome da conta de armazenamento.

• Nome do contêiner

  Nome do contêiner a ser usado como área de teste de nuvem.

• ID de locatário do Azure Active Directory

  ID de locatário da assinatura no Azure Active Directory.

• ID do cliente de registro de aplicativo do Azure

  ID do cliente do aplicativo no Azure Active Directory.

• Segredo de registro de aplicativo do Azure

  Segredo do aplicativo no Azure Active Directory

Nome

O nome de exibição da conexão.

Mapeamento de tipo de dados

A tabela a seguir mostra o mapeamento padrão de tipos de dados do Qlik Cloud para tipos de dados do Azure Data Lake Storage.

Mapeamento de tipos de dados do Qlik Cloud para o Azure Data Lake Storage

Mapeamento de tipos de dados do Qlik Cloud para Parquet

Quando Parquet for definido como o formato de arquivo, devido ao número limitado de tipos de dados compatíveis com o Parquet, os mapeamentos de tipos de dados serão os seguintes: