Ir para conteúdo principal Pular para conteúdo complementar

Azure Data Lake Storage

O Azure Data Lake Storage pode ser usado como:

  • Uma área de teste na nuvem ao usar Databricks, Microsoft Fabric ou Azure Synapse Analytics como plataforma de pipeline de dados. A área de teste na nuvem é onde os dados e as alterações são testados antes de serem aplicados e armazenados.
  • Um destino em uma tarefa de replicação "Aterrisar dados no data lake".

Limitações e considerações

As seguintes limitações são aplicáveis:

  • Não há suporte para o modo LOB completo.
  • Nomes de banco de dados ou nomes de tabelas contendo caracteres de barra (/) ou barra invertida (\) não são aceitos.

Permissões de armazenamento

O locatário do Azure Active Directory especificado nas configurações do conector deve receber as seguintes permissões de armazenamento do ADLS Gen2.

  • No contêiner de armazenamento: LIST
  • No diretório de armazenamento: READ, WRITE e DELETE
  • Nas configurações de controle de acesso (IAM) para o sistema de arquivos ADLS Gen2, atribua a função "Colaborador de dados Blob de armazenamento" para o Replicate (ID do aplicativo AD). Pode levar alguns minutos para que a função entre em vigor.

Configurando propriedades de conexão do Azure Data Lake Storage

Selecione o conector de Destino do Azure Data Lake Storage Target e forneça as seguintes configurações:

Destino de dados

Gateway de dados: Selecione o Data Movement gateway que será usado para testar a conexão com ADLS. Ele deve ser o mesmo Data Movement gateway implantado para preparar dados da fonte de dados.

Propriedades da conexão

  • Conta de armazenamento

    Nome da conta de armazenamento.

  • Nome do contêiner

    Nome do contêiner a ser usado como área de teste de nuvem.

  • ID de locatário do Azure Active Directory

    ID de locatário da assinatura no Azure Active Directory.

  • ID do cliente de registro de aplicativo do Azure

    ID do cliente do aplicativo no Azure Active Directory.

  • Segredo de registro de aplicativo do Azure

    Segredo do aplicativo no Azure Active Directory

Nome

O nome de exibição da conexão.

Mapeamento de tipo de dados

A tabela a seguir mostra o mapeamento padrão de tipos de dados do Qlik Cloud para tipos de dados do Azure Data Lake Storage.

Nota informativaOs mapeamentos do tipo de dados só são relevantes se a opção Criar arquivos de metadados na pasta de destino nas configurações da tarefa "Aterrisar dados no data lake" estiver habilitada.

Mapeamento de tipos de dados do Qlik Cloud para o Azure Data Lake Storage

Tipos de dados do Qlik Cloud e do Azure Data Lake Storage
Tipos de dados do Qlik Cloud Tipos de dados de destino do Azure Data Lake Storage

DATE

DATE

TIME

TIME

DATETIME

DATETIME

BYTES

BYTES (comprimento)

BLOB

BLOB

REAL4

REAL4 (7)

REAL8

REAL8 (14)

INT1

INT1 (3)

INT2

INT2 (5)

INT4

INT4 (10)

INT8

INT8 (19)

UINT1

UINT1 (3)

UINT2

UINT2 (5)

UINT4

UINT4 (10)

UINT8

UINT8 (20)

NUMERIC

NUMERIC (p,s)

STRING

STRING (comprimento)

WSTRING

STRING (comprimento)

CLOB

CLOB

NCLOB

NCLOB

BOOLEAN

BOOLEAN (1)

Mapeamento de tipos de dados do Qlik Cloud para Parquet

Quando Parquet for definido como o formato de arquivo, devido ao número limitado de tipos de dados compatíveis com o Parquet, os mapeamentos de tipos de dados serão os seguintes:

Mapeamentos de tipos de dados Parquet
Tipo de dados do Qlik Cloud Tipo primitivo Parquet Tipo lógico

BOOLEAN

BOOLEAN

 

INT1

INT32

INT(8, true)

INT2

INT32

INT(16, true)

INT4

INT32

 

INT8

INT64

 

UINT1

INT32

INT(8, false)

UINT2

INT32

INT(16, false)

UINT4

INT64

 

UINT8

INT64

INT(64, false)

REAL4

FLOAT

 

REAL8

DOUBLE

 

NUMERIC

FIXED_LEN_BYTE_ARRAY (16)

DECIMAL (precisão, escala)

STRING

BYTE_ARRAY

STRING

WSTRING

BYTE_ARRAY

STRING

BYTES

BYTE_ARRAY

 

BLOB

BYTE_ARRAY

 

CLOB

BYTE_ARRAY

STRING

NCLOB

BYTE_ARRAY

STRING

DATE

INT32

DATE

TIME

INT32

TIME (UTC=true, unit=MILLIS)

DATETIME

INT64

TIMESTAMP (UTC=true, unit=MICROS)

Esta página ajudou?

Se você encontrar algum problema com esta página ou seu conteúdo - um erro de digitação, uma etapa ausente ou um erro técnico - informe-nos como podemos melhorar!