Qualidade dos dados para conjuntos de dados baseados em arquivos
Para se beneficiar da descoberta de tipos semânticos e leituras de qualidade de dados em seus conjuntos de dados baseados em arquivos, você precisa carregar seus arquivos em seu Catálogo.
Até o momento, os tipos de arquivo compatíveis com o cálculo de qualidade são CSV, TXT, QVD, XLS e XLSX. Se o seu arquivo Excel contiver várias pastas, o cálculo de qualidade será feito apenas na primeira pasta.
Criando conjuntos de dados baseados em arquivos
Para que você possa criar conjuntos de dados a partir de um arquivo e, posteriormente, ter acesso ao seu esquema e qualidade na visão geral do conjunto de dados e na visão geral do produto de dados, você precisa carregá-los no Qlik Talend Data Integration.
-
Em Qlik Talend Data Integration > Catálogo, clique em Criar e, em seguida, em Conjunto de dados.
-
Clique em Carregar arquivo de dados.
-
Procure o arquivo que deseja carregar, selecione o espaço no qual deseja carregá-lo e clique em Carregar.
Se você clicar em Carregar e analisar, um conjunto de dados e um aplicativo de análises serão criados a partir desse arquivo.
O novo conjunto de dados será adicionado ao Catálogo, e você poderá acessar indicadores de qualidade e mais detalhes sobre seu conteúdo. Esta configuração também possibilita usar o conjunto de dados baseado em arquivos como fonte para aplicativos de análise.
Como o Catálogo pode ser acessado tanto pelo hub do Qlik Talend Data Integration quanto pelo hub do Qlik Analytics Services, você pode abrir seus conjuntos de dados no local de sua preferência e a conexão correta será usada dependendo do contexto.
Computação de qualidade
Usar o botão Calcular ou Atualizar na Visão geral do seu conjunto de dados aciona um cálculo de qualidade em uma amostra de 1.000 linhas do banco de dados. Essa operação ocorre no modo pull-up para conjuntos de dados baseados em arquivos.
Uma amostra de 100 linhas é recuperada e exibida como uma prévia com tipos semânticos atualizados, estatísticas de validade e integridade. Esta amostra é então armazenada no MongoDB.