Ir para conteúdo principal

Analisando a linhagem de dados com análise de impacto

Veja a linhagem de fontes de dados e aplicativos com análise de impacto. A análise de impacto oferece uma exibição gráfica da linhagem de um conjunto de dados ou aplicativo, mostrando as entradas e saídas de dados.

O gráfico de linhagem mostra o fluxo de dados de aplicativos e dados na sua organização. Abra o gráfico de linhagem clicando em em um aplicativo ou conjunto de dados e, em seguida, selecionando Análise de impacto. Você também pode acessar o gráfico de linhagem na seção Detalhes de um conjunto de dados.

O gráfico de linhagem

A lineage graph showing the dataflow through different nodes

O gráfico de linhagem mostra como os dados são usados em aplicativos e conjuntos de dados. Ele visualiza aplicativos e conjuntos de dados como nós. Cada nó é conectado por setas que mostram o fluxo de dados. Por exemplo, você pode ver quais nós de conjunto de dados são usados por nós de aplicativo e quais nós de aplicativo geram conjuntos de dados que são usados por outros aplicativos. Você pode ver claramente o uso e as dependências de aplicativos e conjuntos de dados.

Permissões

Você deve ser capaz de visualizar um aplicativo ou conjunto de dados para visualizar a análise de impacto para o item a partir do hub. No gráfico de linhagem, é possível ver os nós pertencentes a aplicativos e conjuntos de dados aos quais você não tem acesso, mas que estão na linhagem do item selecionado para análise. Para esses nós, você pode visualizar o nome, mas não pode abri-los ou ver detalhes. Você pode optar por visualizar a análise de impacto desses nós para ver sua linhagem.

A análise de impacto não está disponível por padrão em um locatário e deve ser disponibilizada por um administrador de locatário. Consulte Gerenciando análises de impacto.

Funções

Os gráficos de linhagem oferecem suporte a diferentes funções na sua organização.

Administradores de dados

O gráfico de linhagem ajuda os administradores de dados a entender a linhagem dos dados, facilitando adicionar metadados e resolver problemas de qualidade. O gráfico pode melhorar a eficiência operacional, ajudando a identificar facilmente pipelines de conjunto de dados, uso e duplicações potenciais.

Desenvolvedores de aplicativos e modeladores de dados

O gráfico de linhagem melhora a confiança e o entendimento nas fontes de dados. Você pode ver o histórico completo de um conjunto de dados, quais aplicativos o utilizam e identificar novas informações derivadas de um conjunto de dados existente. Tenha a confiança de que os dados são os ideais para seu aplicativo ou modelo de dados.

O gráfico de linhagem

O gráfico de linhagem exibe nós na linhagem de uma fonte de dados. Cada nó representa uma etapa na linhagem do conjunto de dados ou aplicativo selecionado. Essas informações de linhagem são compiladas sempre que um aplicativo carrega ou recarrega dados. Se seu aplicativo não foi carregado recentemente, a linhagem pode estar incompleta ou imprecisa.

Os seguintes tipos de nós são exibidos no gráfico do gráfico de linhagem:

  • Conjunto de dados: Conjuntos de dados são fontes de dados, como conectores ou arquivos de dados. Conjuntos de dados geralmente são fontes de dados adicionadas a um espaço ou geradas a partir de um aplicativo, como um arquivo qvd. Os nós do conjunto de dados exibem a localização desse conjunto de dados e se ele está em um espaço compartilhado ou gerenciado.

  • Aplicativo: Nós de aplicativos representam aplicativos analíticos do Qlik Sense que usam as fontes de dados na linhagem. Nós de aplicativo exibem o nome do aplicativo e a sua localização como QCS (Qlik Cloud).

Os nós disponíveis em um gráfico de linhagem são as entradas para seu conjunto de dados ou aplicativo selecionado ou são saídas de seu conjunto de dados ou aplicativo.

Selecione um conjunto de dados ou aplicativo para designá-lo como o nó raiz para análise de impacto. Ele é marcado com uma borda cinza escuro no gráfico de linhagem.

Um nó raiz

The root node of a lineage graph, with a dark grey border.

O gráfico de linhagem exibe uma contagem dos nós de entrada e saída do nó raiz. Nós de entrada são nós que estão acima do nó raiz. Nós de entrada típicos incluem fontes de dados que são usadas pelo nó raiz ou aplicativos que produzem conjuntos de dados que são usados pelo nó raiz. Nós de saída são nós descendentes do nó raiz. Nós de saída típicos são aplicativos que usam o nó raiz como fonte de dados ou conjuntos de dados produzidos pelo nó raiz.

Selecione um nó clicando nele. Quando um nó é selecionado, a linhagem desse nó é destacada em verde, e você pode visualizar os detalhes do nó disponíveis.

Linhagem destacada de um nó selecionado com detalhes

A node has been selected, showing its complete lineage through the other nodes highlighted in green.

Detalhes do nó

Os detalhes são limitados pelo seu acesso a esse aplicativo ou conjunto de dados. Eles podem fornecer as seguintes informações:

  • Nome

  • Descrição

  • Tags

  • Localização

  • Espaço

  • Proprietário

  • Criador

  • Última modificação

Se você não tiver permissão para visualizar o aplicativo ou conjunto de dados, poderá visualizar apenas o nome.

Navegando pelo gráfico de linhagem

Clique e arraste para navegar no gráfico de linhagem. Você também pode usar os botões de navegação. Você pode clicar em Home para centralizar o gráfico de linhagem no nó raiz. Use os botões voltar e avançar para mover-se nas seleções.

Navegação pelo gráfico de linhagens

Navigation buttons for the lineage graph.

Para alterar o nó raiz que está sendo analisado, selecione um nó e escolha Análise de impacto no painel de detalhes.

Filtre o gráfico de linhagem para ver apenas as entradas ou saídas do nó raiz. Pesquise nós específicos usando a caixa de pesquisa.

Caixa de pesquisa e a os filtros de entrada e saída

The lineage graph search box and input and output filters.

Grandes grupos de nós na mesma posição na linhagem podem ser agrupados em um único grupo. Você pode expandi-los para visualizar todos os nós. Você também pode mostrar um nó em um grupo recolhido procurando por ele.

Nós com nós recolhidos abaixo

Nodes with collapsed nodes beneath. The collapsed nodes are hidden beneath a Show more option.

Limitações

A análise de impacto e o gráfico de linhagens têm as seguintes limitações:

  • Aplicativos que não foram carregados após o lançamento da análise de impacto no Qlik Sense SaaS podem não ter informações de linhagem completas disponíveis para eles até após o carregamento. Os detalhes de alguns nós poderão ser limitados se não tiverem sido carregados depois que a análise de impacto foi ativada para o seu locatário.

  • Os detalhes do nó para conjuntos de dados fora do seu locatário, como SQL Server ou conexões do Google Drive, são limitados ao tipo de conjunto de dados e ao nome. As conexões REST exibem apenas os tipos que são dados REST.

Usando o gráfico de linhagem

Rastreie a origem e o uso dos dados. O rastreamento da linhagem de dados ajuda a entender de onde vêm os dados e como eles se movem e são usados pela sua organização.

Os desenvolvedores de aplicativos podem usar o gráfico de linhagem para melhorar a confiança e o entendimento das fontes de dados. Responda a perguntas como:

  • De onde veio esse conjunto de dados?

  • Quais aplicativos usam esse conjunto de dados?

  • Existem outros conjuntos de dados derivados desse conjunto de dados?

Os desenvolvedores de aplicativos podem encontrar vários conjuntos de dados relacionados a uma área de assunto. Olhando para a linhagem do conjunto de dados, você pode ver de onde ele vem e quais outros aplicativos usam os dados.

Para um administrador de dados, é possível usar o gráfico de linhagem para melhorar a eficiência operacional, a colaboração e a qualidade dos dados. Responda a perguntas como:

  • Quais conjuntos de dados não estão sendo usados em aplicativos?

  • Quais conjuntos de dados são potencialmente duplicados?

  • O pipeline de dados e as transformações podem ser simplificados?

  • Quais são os impactos posteriores de uma alteração em um conjunto de dados em qualquer lugar no pipeline de dados?

Exemplo: Encontrando conjuntos de dados com o gráfico de linhagem

Como desenvolvedor de aplicativos, seu administrador de dados pode fornecer conjuntos de dados a partir dos quais você deseja desenvolver aplicativos. Neste exemplo, o administrador de dados disse para usar arquivos QVD gerados do aplicativo QVD Output-2. Olhando para o espaço compartilhado onde os arquivos QVD são gerados, não está imediatamente claro quais conjuntos de dados deve ser usado.

Espaço de Saída QVD

The QVD Output space, showing all the QVD files sotre in it. Many are similarly named.

Clique em em um dos conjuntos de dados, neste caso EmployeeData, e, em seguida, selecione Análise de impacto.

Uma análise de impacto de EmployeeData

Impact analysis of the QVD file EmployeeData.

Seguindo a linhagem para cima, você pode ver que este conjunto de dados é uma saída de QVD Output-2. Selecione QVD-Output 2 e, em seguida, visualize a análise de impacto.

Análise de impacto para QVD-Output-2

The impact analyiss of the app QVD-Output2

Agora, você pode ver todas as saídas de QVD-Output-2 e saber quais fontes de dados usar no seu aplicativo.

Exemplo: Diagnosticar problemas de dados com o gráfico de linhagens

Como desenvolvedor de aplicativos, um cliente usando um dos seus aplicativos, App7, relatou que alguns dados parecem desatualizados. As coisas parecem estar bem quando você executa o script de carregamento, então você abre Análise de impacto no aplicativo e confere as entradas. Observando os detalhes de cada um dos arquivos QVD de origem, você percebe que Support não é carregado há sete dias.

Detalhes de Support

Details in lineage graph for the node Support.qvd. In the details, you can see that it was last modified 7 days ago.

Você consegue determinar o proprietário do aplicativo e entra em contato com ele para investigar mais.

Exemplo: Avaliando impactos downstream

Como administrador de dados, você está planejando fazer atualizações no script de carregamento e nas saídas de um dos meus aplicativos mais antigos que processa dados de conectores. Uma análise de impacto do aplicativo de processamento, QVD-Output-1, pode determinar o impacto downstream e mostrar quais saídas ainda estão em uso.

Análise de impacto de QVD-Output-1

An impact analysis of the app QVD-Output-1.

Existem vários aplicativos downstream que usam saídas de QVD-Output-1. Selecione os aplicativos para ver os proprietários dos aplicativos.

Detalhes de App1

The details for the app App1. This app uses a large number of qvds output from QVD-Output-1.

Antes de fazer suas alterações planejadas, você precisará falar com esses proprietários de aplicativos para garantir que a funcionalidade dos aplicativos não seja afetada por essas alterações planejadas.

Exemplo: Identificando redundâncias no pipeline de dados

Como administrador de dados, você decide revisar o pipeline de dados para identificar oportunidades de simplificação e consolidação do pipeline. Você sabe que existem dois aplicativos que processam dados de um dos seus conectores. Selecione um dos aplicativos para análise de impacto e escolha o conector de dados para visualizar sua análise de impacto.

Análise de impacto do conector de dados

An impact anaylsis of the node of the data connection, showing the full scope of the downstream data lineage. There are two apps using this data source to output a large number of QVD files that are used by 4 apps.

Existem dois aplicativos de processador que geram QVDs a partir deste conector. Há certa semelhança entre as saídas dos dois aplicativos. Pode haver redundâncias que podem ser consolidadas em um único aplicativo de processador, potencialmente com menos saídas. Investigue esses aplicativos e seus resultados mais de perto para ver se eles podem ser simplificados.