Analisando a linhagem no Análises

A linhagem rastreia dados e transformações de dados de trás para frente até a fonte original. O Qlik Cloud fornece uma representação visual detalhada do histórico desse fluxo, em que você pode examinar interativamente a linhagem upstream do conteúdo analítico. A linhagem está disponível para conteúdo como aplicativos, scripts, fluxos de dados, receitas de tabela, experimentos de ML, implementações de ML e conjuntos de dados.

Ao consumir um aplicativo de análise, acesse a exibição resumida da linhagem, uma representação das medidas e dimensões usadas em um objeto de gráfico específico. Com essa visão, você pode identificar a fonte, o que lhe dá a certeza de que pode entender e confiar no que está vendo e com o que está trabalhando. Para obter mais informações, consulte A exibição resumida da linhagem no aplicativo.

Para visualizar a linhagem do conteúdo analítico, os dados subjacentes devem ser armazenados no Qlik Cloud como uma fonte catalogada.

Os usuários corporativos que examinam um determinado campo têm uma visão da linhagem desse campo que resume suas dependências mais importantes:

Campos que são usados para derivá-lo
Associações e dependências diretas, incluindo proprietário e espaço
Fonte original (a primeira fonte conhecida)

Para visualizar dependências downstream ou prospectivas, você pode investigar quais elementos seriam afetados por uma alteração no objeto, exibindo a Análise de impacto. Consulte Realizando uma análise de impacto no Análises.

Para uma demonstração visual de como usar a linhagem, consulte:

Usando linhagem

Para usar a linhagem, você também precisa definir a opção Exibir linhagem como Permitido por meio da função User Default ou de uma função de segurança personalizada.

O gráfico de linhagem

O gráfico de Linhagem mostra o fluxo de dados por meio do conteúdo analítico em um gráfico interativo. Um recurso, tabela ou campo é chamado de nó em um gráfico de linhagem. Quando um nó é o nó base que está sendo investigado, diz-se que ele está em foco e é exibido como o último elemento no gráfico. No nível mais granular, os gráficos de linhagem em nível de campo mostram as fontes de dados e as transformações das quais um nó é originado ou dependente.

Os gráficos de linhagem são úteis para:

Especialistas em dados trabalhando com os dados
Especialistas em negócios criando aplicativos
Usuários corporativos avançados que consomem aplicativos
Usuários que trabalham com modelos de aprendizado de máquina

Cada nó representa uma etapa na linhagem do conteúdo selecionado. Essas informações de linhagem são compiladas sempre que um ativo de dados do Analytics atualiza seus dados. Se seu aplicativo, script, fluxo de dados ou receita de tabela não tiver sido atualizado recentemente, a linhagem pode estar incompleta ou imprecisa.

A linhagem está disponível para os tipos de conteúdo suportados a partir do bloco ou da linha, conforme aparecem no seu catálogo. Você pode analisar a linhagem para os seguintes conteúdos analíticos:

Conjunto de dados: conjuntos de dados são fontes de dados, como dados carregados de conectores ou arquivos de dados. Conjuntos de dados podem ser tabelas em um banco de dados, dados que são carregados no armazenamento de dados ou dados gerados a partir de um aplicativo, como um arquivo qvd. Os conjuntos de dados geralmente têm uma única tabela cada, mas alguns, como arquivos do Excel, podem ter várias tabelas.

Os conjuntos de dados que foram publicados no Talend Studio são indicados com . Você pode acessar o trabalho do Talend Management Console que foi usado para gerar o conjunto de dados clicando em Abrir trabalho do TMC no menu .... do conjunto de dados. Para obter mais informações, consulte Publicando conjuntos de dados e linhagem no Qlik Cloud.
Aplicativo: nós de aplicativos representam aplicativos analíticos do Qlik Sense que usam as fontes de dados na linhagem. Nós de aplicativo exibem o nome do aplicativo e a sua localização como Qlik Sense.
Script: os nós de script representam scripts criados na interface Script.
Fluxo de dados: os fluxos de dados podem ser inspecionados para melhor compreensão das fontes de dados que eles usam e transformam.
Receita de tabela: receitas de tabela podem ser inspecionadas para melhor compreensão da fonte de dados que elas usam e transformam.
Experimento de ML: você pode entender a linhagem de um experimento de aprendizado de máquina, que consiste nas fontes de dados que se juntaram para produzir os dados de treinamento para os modelos de aprendizado de máquina.
Implementação de ML: você pode entender a linhagem de uma implementação de ML e como ela está sendo usada nas previsões. A linhagem para implementações de ML geralmente consiste em experimentos de ML, versões de experimentos, modelos e conjuntos de dados.

Nós de entrada típicos incluem fontes de dados que são usadas pelo nó base ou aplicativos que produzem conjuntos de dados. A linhagem em nível do campo permite uma investigação detalhada sobre como os campos foram calculados e sua origem específica em transformações e aplicativos.

Os nós disponíveis em um gráfico de linhagem são as entradas para o seu conteúdo selecionado. Selecione um item para designá-lo como o nó base. Os nós de entrada são nós que estão upstream a partir do nó base.

Os nós disponíveis em um gráfico de linhagem são as entradas para o nó base selecionado, em outras palavras, o nó em foco. O nó base é o nó singular para o qual você deseja recuperar a linhagem; por exemplo, pode ser um aplicativo, fluxo de dados, experimento de ML, conjunto de dados, arquivo, tabela ou campo.

Ele será o nó mais à direita da tela e estará delineado em azul. Ele é o foco de sua investigação, e somente as entradas para esse nó base serão apresentadas.

Ao explorar a linhagem, você pode alterar interativamente o nó base para outra tabela, aplicativo, campo ou outro item na tela para concentrar sua investigação.

O nó em foco, também chamado de nó base, estará à direita da tela — Nó base de linhagem

As linhas que conectam os nós são bordas. As bordas representam a relação de um nó com outro nó. Elas representam relacionamentos, indicando associações como um conjunto de dados usado por um aplicativo. Elas também podem representar dados produzidos como um subproduto de um aplicativo. A coleção de nós e bordas juntos formam o gráfico de linhagem.

As bordas representam relacionamentos entre objetos — Bordas de linhagens representam relacionamentos

Nós são recolhidos ou expandidos para revelar níveis de hierarquia de granularidade grosseira até mais fina, começando com o grupo de conjunto de dados de nível superior ou aplicativo até o nível mais granular, que é o nível do campo.

Um nó com níveis de ativo, recurso, tabela e campo — Nesta imagem de um nó, são mostrados os seguintes níveis hierárquicos, do mais alto (mais grosseiro) ao mais baixo (mais granular): ativo de dados (aplicativo), recurso (conjunto de dados), tabela e campos.

Abrindo o gráfico de linhagem

Faça o seguinte:

Abra o centro de atividades do Insights ou do Análises.
Selecione Linhagem no menu de contexto em um item que suporte linhagem.

Você também pode acessar o gráfico de linhagem de alguns conteúdos quando tiver um item aberto. Clique em Mais e em Linhagem.

Detalhes do nó

Os detalhes são limitados pelo seu acesso a esse objeto. Eles podem fornecer as seguintes informações:

Nome
Descrição
Marcas
Localização
Espaço
Proprietário
Criador
Última modificação

Navegando pelo gráfico de linhagem

Clique e arraste o gráfico para navegar e centralizar o gráfico de linhagem. Você também pode usar os botões de navegação. Selecione Início Início para centralizar o gráfico de linhagem no nó base. Clique para voltar e avançar para se mover nas suas seleções.

Botões de navegação para o gráfico de linhagem. — Navegação pelo gráfico de linhagens

O gráfico de Linhagem mostra as dependências upstream do seu conteúdo de análise, que é apresentado como o nó padrão quando o usuário abre o gráfico para ele. Você pode acessar a linhagem (upstream) ou a análise de impacto (downstream) para outros nós que aparecem no gráfico, selecionando Mais e Linhagem (novo nó base) ou Análise de Impacto. Selecione um nó para designá-lo como o nó base.

Expanda Seta para baixo ou recolha seta para cima os nós para expandir ou contrair grupos de objetos no mesmo nível.

Opção de menu para analisar diferentes nós

Exibição do resumo de linhagem em um aplicativo

A exibição resumida da linhagem em um aplicativo pode oferecer aos usuários corporativos uma visão geral de alto nível das dependências upstream do aplicativo. Para obter mais informações, consulte A exibição resumida da linhagem no aplicativo.

Analisando a linhagem para conteúdo de aprendizado de máquina

Você pode usar o gráfico de Linhagem para analisar as origens do conteúdo de aprendizado de máquina, incluindo experimentos de ML, implementações de ML e conjuntos de dados. Use o gráfico para ter uma visão holística de como os modelos de aprendizado de máquina foram criados, os dados em que foram treinados e para que são usados em cenários de produção.

Experimentos, implementações e conjuntos de dados também aparecem como nós ao analisar outro conteúdo no gráfico de Linhagem, como aplicativos downstream.

Os ativos de aprendizado de máquina também são mostrados na Análise de impacto para uma análise abrangente do conteúdo downstream. Para obter mais informações, consulte Realizando uma análise de impacto no Análises.

Abrindo a Linhagem para conteúdo de aprendizado de máquina

Realize uma das seguintes ações:

No seu centro de atividades, clique em ao lado de um experimento de ML, implementação de ML ou conjunto de dados e selecione Linhagem.
Em um experimento ou implementação de ML, clique em na barra de navegação e selecione Linhagem.

Navegando pela Linhagem para conteúdo de aprendizado de máquina

Você explora os nós de aprendizado de máquina da mesma forma que para outros conteúdos. Para visões gerais da interface, consulte:

O gráfico de linhagem
Navegando pelo gráfico de linhagem

Reconhecendo itens de aprendizado de máquina no gráfico de Linhagem

A tabela a seguir descreve os itens comuns relacionados ao aprendizado de máquina que aparecem no gráfico de Linhagem.

Itens de linhagem comuns para aprendizado de máquina
Item	Ícone(s)	Explicação
Armazenamento do arquivo		Não é exclusivo do conteúdo de aprendizado de máquina. Mostra a localização onde um conjunto de dados está armazenado (na maioria dos casos, em um espaço). Relevante para o conjunto de dados de treinamento, exportados da análise incorporada em um experimento, aplicam conjuntos de dados usados para previsões e conjuntos de dados de saída de previsões.
Conjunto de dados	Muitos (por exemplo, para QVD)	Não é exclusivo do conteúdo de aprendizado de máquina. Usado para representar conjuntos de dados de treinamento, exportações de análises incorporadas em um experimento, conjuntos de dados de aplicação e conjuntos de dados de saída de previsão.
Experimento de ML		Um experimento de ML no qual os modelos são treinados.
Versão do experimento de ML		A versão do experimento de ML, na qual um ou mais modelos foram treinados.
Modelo de ML		Um modelo de ML treinado em uma versão de experimento. Usado para representar modelos treinados em um experimento de ML e modelos implementados em uma implementação de ML.
Implementação de ML		Uma implementação de ML que contém um ou mais modelos implementados.
Nenhum ícone	-	Os nós de saída de previsão em uma implementação de ML não têm ícones. Os campos incluídos em um conjunto de dados de saída de previsão também não têm ícones.

Linhagem e experimentos de ML

Os experimentos de ML podem aparecer das seguintes maneiras:

Como o nó base de um gráfico de linhagem.
Como nós upstream de outros processos e saídas, como previsões ou aplicativos preditivos.

Os experimentos de ML são apresentados em arranjos agrupados. Elas se expandem da seguinte forma:

Um experimento de ML se expande em uma ou mais versões de experimentos.
Uma versão de experimento se expande para um ou mais modelos de ML.

Quando um modelo treinado em um experimento é implementado em uma implementação de ML, ele aparece no gráfico de linhagem quando o conteúdo downstream (por exemplo, previsões ou implementações de ML) é selecionado como o nó base.

Linhagem e implementações de ML

As implementações de ML podem aparecer das seguintes maneiras:

Como o nó base de um gráfico de linhagem.
Como nós upstream de outros processos, como aplicativos preditivos, scripts ou fluxos de dados.

As implementações de ML são apresentadas em arranjos agrupados. Elas se expandem da seguinte forma:

Uma implementação de ML se expande para um ou mais modelos implementados.
Se um modelo na implementação tiver sido usado em previsões de lote, o modelo se expande para mostrar cada saída de previsão de lote.

A linhagem em nível de campo está disponível para conjuntos de dados de aplicação e conjuntos de dados de saída de previsão relacionados a uma implementação de ML.

Os modelos implementados usados para previsões são conectados de volta ao experimento em que foram treinados.

Linhagem e conjuntos de dados de ML

Os conjuntos de dados de ML são conjuntos de dados usados ou criados por experimentos e implementações de ML. Incluem:

Conjunto de dados de treinamento
Conjuntos de dados exportados de análises incorporadas em um experimento de ML (guias Comparar e Analisar)
Conjuntos de dados de aplicação
Conjuntos de dados de saída de previsão, incluindo previsão, SHAP, SHAP coordenado, erros e conjuntos de dados de aplicação

Conteúdo excluído

Se um experimento de ML, uma implementação de ML ou um conjunto de dados usado em processos de aprendizado de máquina for excluído, ele ainda será exibido no gráfico de Linhagem ao analisar outros nós.

Permissões

Para obter informações sobre permissões, consulte Permissões.

Cenário de exemplo

Para ver um exemplo de cenário, consulte Exemplo: Investigando a linhagem do conteúdo de aprendizado de máquina.

Limitações

O gráfico de linhagem tem as seguintes limitações:

Aplicativos que não foram carregados após o lançamento da linhagem no Qlik Cloud podem não ter informações de linhagem completas disponíveis para eles até após o carregamento. Os detalhes de alguns nós poderão ser limitados se não tiverem sido carregados depois que a linhagem foi ativada para o seu locatário.
Os detalhes do nó para conjuntos de dados fora do seu locatário, como SQL Server ou conexões do Google Drive, são limitados ao tipo de conjunto de dados e ao nome. As conexões REST exibem apenas os tipos que são dados REST.

Permissões

Permissões para aplicativos, scripts, fluxos de dados e conjuntos de dados

Você deve ser capaz de visualizar um aplicativo, script, fluxo de dados ou conjunto de dados para ver a linhagem do item desde seus centros de atividades. Se você puder ver o gráfico de linhagem de um nó base, poderá ver detalhes básicos e metadados dos objetos de linhagem upstream.

Permissões para experimentos e implementações de ML

Permissões para acesso total

Se você tiver o seguinte, poderá abrir a Linhagem diretamente do experimento ou implementação de ML ou do centro de atividades:

Direito de usuário Professional ou Full User no locatário do Qlik Cloud.
Função de segurança Automl Experiment Contributor ou Automl Deployment Contributor
Para experimentos de ML ou implementações de ML em espaços compartilhados, uma das seguintes funções de espaço no espaço compartilhado:
- Proprietário (do espaço)
- Pode gerenciar
- Pode editar
- Pode exibir
Para experimentos de ML ou implementações de ML em espaços gerenciados, uma das seguintes funções de espaço no espaço gerenciado:
- Proprietário (do espaço)
- Pode gerenciar
- Pode contribuir
- Pode exibir
- Pode operar

Com esse nível de acesso, você também tem permissão para visualizar detalhes do experimento ou da implementação de ML.

Permissões para analisar a linhagem

Se você tiver o seguinte, poderá ver o experimento de ML ou a implementação de ML no gráfico de Linhagem quando outro conteúdo for definido como nó base. Você também pode definir o experimento ou a implementação como o nó base para análise.

Direito de usuário Professional ou Full User no locatário do Qlik Cloud.
Para experimentos de ML ou implementações de ML em espaços compartilhados, uma das seguintes funções de espaço no espaço compartilhado:
- Proprietário (do espaço)
- Pode gerenciar
- Pode editar
- Pode exibir
Para experimentos de ML ou implementações de ML em espaços gerenciados, uma das seguintes funções de espaço no espaço gerenciado:
- Proprietário (do espaço)
- Pode gerenciar
- Pode contribuir
- Pode exibir
- Pode operar

Esse nível de acesso é mais limitado do que o nível de acesso total. Se você também tiver a função de segurança Automl Experiment Contributor ou Automl Deployment Contributor, terá acesso total e poderá realizar outras ações, como abri-los diretamente no gráfico de Linhagem e visualizar detalhes.

Segurança

Um usuário apenas pode mudar para um nó base ao qual ele tenha acesso. Caso contrário, o menu de contexto não estará disponível.
Se um usuário tiver acesso ao nó base, ele terá acesso para ver toda a linhagem upstream.

Exemplos de casos de uso para analisar linhagem

Para uma explicação passo a passo da análise de linhagem, consulte Casos de uso de linhagem em nível de campo.

Exemplo: explorando de onde vêm as informações com a exibição de resumo da linhagem

Como consumidor de análises, olhando para um gráfico de barras em um aplicativo cars-data4-app, você gostaria de saber de onde vêm as informações. Certifique-se de que as opções Mostrar detalhes e Mostrar expressões estejam ativadas para o gráfico na seção Aparência > Geral das propriedades, depois opte por mudar para o modo de análise. Clique com o botão direito do mouse no gráfico ou use o menu ícone de mais ações e selecione Mostrar detalhespara mostrar a visualização do consumidor de linhagem. Clique em Mostrar dependências.

Você vê que a dimensão Car_ID depende do campo Car_ID, que é encontrado em três fontes CSV listadas. Selecione o menu ícone de mais ações na entrada do campo e selecione Linhagem - Car_ID / Cars para abrir um gráfico de linhagem do campo Car_ID no aplicativo.

Selecione o menu e, em seguida, a opção de visualizar a linhagem de uma origem na exibição de resumo da linhagem do consumidor — Selecione uma origem ou um campo para visualizar a linhagem desse objeto

O gráfico de linhagem é exibido da direita para a esquerda e mostra que o campo Car_ID está na tabela Cars que foi carregada no aplicativo cars-data4-app. Expanda Seta para baixo os nós à medida que você rastreia o histórico do campo até o arquivo original que foi carregado no Qlik Cloud. Você vê que a primeira retransmissão de retorno mostra que um CSV cars-data.csv contendo o campo Car_ID foi carregado no aplicativo cars-data4-app. O próximo nó de retorno é um aplicativo cars-data3-app a partir do qual cars-data.csv foi gerado. Voltando mais uma retransmissão e expandindo o nó, você vê que o arquivo fonte original era um arquivo CSV cars-data3.csv e continha o ID do campo.

Ao expandir as tabelas e os campos de exibição, você pode identificar o arquivo fonte original, a tabela e o campo da dimensão do gráfico de barras CAR_id-ID.

Comece com o nó em foco e rastreie o histórico da linhagem até a fonte original — Expanda os nós para rastrear o histórico de um campo de volta ao arquivo fonte

Exemplo: investigando as origens de um conjunto de dados e como ele foi criado

Como desenvolvedor de aplicativos, você está pensando em usar um conjunto de dados existente current_customers_analytics.xlsx para seu aplicativo. Você investiga as origens desse conjunto de dados para entender de onde vêm os dados. No bloco do conjunto de dados ou na linha, selecione Linhagem no menu Mais para abrir o gráfico de linhagem. No gráfico de linhagem, você visualiza os metadados do conjunto de dados selecionando o menu ícone de mais ações no XLSX current_customers_analytics.xlsx e para Abrir a visão geral.

A visão geral do conjunto de dados pode ser aberta a partir do gráfico de linhagem — Abra a visão geral do conjunto de dados do gráfico de linhagem

As visões gerais do conjunto de dados podem ser acessadas a partir do gráfico de linhagem — Visualize tags, classificações e outros metadados técnicos na guia de visão geral do conjunto de dados

A guia Perfil de campos pode ser acessada a partir do gráfico de linhagem — O perfil de dados está disponível na guia Perfil

Clique na seta para trás do navegador para retornar ao gráfico de linhagem e explorar o gráfico de linhagem do conjunto de dados. Expanda Seta para baixo o nó current_customers_analytics.xlsx e clique em Selecionar tudo para visualizar os campos disponíveis. Faça o mesmo para todos os nós. Observe que cada campo oferece a opção de torná-lo o nó base de foco, selecionando Linhagem (novo nó base) ou selecione Análise de impacto para exibir a linhagem direta e os objetos dependentes que serão afetados por alterações no conjunto de dados.

Visualizando a linhagem para um conjunto de dados — Gráfico de Linhagem expandido para o conjunto de dados. Cada campo dentro de cada nó terá opções para abrir o aplicativo ou os dados, visualizar a análise de impacto ou alterar o nó em foco

Seguindo a linhagem para trás e expandindo os nós, você pode ver que esse conjunto de dados XLSX é a saída do aplicativo Prep Current Customers Sales - Analytics. Retornando outra retransmissão e expandindo o nó Armazenamento de arquivos, você vê que o aplicativo de análise de vendas tinha um arquivo CSV carregado nele: rgb_customers.csv. A análise em nível de campo revela que o campo Tags no arquivo fonte original foi renomeado para rgb_customers.Tags no aplicativo de análise de vendas. O arquivo CSV original pode ser aberto na visão geral para revelar metadados valiosos, como proprietário, criador, métricas de uso, tags, classificações, perfil de campo e análise de impacto.

Exemplo: Investigando a linhagem do conteúdo de aprendizado de máquina

Um usuário corporativo casual ou um especialista em aprendizado de máquina poderia usar o gráfico de Linhagem para inspecionar as origens de determinados valores previstos. Com o nó base definido para o conjunto de dados de previsão, esse usuário pode ver:

Os dados de treinamento, incluindo suas fontes de dados e transformações
O experimento, a versão do experimento e o modelo
Onde o modelo foi implementado e como ele foi usado

Gráfico de linhagem mostrando um fluxo de ponta a ponta, desde a preparação dos dados de treinamento até um conjunto de dados de previsão. — Gráfico de linhagem com todos os nós expandidos. O gráfico mostra um fluxo de dados de ponta a ponta, desde a preparação de dados de treinamento até um conjunto de dados de previsão.

A imagem acima mostra o seguinte processo:

Um fluxo de dados carrega e transforma dados de um conjunto de dados CSV armazenado em um espaço pessoal . A saída é armazenada em um conjunto de dados Parquet no mesmo espaço.
O conjunto de dados Parquet é usado na versão 1 de um experimento de ML . Essa versão de experimento treina um modelo de ML .
O modelo de ML é implementado em uma implementação de ML .
Usando um conjunto de dados CSV em um espaço pessoal como o conjunto de dados de aplicação, a implementação de ML gera um conjunto de dados de previsão no formato Parquet .

Linhagem no Data Integration

O gráfico de Linhagem também está disponível no Data Integration. Para obter mais informações, consulte Analisando a linhagem no Data Integration.

Esta página ajudou?

Se você encontrar algum problema com esta página ou seu conteúdo – um erro de digitação, uma etapa ausente ou um erro técnico – avise-nos!

Deixe seu feedback aqui