Dados para análise
A métrica Dados para análise mostra o quanto da sua capacidade é usada. Este tópico explica quais dados são contados e o que é excluído. Também aborda como o uso é calculado. Compreender esses detalhes ajuda você a ver o que consome sua capacidade do Qlik Cloud e a gerenciar seus dados com mais eficiência.
Dados incluídos na métrica
A métrica Dados para análise mede o volume total de dados carregados e armazenados no seu ambiente.
Dados contados
A métrica inclui:
-
Dados carregados no Qlik Cloud de fontes externas
-
Recargas aumentam a contagem de dados quando novos dados incrementais são adicionados. Se uma recarga contiver menos dados do que antes, a contagem de dados diminuirá correspondentemente.
-
Os dados carregados em vários locatários são contabilizados separadamente para cada locatário.
-
Dados carregados uma vez e usados em vários aplicativos dentro do mesmo locatário são contados apenas uma vez.
-
-
Arquivos de dados carregados ou criados no Qlik Cloud
-
O tamanho do arquivo de arquivos carregados ou criados é contado.
-
Copiar um arquivo de dados dentro do Qlik Cloud conta o novo arquivo para a métrica.
-
Duplicar um aplicativo em espaço compartilhado sem recarregar não aumenta a contagem.
-
Como a métrica é calculada
A métrica Dados para análise é calculada como:
-
O volume de dados externos ingeridos no Qlik Cloud através de um aplicativo Qlik Sense.
-
O tamanho do arquivo QVD resultante de dados externos sendo carregados no Qlik Cloud por meio do Qlik Data Gateway - Movimentação de dados.
-
O tamanho dos arquivos de dados carregados no Qlik Cloud.
-
O tamanho do arquivo de um aplicativo carregado como um arquivo QVF, medido como a quantidade de RAM utilizada pelo aplicativo.
Dados não contados
Os seguintes itens não estão incluídos na métrica:
-
Aplicativos e dados no espaço pessoal de um usuário. Isso inclui quaisquer aplicativos ou dados carregados de qualquer fonte ou gerados em um espaço pessoal usando a geração de aplicativos sob demanda (ODAG).
-
A métrica é baseada na localização do aplicativo, não na localização da sua conexão de dados: aplicativos em espaços pessoais não são contabilizados, mesmo que estejam usando uma conexão em um espaço compartilhado; aplicativos em espaços compartilhados são sempre contabilizados para a métrica.
-
-
Aplicativos que apenas fazem carga binária de outro aplicativo armazenado no Qlik Cloud. O aplicativo original já é contabilizado, então o aplicativo de carregamento não adiciona à métrica.
-
Aplicativos que apenas carregam dados de arquivos armazenados no Qlik Cloud (por exemplo, QVDs). Os arquivos de origem já são contabilizados separadamente.
-
Aplicativos e dados publicados em espaços gerenciados. No entanto, as recargas de aplicativos em espaços gerenciados são contabilizadas.
-
Dados carregados através do (DIRECT QUERY *).
Assinando a capacidade de Dados para análise
Você assina pacotes de dados com base nos seus requisitos de Dados para análise.
Cada usuário possui uma determinada quantidade de espaço disponível em sua área pessoal, além do volume incluído em sua assinatura. Essa quantidade não é contabilizada na métrica total de Dados para análise.
A edição Qlik Cloud Analytics Starter tem uma capacidade de dados fixa, com assinaturas para esta edição baseadas no número de usuários.
Movendo dados para o Qlik Cloud
Suas opções para movimentação de dados incluem:
-
Conexões de dados diretas do Qlik Sense
-
Qlik Data Gateway - Acesso direto
-
Movimentação de dados para o Qlik Cloud com o Qlik Talend Data Integration
Com as edições Premium e Enterprise do Qlik Cloud Analytics, você pode mover dados de qualquer origem para o Qlik Cloud. A edição Standard permite a movimentação de dados de qualquer fonte, exceto SAP, mainframe e fontes legadas.
Calculando o volume de Dados para análise
Entender como os Dados para análise são calculados pode ajudar você a usar sua capacidade de forma eficiente. Esta seção explica como o pico mensal, o carregamento de dados, as recargas de aplicativos e a criação de dados são medidos.
Pico mensal e diário
Ao adquirir capacidade de Dados para análise, seu uso é medido em relação à quantidade que você comprou. O sistema registra seu uso diariamente, e o dia com o maior consumo do mês se torna o pico mensal, ou marca d'água máxima. Por exemplo, se você comprar 250 GB de espaço e o pico mensal ultrapassar esse limite, poderão ser aplicadas taxas adicionais.
Como o uso diário é monitorado
Seu uso é monitorado diariamente. A cada dia, o sistema calcula seu pico diário como o total de
-
O tamanho total dos arquivos armazenados
-
A quantidade de dados ingeridos durante as recargas do aplicativo
-
A quantidade de dados derivados ou criados
Aplicativos que foram instalados anteriormente, mas não reinstalados, ainda serão contabilizados no seu consumo. O sistema transfere os dados do último recarregamento até que uma nova recarga ocorra ou o aplicativo seja excluído.
Comportamento de transporte
Se um aplicativo não for recarregado em um determinado dia, o sistema mantém os dados coletados na última recarga bem-sucedida. O aplicativo continua contribuindo com essa quantidade para o pico diário até que uma nova recarga colete uma quantidade diferente, atualizando então o uso relatado.
No início de um novo mês, o pico mensal é reiniciado. No entanto, o pico diário do primeiro dia do novo mês ainda pode incluir o valor acumulado da última recarga do mês anterior. Isso pode fazer com que o uso relatado pareça maior do que os dados atualmente visíveis no aplicativo.
Exemplo:
-
Dia 1: o locatário armazena 70 GB de arquivos de dados e ingere 40 GB por meio de uma recarga do aplicativo. O pico diário é de 110 GB.
-
Dia 2: o locatário armazena 70 GB de arquivos de dados e nenhuma recarga ocorre (0 GB ingeridos). O pico diário ainda mostra 110 GB porque os 40 GB ingeridos anteriormente são mantidos. Somente uma nova recarga que ingira menos de 40 GB reduzirá esse valor.
Pico mensal e marca d'água alta
O pico mensal é o maior pico diário registrado durante o mês. Ele funciona como uma marca d'água alta, mostrando o único dia em que seu uso total de dados foi mais alto. O pico mensal é comparado com a capacidade adquirida para determinar se há cobrança de excedente.
Exemplo – Identificando o pico mensal a partir do uso diário
Para demonstrar como o pico mensal é determinado, este exemplo usa um cenário simplificado que abrange apenas quatro dias e uma capacidade comprada de 250 GB. Os valores de uso ajudam a ilustrar como o pico diário mais alto se torna o pico mensal.
A tabela de dados apresenta o uso de dados em quatro dias, categorizados por tipo:
| Dia | Armazenado | Recarregar | Criado | Pico diário |
|---|---|---|---|---|
| 1 | 50 GB | 30 GB | 15 GB | 95 GB |
| 2 | 70 GB | 40 GB | 30 GB | 140 GB |
| 3 | 60 GB | 0 GB | 20 GB | 120 GB |
| 4 | 80 GB | 50 GB | 40 GB | 170 GB |
Compreendendo os dados da tabela:
-
O 3º dia não tem recarga de dados. A parte de recarga do Dia 2 (40 GB) é transportada e contribui para o pico diário (120 GB).
-
O 4º dia tem o maior pico diário (170 GB), que se torna o pico mensal.
Como o pico mensal está dentro da capacidade adquirida de 250 GB, não se aplica nenhum excedente. Se o uso tiver excedido 250 GB em qualquer dia, poderão ser aplicadas taxas de excesso ou poderá ser necessário um upgrade de capacidade.
Uso diário ao longo de quatro dias, mostrando dados armazenados, ingeridos e criados. A linha verde marca a capacidade adquirida.
Carregando dados no Qlik Cloud
Dados carregados no Qlik Cloud de fontes externas contam para o pico diário.
-
Se o mesmo conjunto de dados for carregado em vários aplicativos separadamente, cada carregamento será contabilizado individualmente.
-
Os dados carregados uma vez em um locatário podem ser reutilizados por vários aplicativos dentro desse locatário sem serem contabilizados novamente. Para evitar contagens múltiplas, considere carregar os dados uma única vez em arquivos QVD e permitir que vários aplicativos leiam esses arquivos.
-
Os dados carregados em vários locatários são contabilizados separadamente para cada locatário.
Como os dados contribuem para o pico diário:
-
Dados baseados em arquivos carregados por meio de aplicativos: medidos pelo tamanho do arquivo.
-
Recargas de aplicativos usando consultas ou conectores: contabilizadas como o máximo de bytes ingeridos da fonte de dados. Se várias recargas ocorrerem no mesmo dia, apenas a maior recarga será contabilizada no pico diário.
Exemplo: Um aplicativo recarrega três vezes com 0,75 GB, 1,25 GB e 1 GB em um dia. Apenas 1,25 GB contribuem para o pico diário.
Nota informativaUma vez que uma recarga é contabilizada, ela permanece parte do pico diário, mesmo que o aplicativo seja excluído posteriormente no mesmo dia. O número máximo de bytes ingeridos é contabilizado enquanto o aplicativo existir no locatário. -
Dados carregados no Qlik Cloud por meio do Qlik Data Gateway - Movimentação de dados: medidos pelo tamanho do arquivo QVD resultante.
-
Aplicativos carregados ou importados por meio de arquivos através do centro de atividades do Análises ou do qlik-cli: medidos pelo tamanho estático em bytes do aplicativo.
-
Arquivos QVD carregados: medidos pelo tamanho do arquivo.
Os dados podem ser carregados no Qlik Cloud de diferentes maneiras: por meio de aplicativos, através da movimentação de dados ou importando-os usando o centro de atividades do Análises ou o qlik-cli.
Nas seguintes situações, os dados não são incluídos no cálculo do pico diário:
-
Os dados carregados no espaço pessoal de um usuário não são contados, desde que estejam restritos a esse espaço. Se o usuário mover os dados para um espaço compartilhado para colaborar com outras pessoas, eles serão contabilizados.
-
Se um recarregamento falhar, os bytes ingeridos não serão contados. No entanto, quaisquer arquivos QVD resultantes serão contados.
-
Quando você carrega um aplicativo com dados que já no Qlik Cloud, o carregamento de dados não é contado. Por exemplo, aplicativos copiados ou carregados binários (carregando dados de outro aplicativo Qlik Sense) não afetam o pico diário, desde que não sejam recarregados de uma fonte externa.
Os recarregamentos de aplicativos de fontes internas não têm impacto no pico diário.
Medindo bytes ingeridos para recarregamentos de aplicativos
O seguinte é aplicável quando você recarrega um aplicativo Qlik Sense de uma fonte externa:
-
Você pode recarregar um aplicativo diversas vezes do mesmo conjunto de dados de origem sem afetar o pico diário, desde que o volume de dados permaneça inalterado.
-
Se o conjunto de dados de origem aumentar de tamanho, o pico diário será afetado. Cada GB adicional de dados adicionados ao conjunto de dados contribui com uma quantidade equivalente para os dados ingeridos durante o recarregamento.
-
Por outro lado, se o tamanho do conjunto de dados de origem diminuir, essa redução também se refletirá no pico diário.
Exemplo: Se o tamanho do conjunto de dados for reduzido em 0,25 GB, o tamanho da recarga diminuirá na mesma proporção. No entanto, se uma recarga de 1 GB ocorrer no início do dia, o pico diário desse dia permanecerá de 1 GB. A redução só se reflete no pico diário do dia seguinte.
-
Alterações no conteúdo do conjunto de dados de origem, sem alterar seu tamanho, não afetam o pico diário. Apenas o volume de dados afeta o pico diário.
Medindo bytes ingeridos quando o tamanho ou o conteúdo do conjunto de dados de origem é alterado.
-
Se você consultar o mesmo conjunto de dados várias vezes em um único script de carregamento, cada consulta será contabilizada separadamente. O volume total de dados é a soma de todas as consultas.
Exemplo: Se você tiver um script de carregamento que inclua três consultas de 1 GB cada do mesmo conjunto de dados, todas as três consultas serão contadas individualmente. Portanto, o total de dados contados para o seu pico diário será de 3 GB.
-
Carregar um aplicativo e, mais tarde, descartar a tabela não reduz o pico diário, pois este é baseado no tamanho máximo de recarregamento do aplicativo naquele dia.
-
Se você instalar um aplicativo e depois excluí-lo no mesmo dia, ele ainda contará para o pico diário daquele dia, porque existiu durante o dia. No dia seguinte, o aplicativo não existe mais e não contribui para o pico diário.
Medindo bytes ingeridos para diferentes cenários de recarregamento de aplicativos.
Medindo dados carregados em arquivos QVD com o Qlik Talend Data Integration
O seguinte é aplicável quando você carrega dados em um arquivo QVD de uma fonte externa usando o Qlik Data Gateway - Movimentação de dados:
-
Carregar, importar ou gerar um conjunto de dados várias vezes não afeta o pico diário, desde que o volume de dados permaneça inalterado.
-
Se o conjunto de dados de origem aumentar de tamanho, o pico diário será afetado. Cada GB adicional de dados contribui com um aumento equivalente no tamanho do arquivo QVD resultante.
-
Se um arquivo QVD tiver seu tamanho alterado durante o dia, o maior tamanho atingido será registrado. O pico diário sempre reflete o maior tamanho observado naquele dia.
-
Se o conjunto de dados de origem diminuir de tamanho, essa redução também será refletida no pico diário.
Exemplo: Uma redução de 0,25 GB no conjunto de dados reduz o tamanho do arquivo QVD na mesma proporção.
-
Alterações no conteúdo do conjunto de dados que não alteram seu tamanho não afetam o pico diário. Apenas o volume de dados afeta o pico diário.
Medindo o tamanho do arquivo QVD quando o tamanho ou o conteúdo do conjunto de dados de origem é alterado.
Carregando aplicativos de fontes externas e internas
A forma como os dados carregados nos aplicativos afetam o pico diário depende da fonte. Os cenários a seguir mostram como diferentes tipos de dados contribuem.
-
Um aplicativo é carregado de uma fonte externa
Dados carregados de uma fonte externa contam como bytes ingeridos.
Exemplo: Se 10 GB forem carregados, o aplicativo contribuirá com 10 GB para o pico diário.
-
Um aplicativo é carregado de um QVD no Qlik Cloud
Carregar dados de um arquivo QVD armazenado no Qlik Cloud não conta como ingestão externa para o aplicativo.
Exemplo: Se o aplicativo carregar 10 GB de um QVD, o aplicativo contribuirá com 0 GB. O arquivo QVD contribui com 10 GB separadamente.
-
Um novo arquivo QVD é gerado a partir de um QVD no Qlik Cloud
Quando um aplicativo gerador de QVD carrega dados de um QVD existente no Qlik Cloud, o aplicativo contribui com 0 GB. O arquivo QVD resultante é contabilizado.
Exemplo: Se um QVD de 10 GB for transformado em um novo QVD de 5 GB, a contribuição total para o pico diário é de 15 GB.
-
Um aplicativo é carregado de fontes externas e internas
Se um aplicativo carrega 10 GB de uma fonte externa e 5 GB de um arquivo QVD no Qlik Cloud, apenas os 10 GB de ingestão externa são contabilizados para o aplicativo. O arquivo QVD contribui com seus 5 GB separadamente, portanto, a contribuição total para o pico diário é de 15 GB.
Medindo o total de arquivos de dados mais os dados ingeridos ao carregar de fontes internas e externas.
Criando dados no Qlik Cloud
Quando você cria novos dados no Qlik Cloud, seja copiando arquivos de dados ou derivando-os através da combinação e processamento de dados brutos existentes, eles contam para o pico diário. Os dados são medidos como o tamanho total dos arquivos gerados durante o processo de criação. Os dados criados são contados apenas uma vez, independentemente de quantos aplicativos os utilizam.
Exemplos:
-
A criação de um arquivo QVD de 1 GB usando a instrução STORE adiciona 1 GB ao pico diário.
-
Copiar um arquivo QVD de 1 GB adiciona 1 GB ao pico diário, pois ambas as cópias contribuem para o total.
-
A criação de um arquivo QVD de 0,5 GB por meio da transformação adiciona 0,5 GB ao pico diário. Somente o arquivo QVD resultante é contado. O aplicativo gerador de QVD não é contado porque carrega dados que já estão no Qlik Cloud.
Medindo arquivos de dados criados no Qlik Cloud.
Melhores práticas para gerenciamento de dados
O gerenciamento eficaz de dados ajuda você a obter o máximo valor da sua capacidade de Dados para análise. As recomendações abaixo cobrem como otimizar o carregamento de dados, reduzir o armazenamento desnecessário e gerenciar conteúdo mais antigo ou inativo no Qlik Cloud.
Criando arquivos QVD para reutilização de dados
Use arquivos QVD quando os dados forem compartilhados entre vários aplicativos. Carregar dados externos uma única vez e armazená-los como um arquivo QVD reduz a ingestão repetida e ajuda a manter o pico diário mais baixo. Usar arquivos QVD para reutilização de dados com o Qlik Data Gateway - Movimentação de dados geralmente é mais eficiente do que recarregar os dados diretamente nos aplicativos.
Exemplo:
Se você carregar 10 GB de dados externos uma única vez e armazená-los como um arquivo QVD de 5 GB, o total de dados contabilizados no pico diário será de 15 GB. Os aplicativos que carregam o arquivo QVD de 5 GB não reingerem os 10 GB originais. Se, em vez disso, você carregar os mesmos 10 GB de dados externos diretamente em dois aplicativos, a ingestão ocorrerá duas vezes, resultando em 20 GB contabilizados.
É mais eficiente criar um arquivo QVD e carregar dados dele em vários aplicativos do que carregar dados externos diretamente em cada aplicativo.
Usando métodos eficientes de carregamento de dados
Aplique filtragem e transformações na fonte de dados (SQL pushdown) para reduzir a quantidade de dados transferidos durante as recargas.
Exemplo:
Nesta consulta, o filtro é aplicado na origem, de modo que apenas um subconjunto dos dados é transferido.
Usando aplicativos sob demanda para conjuntos de dados grandes
A geração de aplicativos sob demanda (ODAG) permite que você trabalhe com conjuntos de dados grandes carregando dados agregados primeiro e recuperando subconjuntos detalhados somente quando necessário.
Para obter mais informações, consulte Aplicativos On-demand.
Lidando com conjuntos de dados grandes com o (DIRECT QUERY *) e Dynamic Views
O (DIRECT QUERY *) e Dynamic Views permitem que você consulte grandes conjuntos de dados sob demanda sem carregar todos os dados na memória. Ao consultar apenas os dados necessários, essas abordagens reduzem a ingestão e ajudam a manter o uso dentro da sua capacidade.
Para obter mais informações, consulte:
Gerenciando aplicativos antigos ou não utilizados
Aplicativos no locatário continuam contribuindo para o uso de Dados para análise com base em sua última recarga bem-sucedida. Enquanto um aplicativo existir com seus dados carregados, ele contribuirá para seus relatórios de capacidade.
Para evitar uso desnecessário:
Reduza ou remova dados desnecessários
Remova dados de aplicativos que não precisem de mais conjuntos de dados completos ou crie aplicativos sem dados quando apenas a estrutura for necessária. Recarregar um aplicativo com um conjunto de dados menor atualiza seu uso relatado.
Evite duplicação desnecessária
Copie aplicativos somente quando necessário. Cada cópia é tratada como um aplicativo separado e contribui para o uso da capacidade.
Use espaços compartilhados intencionalmente
Espaços compartilhados podem ajudar a controlar onde e como as recargas ocorrem.
Exclua aplicativos dos quais você não precisa mais
A limpeza regular evita que o conteúdo desatualizado consuma capacidade.
-
Identifique os itens não utilizados no Catálogo marcando Ultima atualização, Visto por e Usado em.
-
Use a análise de impacto e a linhagem para entender onde os arquivos de dados são usados.
-
Exclua aplicativos e arquivos de dados não usados de centros de atividades. Os administradores também podem excluir aplicativos de Administração.
Para obter mais informações, consulte:
Reduzindo o consumo relacionado à recarga
O tamanho de recarga relatado de um aplicativo só diminui se a recarga produzir um conjunto de dados menor. Para reduzir o tamanho relatado, recarregue o aplicativo com menos dados para que o tamanho relatado seja atualizado.
Comportamento de recarga do aplicativo
-
Recarregando sem novos dados:
Se um aplicativo for recarregado sem adicionar novos dados, o tamanho relatado permanecerá o mesmo.
Exemplo: um aplicativo recarrega com o mesmo conjunto de dados que tinha anteriormente. O uso relatado não muda porque nenhum dado adicional ou menor foi ingerido.
-
Aplicativo esvaziado após a ingestão:
Mesmo que um aplicativo descarte todas as tabelas, deixando o modelo de dados vazio, a última ingestão bem-sucedida ainda contribui para o uso diário.
Exemplo: um aplicativo ingere 10 GB de dados externos, gera arquivos QVD e descarta todas as tabelas no final do script. O aplicativo agora está vazio, mas os 10 GB ingeridos ainda contam para o uso diário.
-
Copiando aplicativos para outro espaço:
Quando um aplicativo é copiado para outro espaço, ele é tratado como um aplicativo separado e contado novamente para o uso da capacidade.
Abordagens para limitar o consumo relacionado à recarga
Você pode reduzir o consumo de dados relacionado à recarga usando um dos dois métodos a seguir. Ambos os métodos removem dados do aplicativo.
-
Parando o script de carregamento mais cedo: Adicione uma instrução Exit script; no início do script de carregamento para recarregar o aplicativo sem dados. Quando forem necessários todos os dados, comente a instrução ou aplique uma condição para que ela seja executada apenas em cenários específicos (por exemplo, quando o aplicativo estiver em um determinado espaço).
-
Recriando o aplicativo sem dados: Baixe o aplicativo sem os dados e importe-o como um novo aplicativo. Após validar a nova versão, exclua o aplicativo original.