Medidores de valor da assinatura

Calculando e gerenciando o volume de Dados para Análises

Compreender como Dados para Análises são calculados pode ajudar você a aproveitar ao máximo sua capacidade de Dados para Análises no Qlik Cloud. Nesta seção, examinaremos mais de perto como o pico mensal, o carregamento de dados, os recarregamentos de aplicativos e a criação de dados são medidos e também examinaremos as práticas recomendadas de gerenciamento de dados.

Pico mensal

O pico diário representa o volume total de Dados para Análises para um determinado dia. O pico diário máximo do mês é o pico mensal, que é medido em relação à capacidade adquirida de Dados para Análises.

O pico diário é calculado como a soma de todos os tamanhos de arquivo para formatos como QVD, CSV ou arquivos de texto, mais o máximo de bytes ingeridos de fontes externas para recarregamentos de aplicativos naquele dia.

Vejamos o seguinte exemplo:

Ao longo do mês, o uso diário de dados varia. No dia 1, atinge o pico de 3 GB, enquanto, no dia 2, é de 6 GB, e assim sucessivamente até o final do mês. O maior uso diário, registrado no dia 2, foi de 6 GB. Isso nos dá um pico mensal de 6 GB. Nos dias em que não há recarregamento de aplicativos, como visto no dia 3 do nosso exemplo, o valor do dia anterior é transferido.

Carregando dados no Qlik Cloud

Dados carregados no Qlik Cloud provenientes de fontes externas contam para o pico diário. Quando você carrega dados em um locatário, eles são contados uma vez e podem ser analisados e usados diversas vezes. Os dados carregados em vários locatários são contados várias vezes.

Os dados que contribuem para o pico diário são medidos da seguinte forma:

• Dados baseados em arquivo carregados por meio de um aplicativo Qlik Sense são medidos pelo tamanho do arquivo.

• Recarregamentos de aplicativos usando consultas ou conectores são contados como o máximo de bytes ingeridos da fonte de dados. Quando há vários recarregamentos acontecendo no mesmo dia, o maior tamanho do aplicativo é aquele que será contado para o pico diário. Por exemplo, se um aplicativo for recarregado durante um dia com 0,75 GB, 1,25 GB e 1 GB, respectivamente, o valor usado para esse dia será 1,25 GB.

  Enquanto existir um aplicativo no locatário do Qlik Cloud, os bytes máximos ingeridos serão avaliados para o aplicativo.

• Dados carregados no Qlik Cloud por meio do Qlik Data Gateway - Data Movement são medidos pelo tamanho do arquivo QVD resultante.

• Os aplicativos que são carregados por meio de importação de arquivos, seja no Análises do Analytics ou usando a qlik-cli, são medidos pelo tamanho de bytes estáticos do aplicativo.

• Os arquivos QVD carregados são medidos pelo tamanho do arquivo.

Nas seguintes situações, os dados não são incluídos no cálculo do pico diário:

• Os dados carregados no espaço pessoal de um usuário não são contados, desde que estejam restritos a esse espaço. Se o usuário mover os dados para um espaço compartilhado para colaborar com outras pessoas, eles serão contabilizados.

• Se um recarregamento falhar, os bytes ingeridos não serão contados. No entanto, quaisquer arquivos QVD resultantes serão contados.

• Quando você carrega um aplicativo com dados que já no Qlik Cloud, o carregamento de dados não é contado. Por exemplo, aplicativos copiados ou carregados binários (carregando dados de outro aplicativo Qlik Sense) não afetam o pico diário, desde que não sejam recarregados de uma fonte externa.

Medindo bytes ingeridos para recarregamentos de aplicativos

O seguinte é aplicável quando você recarrega um aplicativo Qlik Sense de uma fonte externa:

• Você pode recarregar um aplicativo diversas vezes do mesmo conjunto de dados de origem sem afetar o pico diário, desde que o volume de dados permaneça inalterado.

• Se o conjunto de dados de origem aumentar de tamanho, o pico diário será afetado. Cada GB adicional de dados adicionados ao conjunto de dados contribui com uma quantidade equivalente para os dados ingeridos durante o recarregamento.

• Por outro lado, se o tamanho do conjunto de dados de origem diminuir, essa redução também se refletirá no pico diário. Por exemplo, se o tamanho do conjunto de dados for reduzido em 0,25 GB, o tamanho de recarregamento diminuirá na mesma proporção. No entanto, se um recarregamento de 1 GB ocorresse no início do dia, o pico diário desse dia seria de 1 GB. A redução apenas se refletiria no pico diário do dia seguinte.

• Alterações no conteúdo do conjunto de dados de origem, sem alterar seu tamanho, não afetam o pico diário. O pico diário é afetado apenas pelo volume de dados.

• Se você consultar o mesmo conjunto de dados diversas vezes em um único script de carregamento, todas essas consultas serão contadas separadamente, e seus volumes de dados serão somados. Por exemplo, se você tiver um script de carregamento que inclua três consultas de 1 GB cada do mesmo conjunto de dados, todas as três consultas serão contadas individualmente. Portanto, o total de dados contados para o seu pico diário será de 3 GB.

• Carregar um aplicativo e, mais tarde, descartar a tabela não reduz o pico diário, pois este é baseado no tamanho máximo de recarregamento do aplicativo naquele dia.

• Se você carregar um aplicativo e excluí-lo no mesmo dia, ele ainda contribuirá para o pico diário daquele dia. No entanto, isso reduz o pico diário do dia seguinte, quando o aplicativo não existir mais.

Medindo dados carregados em arquivos QVD com o Qlik Talend Data Integration

O seguinte é aplicável quando você carrega dados em um arquivo QVD de uma fonte externa usando o Qlik Data Gateway - Data Movement:

• Você pode fazer upload, importar ou gerar um conjunto de dados diversas vezes sem afetar o pico diário, desde que o volume de dados permaneça inalterado.

• Se o conjunto de dados de origem aumentar de tamanho, o pico diário será afetado. Cada GB adicional de dados adicionados ao conjunto de dados contribui com uma quantidade equivalente para o tamanho do arquivo QVD resultante.

• Por outro lado, se o tamanho do conjunto de dados de origem diminuir, essa redução também se refletirá no pico diário. Por exemplo, se o tamanho do conjunto de dados for reduzido em 0,25 GB, o tamanho do arquivo QVD resultante diminuirá na mesma proporção.

• Alterações no conteúdo do conjunto de dados de origem, sem alterar seu tamanho, não afetam o pico diário. O pico diário é afetado apenas pelo volume de dados.

Carregando aplicativos de fontes externas e internas

É importante entender como os dados carregados nos aplicativos afetam o pico diário, dependendo da fonte de dados. Vamos considerar os seguintes cenários em que os dados são carregados de diferentes fontes.

• Um aplicativo é carregado de uma fonte externa

  Quando você carrega dados de uma fonte externa em um aplicativo, eles contam como bytes ingeridos. Por exemplo, se você carregar 10 GB, a contribuição para o pico diário será de 10 GB.

• Um aplicativo é carregado de um QVD no Qlik Cloud

  Carregando dados em um aplicativo a partir de um arquivo QVD que reside no Qlik Cloud não conta para o pico diário. Se 10 GB de dados forem carregados em um aplicativo a partir do QVD, os dados não serão contados, pois não há ingestão de dados externos. A contribuição para o pico diário será de 0 GB.

• Um novo arquivo QVD é gerado a partir de um QVD no Qlik Cloud

  Os dados carregados em um aplicativo gerador de QVD a partir de um QVD baseado no Qlik Cloud não são contabilizados no pico diário. No entanto, o arquivo QVD resultante gerado pelo aplicativo conta. Por exemplo, se um arquivo QVD de 10 GB for transformado em um novo QVD de 5 GB, a contribuição para o pico diário será a soma dos dois arquivos, que será de 15 GB. Como não há ingestão de dados externos, a carga do aplicativo gerador de QVD (um aplicativo dedicado que cria um modelo de dados e gera um QVD) não é contabilizada.

• Um aplicativo é carregado de fontes externas e internas

  Se um aplicativo carregar 10 GB de uma fonte externa e 5 GB de um QVD dentro do Qlik Cloud, a contribuição total para o pico diário do aplicativo será de 10 GB, pois apenas os dados carregados da fonte externa são contabilizados.

Criando dados no Qlik Cloud

Quando você cria novos dados no Qlik Cloud, seja copiando arquivos de dados ou derivando-os através da combinação e processamento de dados brutos existentes, eles contam para o pico diário. Os dados são medidos como o tamanho total dos arquivos gerados durante o processo de criação de dados. Os dados criados são contados apenas uma vez, independentemente de quantos aplicativos os utilizam.

Considere estes exemplos de criação de dados:

• A criação de um arquivo QVD de 1 GB usando a instrução STORE adiciona 1 GB ao pico diário.

• Copiar um arquivo QVD de 1 GB adiciona 1 GB ao pico diário, pois ambas as cópias contribuem para o total.

• A criação de um arquivo QVD de 0,5 GB por meio da transformação adiciona 0,5 GB ao pico diário. Somente o arquivo QVD resultante é contado. O aplicativo gerador de QVD não é contado porque carrega dados que já estão no Qlik Cloud.

Melhores práticas para gerenciamento de dados

O gerenciamento adequado de dados melhora o desempenho e garante que você aproveite ao máximo sua capacidade de Dados para Análises. Esta seção mostrará como lidar com dados de forma eficiente no Qlik Cloud.

• Criar arquivos QVD para reutilização de dados

  Ao lidar com dados que serão usados em vários aplicativos Qlik Sense, considere criar arquivos QVD. Os arquivos QVD permitem carregar dados uma vez e reutilizá-los em vários aplicativos sem aumentar o pico diário. Isso pode reduzir significativamente os custos de ingestão e armazenamento de dados.

  Por exemplo, se você carregar 10 GB de dados externos e criar um arquivo QVD de 5 GB, terá um total de 15 GB de dados contribuindo para o pico diário. Carregar os mesmos dados diretamente em dois aplicativos resulta em 20 GB.

  

  Em geral, a criação de arquivos QVD para reutilização de dados com o Qlik Data Gateway - Data Movement é mais eficiente do que recarregar dados diretamente por meio de aplicativos.

• Usar métodos eficientes de carregamento de dados

  Aproveite as vantagens das transformações de pushdown com SQL para otimizar o carregamento de dados. Essa técnica envolve enviar transformações e operações de dados diretamente para a fonte de dados. Ao filtrar e transformar dados na origem, você reduz o volume de dados transferidos e melhora a eficiência do carregamento.

  Por exemplo, nesta consulta pushdown, a cláusula WHERE é processada diretamente nos dados de origem. Somente o subconjunto de dados que atender aos critérios específicos é transferido, reduzindo assim a quantidade de dados carregados na memória.

  Select * from my-external-database-table where my_column = 10

  Observe que, no caso de carregamento de arquivos QVD, a cláusula WHERE é processada após a leitura do arquivo da fonte e todo o arquivo é contado.

• Usar aplicativos sob demanda para conjuntos de dados grandes

  Aplicativos sob demanda (ODAG) são úteis ao lidar com conjuntos de dados grandes. ODAG permite carregar dados agregados para o aplicativo pai e buscar dados mais detalhados somente quando necessário. Os usuários obtêm visualizações agregadas de armazenamentos de big data, o que lhes permite identificar e carregar subconjuntos relevantes de dados para análises detalhadas. Para obter mais informações, consulte Aplicativos On-demand.

• Lidar com conjuntos de dados grandes com o Direct Query e exibições dinâmicas

  Para conjuntos de dados grandes, considere usar o Direct Query e exibições dinâmicas. Com esses recursos, você pode consultar e visualizar subconjuntos relevantes de conjuntos de dados grandes sem a necessidade de importar ou carregar todos os dados na memória. Embora existam algumas limitações em comparação com aplicativos na memória, essa é uma maneira eficiente de trabalhar com conjuntos de dados substanciais. Para obter mais informações, consulte Aplicativos Direct Query e Gerenciando dados com exibições dinâmicas.

• Limpar regularmente aplicativos e arquivos de dados não utilizados

  Para otimizar o uso de recursos e melhorar o desempenho geral do site, identifique e exclua regularmente aplicativos e arquivos de dados não utilizados. As etapas a seguir podem ajudar na limpeza:

  • Identifique aplicativos e arquivos de dados não utilizados no Catálogo, classificando e verificando as colunas Ultima atualização, Visto por, e Usado em. Isso permite ver se o item foi aberto nos últimos 28 dias e em quantos aplicativos um arquivo de dados é usado. Para obter mais informações, consulte Visualizador e métricas de uso do item.

  • A análise de impacto e a linhagem ajudam você a descobrir onde um arquivo de dados é usado e quais arquivos de dados são usados em um aplicativo específico. Para mais informações, consulte Analisando a análise de impacto para aplicativos, scripts e conjuntos de dados e Analisando a linhagem para aplicativos, scripts e conjuntos de dados.

  • É possível excluir aplicativos e arquivos de dados de centros de atividades. Administradores também podem excluir aplicativos do centro de atividades de Administração.

Exemplo: Calculando o volume de Dados movidos

Neste exemplo, temos um conjunto de dados para categorias de produtos. O conjunto de dados tem 100 linhas e as seguintes colunas:

Existe um tamanho fixo para cada tipo de dado:

Agora podemos calcular o tamanho estimado da linha como a soma dos tamanhos das colunas: 4 + 7,5 + 200 + 200 = 411,5 bytes. Multiplicado por 100 linhas, isso nos dá um volume total de dados de 41.150 bytes.

Usuários completos

Os usuários com o direito Full User podem visualizar, editar e criar conteúdo em aplicativos, exportar gráficos e aplicativos, trabalhar com integração de dados, automações, aprendizado de máquina e executar várias outras tarefas, desde que suas permissões de usuário e de espaço permitam. Para obter mais informações, consulte Gerenciando direitos do usuário.

Basic Users

O direito Basic User gratuito está disponível com as assinaturas do Qlik Cloud Analytics Premium e do Qlik Cloud Enterprise. Destina-se a acesso limitado e somente leitura. Os usuários com o direito Basic User não podem criar ou editar aplicativos e outros ativos, nem trabalhar com o Integração de dados. A concessão de permissões adicionais os promove automaticamente a Full User. Para obter mais informações, consulte Gerenciando direitos do usuário.