Ir para conteúdo principal

Passo a passo - Incrementando carregamentos de dados com o uso do comando Armazenar

NESTA PÁGINA

Passo a passo - Incrementando carregamentos de dados com o uso do comando Armazenar

Este exemplo passo a passo mostra como incrementar carregamentos de dados usando o comando Armazenar no Qlik Sense SaaS.

Você pode usar Armazenar para criar um arquivo QVD e carregar esse arquivo em DataFiles. Esses dados podem ser, por exemplo, registros de dados que estão disponíveis apenas em um banco de dados por um período de tempo finito, como um determinado número de dias antes da data atual. Os dados históricos podem ser carregados de um arquivo QVD que você criou e podem ser combinados com os dados mais recentes disponíveis de um banco de dados de origem. Os dados mais recentes podem então ser inseridos de volta no arquivo QVD. Esse exemplo demonstra esse caso de uso.

Também é possível usar Armazenar para armazenar dados de uma conexão que você deseja armazenar apenas uma vez e, em seguida, incluir novos dados de um banco de dados. Isso pode reduzir os tempos de carregamento de dados subsequentes, além de reduzir a carga nos servidores de banco de dados, na rede e assim por diante. Esse exemplo não considera esse caso de uso. No entanto, as mesmas etapas geralmente se aplicam.

Neste exemplo, criamos uma conexão usando a Standard Search Twitter API e procuramos um termo de texto específico. A pesquisa faz uma correspondência com os tweets dos últimos 7 dias, o limite imposto pelo Twitter. Portanto, neste exemplo, a Standard Search Twitter API está limitando a quantidade de dados carregados do banco de dados do Twitter.

Usando Armazenar, armazenamos a tabela de dados Twitter em um arquivo QVD e carregamos esse arquivo em DataFiles. Em seguida, fazemos solicitações para os dados mais recentes do Twitter e carregamos esses dados no nosso aplicativo, juntamente com os dados do arquivo QVD. Esses dados são carregados de volta no arquivo QVD, incrementando assim o arquivo QVD.

Em seguida, publicamos o aplicativo e carregamos o aplicativo publicado com os dados mais recentes.

Para obter mais informações sobre as tarefas e os conceitos neste exemplo, consulte:

Pré-requisitos

Tarefas

As seguintes tarefas são necessárias para concluir este exemplo:

  1. Criar um aplicativo e conectar-se ao Twitter
  2. Selecionar dados a partir do Twitter
  3. Adicionar comandos de script para criar e incrementar o arquivo QVD com base em dados do Twitter
  4. Executar o script
  5. Definir a programação de recarregamento de dados

Criar um aplicativo e conectar-se ao Twitter

  1. Crie um aplicativo no seu espaço de trabalho do hub de nuvem.
  2. Abrir o editor de script. A opção para abrir o editor de script é mostrada quando você cria um novo aplicativo. Também é possível acessar o editor de script no editor de carregamento de dados.
  3. Em Conexões de dados no menu à direita, clique em Criar nova conexão. A janela Criar nova conexão é aberta.
  4. Selecione Twitter na lista suspensa Fontes de dados. Uma janela de autenticação é aberta.
  5. Clique em Autenticar. Uma janela de autenticação do Twitter API é aberta. Talvez seja necessário habilitar pop-ups no seu navegador.
  6. Para autorizar os componentes da Web da Qlik a usar sua conta do Twitter , insira suas credenciais do Twitter .
  7. Clique em Entrar. Uma janela do Twitter é aberta, exibindo um código de acesso. Copie o código.
  8. Na janela de autenticação do Qlik Sense, cole o código e clique em Verificar. A conexão é autenticada.
  9. Clique em Testar conexão para confirmar que a conexão foi criada.
  10. Dê um nome para a conexão e clique em Criar. A conexão é criada, e o editor de carregamento de dados é aberto. A conexão é adicionada à sua lista de Conexões de dados no menu à direita.

Selecionar dados a partir do Twitter

Depois de criar sua conexão, você poderá selecionar os dados que deseja carregar do Twitter.

  1. Adicione uma nova guia ao seu script no editor de script.
  2. Dê um nome para a guia. Chamamos nossa guia de New Data (Twitter). Coloque o cursor na janela do editor de script.
  3. No editor de carregamento de dados, clique em Selecionar dados para sua conexão do Twitter.

    A janela Selecionar dados para carregar é aberta.

  4. Selecione a tabela denominada Search e depois selecione um termo para pesquisar. Para nosso exemplo, estamos usando o "Kubernetes".

     

    Janela de carregamento de dados com tabela de pesquisa selecionada

    Data load window with Search table selected.

  5. Clique em Visualizar dados. Os campos de dados da tabela Search são exibidos. Selecione os campos que você deseja carregar. Para nosso exemplo, selecionamos os seguintes campos: id, created_at, text, source e user_name.

     

    Janela de carregamento de dados mostrando uma visualização dos dados

    Data load window showing a preview of data.

  6. Clique em Inserir script. O segmento de script é adicionado à guia Novos dados (Twitter) do editor de script, no editor de carregamento de dados.

  7. Dê um nome para a tabela adicionando uma linha acima do comando Load. Em nosso exemplo, nós a chamamos de TwitterSearch

     

    Sua guia deve ser semelhante à captura de tela a seguir (sem incluir os comentários):

     

    Nova guia de dados (Twitter) no editor de carregamento de dados

    New data (Twitter) tab in the data load editor.

  8. Para verificar se o carregamento de dados está funcionando, clique em Carregar dados no menu superior. Os dados são carregados.

     

    Janela do progresso do carregamento de dados

    Data load progress window.

Se desejar, você pode exibir dados nas tabelas e nos campos do visualizador do modelo de dados. Você também cria uma tabela no seu aplicativo para exibir os dados atuais.

Adicionar comandos de script para criar e incrementar o arquivo QVD com base em dados do Twitter

Depois de ter configurado seu aplicativo para carregar dados do Twitter, você poderá armazenar esses dados em um arquivo QVD. Como a Twitter Standard API permite apenas extrair dados dos 7 dias anteriores, nosso QVD inicialmente conterá dados depois que estes são carregados.

  1. Adicione uma nova guia ao seu script no editor de script.
  2. Dê um nome para a guia. Chamamos nossa guia de Historical data (QVD).
  3. Adicione os seguintes comandos de script na guia. Os comentários (//) são para referência. Eles não serão processados quando você executar o script.

     

    Nota: Se você estiver copiando e colando do Firefox, talvez seja necessário colar primeiro em outro documento, como um documento do Word, para que as quebras de linha apareçam corretamente no editor de script.

     

    //Method to test QVD file size. If the file does not exist returns <null> let size = FileSize('lib://DataFiles/AllTweets.qvd'); //Set the historical data pull range to a variable LET vRollingDate = Today()-90; //If the file exists and contains some data then the if statement is executed; //if the file does not exist, i.e. is null, then the if statement will be skipped if not isnull(size) then TwitterSearch: LOAD * FROM ['lib://DataFiles/AllTweets.qvd'](qvd) //Twitter ids are unique; ensures only new tweets added WHERE NOT EXISTS (Search.id) //Load last 90 days of data from the qvd file; //QVD file provides historical data beyond Twitter Standard API limit of 7 days. //Also ensures that stored incremented qvd file does not grow too large in size. AND FLOOR (Date([Search.created_at]))>=$(vRollingDate); end if

     

    Sua guia deve ser semelhante à captura de tela a seguir:

     

    Guia Dados históricos (QVD) no editor de carregamento de dados

    Historical Data (QVD) in the data load editor.

  4. Adicione outra nova guia ao seu script.
  5. Dê um nome para a guia. Chamamos nossa guia de Store to QVD.
  6. Adicione os seguintes comandos de script na guia.

     

    //Regardless of the QVD file existing previously or not, updated data gets stored into the QVD. STORE TwitterSearch INTO [lib://DataFiles/AllTweets.qvd](qvd);

     

    Sua guia deve ser semelhante à captura de tela a seguir:

     

    Guia Armazenar no QVD no editor de carregamento de dados

    Store to QVD tab in the data load editor.

Executar o script

Quando você executa o script pela primeira vez, os dados são carregados do Twitter, e o arquivo QVD denominado AllTweets.qvd é criado a partir de dados do Twitter. O arquivo QVD é adicionado ao seu espaço do DataFiles. Quando você executar o script novamente, os dados serão carregados do Twitter e do arquivo QVD. O arquivo QVD é então atualizado com os dados que você carregou do arquivo QVD.

  1. Clique em Carregar dados. Quando o script é executado pela primeira vez, os dados são carregados do Twitter, e o arquivo AllTweets QVD é criado usando esses dados. O arquivo QVD é adicionado ao seu espaço do DataFiles e pode ser visualizado clicando em Select data.

     

    Quando o script é executado pela primeira vez, é exibida uma mensagem semelhante à seguinte:

     

    Janela do progresso do carregamento de dados

    Data load progress window.

     

    No segundo carregamento dos dados, e nos carregamentos subsequentes, você verá uma mensagem semelhante à seguinte:

     

    Janela do progresso do carregamento de dados

    Data load progress window.

  2. Crie gráficos e tabelas no seu aplicativo usando seus dados.

Definir a programação de recarregamento de dados

Depois de carregar seus dados, você poderá mostrá-los no seu aplicativo. Uma maneira de recarregar os dados, como vimos, é abrir o editor de script e clicar em Carregar dados. No entanto, você também pode carregar os dados manualmente, ou em um cronograma escolhido, na interface do usuário do hub de nuvem. Para obter mais informações, consulte Carregando dados de aplicativos no hub de nuvem.