Saltar al contenido principal

Paso a paso: incrementar cargas de datos usando el comando Store

EN ESTA PÁGINA

Paso a paso: incrementar cargas de datos usando el comando Store

Este ejemplo muestra paso a paso cómo hacer cargas de datos incrementales utilizando el comando Store en Qlik Sense SaaS. Este ejemplo muestra paso a paso cómo hacer cargas de datos incrementales utilizando el comando Store en Qlik Sense Enterprise on Kubernetes.

Puede usar Store para crear un archivo QVD y cargarlo en DataFiles. Los datos pueden ser, por ejemplo, registros de datos que solo estén disponibles desde una base de datos por un período de tiempo finito, como un determinado número de días antes de la fecha actual. Los datos históricos pueden cargarse desde un archivo QVD que haya creado y, a continuación, combinarse con los últimos datos disponibles de una base de datos fuente. Los datos más recientes pueden insertarse luego de nuevo en el archivo QVD. Este ejemplo demuestra este caso de uso.

También puede usar Store para almacenar datos desde una conexión que solo desee almacenar una vez y luego agregar nuevos datos desde una base de datos. Esto puede reducir los tiempos de carga de datos posteriores, así como reducir la carga en los servidores de la base de datos, su red, etc. Este ejemplo no considera este uso. Sin embargo, por regla general serían aplicables los mismos pasos.

En este ejemplo, creamos una conexión utilizando la API Standard Search Twitter API y buscamos un término específico de texto. La búsqueda coincide con los tweets de los últimos 7 días, el límite impuesto por Twitter. En este ejemplo, por tanto, Standard Search Twitter API está limitando la cantidad de datos que se cargarán desde la base de datos de Twitter.

Usando Store almacenamos después la tabla de datos de Twitter en un archivo QVD y cargamos dicho archivo en DataFiles. Después, solicitamos los datos más recientes de Twitter y cargamos los datos en nuestra app junto con los datos del archivo QVD. Esos datos se cargan también en el archivo QVD, aumentando por tanto el tamaño del archivo QVD.

A continuación publicamos la app y cargamos nuestra app publicada con los datos más recientes.

Si desea más información sobre las tareas y conceptos de este ejemplo, vea:

Requisitos previos

  • Suscripción al centro de control en la nube (Qlik Sense SaaS).
  • Cuenta de Twitter para usar Twitter API.
  • Debe saber cómo crear una app en un centro de control en la nube. Para más información, vea Crear apps y añadir datos.
  • Debe saber cómo utilizar el editor de carga de datos. Para más información, vea Usar el editor de carga de datos.

Tareas

Se requieren las siguientes tareas para seguir este ejemplo:

  1. Crear una app y conectarse a Twitter
  2. Seleccionar datos de Twitter
  3. Añadir sentencias de script para crear e incrementar un archivo QVD a partir de datos de Twitter
  4. Ejecutar script
  5. Programar la carga de datos

Crear una app y conectarse a Twitter

  1. Cree una app en su área de trabajo del centro de control en la nube.
  2. Abra el editor de script. La opción de abrir el editor de script se muestra cuando se crea una nueva app. También puede acceder al editor de script desde el editor de carga de datos.
  3. En Conexiones de datos en el menú a la derecha, haga clic en Crear nueva conexión. Se abre la ventana Crear nueva conexión.
  4. Seleccione Twitter de la lista desplegable Fuentes de datos. Se abre una ventana de autenticación.
  5. Haga clic en Autenticar. Se abre una ventana de autenticación de la API de Twitter:  Twitter API . Es posible que tenga que habilitar las ventanas emergentes de su navegador.
  6. Para autorizar los conectores web de Qlik y poder usarlos en su cuenta de Twitter , introduzca sus credenciales de Twitter .
  7. Haga clic en Iniciar sesión. Se abre una ventana de Twitter que muestra un código de acceso. Copie el código.
  8. En la ventana de autenticación de Qlik Sense, pegue el código y haga clic en Verificar. La conexión se autentica.
  9. Haga clic en Probar conexión para confirmar que se haya creado la conexión.
  10. Dé nombre a la conexión y después haga clic en Crear. Se crea la conexión y se abre el editor de carga de datos. La conexión se añade a su lista de Conexiones de datos en el menú a la derecha.

Seleccionar datos de Twitter

Tras haber creado su conexión, puede seleccionar los datos que desee cargar desde Twitter.

  1. Añada una nueva pestaña a su script en el editor de script.
  2. Dé nombre a la pestaña. Nosotros hemos denominado a la pestaña: New Data (Twitter). Coloque el cursor en la ventana del editor de script.
  3. En el editor de carga de datos, haga clic en Seleccionar datos para su conexión de Twitter.

    Se abre la ventana Seleccionar datos que cargar.

  4. Seleccione la tabla denominada Search y después seleccione un término de búsqueda. En nuestro ejemplo, utilizamos "Kubernetes".

     

    Ventana de carga de datos con la tabla de búsqueda seleccionada

    Data load window with Search table selected.

  5. Haga clic en Vista previa de datos. Se muestran los campos de datos de la tabla Search. Seleccione los campos que desee cargar. Para nuestro ejemplo, seleccionamos los siguientes campos: id, created_at, text, source y user_name.

     

    Ventana de carga de datos que muestra una vista previa de los datos

    Data load window showing a preview of data.

  6. Haga clic en Insertar script. El segmento de script se añade a la pestaña Nuevos datos (Twitter) en el editor de script del editor de carga de datos.

  7. Dé nombre a la tabla agregando una línea por encima de la sentencia Load . En nuestro ejemplo lo denominamos TwitterSearch

     

    Su pestaña debe ser similar a la siguiente captura de pantalla (sin incluir los comentarios):

     

    Nueva pestaña de datos (Twitter) en el editor de carga de datos

    New data (Twitter) tab in the data load editor.

  8. Para verificar que la carga de datos está funcionando, haga clic en Cargar datos en el menú superior. Se cargan los datos.

     

    Ventana de progreso de la carga de datos

    Data load progress window.

Si lo desea, puede ver los datos de las tablas y campos en el visor del modelo de datos. También puede crear una tabla en su app para ver los datos actuales.

Añadir sentencias de script para crear e incrementar un archivo QVD a partir de datos de Twitter

Tras haber configurado su app para que cargue datos desde Twitter, puede almacenar esos datos en un archivo QVD. Como la API Twitter Standard API únicamente le permite extraer datos de los últimos 7 días, nuestro QVD contendrá inicialmente esos datos después de haber cargado los datos.

  1. Añada una nueva pestaña a su script en el editor de script.
  2. Dé nombre a la pestaña. Nosotros hemos denominado a la pestaña: Historical data (QVD).
  3. Agregue las siguientes sentencias de script en la pestaña. Los comentarios (//) se utilizan únicamente con fines de referencia. No se ejecutarán cuando ejecute el script.

     

    Nota: Si está copiando y pegando desde Firefox, puede que primero necesite pegarlo en otro documento, por ej. de Word, para que los saltos de línea aparezcan correctamente en el editor de script.

     

    //Method to test QVD file size. If the file does not exist returns <null> let size = FileSize('lib://MyDataFiles/AllTweets.qvd'); //Set the historical data pull range to a variable LET vRollingDate = Today()-90; //If the file exists and contains some data then the if statement is executed; //if the file does not exist, i.e. is null, then the if statement will be skipped if not isnull(size) then TwitterSearch: LOAD * FROM ['lib://MyDataFiles/AllTweets.qvd'](qvd) //Twitter ids are unique; ensures only new tweets added WHERE NOT EXISTS (Search.id) //Load last 90 days of data from the qvd file; //QVD file provides historical data beyond Twitter Standard API limit of 7 days. //Also ensures that stored incremented qvd file does not grow too large in size. AND FLOOR (Date([Search.created_at]))>=$(vRollingDate); end if

     

    Su pestaña deberá presentar un aspecto similar a la siguiente captura de pantalla:

     

    Pestaña de datos históricos (QVD) en el editor de carga de datos

    Historical Data (QVD) in the data load editor.

  4. Añada otra nueva pestaña a su script.
  5. Dé nombre a la pestaña. Nosotros hemos denominado a la pestaña: Store to QVD.
  6. Agregue las siguientes sentencias de script en la pestaña.

     

    //Independientemente de que el archivo QVD existiera anteriormente o no, los datos actualizados se almacenan en el QVD. STORE TwitterSearch INTO [lib://MyDataFiles/AllTweets.qvd](qvd);

     

    Su pestaña deberá presentar un aspecto similar a la siguiente captura de pantalla:

     

    Almacenar en la pestaña QVD en el editor de carga de datos

    Store to QVD tab in the data load editor.

Ejecutar script

Cuando ejecute el script por primera vez, los datos se cargarán desde Twitter y se creará el archivo QVD denominado AllTweets.qvd a partir de datos de Twitter. El archivo QVD se agrega a su espacio en DataFiles. Cuando ejecute el script de nuevo, los datos se cargarán desde Twitter y el archivo QVD. El archivo  QVD se actualiza a continuación con los datos que cargó desde el archivo QVD.

  1. Haga clic en Cargar datos. La primera vez que ejecute el script los datos se cargarán desde Twitter y se creará el archivo AllTweets QVD usando los datos. El archivo QVD se agrega a su espacio en DataFiles y se puede visualizar haciendo clic en Select data.

     

    La primera vez que ejecute el script, debería ver un mensaje similar al siguiente:

     

    Ventana de progreso de la carga de datos

    Data load progress window.

     

    La segunda y sucesivas veces que cargue datos, deberá ver un mensaje similar al siguiente:

     

    Ventana de progreso de la carga de datos

    Data load progress window.

  2. Cree gráficos y tablas en su app usando sus datos.

Programar la carga de datos

Una vez que haya cargado sus datos, podrá mostrarlos en su app. Una forma de cargar los datos, como ya hemos visto, es abrir el editor de script y hacer clic en Cargar datos. No obstante, también puede cargar datos manualmente, o en una fecha programada que elija, en la interfaz de usuario del centro de control en la nube. Para más información, vea Cargar datos de la app en el centro de control en la nube.