Datos para el análisis

El usuario se suscribe a los paquetes de datos en función de sus necesidades de Datos para el análisis. Cada usuario dispone de una determinada capacidad de Datos para el análisis en su espacio personal. Esos datos personales no cuentan para el volumen total de Datos para el análisis. Sin embargo, si el usuario traslada los datos a un espacio compartido para colaborar, sí se incluye en la capacidad total.

La edición de Qlik Cloud Analytics Starter tiene una capacidad de datos fija. En esta edición, las suscripciones se basan en el número de usuarios.

Cálculo del volumen de datos para el análisis

Comprender cómo se calculan los datos para el análisis puede ayudarle a utilizar su capacidad de forma eficaz. Esta sección explica cómo se miden el pico mensual, la carga de datos, las recargas de apps y la creación de datos.

Pico mensual

Cuando adquiere capacidad de Datos para el análisis, obtiene una cantidad fija de espacio para almacenar y analizar datos. Esta capacidad es un límite máximo, no un crédito consumible. Por ejemplo, si adquiere 250 GB de capacidad, podrá almacenar y analizar hasta 250 GB de datos en cualquier momento. Si supera este límite, pueden producirse excesos que se contabilizan por separado.

Cómo se realiza el seguimiento del uso diario

Se realiza un seguimiento diario de su uso. Cada día, el sistema calcula su pico diario como el total de:

• El tamaño total de los archivos almacenados

• La cantidad de datos ingeridos durante las recargas de la app

• La cantidad de datos derivados o creados

Comportamiento de traslado o mantenimiento de datos

Si no se produce ninguna recarga en un día determinado, el sistema mantiene el valor de los datos ingeridos en la última recarga más reciente. Al comienzo de un nuevo mes, el pico mensual se reinicia. Si no se produce ninguna recarga el primer día del nuevo mes, se aplicará a ese día el último valor de recarga del mes anterior.

Los datos almacenados y los datos derivados se miden siempre cada día, sin traslados.

Casos especiales

• El valor de uso refleja la última recarga con éxito de cada app. Si una app se recarga posteriormente con un modelo de datos vacío (por ejemplo, solo para crear y exportar archivos QVD), el uso notificado puede seguir mostrando el tamaño de la última recarga con éxito.

• El valor de uso solo se actualiza cuando se vuelve a cargar la app. Esto puede provocar diferencias entre los datos visibles en la app y el uso de los Datos para el análisis notificado. Para reducir el uso notificado, vuelva a cargar la app con un conjunto de datos más pequeño.

Ejemplos de traslados o mantenimientos de datos

Los ejemplos siguientes muestran cómo se trasladan y mantienen los valores de recarga cuando no se produce una nueva recarga y cómo interactúa este comportamiento con los datos almacenados y creados.

Ejemplo 1: traslado regular:

• Día 1: 70 GB de archivos de datos almacenados, 40 GB de recargas de app, 30 GB de archivos de datos creados. El pico diario es de 140 GB.

• Día 2: 60 GB de archivos de datos almacenados, 0 GB de recargas de app, 20 GB de archivos de datos creados. El valor de recarga del día 1 (40 GB) se mantiene. El pico diario es de 120 GB.

Ejemplo 2: caso de app solo con QVD

• Día 1: Recargue la app con 10 GB de datos externos, cree archivos QVD, elimine todas las tablas. El modelo final de la app está vacío. El pico diario es de 10 GB (parte de recarga).

• Día 2: No se produce ninguna recarga. El pico diario sigue siendo de 10 GB (la parte de recarga se arrastra), aunque la app ya no tenga tablas.

Solo una nueva recarga actualiza este valor.

Esto significa que el pico diario puede reflejar tanto los datos de recarga arrastrados (incluso si la propia app está vacía, como en el caso de solo QVD) como cualquier dato nuevo almacenado o creado para ese día.

Pico mensual y marca de límite

El pico mensual es el pico diario más alto registrado durante el mes. Actúa como una marca de límite, mostrando el único día en el que su uso total de datos fue mayor. El pico mensual se compara con su capacidad adquirida para determinar si se aplican cargos por exceso.

Ejemplo – Identificar el pico mensual a partir del uso diario

Para demostrar cómo se determina el pico mensual, este ejemplo utiliza un escenario simplificado que abarca tan solo cuatro días y una capacidad adquirida de 250 GB. Los valores de uso ayudan a ilustrar cómo el pico diario más alto se convierte en el pico mensual.

La tabla presenta el uso de datos durante cuatro días, clasificados por tipo:

Comprensión de la tabla de datos:

• El día 3 no tiene recarga de datos. La parte de recarga del día 2 (40 GB) se arrastra y contribuye al pico diario (120 GB).

• El día 4 tiene el pico diario más alto (170 GB), que se convierte en el pico mensual.

Como el pico mensual está dentro de la capacidad adquirida de 250 GB, no se aplica ningún excedente. Si el uso hubiera superado los 250 GB en algún día, podrían aplicarse cargos por exceso de uso o podría ser necesaria una ampliación de la capacidad.

Cargar datos en Qlik Cloud

Los datos cargados en Qlik Cloud desde fuentes externas cuentan para el pico diario. Cuando carga datos en un espacio empresarial inquilino, se cuentan una vez y se pueden analizar y utilizar varias veces. Los datos cargados en varios espacios empresariales inquilinos se cuentan varias veces.

Los datos que contribuyen al pico diario se miden de la siguiente manera:

• Los datos basados en archivos cargados a través de una app de Qlik Sense se miden por el tamaño del archivo.

• Las recargas de aplicaciones mediante consultas o conectores se cuentan como el máximo de bytes ingeridos desde la fuente de datos. Cuando se realizan varias recargas el mismo día, la app de mayor tamaño es la que contará para el pico diario. Por ejemplo, si una app se recarga durante un día con 0,75 GB, 1,25 GB y 1 GB, respectivamente, el valor utilizado para ese día sería 1,25 GB.

  Mientras exista una app en el espacio empresarial inquilino de Qlik Cloud, se evalúan los bytes máximos ingeridos para la app.

• Los datos cargados en Qlik Cloud mediante Pasarela de datos de Qlik - Movimiento de datos se miden según el tamaño del archivo QVD resultante.

• Las apps que se suben o cargan mediante importación de archivos, ya sea en el Analítica centro de actividades o usando qlik-cli, se miden por el tamaño estático en bytes de la app.

• Los archivos QVD cargados se miden por su tamaño.

En los siguientes casos, los datos no se incluyen en el cálculo del pico diario:

• Los datos cargados en el espacio personal de un usuario no se cuentan, siempre que estén restringidos a ese espacio. Si el usuario mueve los datos a un espacio compartido para colaborar con otras personas, se contabilizarán.

• Si falla una recarga, los bytes ingeridos no se cuentan. Sin embargo, sí se cuentan los archivos QVD resultantes.

• Cuando cargamos una app con datos que ya residen en Qlik Cloud, la carga de datos no se cuenta. Por ejemplo, las aplicaciones copiadas o cargadas binariamente (cargando datos desde otra app de Qlik Sense) no afectan al pico diario, siempre que no se vuelvan a cargar desde una fuente externa.

Medición de bytes ingeridos para recargas de aplicaciones

Lo siguiente se aplica cuando se recarga una app de Qlik Sense desde una fuente externa:

• Puede recargar una app varias veces desde el mismo conjunto de datos de origen sin afectar al pico diario, siempre que el volumen de datos permanezca sin cambios.

• Si el conjunto de datos de origen aumenta de tamaño, el pico diario se verá afectado. Cada GB adicional de datos agregado al conjunto de datos contribuye con una cantidad equivalente a los datos ingeridos durante la recarga.

• Por el contrario, si el conjunto de datos de origen disminuye de tamaño, esta reducción también se refleja en el pico diario. Por ejemplo, si el tamaño del conjunto de datos se reduce en 0,25 GB, el tamaño de recarga disminuye en la misma cantidad. Sin embargo, si se produjo una recarga de 1 GB más temprano ese día, el pico diario para ese día sería de 1 GB. La reducción solo se reflejaría en el pico diario del día siguiente.

• Los cambios en el contenido del conjunto de datos de origen, sin alterar su tamaño, no afectan al pico diario. El pico diario solo se ve afectado por el volumen de datos.

• Si consulta el mismo conjunto de datos varias veces dentro de un único script de carga, todas esas consultas se cuentan por separado y sus volúmenes de datos se suman. Por ejemplo, si tiene un script de carga que incluye tres consultas de 1 GB cada una del mismo conjunto de datos, esas tres consultas se cuentan individualmente. Entonces, el total de datos contabilizados para su pico diario es de 3 GB.

• Cargar una app y luego eliminar la tabla no reduce el pico diario, ya que el pico diario se basa en el tamaño máximo de recarga de la app para el día.

• Si carga una app y luego la elimina el mismo día, seguirá contribuyendo al pico diario de ese día. Sin embargo, eso reduce el pico diario para el día siguiente cuando la app ya no existe.

Medir datos cargados en archivos QVD con Qlik Talend Data Integration

Lo siguiente se aplica cuando se cargan datos en un archivo QVD desde una fuente externa usando Pasarela de datos de Qlik - Movimiento de datos:

• Puede cargar, importar o generar un conjunto de datos varias veces sin afectar al pico diario, siempre que el volumen de datos permanezca sin cambios.

• Si el conjunto de datos de origen aumenta de tamaño, el pico diario se verá afectado. Cada GB adicional de datos agregado al conjunto de datos contribuye con una cantidad equivalente al tamaño del archivo QVD resultante.

• Por el contrario, si el conjunto de datos de origen disminuye de tamaño, esta reducción también se refleja en el pico diario. Por ejemplo, si el tamaño del conjunto de datos se reduce en 0,25 GB, el tamaño del archivo QVD resultante se reduce en la misma cantidad.

• Los cambios en el contenido del conjunto de datos de origen, sin alterar su tamaño, no afectan al pico diario. El pico diario solo se ve afectado por el volumen de datos.

Carga de aplicaciones desde fuentes externas e internas

Es importante comprender cómo los datos cargados en las aplicaciones afectan al pico diario, según la fuente de datos. Consideremos los siguientes escenarios en los que se cargan datos de diferentes fuentes.

• Una app se carga desde una fuente externa

  Cuando carga datos de una fuente externa en una app, cuenta como bytes ingeridos. Por ejemplo, si carga 10 GB, el aporte al pico diario es de 10 GB.

• Una app se carga desde un QVD en Qlik Cloud

  La carga de datos en una app desde un archivo QVD que reside en Qlik Cloud no cuenta para el pico diario. Si se cargan 10 GB de datos en una app desde QVD, no se cuentan datos porque no hay ingesta de datos externos. La contribución al pico diario es de 0 GB.

• Se genera un nuevo archivo QVD a partir de un QVD en Qlik Cloud

  Los datos cargados en una app generadora de QVD desde un QVD basado en Qlik Cloud no se cuentan para el pico diario. Sin embargo, el archivo QVD resultante generado desde la app sí cuenta. Por ejemplo, si un archivo QVD de 10 GB se transforma en un nuevo QVD de 5 GB, la contribución al pico diario es la suma de los dos archivos, que es 15 GB. Como no hay ingesta de datos externos, la carga de la app generadora de QVD (una app específica que crea un modelo de datos y genera un QVD) no se cuenta.

• Una app se carga desde fuentes externas e internas.

  Si una app carga 10 GB desde una fuente externa y 5 GB desde un QVD dentro de Qlik Cloud, la contribución total al pico diario de la app es de 10 GB, ya que solo se cuentan los datos cargados desde la fuente externa.

Crear datos en Qlik Cloud

Cuando crea nuevos datos en Qlik Cloud, ya sea copiando archivos de datos o derivándolos mediante la combinación y el procesamiento de datos sin procesar, cuenta para el pico diario. Los datos se miden como el tamaño total de los archivos generados durante el proceso de creación de datos. Los datos creados solo se cuentan una vez, independientemente de cuántas aplicaciones los utilicen.

Considere estos ejemplos de creación de datos:

• La creación de un archivo QVD de 1 GB mediante la instrucción STORE agrega 1 GB al pico diario.

• Copiar un archivo QVD de 1 GB añade 1 GB al pico diario, ya que ambas copias contribuyen al total.

• La creación de un archivo QVD de 0,5 GB mediante transformación añade 0,5 GB al pico diario. Únicamente se cuenta el archivo QVD resultante; la app del generador QVD no se cuenta ya que carga datos que ya están en Qlik Cloud.

Mejores prácticas para gestionar datos

La gestión adecuada de los datos mejora el rendimiento y garantiza el aprovechamiento máximo de la capacidad de Datos para el análisis. Esta sección le mostrará cómo manejar datos de manera eficiente en Qlik Cloud.

• Cree archivos QVD para la reutilización de datos

  Cuando se trata de datos que se utilizarán en múltiples apps de Qlik Sense, considere la creación de archivos QVD. Los archivos QVD le permiten cargar datos una vez y reutilizarlos en varias aplicaciones sin aumentar el pico diario. Esto puede reducir significativamente los costes de ingesta y almacenamiento de datos.

  Por ejemplo, si carga 10 GB de datos externos y crea un archivo QVD de 5 GB, tendrá un total de 15 GB de datos que contribuyen al pico diario. Cargar los mismos datos directamente en dos aplicaciones da como resultado 20 GB.

  

  En general, crear archivos QVD para reutilizar datos con Pasarela de datos de Qlik - Movimiento de datos, es más eficiente que recargar datos directamente a través de aplicaciones.

• Utilice métodos eficientes de carga de datos

  Aproveche las transformaciones pushdown de SQL para optimizar la carga de datos. Esta técnica de optimización permite enviar transformaciones y operaciones de datos directamente a la fuente de datos. Al filtrar y transformar datos en la fuente, se reduce el volumen de datos transferidos y se mejora la eficiencia de la carga.

  Por ejemplo, en esta consulta pushdown, la cláusula WHERE se procesa directamente en los datos de origen. Únicamente se transfiere el subconjunto de datos que cumple con criterios específicos, lo que reduce la cantidad de datos cargados en la memoria.

  Select * from my-external-database-table where my_column = 10

• Tenga en cuenta que en el caso de la carga de archivos QVD, Excel y CSV, la cláusula WHERE se procesa después de leer el archivo desde la fuente y se contabiliza todo el archivo.

• Utilice aplicaciones bajo demanda para grandes conjuntos de datos

  Las aplicaciones bajo demanda (ODAG) son útiles cuando se trata de grandes conjuntos de datos. ODAG le permite cargar datos agregados para la app principal y obtener datos más detallados solo cuando sea necesario. Los usuarios obtienen vistas agregadas de grandes almacenes de datos, lo que les permite identificar y cargar subconjuntos relevantes de datos para un análisis detallado. Para más información, vea Apps bajo demanda.

• Gestionar grandes conjuntos de datos con Direct Query y vistas dinámicas

  Para grandes conjuntos de datos, considere usar Direct Query y vistas dinámicas. Con estas funciones, puede consultar y ver subconjuntos relevantes de grandes conjuntos de datos sin la necesidad de importar o cargar todos los datos en la memoria. Si bien existen algunas limitaciones en comparación con las aplicaciones en memoria, es una forma eficiente de trabajar con conjuntos de datos sustanciales. Para más información, vea Apps de Direct Query y Administrar datos con vistas dinámicas.

• Limpie periódicamente las aplicaciones y archivos de datos no utilizados

  Para optimizar el uso de recursos y mejorar el rendimiento general del sitio, identifique y elimine periódicamente aplicaciones y archivos de datos no utilizados. Los siguientes pasos pueden ayudar con la limpieza:

  • Identifique aplicaciones y archivos de datos no utilizados en el catálogo ordenando y marcando las columnas Actualizado por última vez, Visto por y Usado en. Esto le permite ver si el elemento se abrió en los últimos 28 días y en cuántas aplicaciones se utiliza un archivo de datos. Para más información, vea Administrar los metadatos del conjunto de datos.

  • El análisis de impacto y el linaje le ayudan a detectar dónde se usa un archivo de datos y qué archivos de datos se están utilizando en una app específica. Para más información, vea El análisis de impacto en Analítica y Analizar el linaje en Analítica.

  • Puede eliminar apps y archivos de datos de los centros de actividades. Los administradores también pueden eliminar apps del centro de actividades Administración.