Motor de datos de Tableau Server

Hyper es la tecnología de motor de datos en memoria de Tableau optimizada para la importación rápida de datos y el procesamiento de consultas de análisis en conjuntos de datos complejos o de gran tamaño. Hyper gestiona el nuevo motor de datos de Tableau Server, Tableau Desktop, Tableau Cloud y Tableau Public. El motor de datos se usa al crear, actualizar o consultar extracciones. También se usa en uniones entre bases de datos para admitir fuentes de datos federadas con varias conexiones.

Proceso

Data Engine

EstadoEl estado del proceso de Data Engine se ve en la página Estado. Para obtener más información, consulte Ver el estado de los procesos de servidor.
RegistroLos registros generados por el proceso de Data Engine se encuentran en /var/opt/tableau/tableau_server/data/tabsvc/logs/hyper. Para obtener más información, consulte Registros de Tableau Server y ubicación del archivo de registro.

Uso de memoria y CPU

El motor de datos se diseñó para aprovechar todos los recursos de CPU y memoria disponibles en el equipo para ofrecer los tiempos de respuesta más rápidos.

Uso de CPU

La tecnología Hyper aprovecha los nuevos conjuntos de instrucciones en la CPU y es capaz de escalar y usar en paralelo todos los núcleos disponibles. La tecnología Hyper está diseñada para adaptarse eficazmente al número de núcleos y para maximizar el uso de cada uno de ellos todo lo posible. Esto significa que puede esperar ver hasta un promedio del 75 % de uso de la CPU total por hora durante el procesamiento de consultas. Es de prever que ampliar la capacidad de la CPU mejore el rendimiento.

Nota: El uso promedio por hora del 75 % es el valor predeterminado y debe permanecer sin cambios a menos que esté ejecutando Data Engine en un nodo de servidor dedicado. Para obtener más información sobre cómo ejecutar Data Engine en un nodo dedicado, consulte Optimizar para entornos con gran volumen de consultas de extracción.

Los sistemas operativos modernos, como Microsoft Windows, Apple macOS y Linux, cuentan con mecanismos para garantizar que, aunque se haga un uso completo de la CPU, se puedan ejecutar a vez los procesos entrantes y otros que haya activos. Además, para administrar el consumo general de recursos e impedir una sobrecarga que pueda agotar por completo otros procesos que se ejecuten en el equipo, el motor de datos se supervisa automáticamente para permanecer dentro de los límites establecidos en el administrador de recursos de Tableau Server (SRM). El administrador de recursos de Tableau Server supervisa el consumo de los recursos e indica al motor de datos que reduzca el uso cuando se supera el límite predefinido.

Como el motor de datos se diseñó para usar toda la CPU disponible, es normal que se produzcan picos en el uso de CPU de forma ocasional. Sin embargo, un uso elevado de la CPU (como un 95 %) durante largos periodos de tiempo (una hora o más) puede indicar un par de cosas:

  • Hay una carga elevada de consultas. Esto puede suceder si un servidor está en una situación de estrés debido a la sobrecarga que produce la presencia de varias solicitudes de cliente y estas forman una cola. Si ocurre con frecuencia, es una señal de que se necesita más hardware para prestar servicio a los clientes. En este caso, añadir más capacidad de CPU debería mejorar el rendimiento.

  • Hay una consulta de larga ejecución. En este caso, el administrador de recursos de Tableau Server detendrá las consultas de larga ejecución en función de la configuración de tiempo de espera. Esto también sucedía en las versiones de Tableau Server anteriores a la 10.5.

Para obtener más información sobre el Administrador de recursos de Tableau Server, consulte Pautas generales de rendimiento.

Uso de memoria

El uso de memoria del motor de datos depende de la cantidad de datos necesaria para responder a la consulta. El motor de datos intentará ejecutarlos primero en memoria. Se asigna un espacio definido de la memoria para almacenar una estructura de datos intermedia durante el procesamiento de la consulta. En la mayoría de los casos, los sistemas tienen memoria suficiente para realizar este tipo de procesamientos; pero, si no es así o más del 80 % de la RAM está en uso, el motor de datos adopta la administración de colas mediante la escritura en disco. El archivo temporal se elimina una vez que se ha respondido a la consulta. Por lo tanto, la administración de colas indica que quizás se necesite más memoria. El uso de memoria se debe supervisar y actualizar debidamente para evitar problemas de rendimiento a causa de dicha gestión.

Para administrar los recursos de memoria en el equipo, el límite máximo de memoria para el motor de datos lo define el administrador de recursos del servidor (SRM) de Tableau.

Configuración del servidor, escalabilidad y rendimiento

  • Una única instancia del motor de datos se instala automáticamente por cada nodo cuando se instale, en Tableau Server, una instancia del almacén de archivos, el servidor de aplicaciones (VizPortal), VizQLServer, el servidor de datos o el procesador en segundo plano. El motor de datos se puede escalar automáticamente y usa la cantidad de CPU y memoria necesaria, por lo que se elimina la necesidad de usar varias instancias del motor de datos. Para obtener más información sobre los procesos de servidor, consulte Procesos de Tableau Server.

  • La instancia de motor de datos instalada en el nodo en que también se encuentra el almacén de archivos se emplea para consultar datos para solicitudes de vistas. La instancia de motor de datos instalada en el nodo en que también se encuentra el procesador en segundo plano se emplea para crear y actualizar extracciones. Es importante tener esto en cuenta al optimizar el rendimiento. Para obtener más información. consulte Ajuste del rendimiento.

  • El servidor de datos, VizQL Server y el servidor de aplicaciones (VizPortal) usan la instancia local del motor de datos para realizar uniones entre bases de datos y crear extracciones de respaldo. Los archivos de extracciones de respaldo solo se crean al utilizar libros de trabajo que se basan en archivos estadísticos, de texto o de Excel no heredados. Tableau crea un archivo de extracción de respaldo para cargar los datos con más rapidez.

  • En Tableau Server 10.5, automáticamente se instala una instancia de motor de datos a la vez que el procesador en segundo plano. El proceso del procesador en segundo plano utiliza una sola instancia de motor de datos (hyperd.exe) instalada en el mismo nodo.

¡Importante! Hay excepciones sobre cuando el Motor de datos se instala en el mismo nodo que el Almacén de archivos. Cuando el Almacén de archivos se configura de forma externa a Tableau Server, el Motor de datos ya no se instala con el Almacén de archivos. En esta configuración, en la que Tableau Server está configurado con un Almacén de archivos externo y un Motor de datos, se seguirá instalando con el otro proceso, tal y como se ha indicado anteriormente. Además, también puede configurar el Motor de datos en un nodo sin otros procesos, pero solo cuando el Almacén de archivos se configura de forma externa. Para obtener más información sobre el Almacén de archivos externo, consulte Almacén de archivos externo de Tableau Server.

Escalabilidad:

El nuevo motor de datos permite la escalabilidad vertical. Como se aprovecha toda la capacidad de los núcleos, al añadir otros las consultas individuales se ejecutan más rápido, con lo que se pueden ejecutar más en menos tiempo.

El uso de memoria se debe supervisar y actualizar debidamente para evitar los problemas de rendimiento que provoca la gestión de colas.

Para obtener más información sobre la escalabilidad, consulte Tableau Server Scalability (Escalabilidad de Tableau Server).

Rendimiento:

Ventajas de rendimiento

Desde la versión 10.5, se ha integrado la tecnología Hyper en el motor de datos de Tableau para proporcionarle las siguientes ventajas clave:

  • Una creación más rápida de extracciones: con la tecnología Hyper, las extracciones se generan casi tan rápido como el sistema fuente puede ofrecer los datos, sin necesidad de ordenación.

  • Admite extracciones más grandes: antes de esta versión, tal vez no fuera posible incorporar todos los datos en una sola extracción. Con la tecnología Hyper, se pueden incluir cantidades mucho mayores de datos en una misma extracción.

  • Análisis de extracciones más rápido: en muchos casos, podrá observar una consulta de los datos más rápida en extracciones de mayor tamaño o libros de trabajo con cálculos complejos.

Estos son algunos de los motivos por los que el motor de datos con tecnología Hyper ofrece un mejor rendimiento con extracciones más complejas o de mayor tamaño y está optimizado para realizar consultas con mayor rapidez:

  • La tecnología Hyper está diseñada para consumir datos con más rapidez. Al contrario que en versiones anteriores, el motor de datos no realiza tareas de posprocesamiento, como la ordenación. Con Hyper, pasos de posprocesamiento como la ordenación no son necesarios, lo cual permite al motor de datos ofrecer un mejor rendimiento con las extracciones más grandes.

  • La tecnología Hyper optimiza el uso de la memoria. Esto significa que, cuando es necesario, todos los datos residen en la memoria, lo cual reduce el tiempo de acceso a los datos.

  • La tecnología Hyper optimiza el uso de la CPU. Ahora, el motor de datos usa totalmente en paralelo la ejecución de consultas y utiliza la capacidad disponible en la CPU de tal forma que el tiempo de ejecución de consultas se adapte casi linealmente al número de núcleos presentes en el equipo.

  • Hyper es un motor de consultas de compilación. Las consultas se interpretan o se compilan según el código de equipo para obtener el mejor rendimiento y permitir al motor de datos sacar el máximo partido al hardware moderno (CPU y gran capacidad de la memoria principal).

  • La tecnología Hyper emplea optimizaciones de consulta avanzadas para realizar las consultas con más rapidez. Además de muchas otras técnicas avanzadas, como la materialización de valores mínimos y máximos en cada columna, miniíndices que optimizan los rangos de búsqueda, diccionarios de bloques de datos más específicos y una lógica avanzada para las optimizaciones del rendimiento de las subconsultas y las uniones, el nuevo motor ofrece muchas mejoras con respecto al motor de datos de Tableau anterior en cuanto a rendimiento y escalabilidad.

Para obtener más información sobre el rendimiento, empiece con Pautas generales de rendimiento y Ajuste del rendimiento.

¡Gracias por sus comentarios!Sus comentarios se han enviado correctamente. ¡Gracias!