Moteur de données Tableau Server
Hyper est la technologie de moteur de données de Tableau intégrée en mémoire et optimisée pour accélérer l’ingestion des données et le traitement des requêtes analytiques sur des ensembles de données volumineux ou complexes. Hyper pilote le nouveau moteur de données dans Tableau Server, Tableau Desktop, Tableau Cloud et Tableau Public. Le moteur de données est utilisé lors de la création, de l’actualisation et de l’interrogation d’extraits. Il est également utilisé pour les jointures entre bases de données afin de prendre en charge des sources de données fédérées multiconnexion.
| Processus | |
| État | L’état du processus |
| Enregistrement | Les fichiers journaux générés par le processus |
Utilisation de la mémoire et de l’unité centrale de traitement
Le moteur de données est conçu pour exploiter toutes les ressources de l’unité centrale de traitement et de mémoire disponibles afin d’offrir les temps de réponse les plus rapides.
Utilisation de l’unité centrale de traitement
La technologie Hyper s’appuie sur les nouveaux ensembles d’instructions de l’unité centrale de traitement et est capable de gérer en parallèle et de faire évoluer tous les cœurs disponibles. La technologie Hyper est conçue pour une évolutivité efficace sur de nombreux cœurs et aussi pour maximiser autant que possible l’utilisation de chaque cœur individuel. Cela signifie que vous pouvez vous attendre à voir jusqu’à 75 % d’utilisation moyenne du processeur total par heure pendant le traitement des requêtes. L’ajout d’unités centrales de traitement supplémentaires devrait entraîner une amélioration des performances.
Remarque : l’utilisation horaire moyenne de 75 % est la valeur par défaut et doit rester inchangée, sauf si vous exécutez Data Engine sur un nœud de serveur dédié. Pour plus d’informations sur l’exécution de Data Engine sur un nœud dédié, consultez Optimisation pour les environnements soumis à une forte charge de requêtes d’extraits.
Les systèmes d’exploitation modernes tels que Microsoft Windows, Apple macOS et Linux sont dotés de mécanismes qui font que, même en cas d’utilisation de l’unité centrale de traitement à 100 %, les processus entrants et autres processus actifs peuvent s’exécuter simultanément. Pour gérer l’utilisation des ressources générales et éviter de surcharger et d’étouffer complètement d’autres processus en cours d’exécution sur l’ordinateur, le moteur de données se surveille lui-même de manière à rester dans la limite définie par Tableau Server Resource Manager (SRM). Tableau Server Resource Manager surveille la consommation des ressources et notifie le moteur de données pour qu’il réduise l’utilisation en cas de dépassement de la limite prédéfinie.
Le moteur de données étant conçu pour utiliser l’unité centrale de traitement disponible, il est normal d’observer occasionnellement des crêtes dans l’utilisation de l’unité centrale de traitement. Si toutefois vous constatez une utilisation élevée de l’unité centrale de traitement (par exemple 95 %) pendant des périodes prolongées (une heure ou plus), cela peut signifier plusieurs choses :
Charge élevée de requêtes. Ce phénomène peut se produire si un serveur est très sollicité en raison d’une surcharge de demandes de plusieurs clients et une mise en file d’attente des requêtes. Si ce phénomène se produit souvent, cela indique qu’il faut davantage de matériel pour répondre aux besoins des clients. L’ajout de davantage d’unités centrales de traitement dans ce cas devrait vous aider à améliorer les performances.
Exécution d’une seule requête longue. Dans ce cas, Tableau Server Resource Manager arrête les requêtes à exécution longue basées sur des paramètres de délai d’expiration. Ceci valait également pour les versions de Tableau Server antérieures à la version 10.5
Pour plus d’informations sur Tableau Server Resource Manager, consultez Directives générales de performances.
Utilisation de la mémoire
L’utilisation de la mémoire par le moteur de données dépend de la quantité de données nécessaires pour répondre à la requête. Le moteur de données tente d’abord d’exécuter cette mémoire intégrée. Une plage de travail de mémoire est allouée pour stocker une structure de données intermédiaire pendant le traitement des requêtes. Dans la plupart des cas, les systèmes disposent de suffisamment de mémoire pour effectuer ces types de traitement, mais s’il n’y a pas suffisamment de mémoire, ou que plus de 80 % de la RAM est utilisé, le moteur de données passe à la mise en file d’attente en écrivant temporairement sur le disque. Le fichier temporaire est supprimé une fois que vous avez répondu à la requête. La mise en file d’attente est donc une indication que davantage de mémoire peut s’avérer nécessaire. Il est conseillé de surveiller la mémoire et de la mettre à niveau en conséquence pour éviter les problèmes de performances générés par la mise en file d’attente.
Pour gérer les ressources de mémoire sur l’ordinateur, la limite maximum de mémoire pour le moteur de données est définie par Tableau Server Resource Manager (SRM).
Configuration du serveur, évolutivité et performances
Une seule instance du moteur de données est installée automatiquement par nœud là où une instance du stockage de fichiers, du serveur d’applications (VizPortal), de VizQLServer, du serveur de données ou du gestionnaire de processus en arrière-plan est installée sur Tableau Server. Le moteur de données peut évoluer par lui-même et utilise autant d’unité centrale de traitement et de mémoire que nécessaire, ce qui rend superflue la configuration de plusieurs instances du moteur de données. Pour plus d’informations sur les processus serveur, consultez Processus Tableau Server.
L’instance du moteur de données installée sur le nœud sur lequel le stockage de fichiers est installé est utilisée pour l’interrogation des données dans des demandes d’affichage. L’instance du moteur de données installée sur le nœud sur lequel le gestionnaire de processus en arrière-plan est installé est utilisée pour la création et les actualisations d’extraits. C’est un point important à prendre en compte lors des ajustements de performances. Pour plus d’informations. consultez Réglage des performances.
Le serveur de données, VizQL Server et le serveur d’applications (VizPortal) utilisent tous l’instance locale du moteur de données pour effectuer des jointures entre bases de données et créer des extraits d’ombre. Les fichiers d’extraits shadow sont créés uniquement lorsque vous utilisez des classeurs basés sur des fichiers Excel ou texte non hérités, ou des fichiers de statistiques. Tableau crée un fichier d’extrait shadow pour charger les données plus rapidement.
Dans Tableau Server 10.5, une instance du moteur de données est installée automatiquement lors de l’installation du gestionnaire de processus en arrière-plan. Le processus du gestionnaire de processus en arrière-plan utilise l’instance unique du moteur de données (hyperd.exe) qui est installée sur le même nœud.
Important! Il y a des exceptions lorsque le moteur de données est installé sur le même nœud que le stockage de fichiers. Lorsque le stockage de fichiers est configuré en externe à Tableau Server, le moteur de données n’est plus installé avec le stockage de fichiers. Dans cette configuration où Tableau Server est configuré avec un stockage de fichiers externe, le moteur de données continuera à être installé avec l’autre processus comme indiqué ci-dessus. En outre, vous pouvez également configurer le moteur de données sur un nœud sans autres processus - mais seulement lorsque le stockage de fichiers est configuré en externe. Pour plus d’informations sur le stockage de fichiers externe, consultez Stockage de fichiers externe Tableau Server.
Évolutivité :
Vous avez la possibilité d’une montée en puissance avec le nouveau moteur de données : les cœurs étant intégralement utilisés, l’ajout de cœurs supplémentaires accélère l’exécution des requêtes individuelles, ce qui permet d’exécuter plus de requêtes en moins de temps.
Il est conseillé de surveiller la mémoire et de la mettre à niveau en conséquence pour éviter les problèmes de performances générés par la mise en file d’attente.
Pour plus d’informations sur l’évolutivité, consultez Évolutivité de Tableau Server.
Performances :
Avantages en termes de performances
Depuis 10.5, la technologie Hyper a été intégrée avec le moteur de données Tableau pour vous offrir les avantages clés suivants :
Création d’extrait plus rapide : avec la technologie Hyper, les extraits sont générés presque aussi vite que le système source peut fournir les données, sans nécessiter de tri.
Prise en charge d’extraits plus volumineux : avant cette distribution, vous ne pouviez pas nécessairement inclure toutes les données dans un seul extrait. Avec la technologie Hyper, vous pouvez inclure des quantités de données beaucoup plus volumineuses dans un seul extrait.
Analyse plus rapide des extraits : dans de nombreux cas, vous constaterez une analyse plus rapide des données pour les extraits plus volumineux, ou les classeurs contenant des calculs complexes.
Voici plusieurs raisons pour lesquelles le moteur de données alimenté par Hyper est plus performant sur les extraits volumineux ou complexes, et est optimisé pour les requêtes rapides :
La technologie Hyper est conçue pour une exploitation plus rapide des données. À la différence des précédentes versions, le moteur de données n’effectue aucun post-traitement tel que le tri. Avec Hyper, les étapes de post-traitement telles que le tri ne sont pas nécessaires étant donné que le moteur de donnés peut fonctionner de manière plus performante avec des extraits volumineux.
La technologie Hyper est optimisée au niveau de la mémoire. Cela signifie qu’en cas de nécessité, toutes les données résident en mémoire. Il en résulte des temps d’accès rapides aux données.
La technologie Hyper est optimisée au niveau de l’unité centrale de traitement. Cela signifie que le moteur de données traite désormais entièrement en parallèle l’exécution des requêtes et utilise l’unité centrale de traitement disponible de manière à ce que le temps d’exécution des requêtes évolue quasi-linéairement avec le nombre de cœurs de la machine.
Hyper est un moteur de compilation de requêtes. Les requêtes sont soit interprétées, soit compilées sur le code de la machine afin d’offrir des performances optimales et de permettre au moteur de données de tirer le meilleur parti des ressources matérielles modernes (unité centrale de traitement, importantes capacités de mémoire principale).
La technologie Hyper utilise des techniques sophistiquées d’optimisation des requêtes pour accélérer les requêtes. Le nouveau moteur de données est équipé de nombreuses techniques avancées supplémentaires, telles que : matérialisation des valeurs minimum et maximum pour chaque colonne, mini-indices pour optimiser les plages de recherche, dictionnaires de niveau de bloc de données plus granulaires, logique avancée de liaison et techniques d’optimisation des performances des requêtes secondaires. Il offre en plus de nombreuses améliorations par rapport au précédent moteur de données Tableau en termes de performances et d’évolutivité.
Pour plus d’informations sur les performances, commencez par les rubriques Directives générales de performances et Réglage des performances.