Moteur de données Tableau Server
Hyper est la technologie de moteur de données de Tableau intégrée en mémoire et optimisée pour accélérer l’ingestion des données et le traitement des requêtes analytiques sur des ensembles de données volumineux ou complexes. Hyper pilote le nouveau moteur de données dans Tableau Server, Tableau Desktop, Tableau Cloud et Tableau Public. Le moteur de données est utilisé lors de la création, de l’actualisation et de l’interrogation d’extraits. Il est également utilisé pour les liaisons entre des bases de données afin de prendre en charge des sources de données fédérées multiconnexion.
| Processus | |
| État | L’état du processus |
| Enregistrement | Les journaux générés par le processus |
Utilisation de la mémoire et du processeur
Le moteur de données est conçu pour exploiter toutes les ressources de processeur et de mémoire disponibles afin d’offrir les temps de réponse les plus rapides.
Utilisation du processeur
La technologie Hyper s’appuie sur les nouveaux ensembles d’instructions du processeur et est capable de gérer en parallèle et de faire évoluer tous les cœurs disponibles. La technologie Hyper est conçue pour une évolutivité efficace sur de nombreux cœurs et aussi pour maximiser autant que possible l’utilisation de chaque cœur individuel. Vous pouvez ainsi anticiper jusqu’à 75 % d’utilisation moyenne du processeur total par heure pendant le traitement des requêtes. L’ajout de processeur supplémentaire devrait entraîner une amélioration des performances.
Remarque : l’utilisation horaire moyenne de 75 % est la valeur par défaut et doit rester inchangée, sauf si vous exécutez le moteur de données sur un nœud de serveur dédié. Pour plus d’informations sur l’exécution du moteur de données sur un nœud dédié, consultez Optimisation pour les environnements soumis à une forte charge de requêtes d’extraits.
Les systèmes d’exploitation modernes tels que Microsoft Windows, Apple macOS et Linux sont dotés de mécanismes qui font que, même en cas d’utilisation du processeur à 100 %, les processus entrants et autres processus actifs peuvent s’exécuter simultanément. Pour gérer l’utilisation des ressources générales et éviter de surcharger et d’étouffer complètement d’autres processus en cours d’exécution sur l’ordinateur, le moteur de données se surveille lui-même de manière à rester dans la limite définie par Tableau Server Resource Manager (SRM). Tableau Server Resource Manager surveille la consommation des ressources et notifie le moteur de données pour qu’il réduise l’utilisation en cas de dépassement de la limite prédéfinie.
Le moteur de données étant conçu pour utiliser le processeur disponible, il est normal d’observer occasionnellement des crêtes dans l’utilisation du processeur. Si toutefois vous constatez une utilisation élevée du processeur (par exemple 95 %) pendant des périodes prolongées (une heure ou plus), cela peut signifier plusieurs choses :
Charge élevée de requêtes. Ce phénomène peut se produire si un serveur est très sollicité en raison d’une surcharge de demandes de plusieurs clients et une mise en file d’attente des requêtes. Si ce phénomène se produit souvent, cela indique qu’il faut davantage de matériel pour répondre aux besoins des clients. L’ajout de davantage de processeurs dans ce cas devrait vous aider à améliorer les performances.
Exécution d’une seule requête longue. Dans ce cas, Tableau Server Resource Manager arrête les requêtes à exécution longue basées sur des paramètres de délai d’expiration. Ceci valait également pour les versions de Tableau Server antérieures à la version 10.5
Pour plus d’informations sur Tableau Server Resource Manager, consultez Directives générales de performances.
Utilisation de la mémoire
L’utilisation de la mémoire par le moteur de données dépend de la quantité de données nécessaires pour répondre à la requête. Le moteur de données tente d’abord d’exécuter cette mémoire intégrée. Une plage de travail de mémoire est allouée pour stocker une structure de données intermédiaire pendant le traitement des requêtes. Dans la plupart des cas, les systèmes disposent de suffisamment de mémoire pour effectuer ces types de traitement, mais s’il n’y a pas suffisamment de mémoire, ou que plus de 80 % de la RAM est utilisé, le moteur de données passe à la mise en file d’attente en écrivant temporairement sur le disque. Le fichier temporaire est supprimé une fois que vous avez répondu à la requête. La mise en file d’attente est donc une indication que davantage de mémoire peut s’avérer nécessaire. Il est conseillé de surveiller la mémoire et de la mettre à niveau en conséquence pour éviter les problèmes de performances générés par la mise en file d’attente.
Pour gérer les ressources de mémoire sur l’ordinateur, la limite maximum de mémoire pour le moteur de données est définie par Tableau Server Resource Manager (SRM).
Configuration du serveur, évolutivité et performances
Une seule instance du moteur de données est installée automatiquement par nœud là où une instance du répertoire de fichiers, du serveur d’applications (VizPortal), de VizQLServer, du serveur de données ou du Backgrounder est installée sur Tableau Server. Le moteur de données peut évoluer par lui-même et utilise autant de processeur et de mémoire que nécessaire, ce qui rend superflue la configuration de plusieurs instances du moteur de données. Pour plus d’informations sur les processus serveur, consultez Processus Tableau Server.
L’instance du moteur de données installée sur le nœud sur lequel le répertoire de fichiers est installé est utilisée pour l’interrogation des données dans des demandes d’affichage. L’instance du moteur de données installée sur le nœud sur lequel le backgrounder est installé est utilisée pour la création et les actualisations d’extraits. C’est un point important à prendre en compte lors des ajustements de performances. Pour plus d’informations. consultez Réglage des performances.
Le serveur de données, VizQL Server et le serveur d’applications (VizPortal) utilisent tous l’instance locale du moteur de données pour effectuer des liaisons entre des bases de données et créer des extraits shadow. Les fichiers d’extraits shadow sont créés uniquement lorsque vous utilisez des classeurs basés sur des fichiers Excel ou texte non hérités, ou des fichiers de statistiques. Tableau crée un fichier d’extrait shadow pour charger les données plus rapidement.
Dans Tableau Server 10.5, une instance du moteur de données est installée automatiquement lors de l’installation du backgrounder. Le processus backgrounder utilise l’instance unique du moteur de données (hyperd.exe) qui est installée sur le même nœud.
Important ! Il y a des exceptions lorsque le moteur de données est installé sur le même nœud que le répertoire de fichiers. Lorsque le répertoire de fichiers est configuré en externe à Tableau Server, le moteur de données n’est plus installé avec le répertoire de fichiers. Dans cette configuration où Tableau Server est configuré avec un répertoire de fichiers externe, le moteur de données continuera à être installé avec l’autre processus comme indiqué ci-dessus. En outre, vous pouvez également configurer le moteur de données sur un nœud sans autres processus - mais seulement lorsque le répertoire de fichiers est configuré en externe. Pour plus d’informations sur le répertoire de fichiers externe, consultez Répertoire de fichiers externe Tableau Server.
Évolutivité :
Vous avez la possibilité d’une montée en puissance avec le nouveau moteur de données : les cœurs étant intégralement utilisés, l’ajout de cœurs supplémentaires accélère l’exécution des requêtes individuelles, ce qui permet d’exécuter plus de requêtes en moins de temps.
Il est conseillé de surveiller la mémoire et de la mettre à niveau en conséquence pour éviter les problèmes de performances générés par la mise en file d’attente.
Pour plus d’informations sur l’évolutivité, consultez Évolutivité de Tableau Server.
Performances :
Avantages en termes de performances
Depuis 10.5, la technologie Hyper a été intégrée avec le moteur de données Tableau pour vous offrir les avantages clés suivants :
Création d’extrait plus rapide : avec la technologie Hyper, les extraits sont générés presque aussi vite que le système source peut fournir les données, sans nécessiter de tri.
Prise en charge d’extraits plus volumineux : avant cette distribution, vous ne pouviez pas nécessairement inclure toutes les données dans un seul extrait. Avec la technologie Hyper, vous pouvez inclure des quantités de données beaucoup plus volumineuses dans un seul extrait.
Analyse plus rapide des extraits : dans de nombreux cas, vous constaterez une analyse plus rapide des données pour les extraits plus volumineux, ou les classeurs contenant des calculs complexes.
Voici plusieurs raisons pour lesquelles le moteur de données alimenté par Hyper est plus performant sur les extraits volumineux ou complexes, et est optimisé pour les requêtes rapides :
La technologie Hyper est conçue pour une exploitation plus rapide des données. À la différence des précédentes versions, le moteur de données n’effectue aucun post-traitement tel que le tri. Avec Hyper, les étapes de post-traitement telles que le tri ne sont pas nécessaires étant donné que le moteur de donnés peut fonctionner de manière plus performante avec des extraits volumineux.
La technologie Hyper est optimisée au niveau de la mémoire. Cela signifie qu’en cas de nécessité, toutes les données résident en mémoire. Il en résulte des temps d’accès rapides aux données.
La technologie Hyper est optimisée au niveau du processeur. Cela signifie que le moteur de données traite désormais entièrement en parallèle l’exécution des requêtes et utilise le processeur disponible de manière à ce que le temps d’exécution des requêtes évolue quasi-linéairement avec le nombre de cœurs de la machine.
Hyper est un moteur de compilation de requêtes. Les requêtes sont soit interprétées, soit compilées sur le code de la machine afin d’offrir des performances optimales et de permettre au moteur de données de tirer le meilleur parti des ressources matérielles modernes (processeur, importantes capacités de mémoire principale).
La technologie Hyper utilise des techniques sophistiquées d’optimisation des requêtes pour accélérer les requêtes. Le nouveau moteur de données est équipé de nombreuses techniques avancées supplémentaires, telles que : matérialisation des valeurs minimum et maximum pour chaque colonne, mini-indices pour optimiser les plages de recherche, dictionnaires de niveau de bloc de données plus granulaires, logique avancée de liaison et techniques d’optimisation des performances des requêtes secondaires. Il offre en plus de nombreuses améliorations par rapport au précédent moteur de données Tableau en termes de performances et d’évolutivité.
Pour plus d’informations sur les performances, commencez par les rubriques Directives générales de performances et Réglage des performances.