Activer Tableau Catalog

Tableau Catalog(Le lien s’ouvre dans une nouvelle fenêtre) découvre et indexe tout le contenu de votre site Tableau Cloud ou Tableau Server, y compris les classeurs, les sources de données, les feuilles, les métriques et les flux. (L'ancienne fonctionnalité Métriques a été retirée de Tableau Cloud en février 2024 et sera retirée de Tableau Server à partir de la version 2024.2. Pour plus d’information, consultez Créer et résoudre les problèmes liés aux métriques (supprimé)().) L’indexation est utilisée pour recueillir des renseignements sur le contenu, ou des métadonnées, sur le schéma et le lignage du contenu. Ensuite, à partir des métadonnées, Catalog identifie l’ensemble des bases de données, fichiers et tables utilisés par le contenu de votre site Tableau Cloud ou Tableau Server.

Catalog est disponible avec la licence Data Management. Pour plus d’informations, consultez À propos de Data Management.

Outre Catalog, les métadonnées de votre contenu sont également accessibles depuis l’API de métadonnées Tableau(Le lien s’ouvre dans une nouvelle fenêtre) et l’API REST de Tableau en utilisant des méthodes de métadonnées(Le lien s’ouvre dans une nouvelle fenêtre).

Avant l’activation de Catalog

En tant qu’administrateur de Tableau Server, vous devez prendre en considération quelques points avant et pendant l’activation de Catalog pour assurer une performance optimale de Catalog dans votre environnement Tableau Server.

Versions requises

Avant d’activer Catalog, vérifiez que vous exécutez l’une des versions suivantes de Tableau Server :

  • Au moins Tableau Server 2019.3.4 ou ultérieur
  • Au moins Tableau Server 2019.4.2 ou ultérieur
  • Au moins Tableau Server 2020.1.0 ou ultérieur
  • Au moins Tableau Server 2020.2.15 ou ultérieur
  • Tableau Server 2020.3 et ultérieur

Pour savoir pour quelles raisons ces versions sont exigées, consultez la Base de connaissances de Tableau.

À quoi s’attendre lors de l’activation de Catalog

Lorsque Catalog est activé pour la première fois, le contenu qui existe déjà sur Tableau Server est immédiatement indexé.

Ingestion initiale

Le processus d’indexation est composé de deux composants principaux, dont l’un est appelé ingestion initiale. L’ingestion initiale peut être décomposée en deux composants supplémentaires :

  • Renvoi de contenu
  • Renvoi de lignage

L’état du renvoi de contenu et du renvoi de lignage est important à noter plus tard lorsque vous surveillerez les progrès et vérifierez que Catalog a été activé et fonctionne avec succès dans votre environnement Tableau Server.

Vitesse d’ingestion initiale

La durée nécessaire à l’indexation initiale du contenu par Catalog dépend de plusieurs facteurs :

  • Quantité de contenu sur Tableau Server : la quantité de contenu est mesurée par le nombre total de classeurs, de métriques, de sources de données publiées et de flux publiés sur Tableau Server. Pour plus d’informations, consultez Espace disque de stockage des métadonnées.

  • Nombre de conteneurs de microservice non interactifs : Catalog utilise le conteneur de microservice non interactif pour indexer tout le contenu sur Tableau Server. Pour plus d’informations, consultez Mémoire pour les conteneurs de microservice non interactifs.

Comprendre les facteurs qui ont un impact sur l’ingestion initiale peut vous aider à évaluer le temps nécessaire pour activer et exécuter Catalog dans votre environnement.

Espace disque de stockage des métadonnées

Lors de l’ingestion initiale, les métadonnées sont générées et stockées dans le référentiel Tableau Server (base de données PostgreSQL de « relation »). La quantité d’espace disque nécessaire pour stocker les métadonnées peut atteindre à peu près la moitié de l’espace disque actuellement utilisé par le référentiel (base de données PostgreSQL de « groupe de travail »).

Par exemple, supposons que le référentiel utilise 50 Go d’espace disque avant d’activer Catalog, le référentiel peut utiliser jusqu’à 75 Go d’espace disque après l’activation de Catalog.

Mémoire pour les conteneurs de microservice non interactifs

L’ingestion initiale s’exécute à l’intérieur du conteneur de microservice non interactif. Le conteneur de microservice non interactif est l’un des deux processus de conteneurs de microservices Tableau Server(Le lien s’ouvre dans une nouvelle fenêtre). Par défaut, un conteneur de microservice non interactif est ajouté à chaque nœud sur lequel un processus du gestionnaire de processus en arrière-plan est installé.

Par défaut, l’ingestion initiale sur une seule instance du conteneur de microservice non interactif peut utiliser jusqu’à 4 Go de mémoire sur le nœud du gestionnaire de processus en arrière-plan. Si la quantité de contenu sur Tableau Server dépasse 10 000, un conteneur de microservice non interactif peut nécessiter jusqu’à 16 Go de mémoire sur le nœud du gestionnaire de processus en arrière-plan. Par conséquent, lorsque vous activez Catalog, assurez-vous que chaque nœud du gestionnaire de processus en arrière-plan dispose de la capacité disponible pour prendre en charge chaque conteneur de microservice non interactif pendant le processus d’ingestion initiale. Si la capacité doit être augmentée, vous devez mettre à jour la taille du tas JVM pour les conteneurs de microservice non interactifs afin d’allouer jusqu’à 16 Go de mémoire sur les nœuds du gestionnaire de processus en arrière-plan. Pour plus d’information, consultez noninteractive.vmopts.

Si vous prévoyez d’ajouter plus de conteneurs de microservice non interactifs pour réduire le temps d’ingestion initiale, déterminez d’abord le nombre total de conteneurs nécessaires (en utilisant Étape 2 : Estimer la durée nécessaire de l’ingestion initiale, ci-dessous) et vérifiez ensuite si votre environnement Tableau Server est configuré avec une capacité suffisante pour prendre en charge tous les conteneurs de microservice non interactifs. Selon la configuration actuelle de votre environnement Tableau Server, vous pourriez ne pas être en mesure d’ajouter tous les conteneurs de microservice supplémentaires non interactifs dont vous avez besoin pour réduire le temps d’ingestion initiale.

Meilleures pratiques d’activation de Catalog

Parce que la vitesse d’ingestion initiale et les exigences sont propres à chaque environnement Tableau Server, Tableau vous recommande d’appliquer une ou plusieurs des mesures suivantes lorsque vous activez Catalog :

  • Assurez-vous qu’il y a suffisamment d’espace disque pour que le référentiel Tableau Server puisse prendre en charge les métadonnées supplémentaires que l’ingestion initiale génère et stocke. En règle générale, le référentiel aura besoin de 50 % supplémentaires de l’espace disque actuellement utilisé par le référentiel. Pour plus d’informations sur l’utilisation du disque Tableau Server, consultez Espace disque serveur.

  • Selon la quantité de contenu sur Tableau Server, assurez-vous que chaque nœud du gestionnaire de processus en arrière-plan a au moins 4-16 Go de mémoire disponible pour chaque instance d’un conteneur de microservice non interactif pendant l’ingestion initiale.

  • Effectuez le processus au cours du week-end pour que l’ingestion initiale soit terminée avant que vos utilisateurs commencent à utiliser les capacités de Catalog.

  • Effectuez le processus dans un environnement de test avec le contenu de production d’abord. En effet, le type de contenu à ingérer peut jouer un rôle important sur la vitesse d’ingestion.

Résumé des étapes d’activation de Catalog

Les étapes suivantes résument le processus d’activation et d’exécution de Catalog sur Tableau Server. Les étapes doivent être exécutées de façon séquentielle.

  1. Déterminer la quantité de contenu sur Tableau Server
  2. Estimer la durée nécessaire de l’ingestion initiale
  3. Diminuer la durée d’ingestion initiale
  4. Activer la licence Data Management
  5. Désactiver les fonctionnalités Catalog
  6. Exécuter la commande tsm maintenance metadata-services
  7. Surveiller l’avancement de l’ingestion initiale et valider son statut
  8. Configurer SMTP
  9. Activer les fonctionnalités Catalog

Remarque : étant donné que l’indexation des métadonnées du contenu Tableau sur Tableau Server est pilotée par l’API de métadonnées, vous devez activer l’API de métadonnées pour exécuter et utiliser Catalog.

Activation de Catalog

Étape 1 : Déterminer la quantité de contenu sur Tableau Server

Pour déterminer la quantité de contenu sur Tableau Server, procédez comme suit :

  1. Connectez-vous à Tableau Server à l’aide de vos identifiants d’administrateur.

  2. Allez à la page Explorer.

  3. Cliquez sur le menu déroulant Projet de niveau supérieur et additionnez les chiffres à côté de Tous les classeurs, Toutes les métriques, Toutes les sources de données et Tous les flux. Vous obtenez la quantité totale de contenu sur Tableau Server.

Étape 2 : Estimer la durée nécessaire à l’ingestion initiale

Pour estimer la durée qu’il faudra à Catalog pour ingérer le contenu Tableau Server pour la première fois (ingestion initiale), comparez votre configuration de Tableau Server avec une configuration de base de Tableau Server.

Dans le cas où Tableau Server présente la configuration suivante, l’ingestion initiale peut prendre environ 6 heures.

ComposantsValeurs de référence
Contenu17 000 classeurs, métriques, sources de données publiées et flux
Conteneurs de microservice non interactifs10
Ingestion~6 heures

Si vous avez environ la moitié du contenu dans votre environnement Tableau Server, l’ingestion initiale peut prendre moitié moins de temps.

Par exemple : 8 500 (classeurs, sources de données publiées et flux) + 10 conteneurs de microservice non interactifs ,= ~3 heures (ingestion initiale)

Si vous avez environ le double du contenu dans votre environnement Tableau Server, l’ingestion initiale peut prendre deux fois plus de temps.

Par exemple : 34 000 (classeurs, sources de données publiées et flux) + 10 conteneurs de microservice non interactifs ,= ~12 heures (ingestion initiale)

Étape 3 : Diminuer la durée d’ingestion initiale

En règle générale, le temps nécessaire au catalogue pour effectuer l’ingestion initiale est corrélé au nombre de conteneurs de microservice non interactifs. Pour réduire la durée d’ingestion initiale, vous pouvez augmenter le nombre de conteneurs de microservice non interactifs.

Augmenter le nombre de conteneurs de microservice non interactifs

Par défaut, un conteneur de microservice non interactif est ajouté à chaque nœud doté d’un gestionnaire de processus en arrière-plan. Pour aider à réduire la durée d’ingestion initiale, Tableau vous recommande d’augmenter le nombre de conteneurs de microservice non interactifs à l’aide de la commande tsm topology set-process.

  1. Ouvrez une invite de commande en tant qu’administrateur sur le nœud initial (le nœud sur lequel TSM est installé) du groupement.

  2. Exécutez la commande tsm topology set-process --count <process_count> --node <node_ID> --process <process_name>

    Par exemple, pour augmenter le conteneur de microservice non interactif sur le nœud initial à 4 conteneurs, exécutez la commande suivante :

    tsm topology set-process --count 4 –-node node1 --process noninteractive

    Pour plus d’informations sur l’exécution de la commande et de ses options globales, consultez Topologie tsm.

Important : avant d’augmenter le nombre de conteneurs de microservice non interactifs, examinez les points suivants : 

  • La recommandation d’augmenter les conteneurs de microservice non interactifs s’applique au nombre total de conteneurs de microservice non interactifs, et non pas au total de conteneurs de microservice non interactifs par nœud. Par exemple, supposons que vous avez 4 nœuds, mais que vous voulez augmenter le nombre de conteneurs de microservice non interactifs à 8. La valeur --count que vous utilisez dans la commande tsm est 2.

  • Pour chaque conteneur de microservice non interactif ajouté, 4 Go de mémoire supplémentaire seront utilisés sur le nœud et la charge sera ajoutée au référentiel Tableau Server (base de données PostgreSQL).

    • Tableau vous recommande d’augmenter progressivement le nombre de conteneurs de microservice non interactifs de 2 unités d’exécution maximum à la fois tout en surveillant étroitement votre environnement Tableau Server. Vous éviterez ainsi les problèmes d’utilisation du processeur pour le référentiel Tableau Server (base de données PostgreSQL).

    • Sachez que si vous ajoutez trop de conteneurs de microservice non interactifs, l’utilisation du processeur de la base de données PostgreSQL peut atteindre un pic et provoquer un basculement. Les symptômes à surveiller comprennent les erreurs SQLException dans les fichiers journaux vizportal. Pour plus d’informations, consultez la rubrique Basculement du référentiel(Le lien s’ouvre dans une nouvelle fenêtre).

Étape 4: Activer la licence Data Management

(Requiert Data Management)

Si ce n’est pas déjà fait, vous pouvez activer Data Management. Pour plus d’information, consultez Obtenir une licence Data Management.

Étape 5 (facultatif) : Désactiver les fonctionnalités Catalog pour chaque site

(Requiert Data Management)

Dans le cadre de l’activation de Data Management, les fonctionnalités Catalog sont activées par défaut. En raison du processus d’indexation et de son temps d’exécution estimé, envisagez de désactiver temporairement les fonctionnalités Catalog pour chaque site afin que les utilisateurs de Tableau Server ne puissent pas accéder aux fonctionnalités Catalog tant que Catalog n’est pas prêt et en mesure de fournir des résultats complets et précis.

  1. Connectez-vous à Tableau Server à l’aide de vos identifiants d’administrateur.

  2. Dans le panneau de navigation gauche, cliquez sur Paramètres.

  3. Dans l’onglet Général, sous Tableau Catalog, désélectionnez la case Activer Tableau Catalog .

  4. Répétez les étapes 2-3 pour chaque site sur Tableau Server.

Étape 6 : Exécuter la commande tsm maintenance metadata-services

Utilisez la commande tsm maintenance metadata-services pour activer l’API de métadonnées Tableau. L’exécution de la commande lance l’ingestion initiale. Si Tableau Server est sous licence avec Data Management, l’exécution de la commande active également les capacités Catalog (si elle n’a pas été désactivée plus tôt).

  1. Ouvrez une invite de commande en tant qu’administrateur sur le nœud initial (le nœud sur lequel TSM est installé) du groupement.

  2. Exécutez la commande tsm maintenance metadata-services enable

    Pour plus d’informations sur l’exécution de la commande tsm, reportez-vous à la rubrique tsm maintenance(Le lien s’ouvre dans une nouvelle fenêtre).

Remarques : lors de l’exécution de cette commande, gardez à l’esprit ce qui suit :

  • L’exécution de cette commande arrête et démarre certains services utilisés par Tableau Server, ce qui rend certaines fonctionnalités, telles que les recommandations, temporairement indisponibles pour vos utilisateurs.

  • Un nouvel index de métadonnées est alors créé. L’exécution de cette commande à tout moment ultérieur créera et remplacera l’index précédent.

Étape 7 : Surveiller l’avancement de l’ingestion initiale et valider son statut

L’exécution de la commande tsm ci-dessus lance le processus d’ingestion initiale. Pour vous assurer que le processus d’ingestion initiale se déroule correctement, vous pouvez surveiller son avancement à l’aide de Backfill API. Pour plus d’informations, consultez Obtenir l’état d’ingestion initiale.

Étape 8 : Configurer les paramètres SMTP

Si ce n’est pas déjà fait pour Tableau Server, configurez les paramètres SMTP. SMTP prend en charge l’envoi de courriels aux propriétaires qui ont besoin d’être contactés au sujet des modifications apportées aux données. Pour plus d’informations sur la configuration de SMTP, consultez Configurer les paramètres SMTP(Le lien s’ouvre dans une nouvelle fenêtre).

Étape 9 (facultatif) : Activer les fonctionnalités Catalog pour chaque site

(Requiert Data Management)

Si vous avez désactivé les fonctionnalités Catalog avant d’activer Catalog dans l’une des procédures ci-dessus, vous devez activer Catalog pour que ses fonctionnalités soient accessibles à vos utilisateurs.

  1. Connectez-vous à Tableau Server à l’aide de vos identifiants d’administrateur.

  2. Dans le panneau de navigation gauche, cliquez sur Paramètres.

  3. Dans l’onglet Général, sous Tableau Catalog, sélectionnez la case Activer Tableau Catalog .

  4. Répétez les étapes 2-3 pour chaque site sur Tableau Server.

Résolution des problèmes de Catalog

Vous-même ou vos utilisateurs pouvez rencontrer l’un des problèmes suivants lors de l’utilisation de Catalog.

Messages en cas de dépassement de limite de délai d’expiration et de limite de nœud

Pour éviter que les tâches Catalog susceptibles de renvoyer un grand nombre de résultats n’accaparent toutes les ressources système de Tableau Server, Catalog implémente à la fois des limites de délai d’expiration et de nombre de nœuds.

  • Limite de délai d’expiration

    Lorsque des tâches Catalog atteignent la limite de délai d’expiration, vous-même et vos utilisateurs voyez s’afficher le message suivant :

    « Affichage de résultats partiels, dépassement du délai de demande. Veuillez réessayer ultérieurement. » ou TIME_LIMIT_EXCEEDED

    Pour résoudre ce problème, en tant qu’administrateur de Tableau Server, vous pouvez augmenter la limite de délai d’expiration à l’aide de la commande tsm configuration set –k metadata.query.limits.time. Pour plus d’informations, reportez-vous aux rubriques Configuration tsm(Le lien s’ouvre dans une nouvelle fenêtre) et Options tsm configuration set(Le lien s’ouvre dans une nouvelle fenêtre) .

    Important : augmenter la limite de délai d’expiration peut solliciter davantage l’unité centrale de traitement pendant plus longtemps, et donc avoir un impact sur les performances des autres processus Tableau Server.

  • Limite de nombre de nœuds

    Lorsque les tâches Catalog atteignent la limite de nombre de nœuds, vous-même et vos utilisateurs voyez s’afficher le message suivant :

    NODE_LIMIT_EXCEEDED

    Pour résoudre ce problème, en tant qu’administrateur de Tableau Server, vous pouvez augmenter la limite de nœuds à l’aide de la commande tsm configuration set –k metadata.query.limits.count. Pour plus d’informations, reportez-vous aux rubriques Configuration tsm(Le lien s’ouvre dans une nouvelle fenêtre) et Options tsm configuration set(Le lien s’ouvre dans une nouvelle fenêtre) .

    Important : l’augmentation du délai d’expiration peut affecter la mémoire système.

Contenu manquant

  • Si vous soupçonnez qu’après l’ingestion initiale, il manque un contenu dans Catalog, vous pouvez utiliser Eventing API pour résoudre les problèmes. Eventing gère l’indexation du contenu sur Tableau Server après l’ingestion initiale. Pour plus d’informations, consultez Obtenir l’état Eventing.

  • Lorsque la connexion entre une ressource externe intégrée et son contenu Tableau en aval est supprimée, elle reste dans Catalog (ou dans l’API de métadonnées Tableau) jusqu’à ce qu’elle soit automatiquement supprimée par un processus du gestionnaire de processus en arrière-plan qui s’exécute tous les jours à 22 :00 :00 UTC (heure universelle coordonnée) . Par exemple, supposons qu’un classeur, initialement publié avec un fichier texte incorporé A, soit republié avec un fichier texte incorporé B. Le fichier A reste visible (ou consultable) en tant que ressource externe jusqu’à ce que le processus du gestionnaire de processus en arrière-plan soit en mesure de le supprimer.

    Vous pouvez désactiver l’exécution de ce processus du gestionnaire de processus en arrière-plan si vous ne souhaitez pas supprimer ces types de ressources externes ou si vous pensez qu’il utilise des ressources système que vous ne souhaitez pas consacrer à ce processus. Vous pouvez également ajuster le nombre de ressources actives intégrées externes qui sont supprimés. Pour plus d’informations, consultez features.DeleteOrphanedEmbeddedDatabaseAsset et databaseservice.max_database_deletes_per_run.

    Vous pouvez surveiller ce processus de l’une des deux manières suivantes :

    • Filtrez le type de tâche Travail ponctuel Recanoniser les ressources de base de données/table existantes après une modification de la logique de canonisation dans la vue administrative Tâches en arrière-plan pour les non-extraits.

    • Consultez la section Suppression terminée des bases de données intégrées orphelines ou des événements database_service_canonicalization_change dans les fichiers journaux Tableau Server.

Performances après ingestion initiale

Dans certains environnements Tableau Server où le contenu spécifique est mis à jour très fréquemment (par exemple, par le biais de programmations à haute fréquence ou de demandes de ligne de commande ou d’API), le processus d’indexation risque d’être saturé. Dans ces cas, en tant qu’administrateur de serveur, vous pouvez envisager d’activer la limitation des événements pour mieux préserver les performances de Catalog. Pour plus d’information, consultez metadata.ingestor.pipeline.throttleEventsEnable.

Remarque : lorsque la limitation d’événements est activée, les utilisateurs peuvent constater un délai intentionnel pour les modifications de contenu dans Catalog.

Erreurs de mémoire saturée

Dans certains cas, Tableau Server peut rencontrer des erreurs de mémoire à la suite de problèmes avec l’ingestion de contenu complexe. Si vous soupçonnez que l’ingestion est la cause des erreurs de mémoire sur votre Tableau Server, contactez l’assistance Tableau et voyez avec eux comment définir les metadata.ingestor.blocklist de manière à éviter l’ingestion. Le problème devrait être résolu.

Désactiver Tableau Catalog

En tant qu’administrateur de Tableau Server, vous pouvez désactiver Catalog de l’une des deux façons.

Désactiver les fonctionnalités Catalog pour chaque site

(Requiert Data Management)

Vous pouvez désactiver les fonctionnalités de Catalog à tout moment. Lorsqu’elles sont désactivés, les fonctionnalités Catalog (par exemple la possibilité d’ajouter des avertissements sur la qualité des données ou de gérer explicitement les autorisations pour les ressources de bases de données et de tables) ne sont pas accessibles via Tableau Server. Catalog continue toutefois d’indexer le contenu publié et les métadonnées sont accessibles depuis l’API de métadonnées Tableau et les méthodes de métadonnées de l’API REST de Tableau.

  1. Connectez-vous à Tableau Server à l’aide de vos informations d’identification d’administrateur.

  2. Dans le panneau de navigation gauche, cliquez sur Paramètres.

  3. Dans l’onglet Général, sous Tableau Catalog, désélectionnez la case Activer Tableau Catalog .

Arrêter l’indexation des métadonnées sur Tableau Server

Pour arrêter l’indexation du contenu publié sur Tableau Server, vous pouvez désactiver l’API de métadonnées Tableau. Pour désactiver l’API de métadonnées, exécutez la commande tsm maintenance metadata-services disable. Pour plus d’informations, consultez tsm maintenance(Le lien s’ouvre dans une nouvelle fenêtre).

Merci de vos commentaires!Votre commentaire s été envoyé avec succès. Merci!