Activer Tableau Catalog

Tableau Catalog(Le lien s’ouvre dans une nouvelle fenêtre) découvre et indexe tout le contenu de votre site Tableau Online ou Tableau Server, y compris les classeurs, les sources de données, les feuilles, les métriques et les flux. L'indexation est utilisée pour recueillir des informations sur le contenu, ou métadonnées, sur le schéma et le lignage du contenu. Ensuite, à partir des métadonnées, Catalog identifie l'ensemble des bases de données, fichiers et tables utilisés par le contenu de votre site Tableau Online ou Tableau Server.

Catalog est disponible avec l'option Module Data Management Add-on. Pour plus d'informations, voir À propos du module complémentaire Data Management Add-on.

Outre Catalog, les métadonnées de votre contenu sont également accessibles depuis l'API Tableau Metadata(Le lien s’ouvre dans une nouvelle fenêtre) et l'API REST de Tableau en utilisant des méthodes de métadonnées(Le lien s’ouvre dans une nouvelle fenêtre).

Avant l'activation de Catalog

En tant qu'administrateur de Tableau Server, vous devez prendre en considération quelques points avant et pendant l'activation de Catalog pour assurer une performance optimale de Catalog dans votre environnement Tableau Server.

Versions requises

Avant d'activer Catalog, vérifiez que vous exécutez l'une des versions suivantes de Tableau Server :

  • Au moins Tableau Server 2019.3.4 ou ultérieur
  • Au moins Tableau Server 2019.4.2 ou ultérieur
  • Au moins Tableau Server 2020.1.0 ou ultérieur
  • Au moins Tableau Server 2020.2.15 ou ultérieur
  • Tableau Server 2020.3 et ultérieur

Pour savoir pour quelles raisons ces versions sont exigées, consultez la Base de connaissances de Tableau.

À quoi s'attendre lors de l'activation de Catalog

Lorsque Catalog est activé pour la première fois, le contenu qui existe déjà sur Tableau Server est immédiatement indexé.

Ingestion initiale

Le processus d'indexation est composé de deux composants principaux, dont l'un est appelé ingestion initiale. L'ingestion initiale peut être décomposée en deux composants supplémentaires :

  • Renvoi de contenu
  • Renvoi de lignage

L'état du renvoi de contenu et du renvoi de lignage est important à noter plus tard lorsque vous surveillerez les progrès et vérifierez que Catalog a été activé et fonctionne avec succès dans votre environnement Tableau Server.

Vitesse d'ingestion initiale

La durée nécessaire à l'indexation initiale du contenu par Catalog dépend de plusieurs facteurs :

  • Quantité de contenu sur Tableau Server : la quantité de contenu est mesurée par le nombre total de classeurs, de métriques, de sources de données publiées et de flux publiés sur Tableau Server. Pour plus d'informations, consultez Espace disque de stockage des métadonnées.

  • Nombre de conteneurs de microservices non interactifs : Catalog utilise le conteneur de microservices non interactif pour indexer tout le contenu sur Tableau Server. Pour plus d’informations, consultez Mémoire pour les conteneurs de microservices non interactifs.

Comprendre les facteurs qui ont un impact sur l'ingestion initiale peut vous aider à évaluer le temps nécessaire pour activer et exécuter Catalog dans votre environnement.

Espace disque de stockage des métadonnées

Lors de l’ingestion initiale, les métadonnées sont générées et stockées dans le référentiel Tableau Server (base de données PostgreSQL de « relation »). La quantité d’espace disque nécessaire pour stocker les métadonnées peut atteindre à peu près la moitié de l’espace disque actuellement utilisé par le référentiel (base de données PostgreSQL de « groupe de travail »).

Par exemple, supposons que le référentiel utilise 50 Go d’espace disque avant d’activer Catalog, le référentiel peut utiliser jusqu’à 75 Go d’espace disque après l'activation de Catalog.

Mémoire pour les conteneurs de microservices non interactifs

L’ingestion initiale s’exécute à l’intérieur du conteneur de microservices non interactif. Le conteneur de microservices non interactif est l’un des deux processus de conteneurs de microservices Tableau Server(Le lien s’ouvre dans une nouvelle fenêtre). Par défaut, un conteneur de microservices non interactif est ajouté à chaque nœud sur lequel un processus backgrounder est installé.

Par défaut, l’ingestion initiale sur une seule instance du conteneur de microservices non interactif peut utiliser jusqu’à 4 Go de mémoire sur le nœud du backgrounder. Si la quantité de contenu sur Tableau Server dépasse 10 000, un conteneur de microservices non interactif peut nécessiter jusqu’à 16 Go de mémoire sur le nœud du backgrounder. Par conséquent, lorsque vous activez Catalog, assurez-vous que chaque nœud de backgrounder dispose de la capacité disponible pour prendre en charge chaque conteneur de microservices non interactif pendant le processus d’ingestion initiale. Si la capacité doit être augmentée, vous devez mettre à jour la taille du tas JVM pour les conteneurs non interactifs afin d’allouer jusqu’à 16 Go de mémoire sur les nœuds du backgrounder. Consultez noninteractivecontainer.vmopts pour plus d'informations.

Si vous prévoyez d’ajouter plus de conteneurs de microservices non interactifs pour réduire le temps d’ingestion initiale, déterminez d’abord le nombre total de conteneurs nécessaires (en utilisant Étape 2 : Estimer la durée nécessaire de l'ingestion initiale, ci-dessous) et vérifiez ensuite si votre environnement Tableau Server est configuré avec une capacité suffisante pour prendre en charge tous les conteneurs de microservices non interactifs. Selon la configuration actuelle de votre environnement Tableau Server, vous pourriez ne pas être en mesure d’ajouter tous les conteneurs supplémentaires non-microservices dont vous avez besoin pour réduire le temps d’ingestion initiale.

Meilleures pratiques d'activation de Catalog

Parce que la vitesse d'ingestion initiale et les exigences sont propres à chaque environnement Tableau Server, Tableau vous recommande d'appliquer une ou plusieurs des mesures suivantes lorsque vous activez Catalog :

  • Assurez-vous qu’il y a suffisamment d’espace disque pour que le référentiel Tableau Server puisse prendre en charge les métadonnées supplémentaires que l’ingestion initiale génère et stocke. En règle générale, le référentiel aura besoin de 50 % supplémentaires de l’espace disque actuellement utilisé par le référentiel. Pour plus d’informations sur l’utilisation du disque Tableau Server, voir Espace disque serveur.

  • Selon la quantité de contenu sur Tableau Server, assurez-vous que chaque nœud de backgrounder a au moins 4-16 Go de mémoire disponible pour chaque instance d’un conteneur de microservices non interactif pendant l’ingestion initiale.

  • Effectuez le processus au cours du week-end pour que l'ingestion initiale soit terminée avant que vos utilisateurs commencent à utiliser les capacités de Catalog.

  • Effectuez le processus dans un environnement de test avec le contenu de production d'abord. En effet, le type de contenu à ingérer peut jouer un rôle important sur la vitesse d'ingestion.

Résumé des étapes d'activation de Catalog

Les étapes suivantes résument le processus d'activation et d'exécution de Catalog sur Tableau Server. Les étapes doivent être exécutées de façon séquentielle.

  1. Déterminer la quantité de contenu sur Tableau Server
  2. Estimer la durée nécessaire de l'ingestion initiale
  3. Diminuer la durée d'ingestion initiale
  4. Activer le module Data Management Add-on
  5. Désactiver les fonctionnalités Catalog
  6. Exécuter la commande tsm maintenance metadata-services
  7. Surveiller l'avancement de l'ingestion initiale et valider son statut
  8. Configurer SMTP
  9. Activer les fonctionnalités Catalog

Remarque : étant donné que l’indexation des métadonnées du contenu Tableau sur Tableau Server est pilotée par l’API Metadata, vous devez activer l’API Metadata pour exécuter et utiliser Catalog.

Activation de Catalog

Étape 1 : Déterminer la quantité de contenu sur Tableau Server

Pour déterminer la quantité de contenu sur Tableau Server, procédez comme suit :

  1. Connectez-vous à Tableau Online à l'aide de vos identifiants d'administrateur.

  2. Allez à la page Explorer.

  3. Cliquez sur le menu déroulant Projet de niveau supérieur et additionnez les chiffres à côté de Tous les classeurs, Toutes les métriques, Toutes les sources de données et Tous les flux. Vous obtenez la quantité totale de contenu sur Tableau Server.

Étape 2 : Estimer la durée nécessaire à l'ingestion initiale

Pour estimer la durée qu'il faudra à Catalog pour ingérer le contenu Tableau Server pour la première fois (ingestion initiale), comparez votre configuration de Tableau Server avec une configuration de base de Tableau Server.

Dans le cas où Tableau Server présente la configuration suivante, l'ingestion initiale peut prendre environ 6 heures.

Composants Valeurs de référence
Contenu 17 000 classeurs, métriques, sources de données publiées et flux
Conteneurs de microservices non interactifs 10
Ingestion ~6 heures

Si vous avez environ la moitié du contenu dans votre environnement Tableau Server, l'ingestion initiale peut prendre moitié moins de temps.

Par exemple : 8 500 (classeurs, métriques, sources de données publiées et flux) + 10 conteneurs de microservices non interactifs ,= ~3 heures (ingestion initiale)

Si vous avez environ le double du contenu dans votre environnement Tableau Server, l'ingestion initiale peut prendre deux fois plus de temps.

Par exemple : 34 000 (classeurs, sources de données publiées et flux) + 10 conteneurs de microservices non interactifs ,= ~12 heures (ingestion initiale)

Étape 3 : Diminuer la durée d'ingestion initiale

En règle générale, le temps nécessaire à Catalog pour effectuer l'ingestion initiale est corrélé au nombre de threads alloués. Pour réduire la durée d'ingestion initiale, vous pouvez augmenter le nombre de conteneurs de microservices non interactifs.

Augmenter le nombre de conteneurs de microservices non interactifs

Par défaut, un conteneur de microservices non interactif est ajouté à chaque nœud doté d'un backgrounder. Pour aider à réduire la durée d'ingestion initiale, Tableau vous recommande d'augmenter le nombre de conteneurs de microservices non interactifs à l'aide de la commande tsm topology set-process.

  1. Ouvrez une invite de commande en tant qu'administrateur sur le nœud initial (le nœud sur lequel TSM est installé) du cluster.

  2. Exécutez la commande tsm topology set-process --count <process_count> --node <node_ID> --process <process_name>

    Par exemple, pour augmenter le conteneur de microservices non interactif sur le nœud initial à 4 conteneurs, exécutez la commande suivante :

    tsm topology set-process --count 4 –-node node1 --process noninteractive

    Pour plus d'informations sur l'exécution de la commande et de ses options globales, consultez Topologie tsm.

Important : avant d'augmenter le nombre de conteneurs de microservices non interactifs, examinez les points suivants : 

  • La recommandation d'augmenter les conteneurs de microservices non interactifs s'applique au nombre total de conteneurs de microservices non interactifs, et non pas au total de conteneurs de microservices non interactifs par nœud. Par exemple, supposons que vous avez 4 nœuds, mais que vous voulez augmenter le nombre de conteneurs non interactifs à 8. La valeur --count que vous utilisez dans la commande tsm est 2.

  • Pour chaque conteneur de microservices non interactif ajouté, 4 Go de mémoire supplémentaire seront utilisés sur le nœud et la charge sera ajoutée au référentiel Tableau Server (base de données PostgreSQL).

    • Tableau vous recommande d'augmenter progressivement le nombre de conteneurs de microservices non interactifs de 2 threads maximum à la fois tout en surveillant étroitement votre environnement Tableau Server. Vous éviterez ainsi les problèmes d'utilisation du processeur pour le référentiel Tableau Server (base de données PostgreSQL).

    • Sachez que si vous allouez trop de conteneurs de microservices non interactifs à l'ingestion initiale, l'utilisation du processeur de la base de données PostgreSQL peut atteindre des pics et basculer. Les symptômes à surveiller comprennent les erreurs SQLException dans les journaux vizportal. Pour plus d'informations, consultez la rubrique Basculement du référentiel(Le lien s’ouvre dans une nouvelle fenêtre).

Étape 4 : Activer le module Module Data Management Add-on

(Module Data Management Add-on requis)

Si ce n'est pas déjà fait, vous pouvez activer le module Module Data Management Add-on. Pour plus d'informations, voir Licence du module Data Management Add-on.

Étape 5 (facultatif) : Désactiver les fonctionnalités Catalog pour chaque site

(Module Data Management Add-on requis)

Dans le cadre de l'activation de Module Data Management Add-on, les fonctionnalités Catalog sont activées par défaut. En raison du processus d'indexation et de son temps d'exécution estimé, envisagez de désactiver temporairement les fonctionnalités Catalog pour chaque site afin que les utilisateurs de Tableau Server ne puissent pas accéder aux fonctionnalités Catalog tant que Catalog n'est pas prêt et en mesure de fournir des résultats complets et précis.

  1. Connectez-vous à Tableau Online à l'aide de vos identifiants d'administrateur.

  2. Dans le panneau de navigation gauche, cliquez sur Paramètres.

  3. Dans l'onglet Général, sous Tableau Catalog, désélectionnez la case Activer Tableau Catalog .

  4. Répétez les étapes 2-3 pour chaque site sur Tableau Server.

Étape 6 : Exécuter la commande tsm maintenance metadata-services

Utilisez la commande tsm maintenance metadata-services pour activer l'API Tableau Metadata. L'exécution de la commande lance l'ingestion initiale. Si Tableau Server est sous licence avec le module Data Management Add-on, l'exécution de la commande active également les capacités Catalog (si elle n'a pas été désactivée plus tôt).

  1. Ouvrez une invite de commande en tant qu'administrateur sur le nœud initial (le nœud sur lequel TSM est installé) du cluster.

  2. Exécutez la commande tsm maintenance metadata-services enable

    Pour plus d'informations sur l'exécution de la commande tsm, reportez-vous à la rubrique tsm maintenance(Le lien s’ouvre dans une nouvelle fenêtre).

Remarques : lors de l'exécution de cette commande, gardez à l'esprit ce qui suit :

  • L'exécution de cette commande arrête et démarre certains services utilisés par Tableau Server, ce qui rend certaines fonctionnalités, telles que les recommandations, temporairement indisponibles pour vos utilisateurs.

  • Un nouvel index de métadonnées est alors créé. L'exécution de cette commande à tout moment ultérieur créera et remplacera l'index précédent.

Étape 7 : Surveiller l'avancement de l'ingestion initiale et valider son statut

L'exécution de la commande tsm ci-dessus lance le processus d'ingestion initiale. Pour vous assurer que le processus d’ingestion initiale se déroule correctement, vous pouvez surveiller son avancement à l’aide de l’API Backfill. Pour plus d’informations, consultez Obtenir l’état d’ingestion initiale.

Étape 8 : Configurer les paramètres SMTP

Si ce n'est pas déjà fait pour Tableau Server, configurez les paramètres SMTP. SMTP prend en charge l'envoi d'e-mails aux propriétaires qui ont besoin d'être contactés au sujet des modifications apportées aux données. Pour plus d'informations sur la configuration de SMTP, consultez Configurer les paramètres SMTP(Le lien s’ouvre dans une nouvelle fenêtre).

Étape 9 (facultatif) : Activer les fonctionnalités Catalog pour chaque site

(Module Data Management Add-on requis)

Si vous avez désactivé les fonctionnalités Catalog avant d'activer Catalog dans l'une des procédures ci-dessus, vous devez activer Catalog pour que ses fonctionnalités soient accessibles à vos utilisateurs.

  1. Connectez-vous à Tableau Online à l'aide de vos identifiants d'administrateur.

  2. Dans le panneau de navigation gauche, cliquez sur Paramètres.

  3. Dans l'onglet Général, sous Tableau Catalog, sélectionnez la case Activer Tableau Catalog .

  4. Répétez les étapes 2-3 pour chaque site sur Tableau Server.

Résolution des problèmes de Catalog

Vous-même ou vos utilisateurs pouvez rencontrer l'un des problèmes suivants lors de l'utilisation de Catalog.

Messages en cas de dépassement de limite de délai d'expiration et de limite de nœud

Pour éviter que les tâches Catalog susceptibles de renvoyer un grand nombre de résultats n'accaparent toutes les ressources système de Tableau Server, Catalog implémente à la fois des limites de délai d'expiration et de nombre de nœuds.

  • Limite de délai d'expiration

    Lorsque des tâches Catalog atteignent la limite de délai d'expiration, vous-même et vos utilisateurs voyez s’afficher le message suivant :

    « Affichage de résultats partiels, dépassement du délai de demande. Veuillez réessayer ultérieurement. » ou TIME_LIMIT_EXCEEDED

    Pour résoudre ce problème, en tant qu'administrateur de Tableau Server, vous pouvez augmenter la limite de délai d'expiration à l'aide de la commande tsm configuration set –k metadata.query.limits.time. Pour plus d'informations, reportez-vous aux rubriques Configuration tsm(Le lien s’ouvre dans une nouvelle fenêtre) et Options tsm configuration set(Le lien s’ouvre dans une nouvelle fenêtre) .

    Important : augmenter la limite de délai d'expiration peut solliciter davantage le processeur pendant plus longtemps, et donc avoir un impact sur les performances des autres processus Tableau Server.

  • Limite de nombre de nœuds

    Lorsque les tâches Catalog atteignent la limite de nombre de nœuds, vous-même et vos utilisateurs voyez s’afficher le message suivant :

    NODE_LIMIT_EXCEEDED

    Pour résoudre ce problème, en tant qu'administrateur de Tableau Server, vous pouvez augmenter la limite de nœuds à l'aide de la commande tsm configuration set –k metadata.query.limits.count. Pour plus d'informations, reportez-vous aux rubriques Configuration tsm(Le lien s’ouvre dans une nouvelle fenêtre) et Options tsm configuration set(Le lien s’ouvre dans une nouvelle fenêtre) .

    Important : l'augmentation du délai d'expiration peut affecter la mémoire système.

Contenu manquant

  • Si vous soupçonnez qu’après l’ingestion initiale, il manque un contenu dans Catalog, vous pouvez utiliser l’API Eventing pour résoudre les problèmes. Eventing gère l’indexation du contenu sur Tableau Server après l’ingestion initiale. Pour plus d’informations, consultez Obtenir l’état Eventing.

  • Lorsque la connexion entre une ressource externe intégré et son contenu Tableau en aval est supprimée, elle reste dans le catalogue (ou dans l'API Tableau Metadata) jusqu'à ce qu'elle soit automatiquement supprimée par un processus backgrounder qui s'exécute tous les jours à 22:00:00 UTC (heure universelle coordonnée) . Par exemple, supposons qu'un classeur, initialement publié avec un fichier texte incorporé A, soit republié avec un fichier texte incorporé B. Le fichier A reste visible (ou consultable) en tant que ressource externe jusqu'à ce que le processus backgrounder soit en mesure de le supprimer.

    Vous pouvez désactiver l'exécution de ce processus backgrounder si vous ne souhaitez pas supprimer ces types de ressources externes ou si vous pensez qu'il utilise des ressources système que vous ne souhaitez pas consacrer à ce processus. Vous pouvez également ajuster le nombre de ressources actives intégrées externes qui sont supprimés. Pour plus d’informations, consultez features.DeleteOrphanedEmbeddedDatabaseAsset et databaseservice.max_database_deletes_per_run.

    Vous pouvez surveiller ce processus de l'une des deux manières suivantes :

    • Filtrez le type de tâche Travail ponctuel Recanoniser les ressources de base de données/table existantes après une modification de la logique de canonisation dans la vue administrative Tâches d'arrière-plan pour les non-extraits.

    • Consultez la section Suppression terminée des bases de données intégrées orphelines ou des événements database_service_canonicalization_change dans les fichiers journaux Tableau Server.

Performances après ingestion initiale

Dans certains environnements Tableau Server où le contenu spécifique est mis à jour très fréquemment (par exemple, par le biais de programmations à haute fréquence ou de demandes de ligne de commande ou d’API), le processus d’indexation risque d’être saturé. Dans ces cas, en tant qu’administrateur de serveur, vous pouvez envisager d’activer la limitation des événements pour mieux préserver les performances de Catalog. Consultez metadata.ingestor.pipeline.throttleEventsEnable pour plus d'informations.

Remarque : lorsque la limitation d’événements est activée, les utilisateurs peuvent constater un délai intentionnel pour les modifications de contenu dans Catalog.

Erreurs de mémoire saturée

Dans certains cas, Tableau Server peut rencontrer des erreurs de mémoire à la suite de problèmes avec l’ingestion de contenu complexe. Si vous soupçonnez que l’ingestion est la cause des erreurs de mémoire sur votre Tableau Server, contactez l’assistance Tableau et voyez avec eux comment définir les metadata.ingestor.blocklist de manière à éviter l'ingestion. Le problème devrait être résolu.

Désactiver Tableau Catalog

En tant qu'administrateur De Serveur Tableau, vous pouvez désactiver Catalog de l'une des deux façons.

Désactiver les fonctionnalités Catalog pour chaque site

(Module Data Management Add-on requis)

Vous pouvez désactiver les fonctionnalités de Catalog à tout moment. Lorsqu'elles sont désactivés, les fonctionnalités Catalog (par exemple la possibilité d'ajouter des avertissements sur la qualité des données ou de gérer explicitement les autorisations pour les ressources de bases de données et de tables) ne sont pas accessibles via Tableau Server. Catalog continue toutefois d'indexer le contenu publié et les métadonnées sont accessibles depuis l'API Metadata de Tableau et les méthodes de métadonnées de l'API REST de Tableau.

  1. Connectez-vous à Tableau Server à l'aide de vos informations d'identification d'administrateur.

  2. Dans le panneau de navigation gauche, cliquez sur Paramètres.

  3. Dans l'onglet Général, sous Tableau Catalog, désélectionnez la case Activer Tableau Catalog .

Arrêter l'indexation des métadonnées sur Tableau Server

Pour arrêter l'indexation du contenu publié sur Tableau Server, vous pouvez désactiver l'API Tableau Metadata. Pour désactiver l'API Metadata, exécutez la commande tsm maintenance metadata-services disable. Pour plus d'informations, voir tsm maintenance(Le lien s’ouvre dans une nouvelle fenêtre).

Autres articles de cette section

Merci de vos commentaires !