Processador de dados do Tableau Server
O Hyper é a tecnologia de Processador de dados na memória do Tableau, otimizada para a inserção rápida de dados e o processamento de consultas analíticas em conjuntos de dados grandes ou complexos. O Hyper capacita o processador de dados do Tableau Server, do Tableau Desktop, do Tableau Cloud e do Tableau Public. O Processador de dados é usado ao criar, atualizar ou consultar extrações. Também é usado para uniões entre bancos de dados para suportar fontes de dados federadas com vária conexões.
| Processo | |
| Status | O status do processo de |
| Registros | Os logs gerados pelo processo do |
Utilização de memória e CPU
O Processador de dados foi projetado para potencializar a CPU e memória disponíveis na máquina para fornecer tempos de resposta mais rápidos.
Utilização da CPU
A tecnologia Hyper potencializa os novos conjuntos de instruções na CPU e é capaz de paralelizar e escalar para todos os núcleos disponíveis. A tecnologia Hyper é projetada para escalar a vários núcleos de forma eficiente, bem como maximizar o uso de cada núcleo único o máximo possível. Isso significa que você pode esperar ver até uma média de 75% de uso da CPU total por hora durante o processamento da consulta. Adicionar mais CPU deve resultar em melhoria no desempenho.
Observação: o uso médio por hora de 75% é o padrão e deve permanecer inalterado, a menos que você esteja executando o Mecanismo de dados em um nó de servidor dedicado. Para obter mais informações sobre como executar o Mecanismo de dados em um nó dedicado, consulte Otimizar para ambientes - com muitas consultas de extração.
Os sistemas operacionais modernos, como o Microsoft Windows, o Apple macOS e o Linux, têm mecanismos para garantir que, mesmo que a CPU seja completamente usada, os processos de entrada e outros processos ativos possam ser executados simultaneamente. Além disso, para gerenciar o consumo geral de recursos e evitar sobrecarga e o completo descaso com outros processos em execução na máquina, o Processador de dados monitora a si mesmo para permanecer dentro dos limites estabelecidos pelo Gerenciador de recursos do Tableau Server (SRM). O Gerenciador de recursos do Tableau Server monitora o consumo de recursos e notifica o Processador de dados para reduzir o uso quando ele excede o limite predefinido.
Como o Processador de dados foi projetado para utilizar a CPU disponível, é normal ver picos de utilização da CPU ocasionalmente. Porém, se você vir uma alta utilização da CPU (por exemplo, 95%) por períodos prolongados (uma hora ou mais), isso pode significar o seguinte:
Há uma grande carga de consultas. Isso pode acontecer quando um servidor estiver sob estresse, devido a uma sobrecarga de solicitações do cliente e enfileiramento de consultas. Se isso ocorrer com frequência, é uma indicação de que é necessário mais hardware para atender os clientes. Neste caso, adicionar mais CPU deve ajudar a melhorar o desempenho.
Há uma consulta de longa execução. Neste caso, o Gerenciador de recursos do Tableau Server interromperá as consultas de longa execução com base nas configurações de tempo limite. Isso também é verdadeiro para as versões do Tableau Server anteriores à 10.5.
Para obter mais informações Gerenciador de recursos do Tableau, consulte Diretrizes gerais de desempenho.
Uso de memória
A utilização de memória do Processador de dados depende da quantidade de dados necessários para responder à consulta. O Processador de dados tentará executar primeiro na memória. Uma memória em funcionamento é alocada para armazenar uma estrutura de dados intermediária durante o processamento de consultas. Na maioria dos casos, os sistemas têm memória suficiente para fazer esses tipos de processamento, mas se não houver, ou se mais de 80% de RAM estiver sendo utilizada, o processador de dados alterna para o modo de transferência, gravando temporariamente no disco. O arquivo temporário é excluído depois que a consulta é respondida. A transferência, portanto, é uma indicação de que mais memória pode ser necessária. A utilização de memória deve ser monitorada e atualizada de acordo para evitar problemas de desempenho causados por transferências.
Para gerenciar os recursos de memória na máquina, o limite máximo de memória do Processador de dados é definido pelo Gerenciador de recursos do Tableau Server (SRM).
Configuração do servidor, Escalabilidade e Desempenho
Uma única instância do Processador de dados é instalada automaticamente de acordo com o nó em que uma instância do Armazenamento de arquivos, do Servidor de aplicativos (VizPortal), do VizQLServer, do Servidor de dados ou do Processador em segundo plano está instalada no Tableau Server. O Processador de dados pode dimensionar por conta própria e usa a quantidade necessária de CPU e de memória, removendo a necessidade de várias instâncias do Processador de dados. Para obter mais informações sobre os processos de servidor, consulte Processos do Tableau Server.
A instância do Processador de dados instalada no nó, onde o armazenamento de arquivos está instalado, é usada para consultas de dados das solicitações de exibição. A instância do Processador de dados instalada no nó, onde o processador em segundo plano está instalado, é usada para a criação e atualizações de extrações. Esta é uma consideração importante ao realizar o ajuste de desempenho. Para obter mais informações, consulte Ajuste de desempenho.
O servidor de dados, o VizQL Server e o servidor de aplicativos (VizPortal) usam a instância local do processador de dados para realizar uniões entre bancos de dados e criar extrações de sombra. Os arquivos de extração de sombra são criados apenas ao trabalhar com pastas de trabalho baseadas em arquivos não herdados do Excel ou de texto, ou arquivos de estatística. O Tableau cria um arquivo de extração de sombra para carregar os dados mais rapidamente.
No Tableau Server 10.5, uma instância do Processador de dados é instalada automaticamente ao instalar o processador em segundo plano. O processo do processador em segundo plano usa a instância única do Processador de dados (hyperd.exe) instalada no mesmo nó.
Importante! Há exceções para quando o Processador de dados é instalado no mesmo nó que o Armazenamento de arquivos. Quando o Armazenamento de arquivos é configurado fora do Tableau Server, o Processador de dados deixa de ser instalado com o Armazenamento de arquivos. Nesta configuração em que o Tableau Server é configurado com um Armazenamento de arquivos externo, o Processador de dados continuará a ser instalado com o outro processo, como observado acima. Além disso, você também pode configurar o Processador de dados em um nó sem outros processos, mas somente quando o Armazenamento de arquivos é configurado externamente. Para obter mais informações sobre o Armazenamento de arquivos externo, consulte Armazenamento de arquivos externo do Tableau Server.
Escalabilidade:
É possível escalar verticalmente com o novo processador de dados: como os núcleos são totalmente utilizados, adicionar mais núcleos faz com que as consultas individuais executem mais rápido, o que permite a execução de mais consultas em menos tempo.
A utilização de memória deve ser monitorada e atualizada de acordo para evitar problemas de desempenho causados por transferências.
Para obter mais informações sobre escalabilidade, consulte Escalabilidade do Tableau Server.
Desempenho:
Benefícios de desempenho
A partir da versão 10.5, a tecnologia Hyper foi integrada ao Processador de dados do Tableau para oferecer os seguintes benefícios principais:
Criação de extrações mais rápida: com a tecnologia Hyper, as extrações são geradas quase tão rápido quanto o sistema fonte é capaz de fornecer dados, sem a necessidade de classificação.
Suporte para extrações maiores: antes dessa versão, não era possível reunir todos os seus dados em uma única extração. Com a tecnologia Hyper, quantidades muito maiores de dados podem ser incluídas em uma única extração.
Análise mais rápida das extrações: em muitos casos, pode-se perceber uma consulta mais rápida dos dados para extrações maiores ou pastas de trabalho com cálculos complexos.
Estes são alguns motivos pelos quais o Processador de dados fornecido pelo Hyper apresenta um desempenho melhor com extrações maiores ou complexas e é otimizado para consultas mais rápidas:
A tecnologia Hyper é projetada para consumir dados de forma mais rápida. Ao contrário das versões anteriores, o Processador de dados não realiza nenhum pós-processamento, como classificação. Com o Hyper, as etapas de pós-processamento, como classificação, não são necessárias, pois o Processador de dados tem um desempenho melhor com extrações maiores.
A tecnologia Hyper é otimizada para a memória. Isso significa que, quando necessário, todos os dados ficam na memória. Isso resulta em tempos mais rápidos de acesso aos dados.
A tecnologia Hyper é otimizada para a CPU. Isso significa que o Processador de dados agora paraleliza completamente a execução da consulta e utiliza a CPU disponível para que o tempo de execução da consulta seja escalado de forma quase linear ao número de núcleos da máquina.
O Hyper é um mecanismo de consulta de compilação. As consultas são interpretadas ou compiladas em código da máquina para obter o máximo desempenho e para permitir que o processador de dados obtenha o maior desempenho do hardware moderno (CPU, grandes capacidades de memória principal).
A tecnologia Hyper usa otimizações de consulta avançada para tornar as consultas mais rápidas. O novo Processador de dados oferece muitas melhorias em relação ao anterior do Tableau, em termos de desempenho e escalabilidade, juntamente com várias técnicas avançadas adicionais, como a materialização de valores mínimos e máximos para cada coluna, os mini índices para otimizar os intervalos de pesquisa, os dicionários de dados mais granulares a nível de bloco, a lógica avançada para uniões e otimizações de desempenho para subconsulta.
Para obter mais informações sobre o desempenho, consulte Diretrizes gerais de desempenho e Ajuste de desempenho