Optimaliseren voor omgevingen met veel extract-query's
Dit onderwerp biedt richtlijnen voor het instellen van een specifieke Tableau Server-topologie en -configuraties om de prestaties in een omgeving met veel extract-query's te optimaliseren en te verbeteren.
Wat is een omgeving met veel extract-query's? Extracten en gefedereerde databronnen worden opgevraagd tijdens het laden van werkmappen, weergaven en dashboards, wat veel query-workload met zich meebrengt. Als u dus veel extracten en gefedereerde databronnen hebt, kunt u zeggen dat u een 'omgeving met veel extract-query's' hebt.
Als u een omgeving met veel extract-query's hebt, zoals hierboven gedefinieerd, kunt u aan de hand van de volgende paar secties bepalen of deze configuratie geschikt voor u is.
Wanneer deze configuratie gebruiken
Belangrijkste redenering achter deze configuratie: Hyper is de voor geheugen geoptimaliseerde Data Engine-technologie van Tableau die geschikt is voor snelle opname van data en analytische verwerking. Dit maakt het essentieel voor het optimaliseren van workloads met veel query's. Naarmate uw gebruik van extracten toeneemt, raden wij aan Data Engine te configureren op toegewezen knooppunten van het Tableau Server-cluster. Met deze configuratie kan Tableau Server de infrastructuur opschalen om de prestaties bij het opvragen van extracten te optimaliseren.
Er zijn verschillende factoren die de prestaties van Tableau Server beïnvloeden bij het bekijken van inhoud met behulp van extracten en gefedereerde databronnen. Het doel hier is om consistente en betrouwbare queryprestaties te bereiken bij het bekijken van inhoud op de server. Gebruik deze configuratie als een van de volgende voorwaarden op uw omgeving van toepassing is:
U ziet grote verschillen in de laadtijden van de werkmap en de werkmap maakt gebruik van extracten of gefedereerde databronnen.
Uw Tableau Server-implementatie groeit in het aantal Creators, Explorers, Viewers en op extracten gebaseerde inhoud, dus u wilt efficiënt kunnen opschalen.
- Er is sprake van bronconflicten tussen Data Engine en VizQL Server wanneer Bestandsarchief op de machine aanwezig is.
U analyseert grote hoeveelheden data. Deze configuratie helpt bij het optimaliseren van de prestaties in big data-scenario's, zowel bij het opnemen als analyseren van data. Zie Big data-analyse een hyper-boost geven met Tableau voor meer informatie over Tableau en big data.
Opmerking: Gebruik prestatieregistratie aan de serverzijde om de uitvoeringstijden van query's te bepalen. Gebruik Prestatiemonitor voor Windows-installaties en de tools sysstat of vmstat voor Linux-installaties om het resourcegebruik van Tableau te bepalen.
Voordelen van het gebruik van deze configuratie
Dit zijn de belangrijkste voordelen van het configureren van speciale knooppunten voor Data Engine:
Met speciale Data Engine-knooppunten wordt de resourceconflicten tussen extract-query's en andere resource-intensieve workloads, zoals die welke door VizQL Server worden verwerkt, verminderd.
- Extract-query's worden dynamisch in evenwicht gebracht op de toegewezen knooppunten, waarbij rekening wordt gehouden met de huidige status van het systeem. Zo wordt gegarandeerd dat geen enkel knooppunt over- of onderbenut wordt.
Consistentere prestaties in de gebruikerservaring bij het laden van extract-afhankelijke werkmappen. Hierbij ligt de nadruk op het realiseren van consistente en betrouwbare prestaties, niet zozeer op het verbeteren van individuele query's.
U hebt meer controle over het opschalen van Tableau Server-processen die meer bronnen nodig hebben. Als VizQL Server, Data Engine en Backgrounder allemaal op hetzelfde knooppunt draaien en trage extract-query's het probleem zijn, zal het moeilijk zijn om prestatieverbeteringen te zien door een tweede knooppunt met alle drie de processen toe te voegen. Met deze configuratie kunt u meer knooppunten toevoegen die specifiek de workloads voor extract-query's verbeteren.
Helpt de beschikbaarheid en uptime te verbeteren. Als er een storing optreedt en een van de speciale Data Engine-knooppunten niet beschikbaar is, probeert VizQL Server de openstaande verzoeken op het probleemknooppunt door te sturen naar andere speciale Data Engine-knooppunten.
Data Engine maakt gebruik van zoveel kernen als beschikbaar zijn op de machine. Hierdoor hebt u de flexibiliteit om meer bronnen toe te voegen aan de speciale Data Engine-knooppunten om de responstijd en de variabiliteit bij dure extract-query's te verminderen of om meer speciale Data Engine-knooppunten toe te voegen om de doorvoer van extract-query's op uw server te vergroten.
Data Engine heeft een standaardconfiguratie die het beperkt tot gemiddeld 75% van de CPU per uur. Dit is bedoeld om conflicten met andere Tableau Server-processen te voorkomen. Als u Data Engine op een speciaal knooppunt uitvoert, kunt u dit gemiddelde verhogen tot 95%. Zie hyper.srm_cpu_limit_percentage voor meer informatie over hoe y dit kunt doen.
Wanneer u deze configuratie niet moet gebruiken
Als u geen problemen ondervindt met de werklast van query's op basis van extracten, kunt u hardwarebronnen beter toewijzen aan andere delen van Tableau Server.
Op knooppunten waar Bestandsarchief, Data Engine en VizQL Server naast elkaar bestaan, is er geen sprake van resourceconflicten tussen Data Engine en VizQL Server.
Voordat u deze configuratie implementeert, raden wij u ten zeerste aan om uw CPU-gebruik te evalueren voor VizQL Server en voor het knooppunt waarop Data Engine is geïnstalleerd met het Bestandsarchief.
Configuratie
Het hoofddoel van deze configuratie is om Data Engine op een of meer speciale knooppunten te hebben.
Voor implementaties waarbij Bestandsarchief lokaal is geïnstalleerd, betekent dit dat Bestandsarchief op een of meer speciale knooppunten moet worden geconfigureerd. Data Engine wordt automatisch op hetzelfde knooppunt geïnstalleerd als het Bestandsarchief.
Voor implementaties waarbij u Extern bestandsarchief configureert, kunt u Data Engine nog steeds configureren op speciale knooppunten op Tableau Server.
Door de VizQL Server- en Bestandsarchief-processen te scheiden, kan de belasting tussen het opvragen van extracten en het bekijken of gebruiken van weergaven worden verdeeld en beter worden beheerd. Deze configuratie is gericht op consistente prestaties bij het opvragen van extracten.
Hieronder ziet u een visuele weergave van de configuratie waarin de Data Engine/Bestandsarchief-processen twee speciale knooppunten hebben, knooppunt 5 en 6. Dit is een voorbeeld waarbij Bestandsarchief lokaal is geconfigureerd. Daarom zijn de Data Engine- en Bestandsarchief-processen op dezelfde locatie ondergebracht.
Dezelfde configuratie werkt voor implementaties met Extern bestandsarchief, maar in dat geval is voor kooppunt 5 en 6 alleen Data Engine geconfigureerd.
Bovendien beschikt knooppunt 1 ook over de Opslagplaats- en Bestandsarchief-processen. Hierdoor bevinden alle data die nodig zijn om een back-up uit te voeren zich op knooppunt 1, wat de back-upprestaties kan verbeteren.
Richtlijnen voor hardware
Om het maximale uit deze configuratie te halen, moet u experimenteren met verschillende hardwareformaten en -configuraties om te bepalen welke het beste past bij uw doelstellingen voor piekbelastingprestaties. Hyper is een databasetechnologie met hoge prestaties. De belangrijkste bronnen die de prestaties beïnvloeden, zijn geheugen, kernen en opslag I/O. Als u begrijpt hoe Hyper bronnen gebruikt om query's te verwerken, bent u beter in staat om hardware te selecteren en de redenering achter verschillende configuraties te begrijpen.
Geheugen: Wanneer een op extracten gebaseerde query wordt verwerkt voor een gebruiker of achtergrondproces, selecteert Tableau Server een speciaal Data Engine-knooppunt om de query te verwerken. Dat speciale Data Engine-knooppunt kopieert vervolgens het extract van de lokale opslag, meestal de harde schijf van de server, naar het geheugen. Als er meer systeemgeheugen beschikbaar is, kan het besturingssysteem het geheugengebruik voor Tableau beter beheren. Speciale Data Engine-knooppunten gebruiken systeemgeheugen om de resultaten van uitgevoerde query's op te slaan. Als de resultaten nog geldig zijn en het besturingssysteem deze niet uit het geheugen heeft gewist, kunnen de resultaten in het geheugen opnieuw worden gebruikt.
De minimale hardware-aanbeveling voor Tableau Server is 32 GB geheugen, maar als u een groot volume aan op extracten gebaseerde werkmapbelastingen verwacht, kunt u het beste 64 GB of 128 GB overwegen. Als u naast geheugen (zoals kernen) ook andere resourcelimieten bereikt, is het wellicht beter om in plaats van op te schalen naar 128 GB geheugen, uit te breiden naar een extra, speciaal Data Engine-knooppunt van 64 GB.
Het kopiëren van het extract van de lokale opslag naar het geheugen kan enige tijd duren en het kan nodig zijn de schijfprestaties te optimaliseren. Het optimaliseren van schijfprestaties wordt behandeld in de sectie Opslag I/O.
Kernen: Bij het verwerken van een op extracten gebaseerde query is het aantal kernen een belangrijke hardwarebron die van invloed kan zijn op de prestaties en schaalbaarheid. CPU-kernen zijn verantwoordelijk voor het uitvoeren van een query. Hoe meer kernen beschikbaar zijn, hoe sneller de uitvoeringstijd. Over het algemeen geldt dat het verdubbelen van het aantal kernen de uitvoeringstijd van query's halveert. Bijvoorbeeld, een query van 10 seconden die momenteel 4 fysieke kernen of 8 vCPU's gebruikt, duurt 5 seconden als u upgradet naar 8 fysieke kernen of 16 vCPU's.
De huidige minimale hardware-aanbeveling voor Tableau Server is 8 kernen, maar als uw implementatie extracten gebruikt, kunt u machines met 16 of 32 kernen overwegen. Belangrijk om te weten is dat, als geheugen en I/O uw knelpunten zijn, het verhogen van het aantal beschikbare kernen uw queryprestaties niet zal verbeteren.
- Opslag I/O: Hyper is ontworpen om de beschikbare prestaties van uw extract-opslagapparaat te benutten om de verwerking van query's te versnellen. Wij raden aan om snelle schijfopslag te kiezen, zoals Solid State Drives (SSD's) met hoge lees-/schrijfsnelheden. SSD's die gebruikmaken van het NVMe-opslagprotocol bieden momenteel de hoogst beschikbare snelheden.
Opmerking: Het aanpassen van de grootte van resources voor speciale Data Engine-knooppunten heeft alleen invloed op de prestaties van de extract-query. Bij het laden van een werkmap zijn veel andere processen betrokken die de totale laadtijd van VizQL bepalen. Het VizQL Server-proces is bijvoorbeeld verantwoordelijk voor het ophalen van de data uit de Data Engine en het renderen van de visualisatie.
Andere verbeteringen en optimalisaties van prestaties:
Naast de hierboven beschreven basisconfiguratie kunt u nog meer functies gebruiken om de prestaties te optimaliseren. De hieronder beschreven optimalisaties zijn van toepassing op zowel lokale Bestandsarchief- als Externe bestandsarchief-implementaties.
Loadbalance uitvoeren voor extract-query's: Om te bepalen waar de extract-query naartoe moet worden geleid, gebruikt Data Engine een serverstatusstatistiek: de hoeveelheid bronnen die Data Engine verbruikt en de belasting van andere Tableau-processen die mogelijk op hetzelfde knooppunt worden uitgevoerd. Naast het evalueren van de systeembronnen wordt ook gekeken of er al een extract in het geheugen van het knooppunt aanwezig is. Zo wordt ervoor gezorgd dat een extract-query wordt verzonden naar het knooppunt met de meeste beschikbare bronnen om de query te verwerken. Dit resulteert in efficiënter geheugen- en schijfgebruik en extracten worden niet gedupliceerd in het geheugen op verschillende knooppunten. Zie het hulpartikel Loadbalance uitvoeren voor extractquery's voor meer informatie.
De functie Loadbalance uitvoeren voor extract-query's is standaard ingeschakeld in Tableau Server-versie 2020.2 en hoger.
Workloadoptimalisaties met behulp van knooppuntrollen: Met de knooppuntrollen Backgrounder en Bestandsarchief hebben serverbeheerders meer flexibiliteit en controle over welke knooppunten moeten worden toegewezen voor het uitvoeren van extract-query's en extractvernieuwingen. Zoals vermeld in het bovenstaande topologiediagram, zijn bepaalde Data Engine-knooppunten speciaal bedoeld voor het verwerken van extract-query's en voeren ze alleen de Bestandsarchief- en Data Engine-processen uit. Knooppuntrollen zijn beschikbaar met Advanced Management. Zie Workloadbeheer via knooppuntrollen voor meer informatie over knooppuntrollen.
In het onderstaande diagram wordt dezelfde topologie gebruikt als in de hierboven beschreven basisconfiguratie, maar dan met de knooppuntrollen.
Extractvernieuwingen Backgrounder-knooppuntrol: Door knooppunt 3 in te stellen op de knooppuntrol extractvernieuwingen Backgrounder, worden alleen incrementele vernieuwingen, volledige vernieuwingen en encryptie-/decryptietaken op dit knooppunt uitgevoerd. Door knooppunt 4 in te stellen op de knooppuntrol geen-extractvernieuwingen Backgrounder, worden alle achtergrondtaken, behalve extractvernieuwingen, op dit knooppunt uitgevoerd. Data Server en Gateway ondersteunen de extractvernieuwingstaken bij gebruik van gefedereerde en schaduwextracten. Zie Bestandsarchief-knooppuntrollen voor meer informatie over Backgrounder-knooppuntrollen.
Bovendien beschikt knooppunt 1 ook over de Opslagplaats- en Bestandsarchief-processen. Hierdoor bevinden alle data die nodig zijn om een back-up uit te voeren zich op knooppunt 1, wat de back-upprestaties kan verbeteren.
De Backgrounder-knooppuntrollen zijn beschikbaar met Advanced Management in Tableau Server-versie 2019.3 en hoger.
- Extract-query's Bestandsarchief-knooppuntrol: Knooppunt 5 en 6 zijn de speciale Data Engine-knooppunten en hebben de knooppuntrol extract-query's Bestandsarchief om ervoor te zorgen dat ze alleen query's verwerken voor bijvoorbeeld visualisaties, abonnementen en datagestuurde meldingen.
Extract-query's interactieve Bestandsarchief-knooppuntrol: Voor speciale Data Engine-knooppunten met de knooppuntrol extract-query's Bestandsarchief kunnen serverbeheerders de interactieve en geplande workloads verder isoleren om op specifieke speciale Data Engine-knooppunten uitgevoerd te worden. Dit is handig als er veel gebruikers zijn die met elkaar communiceren en werkmappen laden tijdens abonnementsperioden met een hoog volume. Stel dat er bijvoorbeeld 1000 abonnementen gepland staan voor maandagmorgen 8:00 uur. Tegelijkertijd laden veel gebruikers aan het begin van de dag ook dashboards. Het gecombineerde volume van abonnementen- en gebruikersquery's kan ertoe leiden dat gebruikers te maken krijgen met langere, meer variabele laadtijden voor werkmappen. Met de knooppuntrol extract-query's interactief Bestandsarchief kunt u speciale Data Engine-knooppunten aanwijzen die alleen query's accepteren voor interactieve gebruikers (degenen die naar hun scherm kijken en wachten). Deze speciale Data Engine-knooppunten, die prioriteit krijgen voor interactieve workloads, worden beschermd tegen het grote volume aan concurrerende abonnementstaken en bieden consistentere querytijden. Bovendien kunnen serverbeheerders deze knooppuntrol gebruiken om beter te plannen voor groei, omdat ze onafhankelijk van elkaar speciale Data Engine-knooppunten kunnen toevoegen voor interactieve en geplande workloads. Zie Bestandsarchief-knooppuntrollen voor meer informatie.
De Bestandsarchief-knooppuntrollen zijn beschikbaar met Advanced Management in Tableau Server-versie 2020.4 en hoger.
Optimalisaties met behulp van Extern bestandsarchief: Met deze functie kunt u een netwerkshare gebruiken als opslag voor Bestandsarchief in plaats van de lokale schijf op een Tableau Server-knooppunt. Door de opslag op een centrale locatie te plaatsen, kunt u de hoeveelheid netwerkverkeer die nodig is voor het repliceren van data tussen de Bestandsarchief-knooppunten aanzienlijk verminderen. Als Bestandsarchief bijvoorbeeld een lokale schijf gebruikt en een extract van 1 GB wordt vernieuwd met behulp van het lokale Bestandsarchief, worden de 1 GB aan data via het netwerk gerepliceerd naar alle knooppunten waarop het Bestandsarchief-proces wordt uitgevoerd. Als Tableau Server is geconfigureerd met Extern bestandsarchief, hoeft het extract van 1 GB slechts één keer naar de netwerkshare te worden gekopieerd en hebben alle Bestandsarchief-knooppunten toegang tot die ene kopie. Door de centralisatie van de opslag wordt ook de totale hoeveelheid lokale opslag verminderd die nodig is op Bestandsarchief-knooppunten.
Bovendien maken back-ups van Tableau Server gebruik van snapshottechnologie, waardoor de tijd die nodig is om een back-up te maken, aanzienlijk wordt verkort.
Hoewel u geen speciale Data Engine-knooppuntconfiguratie nodig hebt om te profiteren van de voordelen van Extern bestandsarchief, kunnen de extra functies voor workloadbeheer met de Bestandsarchief-knooppuntrol en de extract-query interactieve knooppuntrol samen worden gebruikt. Zie het onderwerp Extern bestandsarchief Tableau Server voor meer details.
Extern Bestandsarchief is beschikbaar met Advanced Management in Tableau Server-versie 2020.1 en hoger.