Tableau Server 資料引擎

Hyper 是 Tableau 的記憶體中資料引擎技術,已針對大資料集或複雜資料集的快速資料攝取和分析查詢處理進行優化。Hyper 為 Tableau Server、Tableau Desktop、Tableau Cloud 和 Tableau Public 中的資料引擎提供支援。建立、重新整理或查詢擷取時使用資料引擎。它也用於跨資料庫聯接以支援具有多個連線的聯合資料來源。

處理序

Data Engine

狀態可在「狀態」頁面上查看 Data Engine 處理序的狀態。有關詳情,請參閱檢視伺服器處理序狀態
記錄 Data Engine 處理序產生的記錄位於 /var/opt/tableau/tableau_server/data/tabsvc/logs/hyper 中。如需詳細資訊,請參閱Tableau Server 記錄檔和記錄檔位置

記憶體和 CPU 使用率

資料引擎旨在利用電腦上所有可用的 CPU 和記憶體資源來提供最短的回應時間。

CPU 使用率

Hyper 技術利用 CPU 中的新指令集,並能夠實現並行化和擴展到所有可用內核。 Hyper 技術旨在有效地擴充至多個核心,並盡可能充分利用單一核心。這意味著預計在查詢處理期間對總 CPU 的使用率每小時平均高達 75%。新增更多 CPU 應該會提高效能。

附註:每小時平均使用率 75% 是預設值,除非在專用伺服器節點上執行資料引擎,否則應保持不變。有關在專用節點上執行資料引擎的更多資訊,請參閱對擷取查詢密集型環境進行最佳化

現代作業系統(如 Microsoft Windows、Apple macOS 和 Linux)採用多種機制來確保即使 CPU 已完全使用,傳入和其他活動處理序也可以同時執行。此外,為了管理總體資源消耗,並為了防止超載和完全耗盡電腦上執行的其他處理序的資源,資料引擎將會監視自身,以便不超過 Tableau Server 資源管理器 (SRM) 中所設定的限制。Tableau Server 資源管理器將監視資源消耗,並在資料引擎超出預定義 的限制時通知其減少使用量。

由於資料引擎旨在利用可用的 CPU,因此有時發現 CPU 使用率峰值也是正常的。但是,如果 CPU 使用率長時間(一小時或更長時間)較高(例如:95%),則可能意味著存在以下一些情況:

  • 查詢負載高。如果伺服器由於多個用戶端請求超載而面臨壓力,並且查詢正在排隊,則可能會出現這種情況。如果經常出現這種情況,則表示需要使用更多的硬體來為用戶端提供服務。在這種情況下,新增更多 CPU 應該有助於提高效能。

  • 有一個長時間執行的查詢。在這種情況下,Tableau Server 資源管理器將根據超時設定停止長時間執行的查詢。對於版本 10.5 之前的 Tableau Server 版本,情況也是如此。

有關 Tableau Server 資源管理器的詳細資料,請參閱一般效能指導方針

記憶體使用情況

資料引擎的記憶體使用情況取決於回答查詢所需的資料量。資料引擎將先嘗試在記憶體中執行查詢。系統會指派工作集記憶體以在查詢處理期間存儲中間資料結構。在大多數情況下,系統具有足夠的記憶體來執行這些類型的處理,但是如果沒有足夠的可用記憶體,或者如果 RAM 的利用率超過 80%,則資料引擎將透過暫時寫入磁碟轉變為周邊同作狀態。查詢得到答覆後,暫存檔案將刪除。因此,後臺處理表明可能需要更多記憶體。應該適當監視和升級記憶體使用量,以避免因周邊同作造成的效能問題。

為了管理電腦上的記憶體資源,Tableau Server 資源管理器 (SRM) 會設定資料引擎的最大記憶體限制。

伺服器設定、可擴展性和效能

  • 在 Tableau Server 上,每個已安裝檔案存放區、Application Server (VizPortal)、VizQLServer、Data Server 或背景程式等執行個體的節點,都會自動安裝單一資料引擎執行個體。資料引擎可以自行擴展,並根據需要使用盡可能多的 CPU 和記憶體,因此不需要多個資料引擎執行個體。有關伺服器處理序的詳細資料,請參閱Tableau Server 處理序

  • 在安裝檔案存放區的節點上安裝的資料引擎執行個體用於查詢檢視請求的資料。在安裝背景程式的節點上安裝的資料引擎執行個體用於建立和重新整理擷取。在進行效能調整時,這是一個重要的考慮因素。有關詳情,請參閱效能調整

  • Data Server、VizQL Server 和應用程式伺服器 (VizPortal) 都使用資料引擎的本機執行個體,來執行跨資料庫聯接並建立陰影擷取。僅當您使用基於非傳統 Excel 檔案、文字檔或統計檔案的工作簿時,才會建立陰影擷取檔案。Tableau 會建立陰影擷取檔以便更快地載入資料。

  • 在 Tableau Server 10.5 中,安裝背景程式時會自動安裝資料引擎的一個執行個體。背景程式處理序使用安裝在同一節點上的資料引擎 (hyperd.exe) 的單個執行個體。

重要資訊!資料引擎安裝的節點與檔案存放區的節點相同時,會有例外情況。檔案存放區設定為 Tableau Server 外部時,資料引擎就不會再隨檔案存放區安裝。在此組態中,Tableau Server 設定為和外部檔案存放區在一起,因此資料引擎將繼續與其他程序一起安裝,如上所述。此外,您也可以在節點上設定不含其他程序的資料引擎,但是此情況僅適用於檔案存放區設定為外部時。有關外部檔案存放區的詳情,請參閱 Tableau Server 外部檔案存放區

可擴展性:

您可以使用新資料引擎進行擴展:由於內核得到充分利用,因此新增更多內核可以使單個查詢執行得更快,而這可以在更短時間內執行更多查詢。

應該適當監視和升級記憶體使用量,以避免因周邊同作造成的效能問題。

有關可擴展性的詳細資料,請參閱 Tableau Server 可擴展性

效能:

效能優點

從 10.5 開始,Hyper 技術已與 Tableau Data Engine 集成,為您帶來了以下主要優點:

  • 更快的擷取建立速度:借助 Hyper 技術,組建擷取的速度幾乎與源系統提供資料的速度不相上下,無需進行排序。

  • 支援更大的擷取:在此版本之前,您可能無法將所有資料放入一個擷取中。利用 Hyper 技術,將能在單一擷取中包括更大量的資料。

  • 擷取分析速度更快:在許多情況下,您會發現針對更大擷取或包含複雜計算的工作簿的資料查詢變得更快。

以下是為什麼由 Hyper 提供支援的資料引擎在更大或更複雜的擷取上效能更出色並進行優化以便更快查詢的一些原因:

  • Hyper 技術旨在更快地使用資料。與以前的版本不同,資料引擎不執行任何後處理,如排序。使用 Hyper,不需要像排序這樣的後處理步驟,從而使資料引擎能夠更好地執行更大的擷取。

  • Hyper 技術優化了記憶體。這意味著在需要的時候,所有資料都會在記憶體中。這導致資料存取時間更短。

  • Hyper 技術優化了 CPU。這意味著資料引擎現在可以完全並存執行查詢並利用可用的 CPU,從而使查詢執行時間幾乎與電腦內核數量成線性比例關係。

  • Hyper 是一個編譯查詢引擎。查詢被解釋或編譯為機器代碼以獲得最佳效能,並允許資料引擎從現代硬體(CPU、大型主記憶體容量)中獲得最高效能。

  • Hyper 技術使用進階查詢優化來加快查詢速度。與以前的 Tableau Data Engine 相比,新資料引擎除了採用許多其他進階技術之外,例如實現每列的最小值和最大值、用於優化搜尋範圍的迷你索引、更精細的資料塊級字典、用於聯接和子查詢效能優化的進階邏輯,還大大改進了效能和可伸縮性。

有關效能的詳細資料,請先參閱一般效能指導方針,並參閱效能調整

感謝您的意見反應!已成功提交您的意見回饋。謝謝!