適用於 Azure HDInsight 叢集的 Log Analytics 移轉指南
Azure HDInsight 是符合企業需求的受控叢集服務。 此服務會在 Azure 上執行開放原始碼分析架構，例如 Apache Spark、Hadoop、HBase 和 Kafka。 Azure HDInsight 已與其他 Azure 服務整合，讓客戶能夠更妥善地管理其巨量資料分析應用程式。
Log Analytics 提供一項 Azure 入口網站中的工具，可編輯和執行記錄查詢。 查詢是來自 Azure 監視器記錄所收集的資料，並以互動方式分析其結果。 客戶可以使用 Log Analytics 查詢來擷取符合特定準則的記錄。 他們也可以使用查詢來識別趨勢、分析模式，以及提供其資料的深入解析。
Azure HDInsight 已在 2017 年與 Log Analytics 整合。 HDInsight 客戶快速採用這項功能來監視其 HDInsight 叢集，並查詢叢集中的記錄。 雖然已大幅採用這項功能，但客戶提供了有關整合的意見反應：
- 客戶無法決定要儲存的記錄，而儲存所有記錄可能會變得很昂貴。
- 目前的 HDInsight 結構描述記錄不會遵循一致的命名慣例，因此有些資料表會重複。
- 客戶想要立即可用的儀表板，輕鬆地監視其 HDInsight 叢集的 KPI。
- 客戶必須跳到 Log Analytics 來執行簡單的查詢。
解決方案概觀
考慮客戶意見反應，Azure HDInsight 小組已投資於 Azure 監視器整合。 此整合可以：
- 客戶 Log Analytics 工作區中一組新的資料表。 新的資料表會透過新的 Log Analytics 管線來傳遞。
- 更高的可靠性
- 更快速的記錄傳遞
- 以資源為基礎的資料表群組和預設查詢
注意
新的 Azure Montitor 整合在 HDInsight 可供使用的所有區域中處於公開預覽狀態。
新 Azure 監視器整合的優點
本文件概述 Azure 監視器整合的變更，並提供使用新資料表的最佳做法。
重新設計的結構描述：新 Azure 監視器整合的結構描述格式更妥善且易於了解。 盡可能移除舊版結構描述中模棱兩可的結構描述少於兩分之三。
選擇性記錄：Log Analytics 有記錄和計量可供使用。 為了協助您節省監視成本，我們將發行新的選擇性記錄功能。 使用這項功能來開啟和關閉不同的記錄和計量來源。 使用這項功能時，您只需要支付您所使用的內容。 如需詳細資訊，請參閱選擇性記錄
記錄叢集入口網站整合：[記錄] 窗格是 HDInsight 叢集入口網站的新功能。 具有叢集存取權的任何人員都可以移至此窗格，以查詢接收叢集資源所傳送記錄的任何資料表。 使用者在查看特定叢集資源的記錄時，不再需要存取 Log Analytics 工作區。
Insights 叢集入口網站整合：[Insights] 窗格也是 HDInsight 叢集入口網站的新功能。 啟用新的 Azure 監視器整合之後，您可以選取 [Insights] 窗格，然後叢集類型特定的立即可用記錄和計量儀表板將會自動為您填入。 我們已從先前的 Azure 解決方案中翻新這些儀表板。 其可讓您深入解析叢集的效能和健康情況。
客戶案例
下列各節說明客戶如何在不同案例中使用新的 Azure 監視器整合。 啟動新的 Azure 監視器整合一節概述如何啟動及使用新的 Azure 監視器整合。 從 Azure 監視器傳統移轉至新的 Azure 監視器整合一節包含相依於舊版 Azure 監視器整合使用者的其他資訊。
注意
只有 2020 年 9 月底以後建立的叢集符合新 Azure 監視整合的資格。
啟動新的 Azure 監視器整合
注意
您必須先在訂用帳戶中建立 Log Analytics 工作區，才能啟用新的整合。 如需如何建立 Log Analytics 工作區的詳細資訊，請參閱在 Azure 入口網站中建立 Log Analytics 工作區。
移至叢集的入口網站頁面並向下捲動左側功能表，直到您到達 [監視] 區段，即可啟用新的整合。 在 [監視] 區段中，選取 [監視整合]。 然後，選取 [啟用]，並選擇要接收您所要傳送記錄的 Log Analytics 工作區。 選擇工作區之後，選取 [儲存]。
存取新的資料表
有兩種方式可以存取新的資料表。
方法 1：
存取新資料表的第一種方式是透過 Log Analytics 工作區。
- 移至您在啟用整合時選取的 Log Analytics 工作區。
- 在畫面左側的功能表中向下捲動，然後選取 [記錄]。 記錄查詢編輯器會快顯工作區中所有資料表的清單。
- 如果資料表是依 [解決方案] 分組，則新的 HDI 資料表位於 [記錄管理] 區段底下。
- 如果您是依 [資源類型] 將資料表分組，則資料表位於 [HDInsight 叢集] 區段下，如下圖所示。
注意
此程序描述在舊整合中存取記錄的方式。 這需要使用者能夠存取工作區。
方法 2：
存取新資料表的第二種方式是透過叢集入口網站存取。
- 瀏覽至叢集的入口網站頁面，然後向下捲動左側的功能表，直到您看到 [監視] 區段為止。 在本節中，您會看到 [記錄] 窗格。
- 選取 [記錄]，隨即出現 [記錄] 查詢編輯器。 編輯器包含與叢集資源相關聯的所有記錄。 當您啟用整合時，會將記錄傳送至 Log Analytics 工作區。 這些記錄會提供資源型存取 (RBAC)。 使用 RBAC 時，可存取叢集但無法存取工作區的使用者，可以看到與叢集相關聯的記錄。
如需比較，下列螢幕擷取畫面會顯示舊版整合工作區檢視和新的整合工作區檢視：
舊版整合工作區檢視
新版整合工作區檢視
使用新資料表
這些整合可協助您使用新的資料表：
要與新資料表搭配使用的預設查詢
在記錄查詢編輯器中，將切換為資料表清單上方的 [查詢]。 請確定您依 [資源類型] 將查詢分組，而且沒有針對 [HDInsight 叢集] 以外資源類型設定的篩選。 下圖顯示依 [資源類型] 分組並篩選 [HDInsight 叢集] 時的結果外觀。 只要選取一個，其隨即出現在記錄查詢編輯器中。 請務必閱讀查詢中包含的註解，因為有些註解需要您輸入一些資訊，例如叢集名稱，以便順利執行查詢。
建立您自己的查詢
您可以在記錄查詢編輯器中輸入自己的查詢。 舊資料表上使用的查詢在新的資料表上無效，因為許多新資料表中都包含新的精簡結構描述。 預設查詢是在新資料表上形成查詢的絕佳參考。
深入解析
Insights 是使用 Azure Workbooks 建立的叢集特定視覺效果儀表板。 這些儀表板提供叢集執行方式的詳細圖表和視覺效果。 儀表板具有每個叢集類型、YARN、系統計量和元件記錄的區段。 您可以造訪入口網站中的叢集頁面、向下捲動至 [監視] 區段，然後選取 [Insights] 窗格，以存取叢集的儀表板。 如果您已啟用新的整合，則儀表板會自動載入。 圖表在查詢記錄時等待其幾秒鐘進行載入。
自訂 Azure 活頁簿
您可以使用自訂圖表和視覺效果來建立自己的 Azure 活頁簿。 在叢集的入口網站頁面中，向下捲動至 [監視] 區段，然後選取左側功能表中的 [活頁簿] 窗格。 您可以開始使用空白範本，或使用 [HDInsight 叢集] 區段底下的其中一個範本。 每個叢集類型都有範本。 如果您想要儲存預設 HDInsight Insights 所未提供的特定自訂，則範本會很有用。 如果您認為缺少某些功能，歡迎傳送要求，以取得 HDInsight Insights 中的新功能。
警示
您可以在記錄查詢編輯器中，將自訂警示新增至您的叢集和工作區。 從叢集或工作區入口網站選取 [記錄] 窗格，以移至記錄查詢編輯器。 執行查詢，然後選取 [新增警示規則]，如下列螢幕擷取畫面所示。 如需詳細資訊，請閱讀設定警示。
遷移至新的 Azure 監視器整合
如果您是使用傳統 Azure 監視器整合，則需要在切換至新的 Azure 監視器整合之後，對新的資料表格式進行一些調整。
若要啟用新的 Azure 監視器整合，請遵循啟動新的 Azure 監視器整合一節中所述的步驟。
Log Analytics 中的執行查詢
由於新的資料表格式與先前的資料表不同，因此您必須修改您的查詢，才能使用我們的新資料表。 啟用新的 Azure 監視器整合之後，您可以瀏覽資料表和結構描述，以識別舊查詢中使用的欄位。
我們提供舊資料表與新資料表之間的對應資料表，以協助您快速找出遷移儀表板和查詢所需的新欄位。
預設查詢：我們建立了預設查詢，說明如何在常見情況下使用新的資料表。 預設查詢也會顯示每個資料表中可用的資訊。 您可以遵循本文中要與新資料表搭配使用的預設查詢一節中的指示，來存取預設查詢。
更新 HDInsight 叢集的儀表板
如果您已建置多個儀表板來監視 HDInsight 叢集，則必須在啟用新的 Azure 監視器整合之後，調整資料表背後的查詢。 資料表名稱或欄位名稱在新的整合中可能會變更，但會包含您在舊整合中的所有資訊。
請參閱舊資料表/結構描述與新資料表/結構描述之間的對應資料表，以更新儀表板背後的查詢。
立即可用的儀表板
我們也改善了叢集層級的立即可用儀表板。 每個圖形右上方都有一個按鈕，可讓您查看產生資訊的基礎查詢。 圖表是熟悉如何有效地查詢新資料表的絕佳方式。
讓這兩個整合加速移轉
您可以在符合這兩項整合資格的叢集上同時啟用傳統和新的 Azure 監視器整合，以快速遷移至新的 Azure 監視器整合。 新的整合適用於在 2020 年 9 月中之後建立的所有叢集。
如此一來，您就可以輕鬆地針對所使用的查詢進行並排比較。
啟用傳統整合
如果您使用在 2020 年 9 月中之後建立的叢集，則會在叢集的入口網站中看到新的入口網站體驗。 若要啟用新的管線，您可以遵循啟動新的 Azure 監視器整合一節中所述的步驟。 若要啟動此叢集上的傳統整合，請移至叢集的入口網站頁面。 在叢集入口網站頁面左側功能表的 [監視] 區段中，選取 [監視整合] 窗格。 選取設定適用於 HDInsight 叢集整合的 Azure 監視器 (傳統版)。 隨即出現側邊內容，其中包含可用來啟用和停用傳統 Azure 監視整合的切換。
注意
您不會透過叢集入口網站的記錄和 Insights 頁面，從傳統整合看到任何記錄或計量。 只有新的整合記錄和計量會出現在這些位置。
在 2023 年 1 月 1 日之後，無法使用傳統 Azure 監視器整合建立新的叢集。
發行和支援時間表
- 傳統 Azure 監視整合在 2021 年 10 月 15 日之後將無法使用。 在此日期之後，您無法啟用傳統 Azure 監視整合。
- 現有的傳統 Azure 監視整合將繼續運作。 傳統 Azure 監視整合的支援有限。
- 一旦客戶提交支援票證後，就會調查問題。
- 如果解決方案需要影像變更，則客戶應該移至新的整合。
- 除了重大安全性問題之外，我們不會修補傳統 Azure 監視整合叢集。
附錄：資料表對應
如需從傳統 Azure 監視器整合到新記錄數據表的對應，請參閱 記錄數據表對應。