雲端規模分析簡介

雲端規模分析是以 Azure 登陸區域為基礎建置,以方便部署和治理。 Azure 登陸區域的主要目的是確保當應用程式或工作負載登陸 Azure 時,所需的基礎結構已就緒。 部署雲端規模分析登陸區域之前,您必須先建立一或多個 Azure 登陸區域。 Microsoft 提供範例範本供您開始使用,可用於 Data Lakehouse 和資料 網格 部署。 這些範本提供靈活度,且符合安全性和治理需求。

雲端規模分析評估

企業通常會在開始針對特定使用案例、專案或端對端雲端規模分析找出技術詳細資料之前,先尋求清楚或規範的指引。 當企業制定其整體資料策略時,確保其考慮目前使用範圍內的所有策略和必要原則可能很困難。

為了加速傳遞此端對端深入解析旅程,同時請記住這些挑戰,Microsoft 已開發雲端規模分析的規範案例。 其與 開發雲端規模分析計畫中所討論的主要主題一致。

雲端規模分析建置在 Microsoft 雲端採用架構之上,同時套用 Microsoft Azure Well-Architected Framework 鏡頭。 Microsoft 雲端採用架構提供雲端作業模型、參考架構和平台範本的規範指引和最佳作法。 這是以我們最具挑戰性、精密且複雜的環境中的真實世界學習為基礎。

雲端規模分析可讓客戶建置並運作登陸區域,以裝載和執行分析工作負載。 您會在安全性、控管和合規性的基礎上建立登陸區域。 其可調整且模組化,同時支援自主性與創新。

資料架構的歷程記錄

在 1980 年代之後,引進了資料倉儲第 1 代,其結合了來自整個企業的不同資料來源。 在 2000 年代後,Gen2 引進了 Hadoop 和資料湖等巨量資料生態系統。 2010 年中引進雲端資料平臺。 這與先前的世代類似,但引進串流資料擷取,例如,會使用,例如 kappa 或 Lambda 架構。 2020 年代早期引進了資料 Lakehouse、資料網格、資料網狀架構和以資料為中心的操作模式等概念。

儘管這些進展,許多組織仍然使用集中式整合型平臺,第 1 代。 在一定程度上,此系統表現良好。 不過,可能會因為相互相依的程式、緊密結合的元件和超特定小組而發生瓶頸。 擷取、轉換和載入 ETL) 作業 (可能會變得明顯,並降低傳遞時程表的速度。

資料倉儲和資料湖仍然有價值,而且在整體架構中扮演重要角色。 在下列檔中,我們已強調使用這些傳統做法來調整時可能發生的一些挑戰。 這些挑戰在複雜的組織中特別相關,其中資料來源、需求、小組和輸出會變更。

移至雲端規模分析

您目前的分析資料架構和作業模型可以包含資料倉儲、Data Lake 和 data Lakehouse 結構,甚至是資料網狀架構或資料網格等新興模型。

每個資料模型都有自己的優點和挑戰。 雲端規模分析可協助您從目前的設定工作,將方法轉移至資料管理,使其可以隨著基礎結構發展。

您可以支援任何資料平臺和案例,以建立端對端雲端規模分析架構,作為基礎,並允許調整。

新式資料平臺和所需結果

第一個重點領域之一是啟用資料策略,以反復建置可調整且敏捷的新式資料平臺,以因應您的挑戰。

新式資料平臺可讓您釋出時間以專注于更有價值的工作,而不是因為服務票證而無法滿足競爭的商務需求,而是讓您能夠發揮更實用的角色。 您可以透過平臺和系統提供企業營運,以自助資料和分析需求。

初始焦點的建議區域如下:

  • 改善資料品質、促進信任,並取得深入解析以制定資料驅動商務決策。

  • 順暢地在整個組織中大規模實作整體資料、管理和分析。

  • 建立健全的資料控管,讓企業營運能夠自助和彈性。

  • 在完全整合的環境中維護安全性和法律合規性。

  • 快速建立進階分析功能的基礎,並具有現用的架構、可重複且模組化模式的現用解決方案。

治理您的分析資產

第二個考慮是決定組織如何實作資料控管。

資料控管是確保您在商務作業、報表和分析中使用的資料是可探索、精確、信任且可受到保護的方式。

對於許多公司而言,預期資料和 AI 將推動競爭優勢。 如此一來,主管就能積極地贊助 AI 計畫,使其成為資料驅動的決策。 不過,為了讓 AI 生效,必須使用的資料受到信任。 否則,決策精確度可能會遭到入侵、決策可能會延遲,或可能遺漏動作,這可能會影響下線。 公司不希望其資料的品質成為垃圾、垃圾輸出。一開始,修正資料品質可能很簡單,直到您查看數位轉換對資料的影響為止。

隨著資料分散到混合式多重雲端和分散式資料環境,組織難以找出其資料所在位置並加以控管。 未控管資料對企業可能會有相當大的影響。 資料品質不佳會影響商務作業,因為資料錯誤會導致進程錯誤和延遲。 不佳的資料品質也會影響業務決策的進行,以及維持符合規範的能力。 確保來源的資料品質通常是慣用的,因為修正分析系統中的品質問題比在擷取階段初期套用資料品質規則更為複雜且成本更高。 為了協助追蹤及管理資料活動,資料控管必須包含:

  • 資料探索
  • 資料品質
  • 建立原則
  • 資料共用
  • 中繼資料

保護您的分析資產

資料控管的另一個主要因素是資料保護。 資料保護可協助您符合法規法規規範,並防止資料外泄。 資料隱私權和不斷成長的資料外洩數目,讓資料保護成為會議室中的最高優先順序。 這些外洩突出敏感性資料的風險,例如個人標識的客戶資料。 資料隱私權違規或資料安全性外洩的後果很多,而且可能包括:

  • 品牌形象喪失或嚴重受損

  • 失去客戶信心和市場份額

  • 股價下跌,影響專案關係人投資報酬和執行薪資

  • 因為審核或合規性失敗而造成的重大財務損失

  • 法律動作

  • 缺口的 domino 效果,例如,客戶可能會遭受身分識別竊取的犧牲

在大多數情況下,上市公司必須宣告這些外洩事件。 如果發生外洩,客戶 (而不是駭客) 更有可能會成為公司的問題。 客戶可能會聯合抵制公司長達幾個月,或可能永遠不會返回。

不符合資料隱私權的法規法規可能會導致重大財務懲罰。 控管資料可協助您避免這類的風險。

作業模型和優點

採用新式資料策略平臺不僅會變更貴組織所使用的技術,也變更其運作方式。

雲端規模分析提供指定的指引,可協助您考慮如何組織和技能您的人員和小組,包括:

  • 角色、角色和責任定義
  • 敏捷式、垂直和跨網域小組的建議結構
  • 透過 Microsoft Learn 的技能資源,包括 Azure 資料和 AI 認證

在現代化過程中,也請務必讓終端使用者參與,並在您繼續發展平臺並上線新的使用案例時。

架構

Azure 登陸區域代表環境的策略設計路徑和目標技術狀態。 其可簡化部署和治理,以提供更高的靈活度和合規性。 Azure 登陸區域也可確保當新的應用程式或工作負載進入您的環境時,適當的基礎結構已就緒。 Azure 資料管理和資料登陸區域的設計與這些相同的基本準則,而且與雲端規模分析的其他元素結合時,有助於啟用:

  • 自助
  • 延展性
  • 快速開始
  • 安全性
  • 隱私權
  • 最佳化作業

資料管理登陸區域

資料管理登陸區域提供整個組織平臺集中式資料控管和管理的基礎。 它也有助於從整個數位資產擷取資料的通訊,包括多重雲端和混合式基礎結構。

資料管理登陸區域支援許多其他資料管理和治理功能,例如:

  • 資料目錄
  • 資料分類
  • 資料譜系
  • 資料品質管理
  • 資料模型存放庫
  • API 目錄
  • 資料共用和合約

資料登陸區域

資料登陸區域會將資料更接近使用者,並啟用自助功能,同時透過與資料管理登陸區域的連線來維護一般管理和控管。

它們裝載標準服務,例如網路、監視、資料擷取和處理,以及資料產品和視覺效果等自訂專案。

資料登陸區域是啟用平臺延展性的關鍵。 根據您的組織大小和需求,您可以從一或多個登陸區域開始。

當您決定單一和多個登陸區域時,請考慮區域相依性和資料落地需求。 例如,是否有需要資料保留在特定位置的當地法律或法規?

無論您的初始決策為何,您都可以視需要新增或移除資料登陸區域。 如果您是從單一登陸區域開始,建議您規劃擴充到多個登陸區域,以避免未來需要移轉。

如需登陸區域的詳細資訊,請參閱 適用于雲端規模分析的 Azure 登陸區域

結論

閱讀此檔集之後,特別是治理、安全性、作業和最佳做法小節,建議您使用部署範本來設定概念證明環境。 這些範本與架構指引一起提供您一些 Azure 技術的實作體驗。 如需詳細資訊,請參閱 使用者入門檢查清單

下一步

將雲端規模分析整合到雲端採用策略中