編輯

Share via

使用 CluedIn 和 Azure Purview 將主要數據服務遷移至 Azure

Microsoft Purview
Azure Data Factory
Azure SQL Database
Azure Synapse Analytics

此架構會將主要數據管理 （MDM） 的許多要素封裝成一致、一致的端對端 MDM 解決方案。 CluedIn 引進 了零模型 化 MDM 方法，已證明可加速 MDM 專案，並提高 MDM 計劃的成功率。

架構

下圖示範 CluedIn 架構結構和數據流。

顯示 CluedIn 架構結構的圖表。

下載此架構的 Visio 檔案。

工作流程

CluedIn 使用 Azure 虛擬專用網 （VPN） 可讓您連線以移轉內部部署 MDS 實例，或使用裝載的 MDS 實例直接連線到雲端裝載的 SQL VM。 所有 CluedIn 需求都是指向 MDS 的 Windows Communication Foundation （WCF） 服務，而且會將將數據、規則、工作流程和其他所有專案移至 CluedIn 或個別 Microsoft 服務的程式自動化。

透過原生整合至 Microsoft 成本管理，您可以在從 MDS 移至 CluedIn 時，輕鬆地預測您的 CluedIn MDM 工作負載。 CluedIn 會利用 Azure 自動調整功能，以相應增加和減少環境。 CluedIn 也會原生整合到 Azure 中的預算中，讓您可以輕鬆地控制雲端中的支出。 這項整合不需要耗時的預測和預算，因為成本會在 Azure 平臺內變得明顯。

SSIS 套件可以移轉至 Azure Data Factory，將所有 ETL 管線移至雲端原生解決方案。

元件

CluedIn 提供 27 個 Azure 服務的原生整合，包括下列元件：

替代項目

您也可以將平臺延伸至 CluedIn 核心功能的替代案例。

在此版本的 CluedIn 中，擴充平臺全都是使用原生 Azure 服務來完成。 所有事件都會公開在事件中樞上，讓您的開發人員以任何想要的方式與其互動。 Azure Data Factory 可用來將數據推送至 CluedIn，其可支援將數據帶入所有不同 Azure 服務到 CluedIn。 Azure Functions 可用來訂閱事件中樞，您可以在其中以 Azure Functions 中任何支持的語言建立自定義。

案例詳細資料

主要數據已獲授與解決公司內最重要的商務數據的數據質量、數據控管和主控工作。 如果您目前使用內部部署或雲端裝載的 SQL 主要數據服務 （MDS） 實例或實例，則下列案例可簡化由 CluedIn 移至原生 Azure 主要數據管理解決方案的體驗。

CluedIn 提供與 SQL MDS 並存的功能同位，可為數據管理人和 MDM 小組提供使用者熟悉的功能，以便輕鬆地將每日工作負載從 MDS 遷移至 CluedIn。 此外，CluedIn 提供更多有價值的數據主要功能，包括準備深入解析您企業的數據基礎。

CluedIn 功能

主要資料服務傳統上包含下列主要功能：

  • 支援模型版本控制
  • 商務規則
  • 數據品質服務
  • 工作流程
  • 階層
  • Excel 外掛程式

CluedIn 提供上述所有功能。 此外，也會啟用下列使用案例：

  • 階層現在可以在Power BI中以原生方式可視化。
  • 工作流程會移轉，並可直接在Power Automate中建置和擴充。
  • 商務規則和數據品質服務會原生移轉至 CluedIn 規則引擎。
  • CluedIn 提供 MDS 記錄的內建數據擴充，以自動修正和驗證位址、公司資訊等等。
  • 管理同意並執行數據主體存取要求。
  • 如有必要，請回寫至 MDS 實例。

CluedIn 也支援移轉數據變更歷程記錄，並可自動從 MDS 實例建立數據品質歷程記錄。 如果您不想在移轉程式完成後立即關閉 MDS 實例，您也可以執行 MDS 解決方案和 CluedIn 同步處理。

CluedIn 原生支援 Common Data Model / Dataverse。 換句話說，Power Apps、Power Automate、Power BI、虛擬聊天機器人和 Microsoft Dynamics 用戶可以原生地利用來自 CluedIn 的數據，而不需要進行任何額外的設定或整合。

CluedIn 原生與 Azure Purview 整合

Azure Purview 會將數據控管功能帶入 Microsoft Azure 雲端，而 CluedIn 提供其功能的原生整合。

  • Azure Purview 詞彙可直接在 CluedIn 中使用，反之亦然。
  • CluedIn 可以擷取已在 Purview 中註冊的資產。
  • CluedIn 會從 Azure Purview 掃描個人資訊，而且可以找出個人資料所在的記錄層級。 它也新增了非結構化和半結構化數據中個人資訊支援，而不只是結構化。
  • CluedIn 會使用 Purview 中的架構集，將數據集自動對應至 CluedIn。
  • CluedIn 會使用詳細的處理記錄來擴充 Purview 譜系。
  • CluedIn 可以在排程新的數據擷取之前起始 Purview 掃描。

下圖示範譜系功能集。

此螢幕快照顯示 [提示] [歷程] 功能集。

Azure Data Factory 支援

Azure Data Factory （ADF） 支援連線到超過 100 個以上的服務。 此數據可以使用ADF的推送資料即時串流，直接傳遞至 CluedIn。 CluedIn 不僅可讓您連線到 Master Data Service （MDS） 實例，還能從 SAAS、資料庫、數據湖等連線到數百個數據源。

以下是 ADF 支援的重要功能：

  • 您可以將它設定為接聽來自事件中樞的事件，然後將數據直接饋送回 CluedIn。
  • 原生支援可直接在 CluedIn 內取得，以設定 ADF 特定的端點。
  • 您可以使用新的目標接收，輕鬆地利用現有的ADF管線。

考量

這些考量能實作 Azure Well-Architected Framework 的要素，其為一組指導原則，可以用來改善工作負載的品質。 如需詳細資訊，請參閱 Microsoft Azure Well-Architected Framework (部分機器翻譯)。

建立模型

CluedIn 會使用自動模型化程式，因此不需要從主要數據服務 （MDS） 或其他數據源移轉或重新建立數據模型，例如 Microsoft Dynamics。 這項功能會利用圖形資料庫，根據傳送至系統的數據自動建置模型。 如果您從傳統關係型模型移至圖形，則您會在主要數據計劃中帶來巨大的價值和彈性。 圖表方法與模型化的關係型樣式不同。

此模型化最重要的層面是關係型樣式可讓您和小組以各種不同形狀和大小彈性的方式呈現主數據模型。 當您的商務需要主要數據模型延展以符合不同的使用案例和商務需求時，此樣式會帶來巨大的彈性。 CluedIn 會利用預先無架構的方式來擷取數據。 您的數據不需要在進入平臺時納入緊密且嚴格的架構。 不過，當數據用於從 CluedIn 平臺套用數據的不同使用案例時，可以套用緊密且嚴格的架構。

下圖顯示 [關聯] 功能集。

顯示 [提示][關聯性] 功能集的螢幕快照。

可用性

此解決方案裝載為受控應用程式供應專案，而且可以套用在您自己的租使用者中，廠商會代表您管理升級、維護、備份等等。

CluedIn 原生整合至 Azure 服務健康情況 和 Azure 排程維護，讓升級和修補程序感覺就像原生 Azure 公告。 在 Azure 環境中與高強固性相結合，CluedIn 可以滿足最高服務等級協定 （SLA） 需求。

效能效益

效能效率可讓您的工作負載進行調整，以有效率的方式符合使用者對其放置的需求。 如需詳細資訊，請參閱效能效率要件概觀。

CluedIn 會將記憶體與計算分開，因此數據處理是完全 無狀態的。 因為它是由串流服務總線所支援，這表示 CluedIn 可以視您的工作負載而定，相應增加和減少，或視需要少一樣少。 CluedIn 支援 Azure Kubernetes Service （AKS） 內的 Azure 自動調整功能，以便自動調整。 為了提高數據處理的效能，您只需將更多處理Pod配置給 Kubernetes 叢集即可自動化。

延展性

CluedIn 支援視需要整合許多 MDS 實例。 例如，您可以在 CluedIn 中內嵌和管理 50 個 MDS 實例。 您可以執行多租使用者或全部混合在相同帳戶中。 當您的 MDS 解決方案移轉至 CluedIn 之後，有許多方式可將新系統和主要數據上線，以及載入數據的不同選擇。

CluedIn 會在 Docker 容器中執行，並使用 Kubernetes 來裝載及協調應用程式的不同部分。 此架構表示 CluedIn 在彈性環境中運作良好，並可自動調整為所需的大小和基礎結構。

透過原生支持自動調整，CluedIn 會使用 Azure 的強大功能，為最大的數據工作負載提供可調整的環境。 在平台中擁有數千萬筆或數億筆記錄的 CluedIn 帳戶並不常見。

安全性

安全性可提供保證，以避免刻意攻擊和濫用您寶貴的資料和系統。 如需詳細資訊，請參閱安全性要素的概觀。

CluedIn 安全性會透過 Azure RBAC 授與許可權和控制對不同服務的存取權，並使用 Azure 金鑰保存庫 安全性密鑰控制和 Azure 監視器存取追蹤和記錄。 除了已驗證的用戶帳戶，CluedIn 也支援單一登錄 （SSO） 和身分識別架構。 對 CluedIn 應用程式的要求會使用與使用者身分識別沒有關聯的加密存取令牌。 透過原生 Microsoft Entra ID 支援，只需將您的 SAML 2.0 資訊外掛程式到 CluedIn，即可立即用來管理新 MDM 解決方案的使用者和角色存取權。

復原

CluedIn 會在數據存放區和應用層級以高可用性模式執行。 由於儲存和處理分離，CluedIn 具有內建的阻力和容錯能力。 CluedIn 應用程式的不同部分可以獨立相應增加和減少，以迎合各種不同的工作負載。

卓越營運

CluedIn 使用 Azure Pipelines 的持續整合和持續傳遞 （CI/CD） 管線來處理 AKS 環境的部署和輪流更新。 客戶也可以使用此基礎結構，將自己的自定義專案部署到 CluedIn 本身。

成本最佳化

成本最佳化是關於考慮如何減少不必要的費用，並提升營運效率。 如需詳細資訊，請參閱成本最佳化要素的概觀。

CluedIn 成本開始很低，並根據使用量，相應增加定價以符合使用量。 預算可以直接在 Azure 入口網站 內設定，讓您能夠控制營運成本。

Azure 重設大小並開始試用

您可以在其網站上開始試用 CluedIn，這也可協助您針對不同大小環境預先建置的 Azure 預估來設定 Azure 裝載成本的範圍。

部署此案例

若要使用 Docker 部署 CluedIn 以進行開發和評估，請參閱 本機安裝指南。

若要在生產環境中安裝 CluedIn，可以從您自己的 Azure 租使用者中的 Azure Marketplace 直接安裝 CluedIn 實例。

參與者

本文由 Microsoft 維護。 原始投稿人如下。

主體作者：

若要查看非公開的 LinkedIn 設定檔，請登入 LinkedIn。

下一步