Microsoft Fabric 中的 Data Factory 常見問題

本文提供 Microsoft Fabric 中 Data Factory 常見問題的解答。

Azure Data Factory (ADF) 和 Synapse Pipelines 的未來為何?

Azure Data Factory (ADF) 和 Azure Synapse 管線會維護個別的平臺即服務 (PaaS) 藍圖。 這兩個解決方案會繼續與網狀架構 Data Factory 共存,後者是軟體即服務 (SaaS) 供應專案。 ADF 和 Synapse 管線仍受到完整支援,而且沒有折舊方案。 請務必強調,對於任何即將推出的專案,我們的建議是使用網狀架構 Data Factory 來起始這些專案。 此外,我們有策略來協助將 ADF 和 Synapse 管線轉換至 Fabric Data Factory,讓他們能夠利用新的網狀架構功能。

假設 Data Factory for Fabric 中的功能差距,選擇它的原因為何?在 ADF / Synapse 管線上?

當我們努力橋接功能差距,並將 ADF/Azure Synapse 管線中找到的健全資料管線協調流程和工作流程功能納入 Fabric Data Factory 中時,我們承認 ADF /Synapse 管線中存在的某些功能對於您的需求而言可能很重要。 如果有必要的話,建議您繼續使用 ADF/Synapse 管線,但建議您先在 Fabric 中探索新的資料整合可能性。 您對哪些功能的意見反應對於您的成功至關重要,是無價的。 為了方便進行這項作業,我們正積極努力引進新功能,以便將現有的資料處理站從 Azure 移轉至網狀架構工作區。

Fabric Data Factory 中的新功能是否也適用于 ADF/Synapse?

我們不會將新功能從網狀架構管線回送至 ADF / Synapse 管線。 我們會針對 Fabric Data Factory 和 ADF/ Synapse 維護兩個不同的藍圖。 我們會評估回送要求,以回應傳入的意見反應。

網狀架構管線是否與 Azure Synapse Pipeline 相同?

Fabric 管線的主要功能類似于 Azure Synapse 管線,但透過使用 Fabric 管線,使用者可以在 Fabric 平臺中套用所有資料分析功能。 您可以在這裡找到 Fabric 管線與 Azure Synapse 管線之間的顯著差異和功能對應: Fabric 與 Azure 中的 Data Factory 之間的差異。

Data Factory 與 Fabric 中的資料工程索引標籤有何差異?

Data Factory 可協助您使用雲端規模資料移動和資料轉換服務來解決複雜的資料整合和 ETL 案例,而資料工程可協助您建立 Lake House、使用 Apache Spark 來轉換和準備資料。 Microsoft Fabric 術語 提供每個 Fabric 術語/體驗之間的差異。

哪裡可以找到 Fabric 中可用的每月更新?

Microsoft Fabric 部落格 提供 網狀架構每月更新。

如何?將現有的管線從 Azure Data Factory (或) Azure Synapse 工作區移轉至 Fabric Data Factory?

目前唯一可用的方法是在 Fabric Data Factory 中重新建立管線。 我們正努力開發一項新功能,讓使用者能夠有效地監督和管理 Fabric 平臺內的 Fabric 和 ADF 管線。 這項創新的新功能不僅能保證產品持續性的無縫保存,也讓使用者有機會沉浸在 Fabric 資料整合功能所提供的增強功能中。

如何?追蹤和監視與管線搭配使用的網狀架構容量?

Microsoft Fabric 容量管理員可以使用 Microsoft Fabric 容量計量 應用程式,也稱為計量應用程式,以深入瞭解容量資源。 此應用程式可讓系統管理員查看資料管線、資料流程,以及其網狀架構容量工作區中其他專案的 CPU 使用率、處理時間和記憶體使用量。 深入瞭解多載原因、尖峰需求時間、資源耗用量,以及更容易識別最需求或最熱門的專案。

Fabric 資料流程 Gen2 是否類似于內嵌在 Azure Data Factory 中的 Power Query?

ADF 內的 Power Query 活動與資料流程 Gen2 共用相似之處,但它具有額外的功能,可讓寫入特定資料目的地等動作。此比較更符合資料流程 Gen1(Power BI 資料流程或 Power Apps 資料流程)。 如需詳細資訊,請參閱這裡: 資料流程 Gen1 和 Dataflow Gen2 之間的差異。

如何連線到 Fabric Data Factory 中的內部部署資料來源?

我們目前的焦點牽涉到內部部署資料閘道內 Fabric 管線支援的積極開發。 這項即將推出的功能可讓您順暢地利用網狀架構管線,以直接存取內部部署資料。 在這項功能可供使用之前,您可以採取可行的因應措施:您可以使用 Fabric 資料流程將資料傳輸到雲端儲存體,然後使用 Fabric 管線來協助將資料移至您想要的目的地。 這可確保順利轉換,直到內部部署資料閘道整合可供使用為止。

是否可以連線到 Fabric Data Factory 中已啟用現有私人端點 (PE) 的資源?

目前,VNet 閘道提供插入方法,可順暢地整合到您的虛擬網路中,提供使用私人端點建立資料存放區安全連線的健全途徑。 請務必注意,VNet 閘道目前只容納網狀架構資料流程。 不過,我們即將推出的計畫包括擴大其功能,以包含網狀架構管線。

在網狀架構資料管線中內嵌資料的速度有多快?

網狀架構 Data Factory 可讓您開發管線,以將環境的資料移動輸送量最大化。 這些管線會充分利用下列資源:

  • 來源和目的地資料存放區之間的網路頻寬
  • 來源或目的地資料存放區每秒輸入/輸出作業 (IOPS) 和頻寬 此完整使用率表示您可以測量下列資源可用的最小輸送量來估計整體輸送量:
  • 來源資料存放區
  • 目的地資料存放區
  • 同時,在來源和目的地資料存放區之間的網路頻寬,我們持續致力於創新,以提升您可以達到的最佳輸送量。 目前,服務可以在 5 分鐘內將 1 TB TPC-DI 資料集 (parquet 檔案) 移至 Fabric Lakehouse 資料表和資料倉儲 - 移動 1B 個數據列低於 1 分鐘:請注意,此效能只是執行上述測試資料集的參考。 實際輸送量仍取決於先前列出的因素。 此外,您一律可以平行執行多個複製活動來乘以輸送量。 例如,使用 ForEach 迴圈。

建議在 Fabric Data Factory 中指派角色的方法為何?

您可以在工作區之間分隔不同的工作負載,並使用成員和檢視器等角色,讓資料工程工作區預先準備用於報表或 AI 定型之工作區的資料。 使用檢視器角色,您便可以從資料工程工作區取用資料。