共用方式為

將數據和管線從 Azure Synapse 遷移至 Microsoft Fabric

  • 發行項

數據和管線移轉的第一個步驟是識別您想要在 OneLake 中提供的數據，以及您想要移動的管線。

您有兩個選項可進行資料移轉移：

  • 選項 1：Azure Data Lake 儲存體 （ADLS） Gen2 做為預設記憶體。 如果您目前使用ADLS Gen2並想要避免資料複製，請考慮使用 OneLake 快捷方式。
  • 選項 2：OneLake 作為預設記憶體。 如果您想要從 ADLS Gen2 移至 OneLake 作為儲存層，請考慮從筆記本和 Spark 作業定義讀取/寫入 OneLake。

資料移轉

選項 1：ADLS Gen2 作為記憶體（快捷方式）

如果您要與 ADLS Gen2 互動，並想要避免資料重複，您可以在 OneLake 中建立 ADLS Gen2 來源路徑的快捷方式。 您可以使用下列考慮，在 Fabric 中 Lakehouse 的檔案和數據表區段內建立快捷方式：

  • [檔案] 區段是湖的 Unmanaged 區域。 如果您的數據採用 CSV、JSON 或 Parquet 格式，建議您建立此區域的快捷方式。
  • [數據表] 區段是湖的受管理區域。 所有數據表，無論是 Spark 管理的數據表還是 Unmanaged 數據表，都會在這裡註冊。 如果您的數據是 Delta 格式，您可以在此區域中建立快捷方式，而自動探索程式會自動在 Lakehouse 的中繼存放區中註冊這些 Delta 數據表。

深入瞭解如何 建立 ADLS Gen2 快捷方式。

選項 2：OneLake 作為記憶體

若要使用 OneLake 作為儲存層，並從 ADLS Gen2 移動數據，您應該一開始將 Azure Synapse Spark 相關專案指向 OneLake，然後將現有的數據傳送至 OneLake。 如需前者，請參閱 整合 OneLake 與 Azure Synapse Spark。

若要將現有的數據移至 OneLake，您有幾個選項：

  • mssparkutils fastcp：mssparkutils 連結庫提供 fastcp API，可讓您將數據從 ADLS Gen2 複製到 OneLake。
  • AzCopy：您可以使用 AzCopy 命令行公用程式將數據從 ADLS Gen2 複製到 OneLake。
  • Azure Data Factory、Azure Synapse 和 Fabric 中的 Data Factory：使用 複製活動 將數據複製到 Lakehouse。
  • 使用快捷方式：您可以使用快捷方式在 OneLake 中啟用 ADLS Gen2 歷程記錄數據。 不需要資料複製。
  • Azure 儲存體 總管：您可以使用 Azure 儲存體 Explorer，將檔案從 ADLS Gen2 位置移至 OneLake。 瞭解如何整合 OneLake 與 Azure 儲存體 Explorer。

如果您的 Azure Synapse 數據管線包含筆記本和/或 Spark 作業定義活動，您必須將這些管線從 Azure Synapse 移至 Fabric 中的 Data Factory 數據管線，並參考目標筆記本。 Notebook 活動 可在 Data Factory 資料管線中使用。 在這裡，請參閱 Fabric 中所有支持的數據管線活動。

相關內容