Перенос данных из озера данных или хранилища данных с помощью Фабрики данных Azure
Область применения:
Фабрика данных Azure 
Azure Synapse Analytics
Совет
Попробуйте использовать фабрику данных в Microsoft Fabric, решение для аналитики с одним интерфейсом для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !
Если вы хотите перенести содержимое облака данных или корпоративного хранилища данных (EDW) в Microsoft Azure, вы можете использовать для этого Фабрику данных Azure. Фабрика данных Azure хорошо подходит для следующих сценариев:
- Миграция рабочей нагрузки с большими данными из Amazon Simple Storage Service (Amazon S3) или локальной распределенной файловой системы Hadoop (HDFS) в Azure
- Миграция EDW из Oracle Exadata, Netezza, Teradata или Amazon Redshift в Azure
Фабрика данных Azure позволяет перемещать петабайты (ПБ) данных из озера данных и десятки терабайт (ТБ) из хранилища данных.
Почему фабрика данных Azure подходит для переноса данных
- Фабрика данных Azure позволяет легко масштабировать вычислительную мощность для перемещения данных без использования сервера с высоким уровнем производительности, устойчивости и масштабируемости. При этом вы платите только за используемые ресурсы. Кроме того, обратите внимание на следующее:
- Фабрика данных Azure не устанавливает ограничений на объем данных или число файлов.
- Фабрика данных Azure может полностью использовать пропускную способность вашей сети и хранилища для максимизации пропускной способности при перемещении данных в вашей среде.
- Фабрика данных Azure работает с оплатой по мере использования, поэтому вы платите только за время, которое фактически потратили на перенос данных в Azure.
- Фабрика данных Azure обслуживает как однократную, так и запланированную (по расписанию) добавочную нагрузку.
- Фабрика данных Azure использует среду выполнения интеграции (IR) Azure для перемещения данных между общедоступными конечными точками озера данных и хранилища. Она также может использовать локальную среду выполнения интеграции для перемещения содержимого конечных точек озера и хранилища данных в виртуальной сети Azure или за брандмауэром.
- В Фабрике данных Azure реализованы средства безопасности корпоративного уровня: вы можете использовать установщик Windows (MSI) или удостоверение службы для защищенной интеграции служб либо задействовать Azure Key Vault для управления учетными данными.
- Фабрика данных Azure поддерживает настройку без создания кода и обладает функциональной встроенной панелью мониторинга.
Перенос данных по сети и в автономном режиме
Фабрика данных Azure — это стандартное интернет-средство переноса данных по сети (Интернет, ER или VPN). При автономном переносе данных пользователи физически отправляют накопители с информацией своей организации в центр обработки данных Azure.
При выборе между сетевым и автономным режимами необходимо учитывать три основных фактора.
- Размер переносимых данных
- Пропускная способность сети
- Окно миграции
Предположим, вы планируете использовать Фабрику данных Azure для осуществления переноса данных в течение двух недель (окно миграции). Обратите внимание на розовую и синюю линию в таблице ниже. В нижней розовой ячейке для любого столбца показана комбинация объема данных и пропускной способности сети, для которой окно миграции ближе всего к целевому значению и при этом меньше двух недель. Для всех комбинаций объема данных и пропускной способности в синих ячейках окно миграции через Интернет будет больше двух недель.
Эта таблица помогает определить, можно ли выполнить предполагаемое окно миграции через интернет-миграцию (Фабрика данных Azure) на основе размера данных и доступной пропускной способности сети. Если окно миграции по сети превышает две недели, вам потребуется использовать автономную миграцию.
Примечание.
При миграции по сети вы можете с помощью одного средства реализовать загрузку как основных, так и добавочных данных с одного узла на другой. При таком подходе данные в существующем и новом хранилище можно синхронизировать в течение всего окна миграции. Это означает, что вы сможете перестроить логику извлечения, преобразования и загрузки в новом хранилище с обновленными данными.