Перенос данных в автономном режиме в Синхронизацию файлов Azure с помощью Azure Data Box
Эта статья о миграции — одна из нескольких, включающих ключевые слова Синхронизация файлов Azure и Azure Data Box. Проверьте, относится ли эта статья к вашему сценарию:
- Источник данных: Windows Server 2012 R2 или более поздней версии, где будет установлена Синхронизация файлов Azure и будет указание на исходный набор файлов.
- Маршрут миграции: Windows Server 2012 R2 или более новой версии ⇒ Data Box ⇒ общая папка Azure ⇒ синхронизация с исходным местоположением файла Windows Server
- Локальное кэширование файлов: да, окончательная цель — развертывание Синхронизации файлов Azure, которое синхронизирует файлы из расположения, где они в данный момент находятся.
Использование Azure Data Box — это допустимый путь для перемещения большого объема данных с локального сервера Windows в отдельные общие папки Azure, а затем, при необходимости, добавления Синхронизации файлов Azure на исходном сервере.
Вам доступны различные пути миграции, поэтому важно выбрать правильный:
- Ваши данные находятся на Windows Server 2012 R2 или более поздней версии. Вы планируете установить AFS на этом сервере и настроить синхронизацию с исходным расположением. В этом сценарии вы не хотите отправлять все файлы, а предпочитаете использовать Data Box, а затем синхронизировать файлы для учета изменений. Если это ваш сценарий, в этой статье описывается подходящий для вас путь миграции.
- У вас есть данные в источнике, где вы не хотите или не можете установить AFS. У вас есть хранилище NAS (хранилище, подключенное к сети) для экземпляра или другого сервера. Вы предпочитаете создать новый пустой сервер и использовать Синхронизацию файлов Azure на этом сервере. Если это ваш сценарий, это руководство по миграции вам не подходит. См. раздел Миграция из NAS через Data Box в Синхронизацию файлов Azure или найдите руководство, подходящее для вашего сценария, на странице обзора миграции.
- Все остальные сценарии см. в таблице руководств по миграции общих папок Azure. На этой странице обзора представлена начальная информация для всех сценариев миграции.
Обзор миграции
Процесс миграции состоит из нескольких этапов. Вам понадобится:
- Разверните учетные записи хранения и общие папки.
- Разверните одно или несколько устройств Azure Data Box, чтобы переместить данные из Windows Server 2012 R2 или более поздней версии.
- Настройте Синхронизацию файлов Azure с помощью принудительной передачи.
В следующих разделах все этапы процесса миграции описаны подробно.
Совет
Если вы вернулись к этой статье, используйте меню в правой части экрана, чтобы перейти к этапу миграции, на котором вы остановились.
Этап 1. Определение необходимого количества общих папок Azure
В этом руководстве по миграции необходимо продолжить использование локального хранилища DAS, содержащего файлы. Data Box будет поставляться из этого расположения, и Синхронизация файлов Azure также будет настроена в этом расположении. Хранилища NAS не работает с этим путем миграции.
Чтобы указать, что нужно синхронизировать, настройте группы синхронизации Синхронизации файлов Azure, которые определяют наборы файлов для синхронизации. У каждой группы синхронизации есть как минимум одно расположение сервера, называемое конечной точкой сервера, и одна общая папка Azure, называемая облачной конечной точкой.
Вы можете синхронизировать подпути набора файлов с каждой общей папкой Azure. Это означает настройку нескольких групп синхронизации для полного покрытия набора файлов. В оставшейся части раздела описываются доступные варианты. Если необходимо выполнить реструктуризацию данных, необходимо сделать это на первом этапе, прежде чем продолжить работу с этим руководством, заказать Data Box или настроить синхронизацию.
Внимание
Перед началом миграции необходимо создать такую структуру файлов и папок, какую вы хотите использовать в долгосрочной перспективе. Во время миграции избегайте ненужной реструктуризации папок. Это сократит преимущества использования Azure Data Box для начальной передачи большого объема файлов в Azure.
На этом шаге выполняется определение количества необходимых общих папок Azure. Один экземпляр Windows Server (или кластер) может синхронизировать до 30 общих папок Azure.
Тома могут содержать большее количество папок, к которым вы в настоящее время предоставляете локальный доступ как к общим папкам SMB пользователям и приложениям. Самый простой способ изобразить этот сценарий — представить локальную общую папку, которая имеет сопоставление 1:1 с общей папкой Azure. При наличии достаточно небольшого количества общих папок (менее 30) для одного экземпляра Windows Server рекомендуется использовать сопоставление 1:1.
Если используется более 30 общих папок, зачастую сопоставление 1:1 между локальной общей папкой и общей папкой Azure не является обязательным. Следуйте приведенным ниже рекомендациям.
Группирование общих папок
Например, если у отдела кадров (HR) 15 общих папок, возможно, стоит хранить все данные HR в одной общей папке Azure. Хранение нескольких локальных общих папок в одной общей папке Azure не мешает создать 15 обычных общих папок SMB на локальном экземпляре Windows Server. Это лишь означает, что корневые папки этих 15 общих папок должны представлять собой вложенные папки в составе общей папки. Затем выполняется синхронизация этой общей папки с общей папкой Azure. Таким образом, для этой группы локальных общих папок требуется только одна общая папка Azure в облаке.
Синхронизация томов
Синхронизация файлов Azure поддерживает синхронизацию корня тома с общей папкой Azure. При синхронизации корня тома все вложенные папки и файлы отправляются в одну и ту же общую папку Azure.
Синхронизация корня тома не всегда представляет собой лучшее решение. Синхронизация нескольких расположений имеет свои преимущества. Например, она позволяет сократить количество элементов в одной области синхронизации. Тестирование общих папок Azure и службы синхронизации файлов Azure выполняется при 100 миллионах элементов (файлов и папок) в одной общей папке. Однако рекомендуется использовать не более 20–30 миллионов элементов в одной общей папке. Настройка Синхронизации файлов Azure с меньшим количеством элементов выгодна не только для синхронизации файлов. Уменьшение количества элементов также полезно в перечисленных ниже сценариях.
- Начальное сканирование содержимого облака может выполняться быстрее, что, в свою очередь, сократит время ожидания отображения пространства имен на сервере, где включена Синхронизация файлов Azure.
- Восстановление на стороне облака из моментального снимка общей папки Azure будет выполняться быстрее.
- Аварийное восстановление локального сервера может существенно ускориться.
- Обнаружение и синхронизация изменений, внесенных непосредственно в общей папке Azure (за пределами области синхронизации), могут выполняться быстрее.
Совет
Если вы не знаете, сколько у вас файлов и папок, воспользуйтесь инструментом TreeSize от JAM Software GmbH.
Структурированный подход к сопоставлению развертывания
Перед развертыванием облачного хранилища на более позднем этапе необходимо создать сопоставление между локальными папками и общими папками Azure. Из этого сопоставления будет понятно, сколько ресурсов группы синхронизации Синхронизации файлов Azure и какие из них необходимо подготовить к работе. Группа синхронизации связывает общую папку Azure и папку на сервере и устанавливает соединение для синхронизации.
Чтобы решить, сколько общих папок Azure вам нужно, ознакомьтесь с приведенными ниже ограничениями и рекомендациями. Это поможет вам оптимизировать сопоставление.
Сервер, на котором установлен агент Синхронизации файлов Azure, может выполнить синхронизацию с 30 общими папками Azure.
Общая папка Azure развертывается в учетной записи хранения. Это делает учетную запись хранения целевым объектом масштабирования для таких показателей производительности, как операции ввода-вывода в секунду и пропускная способность.
Обратите внимание на ограничения операций ввода-вывода в секунду учетной записи хранения при развертывании общих папок Azure. В идеале следует сопоставить общие папки 1:1 с учетными записями хранения. Однако это может быть не всегда возможно из-за различных ограничений и ограничений, как из вашей организации, так и из Azure. Если невозможно развернуть только одну общую папку в одной учетной записи хранения, рассмотрите, какие общие папки будут очень активными и какие общие папки будут менее активными, чтобы гарантировать, что самые горячие общие папки не помещают в одну учетную запись хранения вместе.
Если вы планируете перенести в Azure приложение, которое будет использовать общую папку Azure в собственном коде, от общей папки Azure может потребоваться большая производительность. Если такой тип использования возможен (пусть даже в будущем), рекомендуется создать одну стандартную общую папку Azure в собственной учетной записи хранения.
Одна подписка в одном регионе Azure может содержать не более 250 учетных записей хранения.
Совет
При этом в томах зачастую требуется сгруппировать несколько папок верхнего уровня в общий новый корневой каталог. Затем выполняется синхронизация этого нового корневого каталога и всех папок, сгруппированных в него, в одну общую папку Azure. Эта методика позволяет не превышать ограничения по количеству синхронизаций общих папок Azure на одном сервере (не более 30).
Такое группирование в общем корне не влияет на доступ к данным. Списки управления доступом остаются неизменными. Вам потребуется лишь скорректировать все пути к общим папкам (например, к общим папкам SMB или NFS) в локальных папках сервера, которые теперь имеют общий корень. Больше ничего не меняется.
Важно!
Самое важное направление масштабирования для Синхронизации файлов Azure — число элементов (файлов и папок), которые необходимо синхронизировать. Дополнительные сведения см. в статье Целевые показатели масштабируемости службы синхронизации файлов Azure.
В одной области синхронизации рекомендуется использовать небольшое количество элементов. Это важный фактор, который следует учитывать при сопоставлении папок с общими папками Azure. Тестирование службы синхронизации файлов Azure выполняется при 100 миллионах элементов (файлов и папок) в одной общей папке. Однако, как правило, рекомендуется использовать не более 20–30 миллионов элементов в одной общей папке. В случае превышения этих цифр разделите пространство имен на несколько общих папок. Если в общем и целом эти цифры не превышены, вы можете продолжить группирование локальных общих папок в одну и ту же общую папку Azure. Такая методика оставляет пространство для роста.
В вашей ситуации возможна логическая синхронизация набора папок с одной и той же общей папкой Azure (с использованием упомянутого выше подхода с новой общей корневой папкой). Тем не менее все равно рекомендуется перегруппировать папки так, чтобы они синхронизировались с двумя, а не с одной общей папкой Azure. Такой подход обеспечивает равномерное распределение файлов и папок по общим папкам на сервере. Вы также можете разделить локальные общие папки и выполнить синхронизацию с несколькими локальными серверами. Это дает возможность синхронизации с еще 30 общими папками Azure на каждом дополнительном сервере.
Распространенные сценарии синхронизации файлов и рекомендации
| # | Сценарий синхронизации | Поддерживается | Рекомендации (или ограничения) | Решение (или обходное решение) |
|---|---|---|---|---|
| 1 | Файловый сервер с несколькими дисками и томами и несколькими общими ресурсами для одной целевой общей папки Azure (консолидация) | No | Целевая файловая папка Azure (конечная точка облака) поддерживает синхронизацию только с одной группой синхронизации. Группа синхронизации поддерживает только одну конечную точку сервера на зарегистрированный сервер. |
1. Начните с синхронизации одного диска (корневого тома) для целевого файлового ресурса Azure. Начиная с самого большого диска или тома, требования к хранилищу будут соответствовать локальным требованиям. Настройте распределение по уровням в облаке для распределения всех данных в облако, тем самым освобождая место на диске файлового сервера. Переместите данные из других томов или общих папок в текущий том, который синхронизируется. Продолжайте шаги по одному до тех пор, пока все данные не будут многоуровневы до облака или перенесены. 2) Нацелив один корневой том (диск) за раз. Используйте распределение по уровням облака для распределения всех данных для целевого файлового ресурса Azure. Удалите конечную точку сервера из группы синхронизации, повторно создайте конечную точку со следующим корневым томом или диском, синхронизацией и повторите процесс. Примечание. Может потребоваться повторная установка агента. 3. Рекомендуется использовать несколько целевых общих папок Azure (одну или другую учетную запись хранения на основе требований к производительности). |
| 2 | Файловый сервер с одним томом и несколькими общими ресурсами для одной целевой общей папки Azure (консолидация) | Да | Не удается синхронизировать несколько конечных точек сервера на зарегистрированный сервер, синхронизированный с одной целевой общей папкой Azure (аналогично приведенной выше). | Синхронизировать корневой каталог тома, включающего несколько общих папок или папок верхнего уровня. Дополнительные сведения см. в разделе "Общие понятия группирования" и синхронизации томов. |
| 3 | Файловый сервер с несколькими общими папками и (или) томами для нескольких общих папок Azure в рамках одной учетной записи хранения (сопоставление общих папок 1:1) | Да | Один экземпляр Windows Server (или кластер) может синхронизировать до 30 общих папок Azure. Учетная запись хранения — это целевой объект масштабирования для производительности. Операции ввода-вывода в секунду и пропускная способность получают общий доступ между общими файловыми ресурсами. Сохраняйте количество элементов для каждой группы синхронизации в пределах 100 миллионов элементов (файлов и папок) на общую папку. В идеале лучше всего остаться ниже 20 или 30 миллионов на акцию. |
1) Использование нескольких групп синхронизации (число групп синхронизации = количество общих папок Azure для синхронизации). 2) Синхронизировано только 30 общих папок в этом сценарии одновременно. Если на этом файловом сервере более 30 общих папок, используйте концепцию группирования общих ресурсов и синхронизацию томов, чтобы уменьшить количество корневых или верхних папок в источнике. 3) Использование дополнительных Синхронизация файлов серверов локальной среды и разделения и перемещения данных на эти серверы для обхода ограничений на исходном сервере Windows. |
| 4 | Файловый сервер с несколькими общими ресурсами и (или) томами для нескольких общих папок Azure в разных учетных записях хранения (сопоставление общих папок 1:1) | Да | Один экземпляр Windows Server (или кластер) может синхронизировать до 30 общих папок Azure (одной или другой учетной записи хранения). Сохраняйте количество элементов для каждой группы синхронизации в пределах 100 миллионов элементов (файлов и папок) на общую папку. В идеале лучше всего остаться ниже 20 или 30 миллионов на акцию. |
Тот же подход, что и выше |
| 5 | Несколько файловых серверов с одним (корневым томом или общим ресурсом) для одной целевой общей папки Azure (консолидация) | No | Группа синхронизации не может использовать облачную конечную точку (общую папку Azure), уже настроенную в другой группе синхронизации. Хотя группа синхронизации может иметь конечные точки сервера на разных файловых серверах, файлы не могут отличаться. |
Следуйте указаниям в сценарии 1 выше с дополнительным вниманием к тому, чтобы нацелить один файловый сервер одновременно. |
Создание таблицы сопоставления
Воспользуйтесь приведенной выше информацией, чтобы определить, сколько общих папок Azure вам нужно и какие элементы существующих данных в каких общих папках Azure окажутся.
Создайте таблицу, содержащую ваши идеи, и обращайтесь к ней при необходимости. Упорядоченность важна, поскольку при одновременной подготовке нескольких ресурсов Azure можно потерять подробности плана сопоставления. Скачайте следующий файл Excel, чтобы использовать его в качестве шаблона для создания сопоставления.
|
Скачайте шаблон сопоставления пространства имен. |
Этап 2. Развертывание ресурсов хранилища Azure
На этом этапе просмотрите таблицу сопоставления из этапа 1 и используйте ее для подсчета правильного числа учетных записей хранения Azure и файловых ресурсов в них.
Общая папка Azure хранится в облаке в учетной записи хранения Azure. Здесь применяется еще один уровень рекомендаций по производительности.
При наличии очень активных общих папок (общих папок, используемых несколькими пользователями и (или) приложениями) производительность двух общих папок Azure может достичь предельного значения для учетной записи хранения.
Рекомендуется развертывать учетные записи хранения с одной общей папкой в каждой. Использовать несколько общих папок Azure в одной учетной записи хранения можно в том случае, если у вас имеются архивные общие папки или же уровень повседневной активности в них будет низким.
Эти рекомендации, скорее, касаются прямого облачного доступа (через виртуальную машину Azure), чем службы "Синхронизация файлов Azure". Если вы планируете использовать службу "Синхронизация файлов Azure" только в этих общих папках, группирование нескольких файлов в одну учетную запись хранения Azure вполне подойдет.
Если вы составили список общих папок, сопоставьте каждую из них с учетной записью хранения, в которой она будет размещаться.
На предыдущем этапе вы определили соответствующее количество общих папок. На данном этапе вы создали сопоставление учетных записей хранения с общими папками. Теперь разверните соответствующее количество учетных записей хранения Azure, содержащих соответствующее количество общих папок Azure.
Проследите за тем, чтобы все учетные записи хранения относились к одному региону, совпадающему с регионом уже развернутого ресурса службы синхронизации хранилища.
Внимание
Если вы создадите общую папку Azure с ограничением в 100 ТиБ, она сможет использовать только параметры избыточности "Локально избыточное хранилище" или "Хранилище, избыточное между зонами". Рассмотрите потребности в избыточности хранилища перед использованием 100 общих папок TiB.
По умолчанию общие папки Azure создаются с ограничением в 5 ТиБ. Инструкции по созданию больших общих папок см. в статье Создание файлового ресурса Azure.
Еще один вопрос, который следует учитывать при развертывании учетной записи хранения, — избыточность службы хранилища Azure. См. статью Варианты избыточности хранилища Azure.
Имена ресурсов также важны. Например, при группировании нескольких общих папок для отдела кадров в учетную запись хранения Azure учетной записи хранения следует присвоить соответствующее имя. Точно так же общим папкам Azure следует присваивать имена, аналогичные тем, которые используются для локальных экземпляров.
Этап 3. Определение необходимого количества устройств Azure Data Box
Этот шаг следует выполнять только после завершения предыдущего этапа. Здесь вам нужно будет создать ресурсы хранилища Azure (учетные записи хранения и общие папки). При заказе Data Box необходимо указать учетные записи хранения, в которые перемещаются данные с Data Box.
На этом этапе вам нужно соотнести результаты плана миграции из предыдущего этапа с ограничениями доступных параметров Data Box. Эти рекомендации помогут вам составить план — понять, какие параметры Data Box стоит выбрать и сколько из них потребуется вам для того, чтобы переместить общие папки NAS в общие папки Azure.
Примечание.
Диск DataBox не поддерживается, так как он не сохраняет точность файла.
Чтобы определить, сколько устройств и какого типа вам нужно, учтите следующие важные ограничения.
- Любое устройство Azure Data Box позволяет перемещать данные в 10 учетных записей хранения.
- Каждый вариант Data Box поставляется с собственной доступной емкостью. См. варианты Data Box.
Проверьте по своему плану миграции, сколько учетных записей хранения вы решили создать и сколько общих папок должно быть в каждой из них. Затем посмотрите на размер каждой общей папки в NAS. Объединение этих сведений позволит вам оптимизировать выбранные параметры и решить, какое устройство должно отправлять данные в учетные записи хранения. Два устройства Data Box могут переместить файлы в одну и ту же учетную запись хранения, но разделять содержимое одной общей папки между двумя устройствами Data Box нельзя.
Варианты Data Box
Для стандартной миграции необходимо выбрать один или несколько из этих вариантов Data Box:
- Data Box. Этот вариант является наиболее распространенным. Майкрософт отправит вам защищенное устройство Data Box, которое работает почти так же, как NAS. Его полезная емкость составляет 80 ТиБ. Дополнительные сведения см. в документации по Data Box.
- Data Box Heavy. Этот вариант включает защищенное устройство Data Box на колесах, работающее почти так же, как NAS. Устройство имеет емкость 1 ПиБ. Реальный объем будет меньше примерно на 20 % из-за издержек на шифрование и файловую систему. Дополнительные сведения см. в документации по Data Box Heavy.
Примечание.
Для Data Box и Data Box Heavy поддерживается только копирование данных через SMB. Копирование данных с помощью службы копирования данных не поддерживается, так оно не сохраняет точность файла.
Этап 4. Копирование файлов на устройство Data Box
Когда Data Box поступает, необходимо настроить его с помощью неунижаемого сетевого подключения к (модуль) NAS. Следуйте инструкциям в документации по установке для того типа устройства Data Box, который вы заказали:
В зависимости от типа Data Box могут быть доступны инструменты копирования Data Box. На этом этапе мы не рекомендуем использовать их для миграции в общие папки Azure, так как они не копируют файлы в Data Box с полной точностью. Вместо этого используйте Roboсopy.
Когда вы получите свое устройство Data Box, оно будет содержать уже подготовленные общие папки SMB, доступные для каждой учетной записи хранения, указанной во время заказа.
- Если ваши файлы направляются в общую папку Azure уровня "Премиум", для каждой учетной записи хранения файлов уровня "Премиум" будет создана одна общая папка SMB.
- Если ваши файлы направляются в учетную запись хранения уровня "Стандартный", для каждой учетной записи хранения файлов этого уровня будет создано по три общих папки SMB (GPv1 и GPv2). Для миграции важны только общие папки, которые заканчиваются на
_AzFiles. Игнорируйте все общие папки блочных и страничных BLOB-объектов.
Выполните действия, описанные в документации по Azure Data Box:
- Подключение к Data Box.
- Копирование данных в Data Box.
- Подготовка Data Box для отправки в Azure.
В документации Data Box указана команда Roboсopy. Эта команда не подходит для сохранения полной точности файлов и папок. Вместо нее используйте эту команду:
robocopy <SourcePath> <Dest.Path> /MT:20 /R:2 /W:1 /B /MIR /IT /COPY:DATSO /DCOPY:DAT /NP /NFL /NDL /XD "System Volume Information" /UNILOG:<FilePathAndName>
| Коммутатор | Значение |
|---|---|
/MT:n |
Разрешает выполнение Robocopy в многопоточном режиме. По умолчанию параметр n имеет значение 8. Максимум — 128 потоков. Хотя большое количество потоков помогает повысить доступную пропускную способность, это не означает, что ваша миграция всегда будет выполняться быстрее. Тесты с Файлами Azure демонстрируют, что использование диапазона от 8 до 20 потоков обеспечивает сбалансированную производительность для выполнения исходного копирования. На последующие запуски /MIR влияют доступные вычислительные ресурсы и доступная полоса пропускания. Для последующих запусков указываемое количество потоков нужно привести в соответствие с числом ядер процессора и количеством потоков, приходящихся на каждое ядро. Определите, нужно ли зарезервировать ядра для других задач рабочего сервера. Тесты с Файлы Azure показали, что до 64 потоков дают хорошую производительность, но только если процессоры могут поддерживать их в то же время. |
/R:n |
Максимальное число повторных попыток для файла, который не удалось скопировать с первого раза. Robocopy повторит попытку определенное количество раз (n), после чего объявит невозможность скопировать этот файл во время этого выполнения. Вы можете оптимизировать производительность выполнения: выберите значение "2" или "3", если вы считаете, что проблемы с истечением времени ожидания вызывали сбои в прошлом. Это может быть типичной проблемой для связи по каналам WAN. Выберите вариант "Без повторных попыток" или значение "1", если вы считаете, что файл не удалось скопировать, так как он активно использовался. Повторная попытка через несколько секунд не всегда позволяет дождаться изменения состояния использования для файла. Возможно, пользователям или приложениям, которые удерживают этот файл открытым, потребуется больше времени. Если вы просто зафиксируете, что файл не был скопирован, и вернетесь к нему в одном из следующих запланированных запусков Robocopy, это может позволить успешно его скопировать. В этом случае текущее выполнение завершится быстрее, без затрат времени на повторные попытки, которые все равно в большинстве случаев завершаются сбоем копирования из-за того, что файлы остаются открытыми по истечении времени ожидания повторных попыток. |
/W:n |
Указывает время ожидания Robocopy перед попыткой копирования файла, который не был успешно скопирован во время предыдущей попытки. n — это количество секунд ожидания между повторными попытками. /W:n часто используется вместе с /R:n. |
/B |
Выполняет команду Robocopy в том же режиме, что и приложение резервного копирования. Этот параметр позволяет Robocopy перемещать файлы, для которых у текущего пользователя нет разрешений. Параметр резервного копирования зависит от выполнения команды Robocopy в консоли с повышенными привилегиями администратора или в окне PowerShell. Если вы используете Robocopy с Файлами Azure, убедитесь, что вы подключаете общую папку Azure с помощью ключа доступа к учетной записи хранения, а не удостоверения домена. В противном случае сообщения об ошибках могут не позволить найти очевидное решение проблемы. |
/MIR |
(Зеркалирование источника в целевом объекте.) Позволяет Robocopy скопировать только изменения между исходным и целевым объектом. Будут скопированы пустые подкаталоги. Элементы (файлы или папки), которые были изменены или не существуют в целевой папке, будут скопированы. Элементы, которые существуют в назначении, но не в источнике, будут удалены из целевого объекта. При использовании этого параметра структуры исходной и целевой папок должны соответствовать друг другу. Соответствие означает, что вы выполняете копирование с правильного уровня источника и папки на соответствующий уровень папки в целевом объекте. Только тогда зеркальное копирование будет успешным. Если объекты источника и назначения не совпадают, использование /MIR приведет к увеличению числа операций удаления и повторного копирования. |
/IT |
Обеспечивает сохранение точности данных в определенных зеркальных сценариях. Например, если в файле происходит изменение ACL и между двумя выполнениями Robocopy обновляется атрибут, он помечается как скрытый. Без параметра /IT команда Robocopy может упустить изменение ACL и не передать его в целевое расположение. |
/COPY:[copyflags] |
Точность копирования файла. По умолчанию: /COPY:DAT. Флаги копирования: D = данные, A = атрибуты, T = метки времени, S = безопасность = NTFS ACL, O = информация о владельце, U = данные аудита. Данные аудита не могут храниться в общей папке Azure. |
/DCOPY:[copyflags] |
Точность для копии каталогов. По умолчанию: /DCOPY:DA. Флаги копирования: D = данные, A = атрибуты, T = метки времени. |
/NP |
Указывает, что ход копирования каждого файла и папки не отображается. Отображение хода выполнения значительно снижает производительность копирования. |
/NFL |
Указывает, что имена файлов не регистрируются. Улучшается производительность копирования. |
/NDL |
Указывает, что имена каталогов не регистрируются. Улучшается производительность копирования. |
/XD |
Указывает исключаемые каталоги. При выполнении Robocopy в корне тома рассмотрите возможность исключения скрытой папки System Volume Information. Если она используется по назначению, вся информация в ней относится к конкретному тому в этой конкретной системе и может быть легко восстановлена по требованию. Копирование этой информации не принесет никакой пользы ни в облаке, ни при последующем копировании обратно на другой том Windows. Отказ от хранения этого содержимого не должен считаться потерей данных. |
/UNILOG:<file name> |
Записывает состояние в файл журнала в формате Юникод. (Перезаписывает существующий журнал.) |
/L |
Только для тестового запуска Для файлов только выводится список. Они не копируются, не удаляются, и в них не добавляются мети времени. Зачастую используется вместе с /TEE для вывода консоли. Флаги из примера скрипта (такие как /NP, /NFL и /NDL) потребуется удалить, чтобы добиться обеспечить надлежащее документирование результатов теста. |
/LFSM |
Только для целевых объектов с многоуровневым хранилищем. Не поддерживается, если назначение является удаленным ресурсом S МБ. Указывает, что Robocopy работает в "режиме низкого свободного пространства". Этот параметр полезен только для целевых объектов с многоуровневыми хранилищами, которые могут выйти из локальной емкости до завершения Robocopy. Он был добавлен специально для использования с целевым объектом, для которого установлено распределение по уровням в облаке в Синхронизации файлов Azure. Его можно использовать независимо от Синхронизации файлов Azure. В этом режиме средство Robocopy будет приостановлено всякий раз, когда копирование файла приведет к тому, что свободное место на целевом томе опустится ниже предельного значения. Это значение может быть задано в форме /LFSM:n флага. Параметр n указывается в системе отсчета с базой 2: nKB, nMB или nGB. Если параметр /LFSM указан без явного значения floor, для него устанавливается значение 10 процентов от размера целевого тома. Режим нехватки свободного места несовместим с /MT, /EFSRAW или /ZB. Поддержка /B была добавлена в Windows Server 2022. Дополнительные сведения о связанных ошибках и обходных решениях см. в разделе о Windows Server 2022 и RoboCopy LFSM ниже. |
/Z |
Используйте его с осторожностью Копирует файлы в режиме перезапуска. Этот параметр рекомендуется использовать только в нестабильной сетевой среде. Он значительно сокращает производительность копирования из-за дополнительных записей в журнал. |
/ZB |
Используйте его с осторожностью Использует режим перезапуска. Если доступ запрещен, то для этого параметра используется режим резервного копирования. Этот параметр значительно сокращает производительность копирования из-за дополнительных контрольных точек. |
Важно!
Мы рекомендуем использовать Windows Server 2022. При использовании Windows Server 2019 убедитесь, что установлено последнее исправление или хотя бы обновление ОС KB5005103. Оно содержит важные исправления для определенных сценариев Robocopy.
Этап 5. Развертывание облачного ресурса Синхронизации файлов Azure
Прежде чем продолжить работу с этим руководством, дождитесь, пока все файлы не поступят в соответствующие общие папки Azure. Процесс доставки и обработки данных Data Box займет некоторое время.
На этом шаге вам понадобятся учетные данные подписки Azure.
Основной ресурс, который необходимо настроить для службы Синхронизации файлов Azure, называется службой синхронизации хранилища. Рекомендуется развертывать только одну службу для всех серверов, которые выполняют синхронизацию одного и того же набора файлов сейчас или в будущем. Создавать несколько служб синхронизации хранилища следует, только если имеются отдельные наборы серверов, которые ни в коем случае не должны обмениваться данными. Например, у вас могут быть серверы, которые ни в коем случае не должны выполнять синхронизацию одной и той же общей папки Azure. В противном случае рекомендуется использовать одну службу синхронизации хранилища.
Выберите для службы синхронизации хранилища регион Azure, находящийся ближе к вашему расположению. Все остальные облачные ресурсы должны развертываться в той же группе ресурсов. Чтобы упростить управление, создайте в подписке новую группу ресурсов, в которой будут храниться ресурсы для синхронизации и хранилища.
Дополнительные сведения см. в разделе о развертывании службы синхронизации хранилища статьи о развертывании службы Синхронизации файлов Azure. Вам понадобится только этот раздел статьи. На следующих этапах будут приведены ссылки на другие разделы статьи.
Этап 6. Развертывание агента службы Синхронизации файлов Azure
В этом разделе вам предстоит установить агент Синхронизации файлов Azure на экземпляре Windows Server.
Руководство по развертыванию объясняет необходимость отключения конфигурации усиленной безопасности Internet Explorer. Эта мера безопасности неприменима к Синхронизации файлов Azure. Ее отключение позволяет выполнять проверку подлинности в Azure без каких бы то ни было проблем.
Откройте средство PowerShell. Установите необходимые модули PowerShell с помощью следующих команд. При появлении соответствующего запроса обязательно установите полный модуль и поставщик NuGet.
Install-Module -Name Az -AllowClobber
Install-Module -Name Az.StorageSync
Если на вашем сервере возникают проблемы с подключением к Интернету, настало время их устранить. Служба Синхронизации файлов Azure использует любое доступное сетевое подключение к Интернету. Требование к наличию прокси-сервера для подключения к Интернету также поддерживается. Вы можете настроить прокси-сервер на уровне компьютера сейчас или задать прокси-сервер, который будет использоваться только службой Синхронизации файлов Azure, во время установки агента.
Если настройка прокси-сервера означает, что для этого сервера необходимо открыть брандмауэры, такой подход может оказаться приемлемым. В конце установки сервера после завершения его регистрации отчет о подключении к сети будет содержать точные URL-адреса конечных точек в Azure, с которыми служба Синхронизации файлов Azure должна выполнять обмен данными в выбранном регионе. Отчет также содержит причину, по которой требуется обмен данными. Отчет можно использовать для блокировки брандмауэров этого сервера по конкретным URL-адресам.
Можно также придерживаться более консервативного подхода, при котором широкое открытие брандмауэров не выполняется. Вместо этого можно установить для сервера ограничение, допускающее обмен данными только с пространствами имен DNS более высокого уровня. Дополнительные сведения см. в разделе Параметры прокси-сервера и брандмауэра Синхронизации файлов Azure. Следуйте собственным лучшим методикам реализации сети.
По окончании работы мастера установки сервера откроется мастер регистрации сервера. Зарегистрируйте сервер в ресурсе Azure службы синхронизации хранилища, упомянутой ранее.
Эти действия подробно описаны в руководстве по развертыванию, включающем модули PowerShell, которые следует установить в первую очередь: Установка агента Синхронизации файлов Azure.
Используйте последнюю версию агента. Его можно скачать в Центре загрузки Майкрософт: Агент Синхронизации файлов Azure.
После успешной установки и регистрации сервера можно проверить, успешно ли завершен этот шаг. Перейдите к ресурсу службы синхронизации хранилища на портале Azure. В меню слева выберите пункт Зарегистрированные серверы. Сервер появится в списке.
Этап 7. Настройка службы Синхронизации файлов Azure на существующем сервере Windows Server
Зарегистрированный локальный экземпляр Windows Server должен быть готов к работе и подключен к Интернету для этого процесса.
На этом этапе выполняется связывание всех ресурсов и папок, настроенных на экземпляре Windows Server в ходе выполнения предыдущих этапов.
- Войдите на портал Azure.
- Найдите ресурс службы синхронизации хранилища.
- Создайте новую группу синхронизации в ресурсе службы синхронизации хранилища для каждой общей папки Azure. В терминологии Синхронизации файлов Azure общая папка Azure станет облачной конечной точкой в топологии синхронизации, которую вы описываете при создании группы синхронизации. При создании группы синхронизации присвойте ей знакомое имя, чтобы определить, какой набор файлов будет здесь синхронизироваться. Убедитесь, что вы ссылаетесь на общую папку Azure с таким же именем.
- После создания группы синхронизации в списке групп синхронизации появится строка для нее. Выберите имя (ссылку), чтобы показать содержимое группы синхронизации. Общая папка Azure появится в разделе Облачные конечные точки.
- Найдите кнопку Добавить конечную точку сервера. Подготовленная вами папка на локальном сервере станет путем для этой конечной точки сервера.
В мастере Создание конечной точки сервера используйте флажок под путем папки. Установите флажок, только если вы указали путь, указывающий на ту же структуру файлов и папок, что и в общей папке Azure (куда Data Box переместил файлы и папки для этого пространства имен).
Если иерархия папок не согласована, эти различия невозможно будет разрешить автоматически. Избегайте таких несоответствий, иначе любая работа с Data Box не принесет никаких преимуществ. Все данные будут удалены из общей папки Azure. Все данные необходимо будет отправить с локального сервера. Структуры каталогов должны совпадать, чтобы вы получили преимущества групповой миграции с Azure Data Box и могли без лишних усилий обновить облачную общую папку с учетом последних изменений на сервере.
Примечание.
Поставьте этот флажок, чтобы включить для режима Начальная синхронизация вариант Принудительно перезаписывать файлы и папки в общей папке Azure содержимым в этом серверном пути. Этот вариант доступен только для первой конечной точки сервера в группе синхронизации.
После настройки принудительной отправки для новой конечной точки сервера можно дополнительно включить распределение по уровням в облаке.
Распределение по уровням в облаке — это функция Синхронизации файлов Azure, которая позволяет выделять локальному серверу меньший объем хранилища, чем объем ресурсов в облаке, но при этом использовать полное пространство имен. Локальные интересующие данные также кэшируются локально для повышения производительности доступа. Распределение по уровням в облаке является необязательным. Его можно задать отдельно для каждой конечной точки сервера Синхронизации файлов Azure. Используйте эту функцию для получения фиксированного объема хранилища в локальной среде, при этом предоставив пользователям локальный кэш для производительности и сохранив холодные данные в облаке.
Узнайте больше в обзоре распределения по уровням в облаке или изучите различные политики распределения по уровням в облаке, которые можно использовать для настройки кэширования и распределения по уровням на локальном сервере.
Завершение миграции
После создания конечной точки сервера начнется синхронизация. При этом служба синхронизации должна перечислить (обнаружить) файлы и папки, перемещенные с помощью Azure Data Box в общую папку Azure. В зависимости от размера пространства имен может пройти много времени, прежде чем последние изменения сервера будут синхронизированы с облаком. Это не влияет на пользователей. Они могут продолжать работать с данными на сервере. Эта стратегия позволяет выполнить миграцию в облако с нулевым временем простоя.
Для всех общих папок Azure и серверных расположений, которые необходимо настроить для синхронизации, повторите эти действия, чтобы создать группы синхронизации и добавить соответствующие серверные папки в качестве конечных точек сервера. Вы использовали Azure Data Box для перемещения файлов в несколько общих папок Azure. Миграция будет завершена после создания всех конечных точек сервера, соединяющих локальные данные с этими общими папками Azure.
Следующие шаги
Вы можете узнать еще много нового об общих папках Azure и Синхронизации файлов Azure. В приведенных ниже статьях описаны дополнительные параметры и лучшие методики. Они также содержат советы по устранению неполадок. В соответствующих случаях в этих статьях содержатся ссылки на документацию по общей папке Azure.