Обновление Хранилища BLOB-объектов Azure с помощью возможностей Azure Data Lake Storage 2-го поколения

Эта статья поможет вам активировать иерархическое пространство имен и разблокировать такие возможности, как безопасность на уровне файлов и каталогов, а также ускорить работу. Эти возможности широко используются в рабочих нагрузках аналитики больших данных и в совокупности называются Azure Data Lake Storage 2-го поколения.

Чтобы получить более подробную информацию об этих возможностях и оценить влияние этого обновления на рабочие нагрузки, приложения, затраты, интеграцию служб, средства, функции и документацию, см. статью Обновление хранилища BLOB-объектов Azure с помощью возможностей Azure Data Lake Storage 2-го поколения.

Важно!

Обновление является односторонним. После обновления отменить изменения учетной записи невозможно. Рекомендуется проверить обновление в непроизводственной среде.

Подготовка к обновлению

Чтобы подготовиться к обновлению учетной записи хранения до Data Lake Storage 2-го поколения:

• Проверка поддержки функций
• Убедитесь, что сегменты каждого пути большого двоичного объекта именуются
• Запрет действия записи в учетную запись хранения

Просмотр поддержки функций

Ваша учетная запись хранения может быть настроена для использования функций, которые еще не поддерживаются в учетных записях с поддержкой Data Lake Storage 2-го поколения. Если ваша учетная запись использует такие функции, обновление не пройдет этап проверки. Чтобы определить, какие функции не поддерживаются, ознакомьтесь со статьей Поддержка функции хранилища Blob-объектов в учетных записях хранилища Azure. Если вы используете такие функции в учетной записи, отключите их перед началом обновления.

Следующие функции поддерживаются для учетных записей Data Lake Storage 2-го поколения, но не поддерживаются процессом обновления:

• Моментальные снимки BLOB-объектов
• Области шифрования
• Неизменяемое хранилище
• Отслеживание времени последнего доступа для управления жизненным циклом
• Обратимое удаление BLOB-объектов
• Обратимое удаление для контейнеров

Если у вашей учетной записи хранения есть такие функции, их необходимо отключить перед выполнением обновления. Если вы хотите возобновить использование функций после завершения обновления, повторно включите их.

В некоторых случаях необходимо разрешить время для операций очистки после отключения функции перед обновлением. Одним из примеров является функция обратимого удаления BLOB-объектов. Перед обновлением учетной записи необходимо отключить обратимое удаление большого двоичного объекта, а затем разрешить срок действия всех blob-объектов обратимого удаления.

Важно!

Вы не можете обновить учетную запись хранения до Data Lake Storage 2-го поколения, которая когда-либо включила функцию канала изменений. Простое отключение канала изменений не позволит выполнить обновление. Вместо этого необходимо создать учетную запись с включенным функцией иерархического пространства имен, а затем переместить данные в эту учетную запись.

Убедитесь, что сегменты каждого пути большого двоичного объекта именуются

Процесс миграции создает каталог для каждого сегмента пути большого двоичного объекта. Data Lake Storage 2-го поколения каталоги должны иметь имя, поэтому для успешной миграции каждый сегмент пути в виртуальном каталоге должен иметь имя. То же требование верно для сегментов, которые именуются только пробелом. Если какие-либо сегменты пути либо неименованы (//) или именованы только с символом пробела (_), то перед продолжением миграции необходимо скопировать эти большие двоичные объекты в новый путь, совместимый с этими требованиями именования.

Запрет действия записи в учетную запись хранения

Обновление может завершиться ошибкой, если приложение записывает в учетную запись хранения во время обновления. Чтобы предотвратить такое действие записи, выполните следующие действия:

1. Выключает любые приложения или службы, которые могут выполнять операции записи.

2. Выпуск или прерывание существующих аренд на контейнерах и больших двоичных объектах в учетной записи хранения.

После завершения обновления разорвать созданные аренды, чтобы возобновить запись доступа к контейнерам и blob-объектам.

Предупреждение

Нарушение активной аренды без корректного отключения приложений или виртуальных машин, которые в настоящее время обращаются к этим ресурсам, могут иметь непредвиденные результаты. Перед нарушением текущей аренды не забудьте выполнить все текущие действия записи.

Выполнение обновления

Портал

1. Чтобы начать, войдите на портал Azure.

2. Найдите учетную запись хранения и отобразите общие сведения о ней.

3. Выберите миграцию Data Lake 2-го поколения.

   Открывается страница конфигурации Обновление до учетной записи хранения с возможностями Azure Data Lake 2-го поколения

   

4. Разверните раздел Шаг 1: Проверка изменений учетной записи перед обновлением и щелкните Просмотреть и принять изменения.

5. На странице Просмотреть изменения учетной записи поставьте флажок и щелкните Принять изменения.

6. Разверните раздел Шаг 2: Проверка учетной записи перед обновлением и щелкните Начать проверку.

   Если проверка не пройдена, на странице появится сообщение об ошибке. В некоторых случаях появляется ссылка Просмотр ошибок. Если ссылка появится, выберите ее.

   

   Потом из контекстного меню файла error.json выберите Скачивание.

   

   Откройте скачанный файл, чтобы определить, почему учетная запись не прошла этап проверки. Следующая функция JSON указывает на то, что в учетной записи активирована несовместимая функция. В этом случае нужно отключить эту функцию, а затем снова начать проверку.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

7. После успешной проверки вашей учетной записи разверните раздел Шаг 3: Обновить учетную запись, потом нажмите Начать обновление.

   Важно!

   Во время обновления учетной записи операции записи будут отключены. Операции чтения не отключаются, но мы настоятельно рекомендуем приостановить операции чтения, так как они могут дестабилизировать процесс обновления.

   После успешного завершения миграции появится сообщение, аналогичное следующему.

   

PowerShell

1. Откройте командное окно Windows PowerShell.

2. Убедитесь, что у вас установлена последняя версия модуля Azure PowerShell. См. Установка модуля Azure PowerShell.

3. Войдите в подписку Azure с помощью команды Connect-AzAccount и следуйте инструкциям на экране.

   Connect-AzAccount
   

4. Если ваш идентификатор связан с несколькими подписками, установите активную подписку.

   $context = Get-AzSubscription -SubscriptionId <subscription-id>
   Set-AzContext $context
   

   Замените значение заполнителя <subscription-id> идентификатором своей подписки.

5. Проверьте учетную запись хранения, выполнив следующую команду.

   $result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Validation -AsJob
   

   • Замените значение заполнителя <resource-group-name> именем своей группы ресурсов.

   • Замените значение заполнителя <storage-account-name> именем вашей учетной записи хранения.

   В зависимости от размера вашей учетной записи этот процесс может занять некоторое время. С помощью переключателя asJob можно выполнить команду в фоновом режиме, чтобы клиент не был заблокирован. Команда выполняется удаленно, но задание существует на локальном компьютере или в виртуальной машине, из которой выполняется команда. Результаты передаются на локальный компьютер или в виртуальную машину.

6. Чтобы проверить состояние задания и отобразить все свойства задания в списке, передайте возвращаемую переменную в командлет Format-List.

   $result | Format-List -Property *
   

   Если проверка будет выполнена успешно, свойство Состояние получит статус Завершено.

   Если проверка не будет пройдена, свойство Состояние получит статус Сбой, и свойство Ошибка покажет ошибки проверки.

   Следующие выходные данные указывают, что в учетной записи активирована несовместимая функция. В этом случае нужно отключить эту функцию, а затем снова начать проверку.

   

   В некоторых случаях свойство Ошибка показывает путь к файлу под названием error.json. Откройте этот файл, чтобы определить, почему учетная запись не прошла этап проверки.

   Следующая функция JSON указывает на то, что в учетной записи активирована несовместимая функция. В этом случае нужно отключить эту функцию, а затем снова начать проверку.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

7. После успешной проверки учетной записи запустите обновление следующей командой.

   $result = Invoke-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName "<resource-group-name>" -Name "<storage-account-name>" -RequestType Upgrade -AsJob -Force
   

   Как и в приведенном выше примере проверки, в этом примере для запуска команды в фоновом режиме используется переключатель asJob. Переключатель Force переопределяет запросы на подтверждение обновления. Если вы не пользуетесь переключателем AsJob, вы не должны пользоваться переключателем Force, так как вы можете просто ответить на запросы.

   Важно!

   Во время обновления учетной записи операции записи будут отключены. Операции чтения не отключаются, но мы настоятельно рекомендуем приостановить операции чтения, так как они могут дестабилизировать процесс обновления.

   Чтобы проверить состояние задания, используйте те же методы, что и в предыдущих шагах. Когда процесс идет, свойство Состояние имеет статус Запущен.

   После успешного завершения миграции свойство Состояние получит статус Завершено, а свойство Ошибка не покажет ошибок.

   

   Важно!

   Приблизительная оценка времени обновления составляет примерно 5–10 минут на 2 миллиона BLOB-объектов. Например, если учетная запись содержит 10 миллионов BLOB-объектов, обновление займет около 25–50 минут. Учетные записи, содержащие менее 2 миллионов BLOB-объектов, обычно обновляются меньше 10 минут.

Azure CLI

1. Сначала откройте Azure Cloud Shell или, если вы установили Azure CLI локально, откройте командное консольное приложение (например, Windows PowerShell).

2. Убедитесь, что установленная 2.29.0 версия Azure CLI или более поздняя с помощью следующей команды.

    az --version
   

   Если ваша версия Azure CLI ниже чем 2.29.0, установите последнюю версию. Дополнительные сведения см. в статье Установка Azure CLI.

3. Если ваш идентификатор связан с несколькими подписками, установите активную подписку.

      az account set --subscription <subscription-id>
   

   Замените значение заполнителя <subscription-id> идентификатором своей подписки.

4. Проверьте учетную запись хранения, выполнив следующую команду.

   az storage account hns-migration start --type validation -n <storage-account-name> -g <resource-group-name>
   

   • Замените значение заполнителя <resource-group-name> именем своей группы ресурсов.

   • Замените значение заполнителя <storage-account-name> именем вашей учетной записи хранения.

   Если проверка будет успешной, процесс завершится, и ошибки не появятся.

   Если проверка не будет пройдена, на консоли появится сообщение об ошибке проверки. Например, ошибка (IncompatibleValuesForAccountProperties) Values for account properties are incompatible: Versioning Enabled указывает, что в учетной записи включена несовместимая функция (Управление версиями). В этом случае нужно отключить эту функцию, а затем снова начать проверку.

   В некоторых случаях на консоли показан путь к файлу с именем error.json. Откройте этот файл, чтобы определить, почему учетная запись не прошла этап проверки.

   Следующая функция JSON указывает на то, что в учетной записи активирована несовместимая функция. В этом случае нужно отключить эту функцию, а затем снова начать проверку.

   {
    "startTime": "2021-08-04T18:40:31.8465320Z",
    "id": "45c84a6d-6746-4142-8130-5ae9cfe013a0",
    "incompatibleFeatures": [
        "Blob Delete Retention Enabled"
    ],
    "blobValidationErrors": [],
    "scannedBlobCount": 0,
    "invalidBlobCount": 0,
    "endTime": "2021-08-04T18:40:34.9371480Z"
   }
   

5. После успешной проверки учетной записи запустите обновление следующей командой.

   az storage account hns-migration start --type upgrade -n storage-account-name -g <resource-group-name>
   

   Важно!

   Во время обновления учетной записи операции записи будут отключены. Операции чтения не отключаются, но мы настоятельно рекомендуем приостановить операции чтения, так как они могут дестабилизировать процесс обновления.

   Если миграция пройдет успешно, процесс завершится, и ошибки не появятся.

Остановка обновления

Миграцию можно остановить до ее завершения.

Портал

Чтобы остановить процесс обновления, прежде чем он закончится, выберите Отменить обновление.

PowerShell

Для остановки обновления, прежде чем оно закончится, воспользуйтесь командой Stop-AzStorageAccountHierarchicalNamespaceUpgrade.

Stop-AzStorageAccountHierarchicalNamespaceUpgrade -ResourceGroupName <resource-group-name> -Name <storage-account-name>

Azure CLI

Для остановки обновления, прежде чем оно закончится, воспользуйтесь командой az storage account hns-migration stop.

az storage account hns-migration stop -n <storage-account-name> -g <resource-group-name>

Перенос данных, рабочих нагрузок и приложений

1. Конфигурируйте службы в рабочих нагрузках, чтобы выбрать либо конечную точку службы BLOB-объектов, либо конечную точку хранилища Data Lake.

   

2. Для рабочих нагрузок Hadoop, которые используют драйвер Windows Azure Storage Blob или драйвер WASB проверьте, чтобы они были модифицированы до использования драйвера Azure Blob File System (ABFS). В отличие от драйвера WASB, который направляет запросы в конечную точку службы BLOB-объектов, драйвер ABFS направляет запросы в конечную точку Data Lake Storage вашей учетной записи.

3. Протестируйте пользовательские приложения, чтобы убедиться, что они работают с обновленной учетной записью так, как ожидалось.

   Доступ к Data Lake Storage с использованием нескольких протоколов позволяет большинству приложений продолжать пользоваться API BLOB-объектов без их модификации. Если вы столкнулись с проблемой или хотите использовать API для работы с каталогами и ALS, рассмотрите возможность переноса части кода, чтобы использовать API для Data Lake Storage 2-го поколения. См. руководства по .NET, Java, Python, Node.js и REST.

4. Протестируйте пользовательские сценарии, чтобы убедиться, что они работают с обновленной учетной записью так, как ожидалось.

   Как и в случае с API для BLOB-объектов, многие сценарии, скорее всего, будут работать без необходимости изменять их. Однако при необходимости вы можете обновить файлы сценариев для использования командлетов PowerShell Data Lake Storage 2-го поколения и команд Azure CLI.

См. также

Общие сведения о хранилище Azure Data Lake Storage 2-го поколения