Что такое виртуальная машина для обработки и анализа данных Azure на Linux и Windows?

Виртуальная машина для обработки и анализа данных (DSVM) — это настроенный образ виртуальной машины на облачной платформе Azure, созданный специально для обработки и анализа данных. В ней предварительно установлено и настроено множество популярных средств для анализа и обработки данных, позволяющих быстро приступить к созданию интеллектуальных приложений для расширенной аналитики.

DSVM можно использовать в следующих системах:

  • Windows Server 2019
  • Ubuntu 18.04 LTS
  • Ubuntu 20.04 LTS

Сравнение со службой "Машинное обучение Azure"

DSVM — это настроенный образ виртуальной машины для обработки и анализа данных, а служба Машинное обучение Azure (AzureML) — комплексная платформа, охватывающая:

  • Полностью управляемые вычислительные среды
    • Экземпляры среды выполнения приложений
    • Вычислительные кластеры для распределенных задач Машинного обучения
    • Кластеры вывода для оценки в реальном времени
  • Хранилища данных (например, большой двоичный объект, ADLS 2-го поколения, база данных SQL)
  • Отслеживание экспериментов
  • управление моделью;
  • Записные книжки
  • Среды (управление зависимостями conda и R)
  • Добавление меток
  • Конвейеры (автоматизированные комплексные рабочие процессы обработки и анализа данных)

Сравнение с вычислительными экземплярами Azure ML

Вычислительные экземпляры службы "Машинное обучение Azure" — это полностью настроенный и управляемый образ виртуальной машины, тогда как DSVM — неуправляемая виртуальная машина.

Основные различия между этими двумя предлагаемыми продуктами описаны ниже.

Компонент Обработка и анализ данных
ВМ
AzureML
Вычислительный экземпляр
Полная управляемость Нет Да
Поддержка языков Python, R, Julia, SQL, C#,
Java, Node.js, F#
Python и R
Операционная система Ubuntu
Windows
Ubuntu
Предварительно настроенный параметр GPU Да Да
Параметр "Вертикально увеличить масштаб" Да Да
Доступ по протоколу SSH Да Да
Доступ по протоколу RDP Да Нет
Встроено
Размещенные записные книжки
Нет
(требуется дополнительная настройка)
Да
Встроенный единый вход Нет
(требуется дополнительная настройка)
Да
Встроенная совместная работа Нет Да
Предварительно установленные инструменты Jupyter (лаборатория), RStudio Server, VSCode,
Visual Studio, PyCharm, Juno,
Power BI Desktop, SSMS,
Microsoft Office 365, Apache Drill
Jupyter (лаборатория)
RStudio Server

Примеры вариантов использования

Ниже показаны некоторые общие варианты использования для клиентов DSVM.

Краткосрочные эксперименты и оценка

Вы можете использовать DSVM, чтобы оценить или изучить новые инструменты обработки и анализа данных, особенно путем перехода к нашим опубликованным примерам и пошаговым руководствам.

Глубокое обучение с помощью графических процессоров

В DSVM модели обучения могут использовать алгоритмы глубокого обучения на оборудовании, основанном на графических процессорах (GPU). Используя преимущества масштабирования виртуальных машин платформы Azure, DSVM помогает использовать оборудование на основе GPU в облаке в соответствии с вашими потребностями. Вы можете переключиться на виртуальную машину на основе GPU при обучении больших моделей или выполняете высокоскоростные вычисления, не меняя диск операционной системы. Вы можете выбрать любой из SKU виртуальных машин серии N с поддержкой GPU и DSVM. Обратите внимание, что бесплатные учетные записи Azure не поддерживают номера SKU виртуальных машин с поддержкой GPU.

Выпуски DSVM для Windows содержат предварительно установленные драйверы GPU, платформы и версии GPU платформ глубокого обучения. В выпусках для Linux глубокое обучение на GPU включено во все версии DSVM.

Вы также можете развернуть DSVM в версии для Ubuntu или Windows 2016 на виртуальной машине Azure, которая не основана на GPU. В этом случае все платформы глубокого обучения вернутся в режим ЦП.

Дополнительные сведения о доступных платформах для глубокого обучения и искусственного интеллекта.

Обучение обработке и анализу данных

Корпоративные инструкторы и преподаватели, обучающие классы по обработке и анализу данных, обычно предоставляют образ виртуальной машины. Этот образ гарантирует, что учащиеся будут иметь одинаковые настройки, а примеры программ — работать предсказуемо.

DSVM создает требуемую среду с согласованными настройками, что упрощает задачи поддержки и устраняет проблемы несовместимости. Для случаев, когда необходимо часто создавать такие среды, особенно в рамках коротких учебных курсов, характерно больше преимуществ.

Что входит в DSVM?

Полный список инструментов для DSVM на Windows и Linux смотрите здесь.

Дальнейшие действия

См. сведения в следующих статьях: