Краткое руководство. Создание Виртуальная машина для обработки и анализа данных Ubuntu с помощью шаблона ARM
В этом кратком руководстве показано, как создать Виртуальная машина для обработки и анализа данных Ubuntu (DSVM) с помощью шаблона Azure Resource Manager (шаблона ARM). Виртуальная машина для обработки и анализа данных — это облачный ресурс, предварительно загруженный с помощью набора платформ и средств для обработки и анализа данных и машинного обучения. При развертывании на основе ресурсов вычислений на платформе GPU все средства и библиотеки настраиваются на использование GPU.
Шаблон Azure Resource Manager — это файл нотации объектов JavaScript (JSON), который определяет инфраструктуру и конфигурацию проекта. В шаблоне используется декларативный синтаксис. Вы описываете предполагаемое развертывание без написания последовательности команд программирования для создания развертывания.
Если среда соответствует предварительным требованиям и вы знаете, как использовать шаблоны ARM, нажмите кнопку "Развернуть в Azure ". Откроется шаблон в портал Azure.
Необходимые компоненты
Подписка Azure. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись, прежде чем начинать работу.
Чтобы выполнять приведенные в этом документе команды CLI в локальной среде, вам потребуется Azure CLI.
Изучение шаблона
Шаблон, используемый в этом кратком руководстве, можно найти в ресурсе шаблонов быстрого запуска Azure.
{
"$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
"contentVersion": "1.0.0.0",
"metadata": {
"_generator": {
"name": "bicep",
"version": "0.8.9.13224",
"templateHash": "4895680407304578048"
}
},
"parameters": {
"adminUsername": {
"type": "string",
"metadata": {
"description": "Username for Administrator Account"
}
},
"vmName": {
"type": "string",
"defaultValue": "vmName",
"metadata": {
"description": "The name of you Virtual Machine."
}
},
"location": {
"type": "string",
"defaultValue": "[resourceGroup().location]",
"metadata": {
"description": "Location for all resources."
}
},
"cpu_gpu": {
"type": "string",
"defaultValue": "CPU-4GB",
"allowedValues": [
"CPU-4GB",
"CPU-7GB",
"CPU-8GB",
"CPU-14GB",
"CPU-16GB",
"GPU-56GB"
],
"metadata": {
"description": "Choose between CPU or GPU processing"
}
},
"virtualNetworkName": {
"type": "string",
"defaultValue": "vNet",
"metadata": {
"description": "Name of the VNET"
}
},
"subnetName": {
"type": "string",
"defaultValue": "subnet",
"metadata": {
"description": "Name of the subnet in the virtual network"
}
},
"networkSecurityGroupName": {
"type": "string",
"defaultValue": "SecGroupNet",
"metadata": {
"description": "Name of the Network Security Group"
}
},
"authenticationType": {
"type": "string",
"defaultValue": "sshPublicKey",
"allowedValues": [
"sshPublicKey",
"password"
],
"metadata": {
"description": "Type of authentication to use on the Virtual Machine. SSH key is recommended."
}
},
"adminPasswordOrKey": {
"type": "secureString",
"metadata": {
"description": "SSH Key or password for the Virtual Machine. SSH key is recommended."
}
}
},
"variables": {
"networkInterfaceName": "[format('{0}NetInt', parameters('vmName'))]",
"virtualMachineName": "[parameters('vmName')]",
"publicIpAddressName": "[format('{0}PublicIP', parameters('vmName'))]",
"subnetRef": "[resourceId('Microsoft.Network/virtualNetworks/subnets', parameters('virtualNetworkName'), parameters('subnetName'))]",
"nsgId": "[resourceId('Microsoft.Network/networkSecurityGroups', parameters('networkSecurityGroupName'))]",
"osDiskType": "StandardSSD_LRS",
"storageAccountName": "[format('storage{0}', uniqueString(resourceGroup().id))]",
"storageAccountType": "Standard_LRS",
"storageAccountKind": "Storage",
"vmSize": {
"CPU-4GB": "Standard_B2s",
"CPU-7GB": "Standard_D2s_v3",
"CPU-8GB": "Standard_D2s_v3",
"CPU-14GB": "Standard_D4s_v3",
"CPU-16GB": "Standard_D4s_v3",
"GPU-56GB": "Standard_NC6_Promo"
},
"linuxConfiguration": {
"disablePasswordAuthentication": true,
"ssh": {
"publicKeys": [
{
"path": "[format('/home/{0}/.ssh/authorized_keys', parameters('adminUsername'))]",
"keyData": "[parameters('adminPasswordOrKey')]"
}
]
}
}
},
"resources": [
{
"type": "Microsoft.Network/networkInterfaces",
"apiVersion": "2021-05-01",
"name": "[variables('networkInterfaceName')]",
"location": "[parameters('location')]",
"properties": {
"ipConfigurations": [
{
"name": "ipconfig1",
"properties": {
"subnet": {
"id": "[variables('subnetRef')]"
},
"privateIPAllocationMethod": "Dynamic",
"publicIPAddress": {
"id": "[resourceId('Microsoft.Network/publicIPAddresses', variables('publicIpAddressName'))]"
}
}
}
],
"networkSecurityGroup": {
"id": "[variables('nsgId')]"
}
},
"dependsOn": [
"[resourceId('Microsoft.Network/networkSecurityGroups', parameters('networkSecurityGroupName'))]",
"[resourceId('Microsoft.Network/publicIPAddresses', variables('publicIpAddressName'))]",
"[resourceId('Microsoft.Network/virtualNetworks', parameters('virtualNetworkName'))]"
]
},
{
"type": "Microsoft.Network/networkSecurityGroups",
"apiVersion": "2021-05-01",
"name": "[parameters('networkSecurityGroupName')]",
"location": "[parameters('location')]",
"properties": {
"securityRules": [
{
"name": "JupyterHub",
"properties": {
"priority": 1010,
"protocol": "Tcp",
"access": "Allow",
"direction": "Inbound",
"sourceAddressPrefix": "*",
"sourcePortRange": "*",
"destinationAddressPrefix": "*",
"destinationPortRange": "8000"
}
},
{
"name": "RStudioServer",
"properties": {
"priority": 1020,
"protocol": "Tcp",
"access": "Allow",
"direction": "Inbound",
"sourceAddressPrefix": "*",
"sourcePortRange": "*",
"destinationAddressPrefix": "*",
"destinationPortRange": "8787"
}
},
{
"name": "SSH",
"properties": {
"priority": 1030,
"protocol": "Tcp",
"access": "Allow",
"direction": "Inbound",
"sourceAddressPrefix": "*",
"sourcePortRange": "*",
"destinationAddressPrefix": "*",
"destinationPortRange": "22"
}
}
]
}
},
{
"type": "Microsoft.Network/virtualNetworks",
"apiVersion": "2021-05-01",
"name": "[parameters('virtualNetworkName')]",
"location": "[parameters('location')]",
"properties": {
"addressSpace": {
"addressPrefixes": [
"10.0.0.0/24"
]
},
"subnets": [
{
"name": "[parameters('subnetName')]",
"properties": {
"addressPrefix": "10.0.0.0/24",
"privateEndpointNetworkPolicies": "Enabled",
"privateLinkServiceNetworkPolicies": "Enabled"
}
}
]
}
},
{
"type": "Microsoft.Network/publicIPAddresses",
"apiVersion": "2021-05-01",
"name": "[variables('publicIpAddressName')]",
"location": "[parameters('location')]",
"sku": {
"name": "Basic",
"tier": "Regional"
},
"properties": {
"publicIPAllocationMethod": "Dynamic"
}
},
{
"type": "Microsoft.Storage/storageAccounts",
"apiVersion": "2021-08-01",
"name": "[variables('storageAccountName')]",
"location": "[parameters('location')]",
"sku": {
"name": "[variables('storageAccountType')]"
},
"kind": "[variables('storageAccountKind')]"
},
{
"type": "Microsoft.Compute/virtualMachines",
"apiVersion": "2021-11-01",
"name": "[format('{0}-{1}', variables('virtualMachineName'), parameters('cpu_gpu'))]",
"location": "[parameters('location')]",
"properties": {
"hardwareProfile": {
"vmSize": "[variables('vmSize')[parameters('cpu_gpu')]]"
},
"storageProfile": {
"osDisk": {
"createOption": "FromImage",
"managedDisk": {
"storageAccountType": "[variables('osDiskType')]"
}
},
"imageReference": {
"publisher": "microsoft-dsvm",
"offer": "ubuntu-1804",
"sku": "1804-gen2",
"version": "latest"
}
},
"networkProfile": {
"networkInterfaces": [
{
"id": "[resourceId('Microsoft.Network/networkInterfaces', variables('networkInterfaceName'))]"
}
]
},
"osProfile": {
"computerName": "[variables('virtualMachineName')]",
"adminUsername": "[parameters('adminUsername')]",
"adminPassword": "[parameters('adminPasswordOrKey')]",
"linuxConfiguration": "[if(equals(parameters('authenticationType'), 'password'), json('null'), variables('linuxConfiguration'))]"
}
},
"dependsOn": [
"[resourceId('Microsoft.Network/networkInterfaces', variables('networkInterfaceName'))]"
]
}
],
"outputs": {
"adminUsername": {
"type": "string",
"value": "[parameters('adminUsername')]"
}
}
}
Шаблон определяет следующие ресурсы:
- Microsoft.Network/networkInterfaces
- Microsoft.Network/networkSecurityGroups;
- Microsoft.Network/virtualNetworks;
- Microsoft.Network/publicIPAddresses
- Microsoft.Storage/storageAccounts
- Microsoft.Compute/virtualMachines: создание облачной виртуальной машины. В этом шаблоне виртуальная машина настроена как Виртуальная машина для обработки и анализа данных, на которой выполняется Ubuntu.
Развертывание шаблона
Чтобы использовать шаблон из Azure CLI, войдите и выберите подписку (см . вход с помощью Azure CLI). Затем запустите:
read -p "Enter the name of the resource group to create:" resourceGroupName &&
read -p "Enter the Azure location (e.g., centralus):" location &&
read -p "Enter the authentication type (must be 'password' or 'sshPublicKey') :" authenticationType &&
read -p "Enter the login name for the administrator account (may not be 'admin'):" adminUsername &&
read -p "Enter administrator account secure string (value of password or ssh public key):" adminPasswordOrKey &&
templateUri="https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/application-workloads/datascience/vm-ubuntu-DSVM-GPU-or-CPU/azuredeploy.json" &&
az group create --name $resourceGroupName --location "$location" &&
az deployment group create --resource-group $resourceGroupName --template-uri $templateUri --parameters adminUsername=$adminUsername authenticationType=$authenticationType adminPasswordOrKey=$adminPasswordOrKey &&
echo "Press [ENTER] to continue ..." &&
read
При запуске этого кода введите следующее:
- Имя группы ресурсов, содержащей DSVM и связанные ресурсы, которые вы хотите создать.
- Расположение Azure, в котором требуется выполнить развертывание
- Тип проверки подлинности, который требуется использовать (введите строку
passwordилиsshPublicKey) - Имя входа учетной записи администратора (это значение может не быть
admin) - Значение пароля или открытого ключа SSH для учетной записи
Просмотр развернутых ресурсов
Чтобы отобразить Виртуальная машина для обработки и анализа данных:
- Перейдите на портал Azure.
- Вход
- Используйте группу ресурсов, созданную ранее
В этом окне отображаются сведения о группе ресурсов:
Выберите ресурс виртуальной машины, чтобы перейти на страницу сведений. Здесь можно найти сведения о виртуальной машине, включая сведения о подключении.
Очистка ресурсов
Если вы не хотите использовать эту виртуальную машину, удалите ее. Так как DSVM связан с другими ресурсами, такими как учетная запись хранения, может потребоваться удалить всю созданную группу ресурсов. С помощью портала можно удалить группу ресурсов. Нажмите кнопку "Удалить ", а затем подтвердите свой выбор. Вы также можете удалить группу ресурсов из интерфейса командной строки, как показано здесь:
echo "Enter the Resource Group name:" &&
read resourceGroupName &&
az group delete --name $resourceGroupName &&
echo "Press [ENTER] to continue ..."
Следующие шаги
В этом кратком руководстве вы создали виртуальную машину для обработки и анализа данных из шаблона ARM.