Início Rápido: Criar um espaço de trabalho Azure Databricks em uma rede virtualQuickstart: Create an Azure Databricks workspace in a Virtual Network

Este guia de início rápido mostra como criar um Azure Databricks espaço de trabalho em uma rede virtual.This quickstart shows how to create an Azure Databricks workspace in a virtual network. Você também criará um cluster Apache Spark dentro desse espaço de trabalho.You will also create an Apache Spark cluster within that workspace.

Se você não tiver uma assinatura do Azure, crie uma conta gratuita.If you don't have an Azure subscription, create a free account.

Entrar no portal do AzureSign in to the Azure portal

Entre no Portal do Azure.Sign in to the Azure portal.

Observação

Este tutorial não pode ser realizado usando a Assinatura de avaliação gratuita do Azure.This tutorial cannot be carried out using Azure Free Trial Subscription. Se você tiver uma conta gratuita, acesse seu perfil e altere para uma assinatura pré-paga.If you have a free account, go to your profile and change your subscription to pay-as-you-go. Para saber mais, confira Conta gratuita do Azure.For more information, see Azure free account. Em seguida, remova o limite de gastos e solicite um aumento de cota para as vCPUs da sua região.Then, remove the spending limit, and request a quota increase for vCPUs in your region. Quando você cria seu workspace do Azure Databricks, pode selecionar o tipo de preço Versão de avaliação (Premium - DBUs gratuitas por 14 dias) para conceder ao workspace acesso gratuito aos DBUs do Premium Azure Databricks por 14 dias.When you create your Azure Databricks workspace, you can select the Trial (Premium - 14-Days Free DBUs) pricing tier to give the workspace access to free Premium Azure Databricks DBUs for 14 days.

Criar uma rede virtualCreate a virtual network

  1. Na portal do Azure, selecione criar um recurso > > rede redesvirtuais.In the Azure portal, select Create a resource > Networking > Virtual network.

  2. Em criar rede virtual, aplique as seguintes configurações:Under Create virtual network, apply the following settings:

    ConfiguraçãoSetting Valor sugeridoSuggested value DescriçãoDescription
    NomeName databricks-início rápidodatabricks-quickstart Selecione um nome para sua rede virtual.Select a name for your virtual network.
    Espaço de endereçoAddress space 10.1.0.0/1610.1.0.0/16 Intervalo de endereços da rede virtual na notação CIDR.The virtual network's address range in CIDR notation.
    AssinaturaSubscription <Sua assinatura><Your subscription> Selecione a assinatura do Azure que você deseja usar.Select the Azure subscription that you want to use.
    Grupo de recursosResource group databricks-início rápidodatabricks-quickstart Selecione criar novo e insira um novo nome de grupo de recursos para sua conta.Select Create New and enter a new resource group name for your account.
    LocationLocation <Selecione a região mais próxima de seus usuários><Select the region that is closest to your users> Selecione uma localização geográfica na qual você pode hospedar sua rede virtual.Select a geographic location where you can host your virtual network. Use a localização mais próxima dos usuários.Use the location that's closest to your users.
    Nome da sub-redeSubnet name defaultdefault Selecione um nome para a sub-rede padrão em sua rede virtual.Select a name for the default subnet in your virtual network.
    Intervalo de endereços da sub-redeSubnet Address range 10.1.0.0/2410.1.0.0/24 O intervalo de endereços da sub-rede na notação CIDR.The subnet's address range in CIDR notation. Ele deve estar contido no espaço de endereço da rede virtual.It must be contained by the address space of the virtual network. O intervalo de endereços de uma sub-rede que está em uso não pode ser editado.The address range of a subnet which is in use can't be edited.

    Criar uma rede virtual no portal do Azure

  3. Depois que a implantação for concluída, navegue até sua rede virtual e selecione espaço de endereço em configurações.Once the deployment is complete, navigate to your virtual network and select Address space under Settings. Na caixa que diz Adicionar intervalo de endereços adicional, insira 10.179.0.0/16 e selecione salvar.In the box that says Add additional address range, insert 10.179.0.0/16 and select Save.

    Espaço de endereço de rede virtual do Azure

Criar um workspace do Azure DatabricksCreate an Azure Databricks workspace

  1. Na portal do Azure, selecione criar um Resource > Analytics > databricks.In the Azure portal, select Create a resource > Analytics > Databricks.

  2. Em serviço Azure Databricks, aplique as seguintes configurações:Under Azure Databricks Service, apply the following settings:

    ConfiguraçãoSetting Valor sugeridoSuggested value DescriçãoDescription
    Nome do WorkspaceWorkspace name databricks-início rápidodatabricks-quickstart Selecione um nome para seu espaço de trabalho Azure Databricks.Select a name for your Azure Databricks workspace.
    AssinaturaSubscription <Sua assinatura><Your subscription> Selecione a assinatura do Azure que você deseja usar.Select the Azure subscription that you want to use.
    Grupo de recursosResource group databricks-início rápidodatabricks-quickstart Selecione o mesmo grupo de recursos que você usou para a rede virtual.Select the same resource group you used for the virtual network.
    LocationLocation <Selecione a região mais próxima de seus usuários><Select the region that is closest to your users> Escolha o mesmo local da sua rede virtual.Choose the same location as your virtual network.
    Tipo de PreçoPricing Tier Escolha entre Standard ou Premium.Choose between Standard or Premium. Para obter mais informações sobre tipos de preço, consulte a página de preçosdo databricks.For more information on pricing tiers, see the Databricks pricing page.
    Implantar Azure Databricks espaço de trabalho em sua rede virtualDeploy Azure Databricks workspace in your Virtual Network SimYes Essa configuração permite que você implante um espaço de trabalho Azure Databricks em sua rede virtual.This setting allows you to deploy an Azure Databricks workspace in your virtual network.
    Rede VirtualVirtual Network databricks-início rápidodatabricks-quickstart Selecione a rede virtual que você criou na seção anterior.Select the virtual network you created in the previous section.
    Nome da sub-rede públicaPublic Subnet Name sub-rede públicapublic-subnet Use o nome da sub-rede pública padrão.Use the default public subnet name.
    Intervalo de CIDR da sub-rede públicaPublic Subnet CIDR Range 10.179.64.0/1810.179.64.0/18 O intervalo CIDR para essa sub-rede deve estar entre/18 e/26.CIDR range for this subnet should be between /18 and /26.
    Nome da sub-rede privadaPrivate Subnet Name privada-sub-redeprivate-subnet Use o nome da sub-rede privada padrão.Use the default private subnet name.
    Intervalo de CIDR de sub-rede privadaPrivate Subnet CIDR Range 10.179.0.0/1810.179.0.0/18 O intervalo CIDR para essa sub-rede deve estar entre/18 e/26.CIDR range for this subnet should be between /18 and /26.

    Criar um espaço de trabalho Azure Databricks no portal do Azure

  3. Quando a implantação for concluída, navegue até o recurso Azure Databricks.Once the deployment is complete, navigate to the Azure Databricks resource. Observe que o emparelhamento de rede virtual está desabilitado.Notice that virtual network peering is disabled. Observe também o grupo de recursos e o grupo de recursos gerenciados na página Visão geral.Also notice the resource group and managed resource group in the overview page.

    Azure Databricks visão geral no portal do Azure

    O grupo de recursos gerenciado contém o local físico da conta de armazenamento (DBFS), Worker-SG (grupo de segurança de rede), Works-vnet (rede virtual).The managed resource group contains the physical location of the storage account (DBFS), worker-sg (network security group), workers-vnet (virtual network). Também é o local onde as máquinas virtuais, o disco, o endereço IP e a interface de rede serão criados.It is also the location where virtual machines, disk, IP Address, and network interface will be created. Esse grupo de recursos está bloqueado por padrão; no entanto, quando um cluster é iniciado na rede virtual, uma interface de rede é criada entre os trabalhadores-vnet no grupo de recursos gerenciados e a rede virtual "Hub".This resource group is locked by default; however when a cluster is started in the virtual network, a Network Interface is created between the workers-vnet in the managed resource group and the "hub" virtual network.

    Azure Databricks grupo de recursos gerenciados

Criar um clusterCreate a cluster

Observação

Para usar uma conta gratuita para criar o cluster do Azure Databricks, antes de criar o cluster, vá até o seu perfil e altere sua assinatura para pré-pago.To use a free account to create the Azure Databricks cluster, before creating the cluster, go to your profile and change your subscription to pay-as-you-go. Para saber mais, confira Conta gratuita do Azure.For more information, see Azure free account.

  1. Retorne ao serviço de Azure Databricks e selecione Iniciar espaço de trabalho na página visão geral .Return to your Azure Databricks service and select Launch Workspace on the Overview page.

  2. Selecione clusters > + criar cluster.Select Clusters > + Create Cluster. Em seguida, crie um nome de cluster, como databricks -QuickStart-cluster, e aceite as configurações padrão restantes.Then create a cluster name, like databricks-quickstart-cluster, and accept the remaining default settings. Selecione Criar Cluster.Select Create Cluster.

    Criar Azure Databricks cluster

  3. Depois que o cluster estiver em execução, retorne ao grupo de recursos gerenciados no portal do Azure.Once the cluster is running, return to the managed resource group in the Azure portal. Observe as novas máquinas virtuais, discos, endereço IP e interfaces de rede.Notice the new virtual machines, disks, IP Address, and network interfaces. Uma interface de rede é criada em cada uma das sub-redes públicas e privadas com endereços IP.A network interface is created in each of the public and private subnets with IP addresses.

    Azure Databricks grupo de recursos gerenciado após a criação do cluster

  4. Retorne ao seu espaço de trabalho Azure Databricks e selecione o cluster que você criou.Return to your Azure Databricks workspace and select the cluster you created. Em seguida, navegue até a guia executores na página da interface do usuário do Spark .Then navigate to the Executors tab on the Spark UI page. Observe que os endereços para o driver e os executores estão no intervalo de sub-rede privada.Notice that the addresses for the driver and the executors are in the private subnet range. Neste exemplo, o driver é 10.179.0.6 e executores são 10.179.0.4 e 10.179.0.5.In this example, the driver is 10.179.0.6 and executors are 10.179.0.4 and 10.179.0.5. Seus endereços IP podem ser diferentes.Your IP addresses could be different.

    Azure Databricks executores da interface do usuário do Spark

Limpar recursosClean up resources

Depois de terminar o artigo, você poderá encerrar o cluster.After you have finished the article, you can terminate the cluster. Para isso, no workspace do Azure Databricks, no painel esquerdo, selecione Clusters.To do so, from the Azure Databricks workspace, from the left pane, select Clusters. No cluster que deseja encerrar, mova o cursor sobre o botão de reticências na coluna Ações e selecione o ícone Terminar.For the cluster you want to terminate, move the cursor over the ellipsis under Actions column, and select the Terminate icon. Isso interrompe o cluster.This stops the cluster.

Se você não encerrar o cluster manualmente, ele será interrompido automaticamente, desde que você tenha selecionado a caixa de seleção Terminar depois de __ minutos de inatividade ao criar o cluster.If you do not manually terminate the cluster it will automatically stop, provided you selected the Terminate after __ minutes of inactivity checkbox while creating the cluster. Nesse caso, o cluster é interrompido automaticamente se ficar inativo durante o tempo especificado.In such a case, the cluster automatically stops, if it has been inactive for the specified time.

Se você não quiser reutilizar o cluster, poderá excluir o grupo de recursos criado na portal do Azure.If you do not wish to reuse the cluster, you can delete the resource group you created in the Azure portal.

Próximas etapasNext steps

Neste artigo, você criou um cluster Spark no Azure Databricks implantado em uma rede virtual.In this article, you created a Spark cluster in Azure Databricks that you deployed to a virtual network. Avance para o próximo artigo para saber como consultar um contêiner SQL Server do Docker do Linux na rede virtual usando JDBC em um notebook Azure Databricks.Advance to the next article to learn how to query a SQL Server Linux Docker container in the virtual network using JDBC from an Azure Databricks notebook.