クイック スタート:仮想ネットワーク内に Azure Databricks ワークスペースを作成するQuickstart: Create an Azure Databricks workspace in a Virtual Network

このクイック スタートでは、仮想ネットワーク内に Azure Databricks ワークスペースを作成する方法を説明します。This quickstart shows how to create an Azure Databricks workspace in a virtual network. また、そのワークスペース内に Apache Spark クラスターも作成します。You will also create an Apache Spark cluster within that workspace.

Azure サブスクリプションをお持ちでない場合は、無料アカウントを作成してください。If you don't have an Azure subscription, create a free account.

Azure portal にサインインしますSign in to the Azure portal

Azure Portal にサインインします。Sign in to the Azure portal.

注意

Azure 無料試用版サブスクリプションを使用してこのチュートリアルを実行することはできません。This tutorial cannot be carried out using Azure Free Trial Subscription. 無料アカウントをお持ちの場合は、お使いのプロファイルにアクセスし、サブスクリプションを [従量課金制] に変更します。If you have a free account, go to your profile and change your subscription to pay-as-you-go. 詳細については、Azure 無料アカウントに関するページをご覧ください。For more information, see Azure free account. 次に、リージョン内の vCPU について使用制限を削除しクォータの増加を依頼します。Then, remove the spending limit, and request a quota increase for vCPUs in your region. Azure Databricks ワークスペースを作成するときに、 [Trial (Premium - 14-Days Free DBUs)](試用版 (Premium - 14 日間の無料 DBU)) の価格レベルを選択し、ワークスペースから 14 日間無料の Premium Azure Databricks DBU にアクセスできるようにします。When you create your Azure Databricks workspace, you can select the Trial (Premium - 14-Days Free DBUs) pricing tier to give the workspace access to free Premium Azure Databricks DBUs for 14 days.

仮想ネットワークの作成Create a virtual network

  1. Azure Portal で、 [リソースの作成] > [ネットワーク] > [仮想ネットワーク] の順に選択します。In the Azure portal, select Create a resource > Networking > Virtual network.

  2. [仮想ネットワークの作成] で、次の設定を適用します。Under Create virtual network, apply the following settings:

    SettingSetting 推奨値Suggested value 説明Description
    NameName databricks-quickstartdatabricks-quickstart 仮想ネットワークの名前を選択します。Select a name for your virtual network.
    アドレス空間Address space 10.1.0.0/1610.1.0.0/16 CIDR 表記の仮想ネットワークのアドレス範囲。The virtual network's address range in CIDR notation.
    SubscriptionSubscription <該当するサブスクリプション><Your subscription> 使用する Azure サブスクリプションを選択します。Select the Azure subscription that you want to use.
    Resource groupResource group databricks-quickstartdatabricks-quickstart [新規作成] を選択し、アカウントの新しいリソース グループ名を入力します。Select Create New and enter a new resource group name for your account.
    LocationLocation <ユーザーに最も近いリージョンを選択><Select the region that is closest to your users> お客様の仮想ネットワークをホストできる地理的な場所を選択します。Select a geographic location where you can host your virtual network. お客様のユーザーに最も近い場所を使用します。Use the location that's closest to your users.
    サブネット名Subnet name defaultdefault 仮想ネットワークの既定のサブネットの名前を選択します。Select a name for the default subnet in your virtual network.
    サブネットのアドレス範囲Subnet Address range 10.1.0.0/2410.1.0.0/24 サブネットのアドレス範囲 (CIDR 表記)。The subnet's address range in CIDR notation. 仮想ネットワークのアドレス空間に含まれている必要があります。It must be contained by the address space of the virtual network. 使用中のサブネットのアドレス範囲を編集することはできません。The address range of a subnet which is in use can't be edited.

    Azure portal で仮想ネットワークを作成する

  3. デプロイが完了したら、仮想ネットワークに移動し、 [設定][アドレス空間] を選択します。Once the deployment is complete, navigate to your virtual network and select Address space under Settings. [その他のアドレス範囲の追加] というボックスをオンにし、10.179.0.0/16 を挿入して [保存] を選択します。In the box that says Add additional address range, insert 10.179.0.0/16 and select Save.

    Azure 仮想ネットワークのアドレス空間

Azure Databricks ワークスペースを作成するCreate an Azure Databricks workspace

  1. Azure portal で、 [リソースの作成] > [分析] > [Databricks] の順に選択します。In the Azure portal, select Create a resource > Analytics > Databricks.

  2. [Azure Databricks サービス] で、次の設定を適用します。Under Azure Databricks Service, apply the following settings:

    SettingSetting 推奨値Suggested value 説明Description
    ワークスペース名Workspace name databricks-quickstartdatabricks-quickstart Azure Databricks ワークスペースの名前を選択します。Select a name for your Azure Databricks workspace.
    SubscriptionSubscription <該当するサブスクリプション><Your subscription> 使用する Azure サブスクリプションを選択します。Select the Azure subscription that you want to use.
    Resource groupResource group databricks-quickstartdatabricks-quickstart 仮想ネットワークに使用したものと同じリソース グループを選択します。Select the same resource group you used for the virtual network.
    LocationLocation <ユーザーに最も近いリージョンを選択><Select the region that is closest to your users> 仮想ネットワークと同じ場所を選択します。Choose the same location as your virtual network.
    価格レベルPricing Tier Standard と Premium のいずれかを選択します。Choose between Standard or Premium. 価格レベルの詳細については、Databricks の価格に関するページを参照してください。For more information on pricing tiers, see the Databricks pricing page.
    仮想ネットワーク内での Azure Databricks ワークスペースのデプロイDeploy Azure Databricks workspace in your Virtual Network はいYes この設定により、仮想ネットワークに Azure Databricks ワークスペースをデプロイすることができます。This setting allows you to deploy an Azure Databricks workspace in your virtual network.
    Virtual NetworkVirtual Network databricks-quickstartdatabricks-quickstart 前のセクションで作成した仮想ネットワークを選択します。Select the virtual network you created in the previous section.
    パブリック サブネット名Public Subnet Name public-subnetpublic-subnet 既定のパブリック サブネット名を使用します。Use the default public subnet name.
    パブリック サブネットの CIDR 範囲Public Subnet CIDR Range 10.179.64.0/1810.179.64.0/18 このサブネットの CIDR 範囲は、/18 から /26 の範囲内である必要があります。CIDR range for this subnet should be between /18 and /26.
    プライベート サブネット名Private Subnet Name private-subnetprivate-subnet 既定のプライベート サブネット名を使用します。Use the default private subnet name.
    プライベート サブネットの CIDR 範囲Private Subnet CIDR Range 10.179.0.0/1810.179.0.0/18 このサブネットの CIDR 範囲は、/18 から /26 の範囲内である必要があります。CIDR range for this subnet should be between /18 and /26.

    Azure portal で Azure Databricks ワークスペースを作成する

  3. デプロイが完了したら、Azure Databricks リソースに移動します。Once the deployment is complete, navigate to the Azure Databricks resource. 仮想ネットワーク ピアリングが無効になっていることに注意してください。Notice that virtual network peering is disabled. また、概要ページのリソース グループとマネージド リソース グループにも注目してください。Also notice the resource group and managed resource group in the overview page.

    Azure portal の Azure Databricks の概要

    マネージド リソース グループには、ストレージ アカウント (DBFS)、worker-sg (ネットワーク セキュリティ グループ)、worker-vnet (仮想ネットワーク) の物理的な場所が含まれています。The managed resource group contains the physical location of the storage account (DBFS), worker-sg (network security group), workers-vnet (virtual network). これは、仮想マシン、ディスク、IP アドレス、およびネットワーク インターフェイスを作成する場所でもあります。It is also the location where virtual machines, disk, IP Address, and network interface will be created. このリソース グループは既定ではロックされています。ただし、仮想ネットワークでクラスターが起動されると、マネージド リソース グループ内の workers-vnet と、"ハブ" の仮想ネットワーク間にネットワーク インターフェイスが作成されます。This resource group is locked by default; however when a cluster is started in the virtual network, a Network Interface is created between the workers-vnet in the managed resource group and the "hub" virtual network.

    Azure Databricks マネージド リソース グループ

クラスターの作成Create a cluster

注意

無料アカウントを使用して Azure Databricks クラスターを作成するには、クラスターを作成する前に、プロファイルにアクセスし、サブスクリプションを従量課金制に変更します。To use a free account to create the Azure Databricks cluster, before creating the cluster, go to your profile and change your subscription to pay-as-you-go. 詳細については、Azure 無料アカウントに関するページをご覧ください。For more information, see Azure free account.

  1. Azure Databricks サービスに戻り、 [概要] ページで [ワークスペースの起動] を選択します。Return to your Azure Databricks service and select Launch Workspace on the Overview page.

  2. [クラスター] > [+ クラスターの作成] の順に選択します。Select Clusters > + Create Cluster. 次に、databricks-quickstart-cluster のようなクラスター名を作成し、残りの既定の設定を受け入れます。Then create a cluster name, like databricks-quickstart-cluster, and accept the remaining default settings. [クラスターの作成] を選択します。Select Create Cluster.

    Azure Databricks クラスターの作成

  3. クラスターが実行中になったら、Azure portal でマネージド リソース グループに戻ります。Once the cluster is running, return to the managed resource group in the Azure portal. 新しい仮想マシン、ディスク、IP アドレス、およびネットワーク インターフェイスに注目してください。Notice the new virtual machines, disks, IP Address, and network interfaces. ネットワーク インターフェイスは、IP アドレスを持つパブリックとプライベートの各サブネットに作成されます。A network interface is created in each of the public and private subnets with IP addresses.

    クラスター作成後の Azure Databricks マネージド リソース グループ

  4. Azure Databricks ワークスペースに戻り、作成したクラスターを選択します。Return to your Azure Databricks workspace and select the cluster you created. 次に、 [Spark UI] ページの [エグゼキュータ] タブに移動します。Then navigate to the Executors tab on the Spark UI page. ドライバーとエグゼキュータのアドレスがプライベート サブネットの範囲内にあることに注意してください。Notice that the addresses for the driver and the executors are in the private subnet range. この例では、ドライバーは 10.179.0.6 で、エグゼキュータは 10.179.0.4 と 10.179.0.5 です。In this example, the driver is 10.179.0.6 and executors are 10.179.0.4 and 10.179.0.5. IP アドレスは異なる場合があります。Your IP addresses could be different.

    Azure Databricks の Spark UI エグゼキュータ

リソースのクリーンアップClean up resources

記事を完了したら、クラスターを終了できます。After you have finished the article, you can terminate the cluster. そのためには、Azure Databricks ワークスペースの左側のウィンドウで、 [クラスター] を選択します。To do so, from the Azure Databricks workspace, from the left pane, select Clusters. 終了するクラスターで、 [アクション] 列の下にある省略記号をポイントし、 [終了] アイコンを選択します。For the cluster you want to terminate, move the cursor over the ellipsis under Actions column, and select the Terminate icon. これによりクラスターが停止します。This stops the cluster.

クラスター作成時に [Terminate after __ minutes of inactivity] (アクティビティが __ 分ない場合は終了する) チェック ボックスをオンにしていた場合、手動で終了しなくともクラスターは自動で停止します。If you do not manually terminate the cluster it will automatically stop, provided you selected the Terminate after __ minutes of inactivity checkbox while creating the cluster. このような場合、クラスターは、一定の時間だけ非アクティブな状態が続くと自動的に停止します。In such a case, the cluster automatically stops, if it has been inactive for the specified time.

クラスターを再利用しない場合は、Azure portal で作成したリソース グループを削除できます。If you do not wish to reuse the cluster, you can delete the resource group you created in the Azure portal.

次の手順Next steps

この記事では、仮想ネットワークにデプロイした Azure Databricks に Spark クラスターを作成しました。In this article, you created a Spark cluster in Azure Databricks that you deployed to a virtual network. 次の記事に進み、Azure Databricks ノートブックから JDBC を使用して仮想ネットワーク内の SQL Server Linux Docker コンテナーのクエリを実行する方法を学習してください。Advance to the next article to learn how to query a SQL Server Linux Docker container in the virtual network using JDBC from an Azure Databricks notebook.