Azure 仮想ネットワーク (VNet インジェクション) に Azure Databricks をデプロイするDeploy Azure Databricks in your Azure virtual network (VNet injection)

Azure Databricks の既定のデプロイは、完全に管理された Azure 上のサービスです。すべてのクラスターが関連付けられる VNet を含むすべてのデータプレーンリソースは、ロックされたリソースグループにデプロイされます。The default deployment of Azure Databricks is a fully managed service on Azure: all data plane resources, including a VNet that all clusters will be associated with, are deployed to a locked resource group. ただし、ネットワークのカスタマイズが必要な場合は、Azure Databricks データプレーンリソースを独自の仮想ネットワーク ( VNet インジェクション とも呼ばれます) にデプロイできます。これにより、次のことが可能になります。If you require network customization, however, you can deploy Azure Databricks data plane resources in your own virtual network (sometimes called VNet injection), enabling you to:

また、データプレーンリソースを独自の vnet に Azure Databricks デプロイすると、柔軟な CIDR 範囲を利用できるようになり /16 - /24 ます (vnet とサブネットの間の任意の場所で /26 )。Deploying Azure Databricks data plane resources to your own VNet also lets you take advantage of flexible CIDR ranges (anywhere between /16-/24 for the VNet and up to /26 for the subnets).

重要

既存のワークスペースの VNet を置き換えることはできません。You cannot replace the VNet for an existing workspace. 現在のワークスペースに、必要な数のアクティブ クラスター ノードを収めることができない場合は、より大きな VNet に別のワークスペースを作成することをお勧めします。If your current workspace cannot accommodate the required number of active cluster nodes, we recommend that you create another workspace in a larger VNet. 詳細な移行手順に従って、古いワークスペースから新しいワークスペースにリソース (ノートブック、クラスター構成、ジョブ) をコピーします。Follow these detailed migration steps to copy resources (notebooks, cluster configurations, jobs) from the old to new workspace.

仮想ネットワークの要件 Virtual network requirements

Azure Databricks ワークスペースをデプロイする VNet は、次の要件を満たしている必要があります。The VNet that you deploy your Azure Databricks workspace to must meet the following requirements:

  • リージョン: VNet は、Azure Databricks ワークスペースと同じリージョンに存在する必要があります。Region: The VNet must reside in the same region as the Azure Databricks workspace.

  • サブスクリプション: VNet は、Azure Databricks ワークスペースと同じサブスクリプションに含まれている必要があります。Subscription: The VNet must be in the same subscription as the Azure Databricks workspace.

  • アドレス空間: との間の CIDR ブロックと、 /16 /24 /26 2 つのサブネット (コンテナーサブネットとホストサブネット) の cidr ブロック。Address space: A CIDR block between /16 and /24 for the VNet and a CIDR block up to /26 for the two subnets: a container subnet and a host subnet. VNet とそのサブネットのサイズに基づいた最大クラスターノードに関するガイダンスについては、「 アドレス空間と最大クラスターノード」を参照してください。For guidance about maximum cluster nodes based on the size of your VNet and its subnets, see Address space and maximum cluster nodes.

  • サブネット: VNet には、Azure Databricks ワークスペース専用の2つのサブネットが含まれている必要があります。コンテナーサブネット (プライベートサブネットと呼ばれることもあります) とホストサブネット (パブリックサブネットと呼ばれることもあります) です。Subnets: The VNet must include two subnets dedicated to your Azure Databricks workspace: a container subnet (sometimes called the private subnet) and a host subnet (sometimes called the public subnet). ただし、 セキュリティで保護されたクラスター接続を使用するワークスペースでは、コンテナーサブネットとホストサブネットの両方が プライベート になります。However, for a workspace that uses secure cluster connectivity, both the container subnet and host subnet are private. ワークスペース間でサブネットを共有したり、Azure Databricks ワークスペースで使用されるサブネット上に他の Azure リソースをデプロイしたりすることはでき ませ ん。It is unsupported to share subnets across workspaces or deploy other Azure resources on the subnets that are used by your Azure Databricks workspace. VNet とそのサブネットのサイズに基づいた最大クラスターノードに関するガイダンスについては、「 アドレス空間と最大クラスターノード」を参照してください。For guidance about maximum cluster nodes based on the size of your VNet and its subnets, see Address space and maximum cluster nodes.

    重要

    これらのサブネットと Azure Databricks ワークスペースの間には一対一のリレーションシップがあります。There is a one-to-one relationship between these subnets and an Azure Databricks workspace. 1つのサブネットで複数のワークスペースを共有することはできません。You cannot share multiple workspaces across a single subnet. ワークスペース間でサブネットを共有したり、Azure Databricks ワークスペースで使用されるサブネット上に他の Azure リソースをデプロイしたりすることはでき ませ ん。It is unsupported to share subnets across workspaces or to deploy other Azure resources on the subnets that are used by your Azure Databricks workspace.

VNet を構成してワークスペースをデプロイするためのテンプレートの詳細については、 Databricks に用意されている Azure Resource Manager テンプレートに関する説明を参照してください。For more information about templates to configure your VNet and deploy your workspace, see Azure-Databricks-supplied Azure Resource Manager templates.

アドレス空間と最大クラスターノード Address space and maximum cluster nodes

仮想ネットワークが小さいワークスペースでは、より大きな仮想ネットワークを使用したワークスペースよりも、IP アドレス (ネットワーク領域) が不足する可能性があります。A workspace with a smaller virtual network can run out of IP addresses (network space) more quickly than a workspace with a larger virtual network. VNet の場合はとの間の CIDR ブロック、 /16 /24 /26 2 つのサブネット (コンテナーサブネットとホストサブネット) の場合は cidr ブロックを使用します。Use a CIDR block between /16 and /24 for the VNet and a CIDR block up to /26 for the two subnets (the container subnet and the host subnet).

VNet アドレス空間の CIDR 範囲は、ワークスペースで使用できるクラスターノードの最大数に影響します。The CIDR range for your VNet address space affects the maximum number of cluster nodes that your workspace can use:

  • Azure Databricks ワークスペースには、1つのコンテナーサブネット (プライベートサブネットとも呼ばれます) とホストサブネット (パブリックサブネットとも呼ばれます) の2つのサブネットが必要です。An Azure Databricks workspace requires two subnets in the VNet: a container subnet (also known as private subnet) and a host subnet (also known as public subnet). ワークスペースが セキュリティで保護されたクラスター接続を使用している場合は、コンテナーとホストの両方のサブネットがプライベートになります。If the workspace uses secure cluster connectivity, both container and host subnets are private.
  • Azure では、各サブネットに5つの ipが予約されています。Azure reserves five IPs in each subnet.
  • 各サブネット内では、Azure Databricks はクラスターノードごとに1つの IP アドレスを必要とします。Within each subnet, Azure Databricks requires one IP address per cluster node. 合計では、各クラスターノードに2つの IP があります。ホストサブネット内のホストの IP アドレスと、コンテナーサブネット内のコンテナーの IP アドレスの1つです。In total, there are two IP for each cluster node: one IP address for the host in the host subnet and one IP address for the container in the container subnet.
  • VNet のすべてのアドレス空間を使用することはできません。You may not want to use all the address space of your VNet. たとえば、1つの VNet に複数のワークスペースを作成することができます。For example, you might want to create multiple workspaces in one VNet. ワークスペース間でサブネットを共有することはできないため、VNet アドレス空間の合計を使用しないサブネットが必要になることがあります。Because you cannot share subnets across workspaces, you may want subnets that do not use the total VNet address space.
  • VNet のアドレス空間内にある2つの新しいサブネットのアドレス空間を割り当てて、その VNet 内の現在または将来のサブネットのアドレス空間を重複させないようにする必要があります。You must allocate address space for two new subnets that are within the VNet’s address space and don’t overlap address space of current or future subnets in that VNet.

次の表は、ネットワークサイズに基づいたサブネットの最大サイズを示しています。The following table shows maximum subnet size based on network size. この表では、アドレス空間を占有する追加のサブネットが存在しないことを前提としています。This table assumes no additional subnets exist that take up address space. 既存のサブネットがある場合、または他のサブネットのアドレス空間を予約する場合は、小さいサブネットを使用します。Use smaller subnets if you have pre-existing subnets or if you want to reserve address space for other subnets:

VNet アドレス空間 (CIDR)VNet address space (CIDR) 他のサブネットがないと仮定した場合の最大 Azure Databricks サブネットサイズ (CIDR)Maximum Azure Databricks subnet size (CIDR) assuming no other subnets
/16 /17
/17 /18
/18 /19
/20 /21
/21 /22
/22 /23
/23 /24
/24 /25

サブネットのサイズに基づいて最大クラスターノードを検索するには、次の表を使用します。To find the maximum cluster nodes based on the subnet size, use the following table. "サブネットごとの IP アドレス" 列には、 Azure に予約された5つの ip アドレスが含まれています。The IP addresses per subnet column includes the five Azure-reserved IP addresses. 右端の列は、そのサイズのサブネットでプロビジョニングされたワークスペースで同時に実行できるクラスターノードの数を示します。The rightmost column indicates the number of cluster nodes that can simultaneously run in a workspace that is provisioned with subnets of that size.

サブネットのサイズ (CIDR)Subnet size (CIDR) サブネットごとの IP アドレスIP addresses per subnet クラスターノードの最大 Azure DatabricksMaximum Azure Databricks cluster nodes
/17 3276832768 3276332763
/18 1638416384 1637916379
/19 81928192 81878187
/20 40964096 40914091
/21 20482048 20432043
/22 10241024 10191019
/23 512512 507507
/24 256256 251251
/25 128128 123123
/26 6464 5959

Azure portal を使用して Azure Databricks ワークスペースを作成する Create an Azure Databricks workspace using Azure portal

このセクションでは、Azure portal で Azure Databricks ワークスペースを作成し、独自の既存の VNet に展開する方法について説明します。This section describes how to create an Azure Databricks workspace in the Azure portal and deploy it in your own existing VNet. Azure Databricks は、指定した CIDR 範囲を使用して、2つの新しいサブネットが存在しない場合は、その VNet を更新します。Azure Databricks updates the VNet with two new subnets if those do not exist yet, using CIDR ranges that you specify. また、このサービスは、新しいネットワークセキュリティグループを使用してサブネットを更新し、受信規則と送信規則を構成して、最後に更新された VNet にワークスペースをデプロイします。The service also updates the subnets with a new network security group, configuring inbound and outbound rules, and finally deploys the workspace to the updated VNet. VNet の構成を詳細に制御するには、ポータル UI ではなく、Databricks で提供されている Azure Resource Manager (ARM) テンプレートを使用します。For more control over the configuration of the VNet, use Azure-Databricks-supplied Azure Resource Manager (ARM) templates instead of the portal UI. たとえば、既存のネットワークセキュリティグループを使用するか、独自のセキュリティ規則を作成します。For example, use existing network security groups or create your own security rules. Azure Resource Manager テンプレートを使用した詳細構成を参照してください。See Advanced configuration using Azure Resource Manager templates.

重要

ワークスペースを作成するユーザーには、そのアクションが割り当てられている ネットワーク共同作成者ロール または カスタムロール が割り当てられている必要があり Microsoft.Network/virtualNetworks/subnets/join/action ます。The user who creates the workspace must be assigned the Network contributor role or a custom role that’s assigned the Microsoft.Network/virtualNetworks/subnets/join/action action.

Azure Databricks ワークスペースのデプロイ先の VNet を構成 する必要があります。You must configure a VNet to which you will deploy the Azure Databricks workspace. 既存の VNet を使用することも、新しい VNet を作成することもできますが、VNet は、作成する予定の Azure Databricks ワークスペースと同じリージョンと同じサブスクリプションに存在する必要があります。You can use an existing VNet or create a new one, but the VNet must be in the same region and same subscription as the Azure Databricks workspace that you plan to create. VNet のサイズは、/16 から/24 までの CIDR の範囲で指定する必要があります。The VNet must be sized with a CIDR range between /16 and /24. 要件の詳細については、「 仮想ネットワークの要件」を参照してください。For more requirements, see Virtual network requirements.

ワークスペースの構成時に、既存のサブネットを使用するか、新しいサブネットの名前と IP 範囲を指定することができます。You can either use existing subnets or specify names and IP ranges for new subnets when you configure your workspace.

  1. Azure portal で、[ + リソースの作成 > Analytics > Azure Databricks ] を選択するか、Azure Databricks を検索して [ 作成 ] または [ + 追加 ] をクリックし、[Azure Databricks サービス] ダイアログを開きます。In the Azure portal, select + Create a resource > Analytics > Azure Databricks or search for Azure Databricks and click Create or + Add to launch the Azure Databricks Service dialog.

  2. 独自の VNet での Azure Databricks ワークスペースの作成のクイックスタートに記載されている構成手順に従います。Follow the configuration steps described in the Create an Azure Databricks workspace in your own VNet quickstart.

  3. [ ネットワーク ] タブで、[ 仮想ネットワーク ] フィールドで使用する VNet を選択します。In the Networking tab, select the VNet that you want to use in the Virtual network field.

    重要

    選択したネットワーク名が表示されない場合は、ワークスペースに指定した Azure リージョンが目的の VNet の Azure リージョンと一致していることを確認します。If you do not see the network name in the picker, confirm that the Azure region that you specified for the workspace matches the Azure region of the desired VNet.

    仮想ネットワークの選択Select virtual network

  4. サブネットに名前を付けると、サイズに合わせて CIDR 範囲がブロックに提供さ /26 れます。Name your subnets and provide CIDR ranges in a block up to size /26. VNet とそのサブネットのサイズに基づいた最大クラスターノードに関するガイダンスについては、「 アドレス空間と最大クラスターノード」を参照してください。For guidance about maximum cluster nodes based on the size of your VNet and its subnets, see Address space and maximum cluster nodes.

    • 既存のサブネットを指定するには、既存のサブネットの正確な名前を指定します。To specify existing subnets, specify the exact names of the existing subnets. 既存のサブネットを使用する場合は、既存のサブネットの IP 範囲と正確に一致するようにワークスペース作成フォームの IP 範囲を設定することもできます。When using existing subnets, also set the IP ranges in the workspace creation form to exactly match the IP ranges of the existing subnets.
    • 新しいサブネットを作成するには、その VNet にまだ存在しないサブネット名を指定します。To create new subnets, specify subnet names that do not already exist in that VNet. サブネットは、指定された IP 範囲で作成されます。The subnets are created with the specified IP ranges. 既存のサブネットに割り当てられていない、VNet の IP 範囲内に IP 範囲を指定する必要があります。You must specify IP ranges within the IP range of your VNet and not already allocated to existing subnets.

    サブネットには、クラスター内部通信を許可する規則を含むネットワークセキュリティグループの規則が関連付けられています。The subnets get associated network security group rules that include the rule to allow cluster-internal communication. Azure Databricks には、リソースプロバイダーを介して両方のサブネットを更新するためのアクセス許可が委任され Microsoft.Databricks/workspaces ます。Azure Databricks will have delegated permissions to update both subnets via the Microsoft.Databricks/workspaces resource provider. これらのアクセス許可は、Azure Databricks で必要なネットワークセキュリティグループの規則にのみ適用されます。追加するネットワークセキュリティグループの規則や、すべてのネットワークセキュリティグループに含まれる既定のネットワークセキュリティグループの規則には適用されません。These permissions apply only to network security group rules that are required by Azure Databricks, not to other network security group rules that you add or to the default network security group rules included with all network security groups.

  5. [ 作成 ] をクリックして、Azure Databricks ワークスペースを VNet にデプロイします。Click Create to deploy the Azure Databricks workspace to the VNet.

    注意

    ワークスペースのデプロイに失敗した場合でも、ワークスペースは作成されますが、エラー状態になります。When a workspace deployment fails, the workspace is still created but has a failed state. 失敗したワークスペースを削除し、デプロイ エラーのない新しいワークスペースを作成します。Delete the failed workspace and create a new workspace that resolves the deployment errors. 失敗したワークスペースを削除すると、管理対象リソース グループと、正常にデプロイされたリソースもすべて削除されます。When you delete the failed workspace, the managed resource group and any successfully deployed resources are also deleted.

Azure Resource Manager テンプレートを使用した高度な構成 Advanced configuration using Azure Resource Manager templates

VNet の構成をより細かく制御する場合は、 ポータル-UI ベースの自動 VNet 構成とワークスペースの展開ではなく、次の AZURE RESOURCE MANAGER (ARM) テンプレートを使用できます。If you want more control over the configuration of the VNet, you can use the following Azure Resource Manager (ARM) templates instead of the portal-UI-based automatic VNet configuration and workspace deployment. たとえば、既存のサブネットまたは既存のネットワークセキュリティグループを使用するか、独自のセキュリティ規則を追加します。For example, use existing subnets, an existing network security group, or add your own security rules.

カスタム Azure Resource Manager テンプレートまたは Azure Databricks Vnet インジェクション用のワークスペーステンプレート を使用して 既存の vnet にワークスペースをデプロイする場合は、ホストとコンテナーのサブネットを作成し、各サブネットにネットワークセキュリティグループをアタッチして、 Microsoft.Databricks/workspaces ワークスペースをデプロイ する前 にサブネットをリソースプロバイダーに委任する必要があります。If you are using a custom Azure Resource Manager template or the Workspace Template for Azure Databricks VNet Injection to deploy a workspace to an existing VNet, you must create host and container subnets, attach a network security group to each subnet, and delegate the subnets to the Microsoft.Databricks/workspaces resource provider before deploying the workspace. デプロイするワークスペースごとに、個別のサブネットのペアが必要です。You must have a separate pair of subnets for each workspace that you deploy.

オールインワンテンプレート All-in-one template

1つのテンプレートを使用して VNet と Azure Databricks ワークスペースを作成するには、Azure Databricks VNet に挿入された ワークスペースに対してオールインワンのテンプレートを使用します。To create a VNet and Azure Databricks workspace using one template, use the All-in-one Template for Azure Databricks VNet Injected Workspaces.

仮想ネットワークテンプレート Virtual network template

テンプレートを使用して、適切なサブネットを持つ VNet を作成するには、vnet テンプレート Databricks Vnet インジェクションを使用します。To create a VNet with the proper subnets using a template, use the VNet Template for Databricks VNet Injection.

Azure Databricks ワークスペーステンプレート Azure Databricks workspace template

テンプレートを使用して既存の VNet に Azure Databricks ワークスペースをデプロイするには Azure Databricks Vnet インジェクション用のワークスペーステンプレートを使用します。To deploy an Azure Databricks workspace to an existing VNet with a template, use the Workspace Template for Azure Databricks VNet Injection.

ワークスペーステンプレートでは、既存の VNet を指定し、既存のサブネットを使用することができます。The workspace template allows you to specify an existing VNet and use existing subnets:

  • デプロイするワークスペースごとに、個別のホスト/コンテナーサブネットのペアが必要です。You must have a separate pair of host/container subnets for each workspace that you deploy. ワークスペース間でサブネットを共有したり、Azure Databricks ワークスペースで使用されるサブネット上に他の Azure リソースをデプロイしたりすることはでき ませ ん。It is unsupported to share subnets across workspaces or to deploy other Azure resources on the subnets that are used by your Azure Databricks workspace.
  • Microsoft.Databricks/workspacesこの Azure Resource Manager テンプレートを使用してワークスペースをデプロイする前に、VNet のホストとコンテナーのサブネットにネットワークセキュリティグループがアタッチされている必要があります。また、サービスに委任する必要があります。Your VNet’s host and container subnets must have network security groups attached and must be delegated to the Microsoft.Databricks/workspaces service before you use this Azure Resource Manager template to deploy a workspace.
  • 適切に委任されたサブネットを含む VNet を作成するには、 Databricks Vnet インジェクションに Vnet テンプレートを使用します。To create a VNet with properly delegated subnets, use the VNet Template for Databricks VNet Injection.
  • ホストサブネットとコンテナーサブネットをまだ委任していないときに既存の VNet を使用するには、「 サブネット委任の追加または削除 」または「 vnet インジェクションプレビューワークスペースの GA へのアップグレード」を参照してください。To use an existing VNet when you have not yet delegated the host and container subnets, see Add or remove a subnet delegation or Upgrade your VNet Injection preview workspace to GA.

ネットワークセキュリティグループ の規則 Network security group rules

次の表に、Azure Databricks によって使用される現在のネットワークセキュリティグループの規則を示します。The following tables display the current network security group rules used by Azure Databricks. この一覧のルールを追加したり、既存のルールのスコープを変更したりする必要が Azure Databricks 場合は、事前通知を受け取ります。If Azure Databricks needs to add a rule or change the scope of an existing rule on this list, you will receive advance notice. この記事と表は、このような変更が発生するたびに更新されます。This article and the tables will be updated whenever such a modification occurs.

このセクションの内容は次のとおりです。In this section:

Azure Databricks がネットワークセキュリティグループの規則を管理する方法How Azure Databricks manages network security group rules

次のセクションに示す NSG ルールは、VNet のホストとコンテナーサブネットをサービスに委任することによって、NSG での自動プロビジョニングと管理を Azure Databricks するものです Microsoft.Databricks/workspacesThe NSG rules listed in the following sections represent those that Azure Databricks auto-provisions and manages in your NSG, by virtue of the delegation of your VNet’s host and container subnets to the Microsoft.Databricks/workspaces service. これらの NSG ルールを更新または削除するためのアクセス許可がありません。これを行おうとすると、サブネットの委任によってブロックされます。You do not have permission to update or delete these NSG rules; any attempt to do so is blocked by the subnet delegation. Azure Databricks は、Microsoft が VNet 内の Azure Databricks サービスを確実に運用およびサポートできるようにするために、これらのルールを所有している必要があります。Azure Databricks must own these rules in order to ensure that Microsoft can reliably operate and support the Azure Databricks service in your VNet.

これらの NSG ルールには、ソースとターゲットとして VirtualNetwork が割り当てられているものがあります。Some of these NSG rules have VirtualNetwork assigned as the source and destination. これは、Azure でサブネットレベルのサービスタグが存在しない場合の設計を簡略化するために実装されています。This has been implemented to simplify the design in the absence of a subnet-level service tag in Azure. クラスター A が同じワークスペース内のクラスター B に接続できないように、すべてのクラスターは、内部的に2番目のネットワークポリシーの層によって保護されます。All clusters are protected by a second layer of network policy internally, such that cluster A cannot connect to cluster B in the same workspace. これは、ワークスペースが同じ顧客が管理する VNet 内の異なるサブネットにデプロイされている場合に、複数のワークスペースでも適用されます。This also applies across multiple workspaces if your workspaces are deployed into a different pair of subnets in the same customer-managed VNet.

重要

ワークスペース VNet が別の顧客管理ネットワークとピアリングされている場合、または Azure Databricks 以外のリソースが他のサブネットにプロビジョニングされている場合、Databricks は、他のネットワークおよびサブネットにアタッチされている NSGs に 拒否 受信規則を追加して、Azure Databricks クラスターからのソーストラフィックをブロックすることをお勧めします。If the workspace VNet is peered to another customer-managed network, or if non-Azure Databricks resources are provisioned in other subnets, Databricks recommends that you add Deny inbound rules to the NSGs attached to the other networks and subnets to block source traffic from Azure Databricks clusters. Azure Databricks クラスターに接続するリソースに対して、このようなルールを追加する必要はありません。You do not need to add such rules for resources that you want your Azure Databricks clusters to connect to.

2020年1月13日より後に作成されたワークスペースのネットワークセキュリティグループの規則Network security group rules for workspaces created after January 13, 2020

次の表は、2020年1月13日 より後 に作成された Azure Databricks ワークスペースにのみ適用されます。The following table only applies to Azure Databricks workspaces created after January 13, 2020. 2020年1月13日に secure cluster connectivity (SCC) がリリースされる前にワークスペースが作成されている場合は、次の表を参照してください。If your workspace was created before the release of secure cluster connectivity (SCC) on January 13, 2020, see the following table.

重要

次の表には、セキュリティ で保護されたクラスター接続 (SCC) が無効になっている場合にのみ含まれる2つの受信セキュリティグループ規則が含まれています。The following table includes two inbound security group rules that are included only if secure cluster connectivity (SCC) is disabled.

DirectionDirection ProtocolProtocol sourceSource 発信元ポートSource Port 宛先Destination 宛先ポートDest Port 使用Used
受信Inbound AnyAny VirtualNetworkVirtualNetwork AnyAny VirtualNetworkVirtualNetwork AnyAny DefaultDefault
受信Inbound TCPTCP AzureDatabricks (サービスタグ)AzureDatabricks (service tag)
SCC が無効になっている場合のみOnly if SCC is disabled
AnyAny VirtualNetworkVirtualNetwork 2222 パブリック IPPublic IP
受信Inbound TCPTCP AzureDatabricks (サービスタグ)AzureDatabricks (service tag)
SCC が無効になっている場合のみOnly if SCC is disabled
AnyAny VirtualNetworkVirtualNetwork 55575557 パブリック IPPublic IP
送信Outbound TCPTCP VirtualNetworkVirtualNetwork AnyAny AzureDatabricks (サービスタグ)AzureDatabricks (service tag) 443443 既定Default
送信Outbound TCPTCP VirtualNetworkVirtualNetwork AnyAny SQLSQL 33063306 既定Default
送信Outbound TCPTCP VirtualNetworkVirtualNetwork AnyAny 記憶域Storage 443443 既定Default
送信Outbound AnyAny VirtualNetworkVirtualNetwork AnyAny VirtualNetworkVirtualNetwork AnyAny 既定Default
送信Outbound TCPTCP VirtualNetworkVirtualNetwork AnyAny EventHubEventHub 90939093 DefaultDefault

2020年1月13日より前に作成されたワークスペースのネットワークセキュリティグループの規則Network security group rules for workspaces created before January 13, 2020

次の表は、2020年1月13日 より前に 作成された Azure Databricks ワークスペースにのみ適用されます。The following table only applies to Azure Databricks workspaces created before January 13, 2020. ワークスペースが2020年1月13日以降に作成された場合は、前の表を参照してください。If your workspace was created on or after January 13, 2020, see the previous table.

DirectionDirection ProtocolProtocol sourceSource 発信元ポートSource Port 宛先Destination 宛先ポートDest Port 使用Used
受信Inbound AnyAny VirtualNetworkVirtualNetwork AnyAny VirtualNetworkVirtualNetwork AnyAny DefaultDefault
受信Inbound TCPTCP ControlPlane IPControlPlane IP AnyAny VirtualNetworkVirtualNetwork 2222 パブリック IPPublic IP
受信Inbound TCPTCP ControlPlane IPControlPlane IP AnyAny VirtualNetworkVirtualNetwork 55575557 パブリック IPPublic IP
送信Outbound TCPTCP VirtualNetworkVirtualNetwork AnyAny Webapp IPWebapp IP 443443 既定Default
送信Outbound TCPTCP VirtualNetworkVirtualNetwork AnyAny SQLSQL 33063306 既定Default
送信Outbound TCPTCP VirtualNetworkVirtualNetwork AnyAny 記憶域Storage 443443 既定Default
送信Outbound AnyAny VirtualNetworkVirtualNetwork AnyAny VirtualNetworkVirtualNetwork AnyAny 既定Default
送信Outbound TCPTCP VirtualNetworkVirtualNetwork AnyAny EventHubEventHub 90939093 DefaultDefault

重要

Azure Databricks は、グローバル Azure パブリック クラウド インフラストラクチャにデプロイされる Microsoft Azure のファーストパーティ サービスです。Azure Databricks is a Microsoft Azure first-party service that is deployed on the Global Azure Public Cloud infrastructure. コントロール プレーンのパブリック IP とカスタマー データ プレーンのパブリック IP との間の通信を含め、サービスのコンポーネント間の通信はすべて、Microsoft Azure のネットワーク バックボーン内に維持されます。All communications between components of the service, including between the public IPs in the control plane and the customer data plane, remain within the Microsoft Azure network backbone. マイクロソフトのグローバル ネットワーク」も参照してください。See also Microsoft global network.

トラブルシューティング Troubleshooting

ワークスペース作成エラーWorkspace creation errors

サブネット では、サービスの関連付けリンクを参照するには、次の委任 (Databricks/workspaces) が必要ですSubnet requires any of the following delegation(s) [Microsoft.Databricks/workspaces] to reference service association link

考えられる原因: ホストおよびコンテナーサブネットがサービスに委任されていない VNet でワークスペースを作成しようとしています Microsoft.Databricks/workspacesPossible cause: you are creating a workspace in a VNet whose host and container subnets have not been delegated to the Microsoft.Databricks/workspaces service. 各サブネットには、ネットワークセキュリティグループが関連付けられている必要があり、適切に委任されている必要があります。Each subnet must have a network security group attached and must be properly delegated. 詳細については、「 仮想ネットワークの要件 」を参照してください。See Virtual network requirements for more information.

サブネットは 既にワークスペースによって使用されています The subnet is already in use by workspace

考えられる原因: 既存の Azure Databricks ワークスペースによって既に使用されているホストおよびコンテナーのサブネットを含む VNet でワークスペースを作成しようとしています。Possible cause: you are creating a workspace in a VNet with host and container subnets that are already being used by an existing Azure Databricks workspace. 1つのサブネットで複数のワークスペースを共有することはできません。You cannot share multiple workspaces across a single subnet. デプロイするワークスペースごとに、新しいホストサブネットとコンテナーサブネットのペアが必要です。You must have a new pair of host and container subnets for each workspace you deploy.

トラブルシューティングTroubleshooting

到達できないインスタンス: SSH 経由でリソースにアクセスできませんでした。Instances Unreachable: Resources were not reachable via SSH.

考えられる原因: コントロール プレーンから worker へのトラフィックがブロックされています。Possible cause: traffic from control plane to workers is blocked. オンプレミスネットワークに接続されている既存の VNet にデプロイする場合は、「 Azure Databricks ワークスペースをオンプレミスネットワークに接続する」に記載されている情報を使用して、セットアップを確認してください。If you are deploying to an existing VNet connected to your on-premises network, review your setup using the information supplied in Connect your Azure Databricks Workspace to your on-premises network.

予期しない起動エラー: クラスターの設定中に予期しないエラーが発生しました。もう一度お試しください。問題が解決しない場合は Azure Databricks にお問い合わせください。内部エラーメッセージ: Timeout while placing nodeUnexpected Launch Failure: An unexpected error was encountered while setting up the cluster. Please retry and contact Azure Databricks if the problem persists. Internal error message: Timeout while placing node.

考えられる原因: worker から Azure Storage エンドポイントへのトラフィックがブロックされています。Possible cause: traffic from workers to Azure Storage endpoints is blocked. カスタム DNS サーバーを使用している場合は、VNet 内の DNS サーバーの状態も確認します。If you are using custom DNS servers, also check the status of the DNS servers in your VNet.

クラウドプロバイダーの起動エラー: クラスターの設定中にクラウドプロバイダーエラーが発生しました。詳細については、Azure Databricks ガイドを参照してください。Azure エラーコード: AuthorizationFailed/InvalidResourceReference.Cloud Provider Launch Failure: A cloud provider error was encountered while setting up the cluster. See the Azure Databricks guide for more information. Azure error code: AuthorizationFailed/InvalidResourceReference.

考えられる原因: VNet またはサブネットが存在しません。Possible cause: the VNet or subnets do not exist any more. VNet とサブネットが存在することを確認します。Make sure the VNet and subnets exist.

クラスターが終了しました。理由: Spark のスタートアップエラー: Spark が時間内に開始できませんでした。この問題は、Hive metastore が正しく動作していない、Spark の構成が無効である、または初期化スクリプトの不具合が原因である可能性があります。Spark ドライバーのログを参照して、この問題のトラブルシューティングを行ってください。問題が解決しない場合は、Databricks にお問い合わせください。内部エラーメッセージ: Spark failed to start: Driver failed to start in timeCluster terminated. Reason: Spark Startup Failure: Spark was not able to start in time. This issue can be caused by a malfunctioning Hive metastore, invalid Spark configurations, or malfunctioning init scripts. Please refer to the Spark driver logs to troubleshoot this issue, and contact Databricks if the problem persists. Internal error message: Spark failed to start: Driver failed to start in time.

考えられる原因: コンテナーがホスティングインスタンスまたは DBFS ストレージアカウントと通信できません。Possible cause: Container cannot talk to hosting instance or DBFS storage account. DBFS ストレージ アカウントのサブネットにカスタム ルートを追加し、次回のホップをインターネットにして、修正を行ってください。Fix by adding a custom route to the subnets for the DBFS storage account with the next hop being Internet.