GPU 対応クラスター GPU-enabled Clusters


一部の GPU 対応インスタンスの種類はベータ版であり、クラスターの作成時にドライバーとワーカーの種類を選択すると、ドロップダウンリストに表示されます。Some GPU-enabled instance types are in Beta and are marked as such in the drop-down list when you select the driver and worker types during cluster creation.


Azure Databricks は、Gpu (グラフィックスプロセッシングユニット) を使用したクラスターの高速化をサポートしています。Azure Databricks supports clusters accelerated with graphics processing units (GPUs). このトピックでは、GPU が有効なインスタンスを使用してクラスターを作成する方法と、それらのインスタンスにインストールされている GPU ドライバーおよびライブラリについて説明します。This topic describes how to create clusters with GPU-enabled instances and describes the GPU drivers and libraries installed on those instances.

GPU 対応クラスターのディープラーニングの詳細については、ディープラーニングに関するページを参照してください。To learn more about deep learning on GPU-enabled clusters, see Deep Learning.

GPU クラスターを作成するCreate a GPU cluster

GPU クラスターの作成は、任意の Spark クラスターの作成と似ています (「クラスター」を参照してください)。Creating a GPU cluster is similar to creating any Spark cluster (See Clusters). 次の点に注意してください。You should keep in mind the following:

  • Databricks Runtime のバージョンは、4.1 などの gpu 対応バージョンである必要があります (APACHE SPARK 2.3.0、GPU、スケール a 2.11 が含まれます)The Databricks Runtime Version must be a GPU-enabled version, such as 4.1 (includes Apache Spark 2.3.0, GPU, Scala 2.11).
  • ワーカーの種類ドライバーの種類は、GPU インスタンスの種類である必要があります。The Worker Type and Driver Type must be GPU instance types.
  • Spark を使用しない単一コンピューターのワークフローの場合、ワーカーの数を0に設定できます。For single-machine workflows without Spark, you can set the number of workers to zero.
  • 同じ GPU を使用しようとしている複数の Spark タスク間の競合を回避するために、Azure Databricks はワーカーマシンごとに1つの実行プログラムスレッドを使用するように Spark を自動的に構成します。In order to avoid conflicts among multiple Spark tasks trying to use the same GPU, Azure Databricks automatically configures Spark to use one executor thread per worker machine. これは、通常、Gpu 用に作成されたライブラリに最適です。This is generally optimal for libraries written for GPUs.

Azure Databricks では、NC インスタンス型 series: NC12NC24 、および NCv3 インスタンス型 series: NC6s_v3NC12s_v3、およびNC24s_v3がサポートされています。Azure Databricks supports the NC instance type series: NC12 and NC24 and the NCv3 instance type series: NC6s_v3, NC12s_v3, and NC24s_v3. サポートされている GPU インスタンスの種類とその可用性リージョンの最新の一覧については、「 Azure Databricks の価格」を参照してください。See Azure Databricks Pricing for an up-to-date list of supported GPU instance types and their availability regions. GPU 対応クラスターを起動するには、Azure Databricks デプロイがサポートされているリージョンに存在している必要があります。Your Azure Databricks deployment must reside in a supported region to launch GPU-enabled clusters.

NVIDIA GPU ドライバー、cuda、cudnn NVIDIA GPU driver, CUDA, and cuDNN

Azure Databricks は、Spark ドライバーとワーカーインスタンスで Gpu を使用するために必要な NVIDIA ソフトウェアをインストールします。Azure Databricks installs the NVIDIA software required to use GPUs on Spark driver and worker instances. このソフトウェアには次のものが含まれます。This software includes:

  • Linux x64 用 tesla ドライバー。Tesla driver for Linux x64.
  • Cuda Toolkit/usr/local/cuda の下にインストールされます。CUDA Toolkit, installed under /usr/local/cuda.
  • Cudnn: NVIDIA Cuda ディープニューラルネットワークライブラリ。cuDNN: NVIDIA CUDA Deep Neural Network Library.

含まれているソフトウェアのバージョンについては、使用している Databricks Runtime バージョンのリリースノートを参照してください。For the versions of the software included, see the release notes for the Databricks Runtime version you are using.


このソフトウェアには、NVIDIA Corporation によって提供されるソースコードが含まれています。This software contains source code provided by NVIDIA Corporation. 具体的には、Gpu をサポートするために、Azure Databricks Cuda サンプルからのコードが含まれています。Specifically, to support GPUs, Azure Databricks includes code from CUDA Samples.

NVIDIA 使用許諾契約書 (EULA)NVIDIA End User License Agreement (EULA)

Azure Databricks で GPU が有効な "Databricks Runtime バージョン" を選択すると、 NVIDIA EULAに暗黙的に同意したことになります。When you select a GPU-enabled “Databricks Runtime Version” in Azure Databricks, you implicitly agree to the NVIDIA EULA.