クラスターClusters

Azure Databricks のクラスターは、運用 ETL パイプライン、ストリーミング分析、アドホック分析、機械学習などのデータ エンジニアリング、データ サイエンス、およびデータ分析などのワークロードの実行基盤となる計算リソースおよび構成のセットです。An Azure Databricks cluster is a set of computation resources and configurations on which you run data engineering, data science, and data analytics workloads, such as production ETL pipelines, streaming analytics, ad-hoc analytics, and machine learning.

これらのワークロードは、ノートブック内の一連のコマンドとして、または自動化されたジョブとして実行します。You run these workloads as a set of commands in a notebook or as an automated job. Azure Databricks では、汎用クラスタージョブ クラスター が区別されます。Azure Databricks makes a distinction between all-purpose clusters and job clusters. 汎用クラスターは、対話型ノートブックを使用して共同作業でデータを分析するために使用します。You use all-purpose clusters to analyze data collaboratively using interactive notebooks. ジョブ クラスターは、高速で堅牢な自動化ジョブの実行に使用します。You use job clusters to run fast and robust automated jobs.

  • 汎用クラスター は UI、CLI、または REST API を使用して作成できます。You can create an all-purpose cluster using the UI, CLI, or REST API. 汎用クラスターは手動で終了および再起動できます。You can manually terminate and restart an all-purpose cluster. 複数のユーザーでこのようなクラスターを共有して、共同作業による対話型分析を行うことができます。Multiple users can share such clusters to do collaborative interactive analysis.
  • Azure Databricks ジョブ スケジューラーでは、ユーザーが "新しいジョブ クラスター" で ジョブを実行すると "ジョブ クラスター" が作成され、ジョブが完了するとクラスターが終了します。The Azure Databricks job scheduler creates a job cluster when you run a job on a new job cluster and terminates the cluster when the job is complete. ジョブ クラスターを再起動することは できませんYou cannot restart a job cluster.

このセクションでは、UI を使用してクラスターを操作する方法について説明します。This section describes how to work with clusters using the UI. その他の方法については、「クラスター CLI」および「クラスター API」を参照してください。For other methods, see Clusters CLI and Clusters API.

このセクションでは、ジョブ クラスターよりも汎用クラスターについて詳しく説明していますが、説明する構成ツールと管理ツールの大部分はどちらの種類のクラスターにも等しく適用されます。This section also focuses more on all-purpose than job clusters, although many of the configurations and management tools described apply equally to both cluster types. ジョブ クラスターの作成の詳細については、「ジョブ」を参照してください。To learn more about creating job clusters, see Jobs.

重要

Azure Databricks は、過去 30 日間に終了した最大 70 個の汎用クラスターと、ジョブ スケジューラによって最近終了された最大 30 個のジョブ クラスターのクラスター構成情報を保持します。Azure Databricks retains cluster configuration information for up to 70 all-purpose clusters terminated in the last 30 days and up to 30 job clusters recently terminated by the job scheduler. 終了後 30 日以上経過した後も、汎用クラスターの構成を維持するために、管理者はクラスターをクラスター リストにピン留めすることができます。To keep an all-purpose cluster configuration even after it has been terminated for more than 30 days, an administrator can pin a cluster to the cluster list.

このセクションの内容は次のとおりです。In this section: