Compute

  • [アーティクル]

Azure Databricks コンピューティングとは、Azure Databricks ワークスペースで使用できるコンピューティング リソースの選択を指します。 ユーザーは、Data Engineering、データ サイエンス、Data Analytics ワークロード (運用環境 ETL パイプライン、ストリーミング分析、アドホック分析、機械学習など) を実行できるコンピューティングへのアクセスが必要です。

ユーザーは、既存のコンピューティングに接続するか、適切なアクセス許可がある場合は新しいコンピューティングを作成できます。

ワークスペースの [コンピューティング] セクションを使用して、アクセスできるコンピューティングを表示できます。

All-purpose compute page in Databricks workspace

コンピューティングの種類

Azure Databricks で使用できるコンピューティングの種類は次のとおりです。

  • All-Purpose Compute: 対話型ノートブックを使って共同作業でデータを分析するために使います。 このコンピューティングは、UI、CLI、または REST API を使って作成、終了、再起動できます。

  • ジョブ コンピューティング: 高速で堅牢な自動ジョブを実行するために使用します。 Azure Databricks ジョブ スケジューラによって、新しいコンピューティングでジョブを実行するときにジョブ コンピューティングが作成されます。 そのコンピューティングは、ジョブが完了すると終了します。 ジョブ コンピューティングを再起動することは "できません"。 「ジョブで Azure Databricks コンピューティングを使用する」を参照してください。

  • インスタンス プール: アイドル状態ですぐに使用できるインスタンスを含むコンピューティングであり、起動と自動スケールの時間を短縮するために使用します。 このコンピューティングは、UI、CLI、または REST API を使って作成できます。

  • サーバーレス SQL ウェアハウス: SQL エディターまたは対話型ノートブックでデータ オブジェクトに対して SQL コマンドを実行するために使われるオンデマンドのエラスティック コンピューティング。 SQL ウェアハウスは UI、CLI、または REST API を使って作成できます。

  • クラシック SQL ウェアハウス: SQL エディターまたは対話型ノートブックでデータ オブジェクトに対して SQL コマンドを実行するために使われるプロビジョニング済みコンピューティング。 SQL ウェアハウスは UI、CLI、または REST API を使って作成できます。

このセクションの記事では、Azure Databricks UI を使ってコンピューティング リソースを操作する方法を説明しています。 その他の方法については、「コマンド ラインを使用する」と「Databricks REST API リファレンス」を参照してください。

Databricks Runtime

Databricks Runtime は、コンピューティングで実行されるコア コンポーネントのセットです。 Databricks Runtime は、汎用的に構成可能なジョブ コンピューティングの設定ですが、SQL ウェアハウスでは自動選択されます。

Databricks Runtime の各バージョンには、使用性、パフォーマンス、ビッグ データ分析のセキュリティを向上させる更新プログラムが含まれています。 コンピューティング上の Databricks Runtime によって、次のような多くの機能が追加されます。

  • Delta Lake は、Apache Spark 上に構築された次世代ストレージ レイヤーです。ACID トランザクション、最適化されたレイアウトとインデックス、およびデータ パイプラインを構築するための実行エンジンの機能強化を提供します。 「Delta Lake とは」を参照してください。
  • インストールされている Java、Scala、Python、R ライブラリ。
  • Ubuntu とそれに付随するシステム ライブラリ。
  • GPU 対応クラスター用の GPU ライブラリ。
  • ノートブック、ジョブ、クラスター管理など、プラットフォームの他のコンポーネントと統合される Azure Databricks サービス。

各ランタイム バージョンの内容については、リリース ノートを参照してください。

ランタイムのバージョン管理

Databricks Runtime のバージョンは、定期的にリリースされます。

  • 長期サポート バージョンは、LTS 修飾子 (たとえば、3.5 LTS など) で表されます。 メジャー リリースごとに、"正規の" フィーチャー バージョンが宣言されます。このバージョンには、丸 3 年間のサポートが提供されます。 詳細については、「Databricks ランタイム サポート ライフサイクル」を参照してください。
  • メジャー バージョンは、小数点の前のバージョン番号の増分 (たとえば、3.5 から 4.0 へのジャンプ) で表されます。 これらは、大きな変更がある場合にリリースされます。その一部は、下位互換性がない可能性があります。
  • フィーチャー バージョンは、小数点以下のバージョン番号の増分 (たとえば、3.4 から 3.5 へのジャンプ) で表されます。 各メジャー リリースには、複数のフィーチャー リリースが含まれています。 フィーチャー リリースは、メジャー リリース内の以前のリリースとの間に、常に下位互換性があります。