2020 年 5 月May 2020

これらの機能と Azure Databricks プラットフォームの機能強化は、2020年5月にリリースされました。These features and Azure Databricks platform improvements were released in May 2020.

注意

リリースはステージングされています。Releases are staged. Azure Databricks アカウントは、最初のリリース日から1週間以内に更新することはできません。Your Azure Databricks account may not be updated until up to a week after the initial release date.

Easv4 シリーズの VM (ベータ版)Easv4-series VMs (Beta)

2020年5月29日May 29, 2020

Azure Databricks は、premium SSD を使用する Easv4 シリーズ vm に対してベータサポートを提供するようになりました。 3.35 ghz の最大周波数を上げることができます。Azure Databricks now provides Beta support for Easv4-series VMs, which use a premium SSD and can achieve a boosted maximum frequency of 3.35GHz. これらのインスタンスの種類を使用すると、メモリを集中的に使用するエンタープライズアプリケーションのワークロードのパフォーマンスを最適化できます。These instance types can optimize your workload performance for memory-intensive enterprise applications.

Databricks Runtime 6.6 for Genomics GADatabricks Runtime 6.6 for Genomics GA

2020年5月26日May 26, 2020

Databricks Runtime 6.6 for Genomics は Databricks Runtime 6.6 の上に構築されており、次の新機能が含まれています。Databricks Runtime 6.6 for Genomics is built on top of Databricks Runtime 6.6 and includes the following new features:

  • GFF3 リーダーGFF3 reader
  • カスタム参照ゲノムのサポートCustom reference genome support
  • サンプルごとのパイプラインタイムアウトPer-sample pipeline timeouts
  • BAM エクスポートオプションBAM export option
  • マニフェスト blobManifest blobs

詳細については、「complete Databricks Runtime 6.6 For Genomics (サポートされていません) リリースノート」を参照してください。For more information, see the complete Databricks Runtime 6.6 for Genomics (Unsupported) release notes.

Databricks Runtime 6.6 ML GADatabricks Runtime 6.6 ML GA

2020年5月26日May 26, 2020

Databricks Runtime 6.6 ML は Databricks Runtime 6.6 の上に構築されており、次の新機能が含まれています。Databricks Runtime 6.6 ML is built on top of Databricks Runtime 6.6 and includes the following new features:

  • アップグレードされた mlflow: 1.7.0 から1.8.0 以降Upgraded mlflow: 1.7.0 to 1.8.0

詳細については、 Databricks Runtime 6.6 ML (サポートされていません) の完全なリリースノートを参照してください。For more information, see the complete Databricks Runtime 6.6 ML (Unsupported) release notes.

Databricks Runtime 6.6 GADatabricks Runtime 6.6 GA

2020年5月26日May 26, 2020

Databricks Runtime 6.6 では、次の Delta Lake 機能を含む多くのライブラリのアップグレードと新機能が導入されています。Databricks Runtime 6.6 brings many library upgrades and new features, including the following Delta Lake features:

  • これで、操作を使用してテーブルのスキーマを自動的に拡張できるようになりました mergeYou can now evolve the schema of the table automatically with the merge operation. これは、データの変更をテーブルに upsert する場合や、データのスキーマを時間の経過と共に変更する場合に便利です。This is useful in scenarios where you want to upsert change data into a table and the schema of the data changes over time. では、スキーマの変更を検出して適用する前に、 merge スキーマの拡張と変更の upsert を同時に行うことができます。Instead of detecting and applying schema changes before upserting, merge can simultaneously evolve the schema and upsert the changes. スキーマの自動進化」を参照してください。See Automatic schema evolution.
  • 一致した句だけを持つマージ操作 (つまり、and アクションだけを持ち、アクションがないマージ操作) のパフォーマンス update delete insert が向上しました。The performance of merge operations that have only matched clauses, that is, they have only update and delete actions and no insert action, has been improved.
  • Hive metastore で参照されている Parquet テーブルは、を使用してテーブル識別子を介してデルタ Lake に変換できるようになりました CONVERT TO DELTAParquet tables that are referenced in the Hive metastore are now convertible to Delta Lake through their table identifiers using CONVERT TO DELTA.

詳細については、「complete Databricks Runtime 6.6 (サポートされていません) リリースノート」を参照してください。For more information, see the complete Databricks Runtime 6.6 (Unsupported) release notes.

DBFS REST API 削除エンドポイントのサイズの制限DBFS REST API delete endpoint size limit

5月21-28、2020: バージョン3.20May 21-28, 2020: Version 3.20

DBFS APIを使用して多数のファイルを再帰的に削除した場合、削除操作はインクリメントで実行されます。When you delete a large number of files recursively using the DBFS API, the delete operation is done in increments. この呼び出しは、ディレクトリ構造が完全に削除されるまで削除操作を再起動するように求めるエラーメッセージと共に、約45s の後に応答を返します。The call returns a response after approximately 45s with an error message asking you to re-invoke the delete operation until the directory structure is fully deleted. 次に例を示します。For example:

{
  "error_code":"PARTIAL_DELETE","message":"The requested operation has deleted 324 files. There are more files remaining. You must make another request to delete more."
}

大量の MLflow 登録済みモデルを簡単に表示Easily view large numbers of MLflow registered models

5月21-28、2020: バージョン3.20May 21-28, 2020: Version 3.20

MLflow モデルレジストリでは、登録済みモデルのサーバー側の検索と改ページがサポートされるようになりました。これにより、多数のモデルを持つ組織は、一覧と検索を効率的に実行できます。The MLflow Model Registry now supports server-side search and pagination for registered models, which enables organizations with large numbers of models to efficiently perform listing and search. 前と同様に、名前を指定してモデルを検索し、名前または最終更新時刻の順に結果を取得できます。As before, you can search models by name and get results ordered by name or the last updated time. ただし、多数のモデルがある場合、ページの読み込みにかかる時間が大幅に短縮され、検索によってモデルの最新のビューがフェッチされます。However, if you have a large number of models, the pages will load much faster, and search will fetch the most up-to-date view of models.

すべてのクラスターにインストールするように構成されたライブラリが Databricks Runtime 7.0 以降を実行しているクラスターにインストールされないLibraries configured to be installed on all clusters are not installed on clusters running Databricks Runtime 7.0 and above

5月21-28、2020: バージョン3.20May 21-28, 2020: Version 3.20

Databricks Runtime 7.0 以降では、Apache Spark の基になるバージョンでは、2.12 が使用されます。In Databricks Runtime 7.0 and above, the underlying version of Apache Spark uses Scala 2.12. スケール a 2.11 に対してコンパイルされたライブラリは、予期しない方法で Databricks Runtime 7.0 クラスターを無効にすることができるため、Databricks Runtime 7.0 以降を実行するクラスターでは、 すべてのクラスターにインストールするように構成されたライブラリはインストールされません。Since libraries compiled against Scala 2.11 can disable Databricks Runtime 7.0 clusters in unexpected ways, clusters running Databricks Runtime 7.0 and above do not install libraries configured to be installed on all clusters. クラスター [ライブラリ] タブ には、 Skipped ライブラリ処理の変更に関連する状態と非推奨のメッセージが表示されます。The cluster Libraries tab shows a status Skipped and a deprecation message related to the changes in library handling.

以前のバージョンの Databricks Runtime で作成されたクラスターで 3.20 がワークスペースにリリース される前に、Databricks Runtime 7.0 を使用するようにそのクラスターを編集すると、すべてのクラスターにインストールするように構成されたすべてのライブラリがそのクラスターにインストールされます。If you have a cluster that was created on an earlier version of Databricks Runtime before 3.20 was released to your workspace, and you now edit that cluster to use Databricks Runtime 7.0, any libraries that were configured to be installed on all clusters will be installed on that cluster. この場合、インストールされているライブラリに互換性のない Jar があると、クラスターが無効になる可能性があります。In this case, any incompatible JARs in the installed libraries can cause the cluster to be disabled. この回避策は、クラスターを複製するか、新しいクラスターを作成することです。The workaround is either to clone the cluster or to create a new cluster.

Databricks Runtime 7.0 for Genomics (ベータ版)Databricks Runtime 7.0 for Genomics (Beta)

2020年5月21日May 21, 2020

Databricks Runtime 7.0 for Genomics は Databricks Runtime 7.0 の上に構築されており、次のライブラリ変更が含まれています。Databricks Runtime 7.0 for Genomics is built on top of Databricks Runtime 7.0 and includes the following library changes:

  • ADAM ライブラリがバージョン0.30.0 から0.32.0 に更新されました。The ADAM library has been updated from version 0.30.0 to 0.32.0.
  • Apache Spark 3.0 に基づくリリースは存在しないため、Genomics の場合、このライブラリは Databricks Runtime 7.0 に含まれていません。The Hail library is not included in Databricks Runtime 7.0 for Genomics as there is no release based on Apache Spark 3.0.

詳細については、「complete Databricks Runtime 7.0 For Genomics (サポートされていません) リリースノート」を参照してください。For more information, see the complete Databricks Runtime 7.0 for Genomics (Unsupported) release notes.

Databricks Runtime 7.0 ML (ベータ版)Databricks Runtime 7.0 ML (Beta)

2020年5月21日May 21, 2020

Databricks Runtime 7.0 ML は Databricks Runtime 7.0 の上に構築されており、次の新機能が含まれています。Databricks Runtime 7.0 ML is built on top of Databricks Runtime 7.0 and includes the following new features:

  • Conda および pip コマンドによって管理されるノートブックスコープの Python ライブラリとカスタム環境。Notebook-scoped Python libraries and custom environments managed by conda and pip commands.
  • "Pytorch"、""、"xgboost スト"、"sparkdl"、および "hyperopt" を含む主要な Python パッケージの更新。Updates for major Python packages including tensorflow, tensorboard, pytorch, xgboost, sparkdl, and hyperopt.
  • 新しく追加された Python パッケージは、ライト gbm、nltk、petastorm、および道路です。Newly added Python packages lightgbm, nltk, petastorm, and plotly.
  • RStudio Server オープンソース v1.1。RStudio Server Open Source v1.2.

詳細については、 Databricks Runtime 7.0 ML (サポートされていません) の完全なリリースノートを参照してください。For more information, see the complete Databricks Runtime 7.0 ML (Unsupported) release notes.

Databricks Runtime 6.6 for Genomics (ベータ版)Databricks Runtime 6.6 for Genomics (Beta)

2020 年 5 月 7 日May 7, 2020

Databricks Runtime 6.6 for Genomics は Databricks Runtime 6.6 の上に構築されており、次の新機能が含まれています。Databricks Runtime 6.6 for Genomics is built on top of Databricks Runtime 6.6 and includes the following new features:

  • GFF3 リーダーGFF3 reader
  • カスタム参照ゲノムのサポートCustom reference genome support
  • サンプルごとのパイプラインタイムアウトPer-sample pipeline timeouts
  • BAM エクスポートオプションBAM export option
  • マニフェスト blobManifest blobs

詳細については、「complete Databricks Runtime 6.6 For Genomics (サポートされていません) リリースノート」を参照してください。For more information, see the complete Databricks Runtime 6.6 for Genomics (Unsupported) release notes.

Databricks Runtime 6.6 ML (ベータ版)Databricks Runtime 6.6 ML (Beta)

2020 年 5 月 7 日May 7, 2020

Databricks Runtime 6.6 ML は Databricks Runtime 6.6 の上に構築されており、次の新機能が含まれています。Databricks Runtime 6.6 ML is built on top of Databricks Runtime 6.6 and includes the following new features:

  • アップグレードされた mlflow: 1.7.0 から1.8.0 以降Upgraded mlflow: 1.7.0 to 1.8.0

詳細については、 Databricks Runtime 6.6 ML (サポートされていません) の完全なリリースノートを参照してください。For more information, see the complete Databricks Runtime 6.6 ML (Unsupported) release notes.

Databricks Runtime 6.6 (ベータ版)Databricks Runtime 6.6 (Beta)

2020 年 5 月 7 日May 7, 2020

Databricks Runtime 6.6 (ベータ版) では、次の Delta Lake 機能を含む多くのライブラリのアップグレードと新機能が導入されています。Databricks Runtime 6.6 (Beta) brings many library upgrades and new features, including the following Delta Lake features:

  • これで、操作を使用してテーブルのスキーマを自動的に拡張できるようになりました mergeYou can now evolve the schema of the table automatically with the merge operation. これは、データの変更をテーブルに upsert する場合や、データのスキーマを時間の経過と共に変更する場合に便利です。This is useful in scenarios where you want to upsert change data into a table and the schema of the data changes over time. では、スキーマの変更を検出して適用する前に、 merge スキーマの拡張と変更の upsert を同時に行うことができます。Instead of detecting and applying schema changes before upserting, merge can simultaneously evolve the schema and upsert the changes. スキーマの自動進化」を参照してください。See Automatic schema evolution.
  • 一致した句だけを持つマージ操作 (つまり、and アクションだけを持ち、アクションがないマージ操作) のパフォーマンス update delete insert が向上しました。The performance of merge operations that have only matched clauses, that is, they have only update and delete actions and no insert action, has been improved.
  • Hive metastore で参照されている Parquet テーブルは、を使用してテーブル識別子を介してデルタ Lake に変換できるようになりました CONVERT TO DELTAParquet tables that are referenced in the Hive metastore are now convertible to Delta Lake through their table identifiers using CONVERT TO DELTA.

詳細については、「complete Databricks Runtime 6.6 (サポートされていません) リリースノート」を参照してください。For more information, see the complete Databricks Runtime 6.6 (Unsupported) release notes.

ジョブ クラスターがジョブ名および ID でタグ付けされるJob clusters now tagged with job name and ID

5月5-12、2020: バージョン3.19May 5-12, 2020: Version 3.19

ジョブクラスターには、ジョブ名と ID が自動的に付けられます。Job clusters are automatically tagged with the job name and ID. タグは課金対象の使用状況レポートに表示されるので、ジョブによって DBU の使用状況を簡単に属性し、異常を特定できます。The tags appear in the billable usage reports so that you can easily attribute your DBU usage by job and identify anomalies. タグは、許可されている文字、最大サイズ、タグの最大数など、クラスタータグの仕様に対して排除されます。The tags are sanitized to cluster tag specifications, such as allowed characters, maximum size, and maximum number of tags. ジョブ名はタグに含まれ RunName ており、ジョブ ID はタグに含まれてい JobId ます。The job name is contained in the RunName tag and the job ID is contained in the JobId tag.

削除されたノートブックのセルを復元するRestore deleted notebook cells

5月5-12、2020: バージョン3.19May 5-12, 2020: Version 3.19

() キーボードショートカットを使用するか、 Z [編集] を選択して セルの削除を元に戻す >、削除されたセルを復元できるようになりました。You can now restore deleted cells either by using the (Z) keyboard shortcut or by selecting Edit > Undo Delete Cells.

ジョブ保留キューの制限Jobs pending queue limit

5月5-12、2020: バージョン3.19May 5-12, 2020: Version 3.19

ワークスペースは、アクティブな (実行中および保留中の) ジョブの実行が1000に制限されるようになりました。A workspace is now limited to 1000 active (running and pending) job runs. ワークスペースは、同時実行 (実行中) ジョブが150に制限されているため、ワークスペースは、保留中のキューで最大850個の実行を持つことができます。Since a workspace is limited to 150 concurrent (running) job runs, a workspace can have up to 850 runs in the pending queue.