2019 年 9 月September 2019

これらの機能と Azure Databricks プラットフォームの機能強化は、2019年9月にリリースされました。These features and Azure Databricks platform improvements were released in September 2019.

注意

リリースはステージングされています。Releases are staged. Azure Databricks アカウントは、最初のリリース日から1週間以内に更新することはできません。Your Azure Databricks account may not be updated until up to a week after the initial release date.

Databricks Runtime 5.2 のサポート終了Databricks Runtime 5.2 support ends

2019年9月30日September 30, 2019

Databricks Runtime 5.2 のサポートは9月30日に終了しました。Support for Databricks Runtime 5.2 ended on September 30. Databricks Runtime サポートライフサイクルを参照してください。See Databricks Runtime Support Lifecycle.

Databricks Light を使用するプールによってサポートされる自動クラスターを起動する (パブリックプレビュー)Launch pool-backed automated clusters that use Databricks Light (Public Preview)

2019年9月26日-年10月1日: バージョン3.3September 26 - October 1, 2019: Version 3.3

7月にプールを導入したときに、自動ジョブ用にプールに対応したクラスターを構成するときに、ランタイムバージョンとしてDatabricks Lightを選択できませんでした。When we introduced Pools in July, you couldn’t select Databricks Light as your runtime version when you configured a pool-backed cluster for an automated job. これで、クイッククラスターの開始時刻とコスト効率の高いクラスターの両方を使用できるようになりました。Now you can have both quick cluster start times and cost-efficient clusters!

2019年10月14日に Azure SQL Database ゲートウェイの IP アドレスが変更されますAzure SQL Database gateway IP addresses will change on October 14, 2019

10月14日に、Microsoft はこれらのリージョンの新しいゲートウェイにトラフィックを移行します。On October 14, Microsoft will migrate traffic to new gateways in these regions. ワークスペースがこれらのリージョンのいずれかにあり、統合 metastore のユーザー定義ルート (UDR)を ("VNet 挿入" を使用して)独自の Azure Databricks 仮想ネットワークから構成している場合は、次の IP アドレスの更新が必要になることがあります。これらの IP アドレスが変更するときに metastore します。If your workspace is in one of these regions and you have configured user-defined-routes (UDR) for the consolidated metastore from your own Azure Databricks virtual network (using “VNet injection”), you may need to update the IP address for the metastore when these IP addresses change. お住まいの地域の IP アドレスの最新の一覧については、「 Azure SQL Database ゲートウェイの ip アドレス」の表を参照してください。Consult the Azure SQL Database gateway IP addresses table for the latest list of IP addresses for your region.

標準クラスターおよびスケール a (パブリックプレビュー) で Azure Data Lake Storage 資格情報のパススルーがサポートされるようになりましたAzure Data Lake Storage credential passthrough now supported on standard clusters and Scala (Public Preview)

12-17 年9月2019日: バージョン3.2September 12-17, 2019: Version 3.2

資格情報のパススルーは、Databricks Runtime 5.5 以降を実行している標準クラスター上の PYTHON、SQL、および SparkR で使用できるようになりました。また、Databricks Runtime 6.0 Beta でも使用できます。Credential passthrough can now be used with Python, SQL, and Scala on standard clusters running Databricks Runtime 5.5 and above, as well as SparkR on Databricks Runtime 6.0 Beta. これまでは、資格情報のパススルーには、スケール a をサポートしていない高同時実行クラスターが必要でした。Until now, credential passthrough required high concurrency clusters, which do not support Scala.

クラスターで Azure Data Lake Storage 資格情報のパススルーが有効になっている場合、そのクラスターで実行されるコマンドは、ストレージにアクセスするためにサービスプリンシパルの資格情報を構成する必要なく、Azure Data Lake Storage のデータの読み取りと書き込みを行うことができます。When a cluster is enabled for Azure Data Lake Storage credential passthrough, commands run on that cluster can read and write data in Azure Data Lake Storage without requiring users to configure service principal credentials to access the storage. 資格情報は、アクションを開始するユーザーから自動的に設定されます。The credentials are set automatically from the user initiating the action.

セキュリティのために、資格情報のパススルーが有効になっている標準クラスターでコマンドを実行できるユーザーは1人だけです。For security, only one user can run commands on a standard cluster that has Credential Passthrough enabled. 1 人のユーザーは作成時に設定され、クラスターに対する "管理" アクセス許可を持つすべてのユーザーが編集できます。The single user is set at creation time and can be edited by anyone with manage permissions on the cluster. 管理者は、1人のユーザーがクラスターに対して少なくとも attach 権限を持っていることを確認する必要があります。Admins need to ensure that the single user has at least attach permission on the cluster.

no-代替テキスト no-alternative-text

パンダの DataFrames、スケーリングなしでノートブックでレンダリングできるようになりましたpandas DataFrames now render in notebooks without scaling

12-17 年9月2019日: バージョン3.2September 12-17, 2019: Version 3.2

Azure Databricks notebook では、表示されているノートブックの幅に合うように displayHTML、いくつかのフレーム HTML コンテンツが拡張されています。In Azure Databricks notebooks, displayHTML was scaling some framed HTML content to fit the available width of the rendered notebook. この動作はイメージに適していますが、幅が広くなっているパンダをレンダリングしました。While this behavior is desirable for images, it rendered wide pandas DataFrames poorly. ではなくなりました。But not anymore!

Python バージョンセレクターが動的に表示されるようになりましたPython version selector display now dynamic

12-17 年9月2019日: バージョン3.2September 12-17, 2019: Version 3.2

Python 2 (Databricks 6.0 など) をサポートしていない Databricks ランタイムを選択すると、[クラスターの作成] ページによって Python バージョンセレクターが非表示になります。When you select a Databricks runtime that doesn’t support Python 2 (like Databricks 6.0), the cluster creation page hides the Python version selector.

Databricks Runtime 6.0 ベータ版Databricks Runtime 6.0 Beta

2019年9月12日September 12, 2019

Databricks Runtime 6.0 Beta には、次のような多くのライブラリのアップグレードと新機能が導入されています。Databricks Runtime 6.0 Beta brings many library upgrades and new features, including:

  • デルタレイク DML コマンド用の新しいスケール a と Java Api だけでなく、vacuum および history ユーティリティコマンドもあります。New Scala and Java APIs for Delta Lake DML commands, as well as the vacuum and history utility commands.
  • モデルのトレーニング中に、高速で信頼性の高い読み取りと書き込みを実現する、DBFS ヒューズ v2 クライアントが強化されました。Enhanced DBFS FUSE v2 client for faster and more reliable reads and writes during model training.
  • Notebook セルごとに複数の matplotlib プロットをサポートします。Support for multiple matplotlib plots per notebook cell.
  • Python 3.7 を更新し、numpy、パンダ、matplotlib、その他のライブラリを更新しました。Update to Python 3.7, as well as updated numpy, pandas, matplotlib, and other libraries.
  • Python 2 のサポートが終了します。Sunset of Python 2 support.

詳細については、「complete Databricks Runtime 6.0のリリースノート」を参照してください。For more information, see the complete Databricks Runtime 6.0 release notes.