2019 年 6 月June 2019

これらの機能と Azure Databricks プラットフォームの機能強化は、2019年6月にリリースされました。These features and Azure Databricks platform improvements were released in June 2019.

注意

リリースはステージングされています。Releases are staged. Azure Databricks アカウントは、最初のリリース日から1週間以内に更新することはできません。Your Azure Databricks account may not be updated until up to a week after the initial release date.

Lsv2 インスタンスのサポートは一般公開されていますLsv2 instance support is generally available

24-26 年6月2019日: バージョン2.100June 24 - 26, 2019: Version 2.100

Azure Databricks は、高スループットと IOPS の高いワークロードに対応するLSV2 VM シリーズを完全にサポートするようになりました。Azure Databricks now provides full support for the Lsv2 VM series for high-throughput and high-IOPS workloads.

RStudio の統合は、同時実行性の高いクラスターに限定されなくなりましたRStudio integration no longer limited to high concurrency clusters

6-11 年6月2019日: バージョン2.99June 6 - 11, 2019: Version 2.99

これで、既にサポートされている高同時実行クラスターに加えて、Azure Databricks の標準クラスターで Rstudio Server を有効にできるようになりました。Now you can enable RStudio Server on standard clusters in Azure Databricks, in addition to the high-concurrency clusters that were already supported. クラスターモードに関係なく、RStudio サーバー統合では、クラスターの自動終了オプションを無効にする必要があります。Regardless of cluster mode, RStudio Server integration continues to require that you disable the automatic termination option for your cluster. Azure Databricks の Rstudio を参照してください。See RStudio on Azure Databricks.

MLflow 1.0MLflow 1.0

2019年6月3日June 3, 2019

Mlflowは、完全な機械学習ライフサイクルを管理するオープンソースのプラットフォームです。MLflow is an open source platform to manage the complete machine learning lifecycle. MLflow を使用すると、データ科学者は、ローカルまたはクラウドで実験を追跡して共有したり、フレームワーク間でモデルをパッケージ化して共有したり、事実上どこにでもモデルをデプロイしたりできます。With MLflow, data scientists can track and share experiments locally or in the cloud, package and share models across frameworks, and deploy models virtually anywhere.

現在、MLflow 1.0 のリリースを発表いたします。We are excited to announce the release of MLflow 1.0 today. 1.0 リリースでは、Api の成熟度と安定性をマークするだけでなく、頻繁に要求される多数の機能と機能強化も追加しています。The 1.0 release not only marks the maturity and stability of the APIs, but also adds a number of frequently requested features and improvements:

  • CLI が再構成され、アーティファクト、モデル、db (追跡データベース)、およびサーバー (追跡サーバー) 用の専用のコマンドが使用できるようになりました。The CLI was reorganized and now has dedicated commands for artifacts, models, db (the tracking database), and server (the tracking server).
  • 追跡サーバー検索では、簡略化されたバージョンの SQL WHERE 句がサポートされています。Tracking server search supports a simplified version of the SQL WHERE clause. 実行メトリックとパラメーターのサポートに加えて、実行属性、ユーザータグ、システムタグをサポートするために search が拡張されました。In addition to supporting run metrics and params, search has been enhanced to support some run attributes and user and system tags.
  • 追跡 API に x 座標のサポートを追加します。Adds support for x coordinates in the Tracking API. MLflow UI ビジュアライゼーションコンポーネントでは、指定された x 座標値に対するメトリックのプロットもサポートされるようになりました。The MLflow UI visualization components now also supports plotting metrics against provided x-coordinate values.
  • 1つの API 要求で複数のメトリック、パラメーター、タグをログに記録するための Python、R、および Java メソッドと同様に runs/log-batch REST API エンドポイントを追加します。Adds a runs/log-batch REST API endpoint as well as Python, R, and Java methods for logging multiple metrics, parameters, and tags with a single API request.
  • 追跡のために、Windows で MLflow 1.0 クライアントがサポートされるようになりました。For tracking, the MLflow 1.0 client is now supported on Windows.
  • HDFS のサポートをアーティファクトストアバックエンドとして追加します。Adds support for HDFS as an artifact store backend.
  • コンテナー内のポート8080で指定された MLflow Python 関数モデルを提供する、既定のエントリポイントを持つ Docker コンテナーをビルドするコマンドを追加します。Adds a command to build a Docker container whose default entry point serves the specified MLflow Python function model at port 8080 within the container.
  • 実験的なONNXモデルフレーバーを追加します。Adds an experimental ONNX model flavor.

Mlflow 変更ログのすべての変更の一覧を表示できます。You can view the full list of changes in the MLflow Change log.

Conda (ベータ) を使用した5.4 の Databricks RuntimeDatabricks Runtime 5.4 with Conda (Beta)

2019年6月3日June 3, 2019

重要

Conda を使用した Databricks Runtime はベータ版です。Databricks Runtime with Conda is in Beta. サポートされている環境の内容は、今後のベータリリースで変更される可能性があります。The contents of the supported environments may change in upcoming Beta releases. 変更には、パッケージまたはインストールされているパッケージのバージョンの一覧を含めることができます。Changes can include the list of packages or versions of installed packages. Conda を使用した Databricks Runtime 5.4 はDatabricks Runtime 5.4の上に構築されています。Databricks Runtime 5.4 with Conda is built on top of Databricks Runtime 5.4.

Conda を使用して Databricks Runtime 5.4 を導入することをお待ちしています。これにより、Conda を利用して Python ライブラリと環境を管理できます。We’re excited to introduce Databricks Runtime 5.4 with Conda, which lets you take advantage of Conda to manage Python libraries and environments. このランタイムには、クラスターの作成時に2つのルート Conda 環境オプションが用意されています。This runtime offers two root Conda environment options at cluster creation:

  • Databricks Standard環境には、多くの一般的な Python パッケージの更新バージョンが含まれています。Databricks Standard environment includes updated versions of many popular Python packages. この環境は、Databricks Runtime で実行される既存のノートブックの代わりに使用するものです。This environment is intended as a drop-in replacement for existing notebooks that run on Databricks Runtime. これは、既定の Databricks Conda ベースのランタイム環境です。This is the default Databricks Conda-based runtime environment.
  • Databricksの最小環境には、PySpark および Databricks Python notebook の機能に必要な最小パッケージが含まれています。Databricks Minimal environment contains the minimum packages required for PySpark and Databricks Python notebook functionality. この環境は、さまざまな Python パッケージを使用してランタイムをカスタマイズする場合に適しています。This environment is ideal if you want to customize the runtime with various Python packages.

Conda (ベータ) を使用した Databricks Runtime 5.4の完全なリリースノートを参照してください。See the complete release notes at Databricks Runtime 5.4 with Conda (Beta).

Machine Learning の Databricks Runtime 5.4Databricks Runtime 5.4 for Machine Learning

2019年6月3日June 3, 2019

Databricks Runtime 5.4 ML はDatabricks Runtime 5.4の上に構築されています。Databricks Runtime 5.4 ML is built on top of Databricks Runtime 5.4. これには、PyTorch、Keras、XGBoost ストなど、一般的な多くの機械学習ライブラリが含まれており、Horovod を使用して、分散されたのトレーニングを提供します。It contains many popular machine learning libraries, including TensorFlow, PyTorch, Keras, and XGBoost, and provides distributed TensorFlow training using Horovod.

これには、次の新機能が含まれています。It includes the following new features:

  • MLlib と Mllib の統合 (パブリックプレビュー)。MLlib integration with MLflow (Public Preview).
  • Hyperopt with new SparkTrials クラスがプレインストールされています (パブリックプレビュー)。Hyperopt with new SparkTrials class pre-installed (Public Preview).
  • Horovod から Spark driver ノードに送信された HorovodRunner の出力が notebook のセルに表示されるようになりました。HorovodRunner output sent from Horovod to the Spark driver node is now visible in notebook cells.
  • XGBoost スト Python パッケージがプレインストールされています。XGBoost Python package pre-installed.

詳細については、「 Databricks Runtime 5.4 ML」を参照してください。For details, see Databricks Runtime 5.4 ML.

Databricks Runtime 5.4Databricks Runtime 5.4

2019年6月3日June 3, 2019

Databricks Runtime 5.4 が使用できるようになりました。Databricks Runtime 5.4 is now available. Databricks Runtime 5.4 には、Apache Spark 2.4.2、アップグレードされた Python、R、Java、およびスケール a のライブラリと、次の新機能が含まれています。Databricks Runtime 5.4 includes Apache Spark 2.4.2, upgraded Python, R, Java, and Scala libraries, and the following new features:

  • Databricks のデルタレイクによる自動最適化の追加 (パブリックプレビュー)Delta Lake on Databricks adds Auto Optimize (Public Preview)
  • お気に入りの IDE と notebook サーバーを Databricks Connect で使用するUse your favorite IDE and notebook server with Databricks Connect
  • ライブラリユーティリティの一般提供開始Library utilities generally available
  • バイナリファイルデータソースBinary file data source

詳細については、「 Databricks Runtime 5.4」を参照してください。For details, see Databricks Runtime 5.4.