2019 年 2 月February 2019

これらの機能と Azure Databricks プラットフォームの機能強化は2019年2月にリリースされました。These features and Azure Databricks platform improvements were released in February 2019.

注意

リリースはステージングされています。Releases are staged. Azure Databricks アカウントは、最初のリリース日から1週間以内に更新することはできません。Your Azure Databricks account may not be updated until up to a week after the initial release date.

Databricks Light の一般提供開始Databricks Light generally available

2019年2月26日: 年3月5日: バージョン2.92February 26 - March 5, 2019: Version 2.92

Databricks Light (データエンジニアリングライトとも呼ばれます) を使用できるようになりました。Databricks Light (also known as Data Engineering Light) is now available. Databricks Light は、オープンソース Apache Spark ランタイムの Databricks パッケージです。Databricks Light is the Databricks packaging of the open source Apache Spark runtime. Databricks Runtime によって提供される高度なパフォーマンス、信頼性、または自動スケールの利点を必要としないジョブのためのランタイム オプションを提供します。It provides a runtime option for jobs that don’t need the advanced performance, reliability, or autoscaling benefits provided by Databricks Runtime. Databricks Light は、JAR、Python、または spark-submit ジョブを実行するためのクラスターを作成する場合にのみ選択できます。対話型またはノートブックのジョブ ワークロードを実行するクラスターに対してこのランタイムを選択することはできません。You can select Databricks Light only when you create a cluster to run a JAR, Python, or spark-submit job; you cannot select this runtime for clusters on which you run interactive or notebook job workloads. Databricks Light」を参照してください。See Databricks Light.

Azure Databricks パブリック プレビューでのマネージド MLflowManaged MLflow on Azure Databricks Public Preview

2019年2月26日: 年3月5日: バージョン2.92February 26 - March 5, 2019: Version 2.92

MLflow は、エンド ツー エンドの機械学習ライフサイクルを管理するためのオープンソース プラットフォームです。MLflow is an open source platform for managing the end-to-end machine learning lifecycle. どんなは次の3つの主な機能を備えています。It tackles three primary functions:

  • 実験を追跡して、パラメーターと結果を記録および比較します。Tracking experiments to record and compare parameters and results.
  • さまざまな ML ライブラリのモデルを管理および展開し、さまざまなモデルのサービスと推論のプラットフォームに対応します。Managing and deploying models from a variety of ML libraries to a variety of model serving and inference platforms.
  • 他のデータ科学者と共有したり、運用環境に転送したりするために、再利用可能で再現可能な形式で ML コードをパッケージ化します。Packaging ML code in a reusable, reproducible form to share with other data scientists or transfer to production.

Azure Databricks は、エンタープライズセキュリティ機能、高可用性、およびその他の Azure Databricks ワークスペース機能 (実験管理、実行管理、ノートブックリビジョンキャプチャなど) に統合された、完全に管理されたホストバージョンの MLflow を提供するようになりました。Azure Databricks now provides a fully managed and hosted version of MLflow integrated with enterprise security features, high availability, and other Azure Databricks workspace features such as experiment management, run management, and notebook revision capture. MLflow on Azure Databricks は、機械学習モデルのトレーニング実行を追跡および保護し、機械学習プロジェクトを実行するための統合エクスペリエンスを提供します。MLflow on Azure Databricks offers an integrated experience for tracking and securing machine learning model training runs and running machine learning projects. Azure Databricks でマネージ MLflow を使用すると、次のような両方のプラットフォームの利点が得られます。By using managed MLflow on Azure Databricks, you get the advantages of both platforms, including:

  • ワークスペース: ホステッド MLflow 追跡サーバーと統合実験 UI を使用して、Azure Databricks ワークスペース内の実験と結果を共同で追跡および整理します。Workspaces: Collaboratively track and organize experiments and results within Azure Databricks Workspaces with a hosted MLflow Tracking Server and integrated experiment UI. ノートブックで MLflow を使用すると、Azure Databricks によってノートブックのリビジョンが自動的にキャプチャされるため、同じコードを再現し、後で実行できます。When you use MLflow in notebooks, Azure Databricks automatically captures notebook revisions so you can reproduce the same code and runs later.
  • セキュリティ: Acl を介して、ML ライフサイクル全体の1つの一般的なセキュリティモデルを活用します。Security: Take advantage of one common security model for the entire ML lifecycle via ACLs.
  • ジョブ: MLflow プロジェクトをリモートで Azure Databricks ジョブとして実行し、Azure Databricks notebook から直接実行します。Jobs: Run MLflow projects as Azure Databricks jobs remotely and directly from Azure Databricks notebooks.

次に、Azure Databricks ワークスペースの追跡ワークフローのデモを示します。Here’s a demo of a tracking workflow in an Azure Databricks Workspace:

実行の追跡と実験の整理のワークフローTrack runs and organize experiment workflow

詳細については、「 実験 」と「 Azure Databricks での Mlflow プロジェクトの実行」を参照してください。For details, see Experiments and Run MLflow Projects on Azure Databricks.

Azure Data Lake Storage Gen2 コネクタの一般提供開始Azure Data Lake Storage Gen2 connector is generally available

2019 年 2 月 15 日February 15, 2019

ビッグ Data Analytics 用の次世代の Data Lake ソリューションであるAzure Data Lake Storage Gen2 (ADLS Gen2) は、Azure Databricks の ADLS Gen2 コネクタと同様に GA になりました。Azure Data Lake Storage Gen2 (ADLS Gen2), the next-generation data lake solution for big data analytics, is now GA, as is the ADLS Gen2 connector for Azure Databricks. また、Databricks Runtime 5.2 以降でクラスターを実行している場合は、ADLS Gen2 が Databricks デルタをサポートしていることもお知らせします。We are also pleased to announce that ADLS Gen2 supports Databricks Delta when you are running clusters on Databricks Runtime 5.2 and above.

クラスター作成時に Python 3 が既定にPython 3 now the default when you create clusters

12-19 年2月 2019: バージョン2.91February 12-19, 2019: Version 2.91

UI を使用して作成されたクラスターの既定の Python バージョンは、Python 2 から Python 3 に切り替わりました。The default Python version for clusters created using the UI has switched from Python 2 to Python 3. REST API を使用して作成されたクラスターの既定値は Python 2 のままです。The default for clusters created using the REST API is still Python 2.

既存のクラスターでは、Python のバージョンが変更されません。Existing clusters will not change their Python versions. しかし、新しいクラスターを作成するときに Python 2 の既定値を使用する習慣がある場合は、Python バージョンの選択に注意する必要があります。But if you’ve been in the habit of taking the Python 2 default when you create new clusters, you’ll need to start paying attention to your Python version selection.

既定の Python バージョンDefault Python version

Python のバージョンを参照してください。See Python version.

Delta Lake の一般提供開始Delta Lake generally available

2019年2月1日February 1, 2019

Databricks デルタの強力なトランザクションストレージ層と超高速読み取りのメリットが得られるようになりました。2月1日の時点で、Delta Lake は GA で、サポートされているすべてのバージョンの Databricks Runtime で利用できます。Now everyone can get the benefits of Databricks Delta’s powerful transactional storage layer and super-fast reads: as of February 1, Delta Lake is GA and available on all supported versions of Databricks Runtime. デルタの詳細については、「 Delta Lake およびデルタエンジンガイド」を参照してください。For information about Delta, see the Delta Lake and Delta Engine guide.