2020 年 2 月February 2020

これらの機能と Azure Databricks プラットフォームの機能強化は2020年2月にリリースされました。These features and Azure Databricks platform improvements were released in February 2020.


リリースはステージングされています。Releases are staged. Azure Databricks アカウントは、最初のリリース日から1週間以内に更新することはできません。Your Azure Databricks account may not be updated until up to a week after the initial release date.

Databricks Runtime 6.4 for Genomics GADatabricks Runtime 6.4 for Genomics GA

2020年2月26日February 26, 2020

Databricks Runtime 6.4 for Genomics は Databricks Runtime 6.4 の上に構築されています。Databricks Runtime 6.4 for Genomics is built on top of Databricks Runtime 6.4. Genomics の Databricks Runtime 6.3 からの多くの機能強化とアップグレードが含まれています。It includes many improvements and upgrades from Databricks Runtime 6.3 for Genomics.

主な機能は次のとおりです。The key features are:

  • Dnaseqをカスタマイズできるようになりました。You can now customize DNASeq. パイプラインユーザーは、読み取りの配置、バリアント呼び出し、およびバリアント注釈の各ステージの適切な組み合わせを選択的に無効にすることができます。Pipeline users can selectively disable any legitimate combination of the read alignment, variant calling, and variant annotation stages. ユーザーは、シングルエンドの読み取りの配置を実行することもできます。Users can also perform single-end read alignment.
  • Databricks Runtime 6.4 for Genomics に含まれている 光彩 のバージョンでは、以前は SQL 式を使用してのみ公開された関数用の Python とが提供されるようになりました。The version of Glow included in Databricks Runtime 6.4 for Genomics now provides Python and Scala APIs for functions previously exposed only via SQL expressions. これらの関数はデータフレーム操作で使用でき、コンパイル時の安全性が向上します。These functions are available for DataFrame operations, providing improved compile-time safety.

詳細については、 Genomics の完全な Databricks Runtime 6.4 の リリースノートを参照してください。For details, see the complete Databricks Runtime 6.4 for Genomics release notes.

Databricks Runtime 6.4 ML GADatabricks Runtime 6.4 ML GA

2020年2月26日February 26, 2020

Databricks Runtime 6.4 ML GA は、次のようなライブラリのアップグレードをもたらします。Databricks Runtime 6.4 ML GA brings library upgrades, including:

  • PyTorch: 1.3.1 からPyTorch: 1.3.1 to 1.4.0
  • Horovod: 0.18.2 to 1.19.0Horovod: 0.18.2 to 1.19.0

詳細については、 Machine Learning リリースノートについ ては、「complete Databricks Runtime 6.4」を参照してください。For details, see the complete Databricks Runtime 6.4 for Machine Learning release notes.

Databricks Runtime 6.4 GADatabricks Runtime 6.4 GA

2020年2月26日February 26, 2020

Databricks Runtime 6.4 GA では、新機能、機能強化、および多くのバグ修正が行われます。Databricks Runtime 6.4 GA brings new features, improvements, and many bug fixes.

  • 自動ローダー (パブリックプレビュー) を使用して、新しいデータファイルを段階的に処理します。Process new data files incrementally with Auto Loader (Public Preview). 自動ローダーを使用すると、ETL 中にクラウドの blob ストアに到着したときに、新しいデータファイルを段階的に処理することができます。Auto Loader gives you a more efficient way to process new data files incrementally as they arrive on a cloud blob store during ETL. これは、ファイルベースの構造化ストリーミングを改善したものであり、クラウドディレクトリの一覧を繰り返し表示し、検出されたファイルを追跡することによって新しいファイルを識別します。ディレクトリの拡大に伴って、非常に非効率になる可能性があります。This is an improvement over file-based structured streaming, which identifies new files by repeatedly listing the cloud directory and tracking the files that have been seen, and can be very inefficient as the directory grows.
  • べき等再試行 (パブリックプレビュー) を使用して、Delta Lake にデータを読み込みます。Load data into Delta Lake with idempotent retries (Public Preview). SQL コマンドを使用すると、 COPY INTO べき等再試行 (パブリックプレビュー) を使用してデルタレイクにデータを読み込むことができます。The COPY INTO SQL command lets you load data into Delta Lake with idempotent retries (Public Preview). 現在、デルタレイクにデータを読み込むには、Apache Spark データフレーム Api を使用する必要があります。To load data into Delta Lake today you have to use Apache Spark DataFrame APIs. 読み込み中にエラーが発生した場合は、それらを効果的に処理する必要があります。If there are failures during loads, you have to handle them effectively.
  • デルタテーブルに対するすべての書き込み、更新、および削除の操作メトリックがテーブル履歴に表示されるようになりました。Operation metrics for all writes, updates, and deletes on a Delta table now shown in table history.
  • Azure Databricks notebook (パブリックプレビュー) では、インライン Matplotlib の図が既定で有効になりました。Inline Matplotlib figures now enabled by default in Azure Databricks notebooks (Public Preview).

詳細については、 Databricks Runtime 6.4 の完全なリリースノートを参照してください。For details, see the complete Databricks Runtime 6.4 release notes.

新しい対話型のグラフでは、豊富なクライアント側の対話を実現New interactive charts offer rich client-side interactions

2月25日-2019 年3月3日: バージョン3.14Feb 25 - March 3, 2019: Version 3.14

このリリースでは、横棒グラフと折れ線グラフの実装を置き換える2つの新しい対話形式のグラフが導入されています。This release introduces two new interactive chart types that replace the bar chart and line chart implementations. 折れ線グラフには、既存のグラフ機能に加えて、いくつかの新しいカスタムプロットオプションがあります。 Y 軸の範囲の設定、マーカーの表示と非表示、Y 軸へのログスケールの適用です。In addition to existing chart functionality, the line chart has a few new custom plot options: setting a Y-axis range, showing or hiding markers, and applying log scale to the Y-axis. どちらのグラフにも、豊富なクライアント側の対話機能をサポートする組み込みのツールバーがあります。Both charts have a built-in toolbar that supports a rich set of client-side interactions.

グラフ ツール バーChart toolbar

既存のグラフの実装を使用する場合は、[ レガシグラフ ] ドロップダウンメニューから選択できます。If you want to use the existing chart implementations, you can select them from the Legacy Charts drop-down menu. 既存のグラフでは、以前に使用した実装が引き続き使用されます。Existing charts will continue to use the previously available implementations.

レガシグラフの種類Legacy chart types

新しいデータ インジェスト ネットワークによる Delta Lake とのパートナー統合の追加 (パブリック プレビュー)New data ingestion network adds partner integrations with Delta Lake (Public Preview)

2020年2月24日February 24, 2020

これで、データウェアハウスによって使用されるデータ構造とデータ管理機能の種類によって、data lake が、データウェアハウスを使用して、数百のデータソースから Delta Lake に至るまで、"lakehouse" を簡単に設定できるようになりました。Now you can easily populate your “lakehouse”—your data lake empowered by the kinds of data structures and data management features you typically get with a data warehouse—from hundreds of data sources into Delta Lake. このネットワークの中核となるのは、新しいパートナー統合ギャラリーです。ワークスペースからアクセスでき、パートナーである Fivetran、Qlik、Infoworks、StreamSets、Syncsort を使用して、データソースの大規模なネットワークへのアクセスを提供します。At the heart of this network is the new Partner Integrations gallery, accessible from your workspace and providing access to a huge network of data sources via our partners Fivetran, Qlik, Infoworks, StreamSets, and Syncsort.

パートナー統合ポータルPartner integrations portal

概要については、 ブログを参照してください。For an overview, see our blog. 詳細については、「 パートナーデータの統合」を参照してください。For details, see Partner data integrations.

ワークスペース作成者が Azure Databricks 管理者として自動的に追加されますWorkspace creator automatically added as an Azure Databricks admin

2020年2月24日February 24, 2020

2月24日より前 2020 Azure Databricks ワークスペースを作成したユーザーは、Azure Portal で [ ワークスペースの起動 ] ボタンをクリックした場合、またはワークスペースの管理者として既に管理者として追加されたユーザー ([ 起動ワークスペース ] ボタンをクリックしたサブスクリプションの Azure 共同作成者) がワークスペースの管理者ユーザーとして追加されるBefore February 24, 2020, the user who created an Azure Databricks workspace would only be added as an admin user for the workspace if she also clicked the Launch Workspace button in the Azure Portal or was added as an admin by a user who was already an admin user in the workspace (any Azure Contributor for the subscription who clicked the Launch Workspace button would be created as an admin user in the workspace). これでワークスペースを作成するユーザーは、ワークスペース管理者として自動的に追加されます。Now the user who creates the workspace will be added automatically as a workspace admin.

ワークスペースの作成と起動の詳細については、「サブスクリプションの管理」を参照してください。For details about creating and launching workspaces, see Manage your subscription

ワークスペースのセキュリティとノートブックの機能を管理するためのフラグを利用できるようになりましたFlags to manage workspace security and notebook features now available

4-11 年2月 2020: バージョン3.12February 4-11, 2020: Version 3.12

このリリースでは、ワークスペースでの攻撃を防ぐために送信されるセキュリティヘッダーを管理するための新しいフラグが導入されています。また、notebook の結果のダウンロードや Git のバージョン管理にアクセスすることもできます。This release introduces new flags for managing the security headers that are sent to prevent attacks on your workspace, as well as access to notebook results downloads and Git versioning. ワークスペースのセキュリティヘッダーの管理 」および「 notebook の機能へのアクセスの管理」を参照してください。See Manage workspace security headers and Manage access to notebook features. これらの管理オプションはすべて既定で有効になっています。All of these administrative options are enabled by default.