2023 年 11 月

  • [アーティクル]

これらの新機能と Azure Databricks プラットフォームの機能強化は 2023 年 11 月にリリースされました。

Note

リリースは段階的に行われます。 Azure Databricks ワークスペースの更新は、最初のリリース日から 1 週間以上行われないことがあります。

Databricks ベクトル検索がパブリック プレビュー

2023 年 11 月 30 日

Azure Databricks ベクトル検索は、メタデータを含むデータのベクトル表現をベクトル データベースに保存できるようにするサーバーレス類似検索エンジンです。 この機能の一部として、Unity Catalog のデータから自動更新ベクトル検索インデックスを作成し、単純な API を使用してそれらのクエリを実行し、RAG ワークフローの一部として類似性の最も高いベクトルを返すことができます。 「Databricks ベクトル検索」を参照してください。

アクセス制御リストを無効にできなくなりました

2023 年 11 月 29 日

次の設定はすべての Premium プラン ワークスペース上で有効になっており、ワークスペース管理者設定ページまたは Workspace Conf API から無効にすることはできなくなります。

  • ワークスペースのアクセス制御: ユーザーが、ワークスペース オブジェクトに対するアクセス許可を構成することができるようにします。
  • クラスター、プール、ジョブのアクセス制御: ユーザーが、クラスター、プール、ジョブに対するアクセス許可を構成することができるようにします。
  • クラスターの可視性の制御: クラスターに対するアクセス許可がないユーザーに対して、クラスターが表示されないようにします。
  • ジョブの可視性の制御: ジョブに対するアクセス許可がないユーザーに対して、ジョブが表示されないようにします。
  • ワークスペースの可視性の制御設定: ノートブックとフォルダーに対するアクセス許可がないユーザーに対して、ノートブックとフォルダーが表示されないようにします。

2018 年 3 月以降、新しいワークスペース上でアクセスの制御設定が既定で有効になり、2020 年 12 月以降、可視性の制御設定が既定で有効になっています。

詳細については、「アクセス制御リスト」をご覧ください。

Catalog Explorer でのボリュームに関する新しい動作とアクション

2023 年 11 月 22 日

[ボリュームへのアップロード] UI に何も存在しない場合に、ターゲット スキーマに新しいボリュームを作成できるようになりました。 「Unity Catalog ボリュームにファイルをアップロードする」を参照してください。

ファイルの削除やファイルのダウンロードなどのアクションが、ボリューム内のファイル用の Cataolog Explorer に追加されました。

Databricks Runtime 14.2 が 一般提供

2023 年 11 月 22 日

Databricks Runtime 14.2 および Databricks Runtime 14.2 ML が一般提供されるようになりました。

「Databricks Runtime 14.2」および「Databricks Runtime 14.2 for Machine Learning」を参照してください。

Databricks SQL Connector for Python バージョン 3.0.0

2023 年 11 月 17 日

pip install databricks-sql-connector==3.0.0 を実行できるようになります。

このリリースの場合:

  • Python 3.7 のサポートを削除します
  • ネイティブ パラメーター化された SQL クエリのサポートを追加します。 DBR 14.2 以降が必要です。 詳しくは、databricks-sql-python GitHub リポジトリの「ネイティブ パラメーターの使用」をご覧ください。
  • 完全に書き換えられた SQLAlchemy 言語が含まれます。
    • SQLAlchemy >= 2.0 のサポートを追加し、SQLAlchemy 1.x のサポートを削除します
    • サポートされているすべての機能のエンド ツー エンドの完全なテスト カバレッジ
    • 使用方法に関する詳しい注意事項については、こちらをご覧ください
    • 以下のサポートを追加します。
      • 新しい型: TIME、TIMESTAMP、TIMESTAMP_NTZ、TINYINT
      • Numeric 型の有効桁数と小数点以下桁数 (Numeric(10,2) など)
      • PrimaryKeyConstraint と ForeignKeyConstraint の読み取りと書き込み
      • 複合キーの読み取りと書き込み
      • ビューの読み取りと書き込み
      • テーブルへの Identity の書き込み (主キーの自動インクリメント)
      • 結果をページングするための LIMIT と OFFSET
      • メタデータ呼び出しのキャッシュ
  • クラウド フェッチを既定で有効にします。 無効にするには、databricks.sql.client をビルドするときに use_cloud_fetch=False を設定します。
  • Azure Databricks Unity Catalog ボリューム インジェスト クエリの統合テストを追加します
  • 再試行:
    • _retry_max_redirects 構成を追加します
    • _enable_v3_retries=True を設定し、ユーザーがそれをオーバーライドしたら警告します。
  • セキュリティ: pyarrow の最小バージョンを 14.0.1 に上げます (CVE-2023-47248)

分離のない共有クラスターでサポートされているワークスペース ファイル内のライブラリ

2023 年 11 月 15 日

Databricks Runtime 14.1 以上で分離なし共有アクセス モードで構成されたコンピューティングに、ワークスペース ファイルとして格納されたライブラリをインストールできるようになりました。

ワークスペース ライブラリの廃止

2023 年 11 月 15 日

ワークスペース ライブラリは非推奨になり、新しいワークスペース ライブラリの作成は無効になりました。 既存のワークスペース ライブラリは引き続き機能します。 ライブラリをワークスペース ファイルとして保存することは、ワークスペース ライブラリとは異なり、引き続き完全にサポートされていることに注意してください。 ワークスペース ファイルとして保存されているライブラリは、コンピューティングまたはジョブ タスクに直接インストールできます。 ライブラリをご参照ください。

Azure Confidential Computing VM の種類のサポートが一般提供になりました

2023 年 11 月 15 日

Azure Confidential Computing VM の種類に対する Azure Databricks のサポートが一般提供になりました。 Azure Confidential Computing は、使用中のデータを保護し、クラウド プロバイダーが機密データにアクセスできないようにするのに役立ちます。 「Azure Confidential Computing VM」をご参照ください。

2023 年 11 月 13 日

Azure Databricks ワークスペース UI 内のグローバル検索バーを使用して、Databricks Marketplace 内でデータ セット、AI モデル、Databricks ソリューション アクセラレータを検索できるようになりました。 「Databricks Marketplace の概要」と「ワークスペース オブジェクトの検索」をご参照ください。

外部プラットフォームを使用して Databricks Marketplace でデータ製品を使用

2023 年 11 月 10 日

Unity カタログ対応の Azure Databricks ワークスペースを持たないコンシューマーが、Databricks Marketplace 内のデータ製品にアクセスできるようになりました。 Delta Sharing オープン共有コネクタを使用すると、Microsoft Power BI、Microsoft Excel、pandas、Apache Spark、Unity Catalog 以外の Databricks ワークスペースなど、いくつかの一般的なプラットフォームを使用して Marketplace データにアクセスできます。 外部プラットフォームで使用できるのは、表形式のデータ セットのみです (たとえば、Databricks ノートブックやモデルでは使用できません)。 「外部プラットフォームを使用して Databricks Marketplace でデータ製品をリクエストし、アクセスする」を参照してください。

複数の Azure リージョンに対して追加されたサーバーレス SQL ウェアハウスのサポート

2023 年 11 月 9 日

次の Azure リージョンで、サーバーレス SQL ウェアハウスがサポートされるようになりました。

  • ブラジル南部 (brazilsouth)
  • インド中部 (centralindia)
  • 東日本 (japaneast)
  • 米国中北部 (northcentralus)
  • 英国南部 (uksouth)

「Azure Databricks のリージョン」と「サーバーレス SQL ウェアハウスを有効にする」をご参照ください。

Unity Catalog を新しいワークスペースで自動的に有効化する

2023 年 11 月 9 日

Databricks では、新しいワークスペースに対する Unity Catalog の自動的な有効化を開始しました。 自動有効化により、ワークスペースの作成後にアカウント管理者が Unity Catalog を構成する必要はなくなります。 ロールアウトは、アカウント全体に徐々に進めていきます。 「Unity Catalog の自動有効化」を参照してください。

Databricks Runtime 14.2 (ベータ版)

2023 年 11 月 8 日

Databricks Runtime 14.2 と Databricks Runtime 14.2 ML がベータ版リリースとして使用できるようになりました。

「Databricks Runtime 14.2」および「Databricks Runtime 14.2 for Machine Learning」を参照してください。

Databricks Marketplace には、Databricks ソリューション アクセラレータが含まれています

2023 年 11 月 7 日

Databricks Marketplace では、Databricks ソリューション アクセラレータ、完全な機能を持つノートブック、ベスト プラクティスのガイダンス、サンプル データを提供する専用ガイドにアクセスして、Azure Databricks の多くの一般的なユース ケースをすばやく設定できるようになりました。 「Databricks ソリューション アクセラレータにアクセスする」をご参照ください。

Lakehouse Federation は Google BigQuery のサポートを追加します

2023 年 11 月 3 日

BigQuery コネクタの種類を使用してフェデレーション クエリを実行するように Lakehouse フェデレーションを構成できるようになりました。 新しい BigQuery コネクタは、Pro およびサーバーレス SQL ウェアハウスと Databricks Runtime 13.3 LTS 以降でサポートされています。 「Google BigQuery でフェデレーション クエリを実行する」をご覧ください。