2023 年 8 月
以下の機能と Azure Databricks プラットフォームの機能強化が 2023 年 8 月にリリースされました。
Note
リリースは段階的に行われます。 Azure Databricks ワークスペースの更新は、最初のリリース日から 1 週間以上行われないことがあります。
ナビゲーション検索でのテーブルの表示
2023 年 8 月 31 日
Unity Catalog に登録されているテーブルが、上部バーのナビゲーション検索に表示されるようになりました。 「ワークスペース オブジェクトを検索する」を参照してください。
Databricks CLI がバージョン 0.203.3 (パブリック プレビュー) に更新されました
2023 年 8 月 30 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.203.3 に更新されました。 詳細については、バージョン 0.203.3 の変更ログをご覧ください。
Databricks JDBC ドライバー 2.6.34
2023 年 8 月 30 日
Databricks JDBC ドライバーのバージョン 2.6.34 がリリースされました (ダウンロード)。 このリリースでは、サードパーティのライブラリをアップグレードすることで、さまざまな脆弱性の問題に対処します。 さらに、このリリースによって次の問題が修正されます。
- クエリがサーバーへの接続に失敗した場合のスレッド リーク。
- テーブル メタデータの
REMARKS列にコメントがありません。 - 結果セットのクロージャ操作でエラーが返された場合、コネクタはハートビート スレッドからの操作ハンドル エントリをクリーンアップしません。
また、このリリースでは、サーバーからの SQLState とエラー コードを受け入れ、サーバー プロトコルのバージョンを正しくチェックすることで、エラー メッセージの処理が改善されます。
Databricks SDK for Go がバージョン 0.18.0 (ベータ版) に更新されました
2023 年 8 月 29 日
Databricks SDK for Go バージョン 0.18.0 では、17 個の破壊的 API 変更が導入されており、30 個の API が追加され、約 1 ダースのフィールドが追加されています。 詳細については、バージョン 0.18.0 の変更ログをご覧ください。
Databricks SDK for Python がバージョン 0.7.0 (ベータ版) に更新されました
2023 年 8 月 29 日
Databricks SDK for Python バージョン 0.7.0 では、ファイル API の破壊的変更に加えて、17 個の破壊的変更が導入されています。 このリリースでは、14 個のフィールドと 27 個のデータクラスも追加されています。 詳細については、バージョン 0.7.0の変更ログをご覧ください。
Databricks Terraform プロバイダーがバージョン 1.24.1 に更新されました
2023 年 8 月 29 日
Databricks Terraform プロバイダー バージョン 1.24.1 には、ワークスペース到達可能性検証の修正プログラムが含まれています。 詳細については、バージョン 1.24.1 の変更ログをご覧ください。
DBFS の有効期間終了に関する Init スクリプトが 2023 年 12 月 1 日に延長されました
2023 年 8 月 29 日
Databricks は以前、DBFS 上の init スクリプトが 2023 年 9 月 1 日に終了することを発表しました。 有効期限が 2023 年 12 月 1 日に延長されました。
Databricks Runtime 14.0 (ベータ版)
2023 年 8 月 29 日
Databricks Runtime 14.0 と Databricks Runtime 14.0 ML をベータ版リリースとして使用できるようになりました。
「Databricks Runtime 14.0」および「Databricks Runtime 14.0 for Machine Learning」を参照してください。
統合ナビゲーション エクスペリエンスは GA です
2023 年 8 月 28 日
統合 Azure Databricks ナビゲーション エクスペリエンスが一般公開されました。 ユーザーは従来のナビゲーション エクスペリエンスに戻すことができなくなります。 詳細については、「ワークスペースを移動する」を参照してください。
Databricks Terraform プロバイダーがバージョン 1.24.0 に更新されました
2023 年 8 月 25 日
Databricks Terraform プロバイダー バージョン 1.24.0 には、Unity Catalog オブジェクトのアカウント レベルの API サポートが追加される、複数のデータ ソースに acl_principal_id が追加されるなどの更新があります。 詳細については、バージョン 1.24.0 の変更ログをご覧ください。
ワークスペース管理設定ページから Databricks Runtime for Genomics 設定が削除されました
2023 年 8 月 25 日
ワークスペース管理者は、ワークスペース管理者設定ページまたはワークスペース構成 API から Databricks Runtime for Genomics を有効または無効にすることができなくなります。 Databricks Genomics ランタイムは非推奨になり、Databricks Runtime for Genomics のサポートは 2022 年 9 月 24 日に削除されました。
Databricks Genomics ランタイムは非推奨になりました。 同等のオープン ソースについては、genomics-pipelines と Glow のリポジトリを参照してください。 ランタイムの一部であった Bioinformatics ライブラリは Docker コンテナーとしてリリースされました。これは、ProjectGlow の Dockerhub ページからプルできます。
Databricks Runtime の非推奨ポリシーとスケジュールの詳細については、サポートされているすべての Databricks Runtime LTS リリース を参照してください。
ワークスペース管理設定ページから Container Services 設定が削除されました
2023 年 8 月 25 日
ワークスペース管理者は、ワークスペース管理者設定ページから Container Services を有効または無効にすることができなくなります。 Container Services を使用すると、クラスターで顧客コンテナーを使用できます。 これは、すべての新しいワークスペースで既定で有効になっています。 Container Services は、ワークスペース構成 API を使用して引き続き有効または無効にすることができます。 詳細については、「Container Services を有効にする」を参照してください。
Databricks CLI がバージョン 0.203.2 (パブリック プレビュー) に更新されました
2023 年 8 月 24 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.203.2 に更新されました。 詳細については、バージョン 0.203.2 の変更ログをご覧ください。
Python ノートブックの関数と変数の定義に移動する
2023 年 8 月 24 日
Databricks Runtime 12.2 LTS 以降では、Python ノートブックがクラスターにアタッチされている場合、そのノートブックで定義されている変数または関数の定義に自動的に移動できます。 詳細については、「定義に移動する」を参照してください。
統合スキーマ ブラウザーは GA です
2023 年 8 月 24 日
カタログ エクスプローラー、SQL エディター、ノートブック全体で統合スキーマ ブラウザーが一般提供されました。 「カタログ エクスプローラーとは」を参照してください。.
Databricks Runtime 13.3 LTS は GA です
2023 年 8 月 22 日
Databricks Runtime 13.3 LTS と Databricks Runtime 13.3 LTS ML が一般提供されるようになりました。
「Databricks Runtime 13.3 LTS」と「Databricks Runtime 13.3 LTS for Machine Learning」を参照してください。
Unity Catalog を使用したタグの導入
2023 年 8 月 22 日
Unity Catalog でセキュリティ保護可能なオブジェクトにタグを適用できるようになりました。 タグは、セキュリティ保護可能なオブジェクトを整理し、データ資産の検索と検出を簡素化するのに役立ちます。 「タグの適用」を参照してください。
Unity Catalog 共有クラスターでの init スクリプト、JAR、Maven 座標の許可リストはパブリック プレビュー段階です
2023 年 8 月 23 日
Unity Catalog allowlist を使用して、Databricks Runtime 13.3 以降を実行する共有アクセス モードを使用して、コンピューティングでの init スクリプト、JAR、Maven 座標のインストールを制御できるようになりました。 「共有コンピューティングの許可リスト ライブラリと init スクリプト」をご覧ください。
init スクリプトと JAR のボリュームのサポートはパブリック プレビュー段階です
2023 年 8 月 23 日
Unity Catalog ボリュームを使用して、Databricks Runtime 13.3 以降を実行する割り当てまたは共有アクセス モードを使用して、init スクリプトと JAR をコンピューティングに格納できるようになりました。 クラスター スコープ ライブラリに関する記事と「ボリュームからライブラリをインストールする」を参照してください。
Databricks Repos .ipynb ファイル出力コミットの簡素化
2023 年 8 月 21 日
Databricks Repos には、.ipynb ファイル出力コミットの制御を簡素化するための機能が追加されています。
- Repos では、commit_output 構成ファイルを作成できます。
- UI の通知では、出力コミットの状態を把握できます。
- [ファイル] メニューから、ノートブック出力をコミットするかどうかを制御できます。
「.ipynb ノートブック出力のコミットを制御する」を参照してください。
Databricks Repos での IPYNB ノートブックのサポートは GA です
2023 年 8 月 21 日
Databricks Repos での IPYNB ノートブック ファイルのサポートは GA です。 Repos の詳細については、以下を参照してください。
Databricks SDK for Go がバージョン 0.17.0 (ベータ版) に更新されました
2023 年 8 月 18 日
Databricks SDK for Go バージョン 0.17.0 では、30 個を超える API が追加されており、約 10 個の API の名前が変更されています。 詳細については、バージョン 0.17.0 の変更ログをご覧ください。
Databricks SDK for Python がバージョン 0.6.0 (ベータ版) に更新されました
2023 年 8 月 18 日
Databricks SDK for Python バージョン 0.6.0 では、約 20 個のデータクラスと約 10 個の API が追加されており、約 20 個の名前変更も含まれています。 詳細については、バージョン 0.6.0 の変更ログをご覧ください。
Databricks CLI がバージョン 0.203.1 (パブリック プレビュー) に更新されました
2023 年 8 月 16 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.203.1 に更新されました。 詳細については、バージョン 0.203.1 の変更ログを参照してください。
統合スキーマ ブラウザーが GA になりました
2023 年 8 月 16 日
次に紹介する新機能など、ノートブック、SQL エディター、カタログ エクスプローラーでデータを移動する統合された方法を使用できるようになりました。
- ツリーの圧縮バージョン。
- フィルター処理時のスキーマ レベルでの Unity Catalog オブジェクト数の表示。
- メニューを右クリックしてアクションを表示します。
スクリプトまたはテンプレートで ID をエンコードすると、サーバーレス サブネットの変更が影響を受ける可能性があります
2023 年 8 月 15 日
Azure Storage ファイアウォールを使用する場合、8 月末まで、一部のサブネット ID が変更されます。 Azure では既存のストレージ ファイアウォール規則のサブネット ID が自動的に移行されるため、これはほとんどのお客様に影響しません。 この移行は、既存のワークロードには影響しません。
Azure Storage ファイアウォール規則を更新するテンプレートまたはスクリプトでサーバーレス サブネットの一覧をエンコードする場合は、規則の更新を試みる前に、サブネット ID の最新の一覧を取得する必要があります。 各リージョンの最新 ID については、「サーバーレス SQL ウェアハウスのネットワーク セキュリティ」を参照してください。
Databricks SDK for Go がバージョン 0.16.0 (ベータ版) に更新されました
2023 年 8 月 14 日
Databricks SDK for Go バージョン 0.16.0 では、約 1 ダースのフィールドが追加されており、約半ダースのフィールドが削除され、約半ダースの API のシグネチャが変更されています。 詳細については、バージョン 0.16.0 の変更ログをご覧ください。
Partner Connect では Census がサポートされます
2023 年 8 月 14 日
Azure Databricks ワークスペースを Census に接続できる Partner Connect を使用できるようになりました。 詳細については、「Census への接続」を参照してください。
Azure Key Vault Managed HSM キーがカスタマー マネージド キーでサポートされるようになりました
2023 年 8 月 14 日
Azure Databricks のサービスとデータでは、暗号化されたデータへのアクセスを保護および制御するために、カスタマー マネージド キーの追加がサポートされています。 Azure Databricks には、さまざまな種類のデータと場所を含むカスタマー マネージド キーの機能が 3 つあります。 これら 3 つの機能では、Azure Key Vault Managed HSM (ハードウェア セキュリティ モジュール) からのカスタマー マネージド キーがサポートされるようになりました。 「暗号化用のカスタマー マネージド キー」を参照してください。
Databricks SDK for Python がバージョン 0.5.0 (ベータ版) に更新されました
2023 年 8 月 11 日
Databricks SDK for Python バージョン 0.5.0 では、6 個の API のシグネチャが変更されており、12 個のフィールドが追加され、6 個のフィールドが削除されています。さらに、いくつかのデータクラスが追加されています。 詳細については、バージョン 0.5.0 の変更ログをご覧ください。
プログラムによるワークスペース ファイルの書き込みのサポート
2023 年 8 月 11 日
Databricks Runtime 11.2 以降を使用するクラスターでは、ワークスペース ファイルへの書き込みがサポートされています。 ワークスペース内のファイルとディレクトリをプログラムで作成、更新、削除できます。
Databricks CLI がバージョン 0.203.0 (パブリック プレビュー) に更新されました
2023 年 8 月 10 日
Databricks コマンド ライン インターフェイス (Databricks CLI) バージョン 0.203.0 では、auth login コマンドなどの機能が改善されます。 詳細については、バージョン 0.203.0 の変更ログを参照してください。
Databricks Terraform プロバイダーがバージョン 1.23.0 に更新されました
2023 年 8 月 9 日
Databricks Terraform プロバイダー バージョン 1.23.0 には、databricks_job でサポートされるフィールドが増え、RunJobTask が拡張された、databricks_model_serving のエクスポーター サポートが追加されたなどの更新があります。 詳細については、バージョン 1.23.0 の変更ログをご覧ください。
グループの名前を変更できるようになりました
2023 年 8 月 8 日
既存のアカウント グループとワークスペースローカル グループの名前を変更できるようになりました。 「グループの名前を変更する」を参照してください。
Databricks SDK for Go がバージョン 0.15.0 (ベータ版) に更新されました
2023 年 8 月 7 日
Databricks SDK for Go バージョン 0.15.0 では、アクセス許可に関連する API をリファクタリングして、理解しやすく使いやすくものにします。 詳細については、バージョン 0.15.0 の変更ログを参照してください。
Databricks SDK for Python がバージョン 0.4.0 (ベータ版) に更新されました
2023 年 8 月 7 日
Databricks SDK for Python バージョン 0.4.0 では、アクセス許可に関連する API をリファクタリングして、理解しやすく使いやすくものにします。 詳細については、バージョン 0.4.0 の変更ログを参照してください。
サード パーティ製 iFraming 防止の構成設定が削除されました
2023 年 8 月 7 日
Azure Databricks は、適切な HTTP ヘッダーを追加することで、Azure Databricks の iFraming によるサードパーティ ドメインのリスクを軽減します。 サード パーティの iFraming 防止は引き続き既定で有効になっていますが、Azure Databricks はワークスペース管理者設定を削除して無効にしました。 以前ワークスペースのサードパーティの iFraming を無効にしたことがある場合、そのワークスペースの機能は引き続き無効になります。 サードパーティの iFraming を再度有効にするには、Azure Databricks のアカウント チームにお問い合わせください。
Visual Studio Code 用の Databricks 拡張機能がバージョン 1.1.1 に更新されました
2023 年 8 月 4 日
Visual Studio Code バージョン 1.1.1 用の Databricks 拡張機能 には、Windows での HOME 環境変数の正しい処理など、いくつかの小さな修正が行われてます。 詳細については、バージョン 1.1.1 の変更ログを参照してください。
13.1 以降で利用可能な LangChain
2023 年 8 月 4 日
LangChain は、LangChain のお客様が Azure Databricks 環境から直接 MLflow の堅牢なツールと実験追跡機能を活用できるようにする、実験的な MLflow フレーバーとして利用できます。
LangChain は、大規模言語モデル (LLM) を利用し、それらを外部データと組み合わせて LLM のトレーニング コンテキストを増やすアプリケーションを作成するのに役立つように設計されたソフトウェア フレームワークです。
Databricks Runtime for Machine Learning では、Databricks Runtime 13.1 ML 以降に langchain が含まれています。
Unity Catalog の特徴量エンジニアリングは、パブリック プレビュー段階です
2023 年 8 月 3 日
Unity Catalog の機能エンジニアリングを使用すると、Unity Catalog が機能ストアになります。 モデル トレーニングまたは推論の特徴テーブルとして、主キーを持つ任意の Delta テーブルを使用できます。 Unity Catalog には、機能の検出とガバナンスが用意されています。
継続的なジョブの失敗の繰り返しに対するエラー処理の改善
2023 年 8 月 3 日
連続する失敗のしきい値を超える連続ジョブでは、エクスポネンシャル バックオフ スキームを使用して、ジョブの実行を効率的に再試行し、ジョブが一時的な問題から復旧できるようになりました。 以前は、失敗のしきい値を超える連続ジョブは一時停止され、再試行されませんでした。
サーバーレス SQL ウェアハウスを追加のリージョンで使用できるようになりました
2023 年 8 月 3 日
追加のリージョンで使用できるサーバーレス SQL ウェアハウス: オーストラリア東部、カナダ中部、米国西部 2、米国中南部、東南アジア。 「Azure Databricks のリージョン」を参照してください。
Azure Storage ファイアウォールを使用する予定がある場合は、サーバーレス SQL ウェアハウス サブネットからのアクセスを許可するようにファイアウォールを構成します。 「サーバーレス SQL ウェアハウスのネットワーク セキュリティ」を参照してください。
Delta Sharing を使用してスキーマを共有する (パブリック プレビュー)
2023 年 8 月 2 日
Delta Sharing を使用してスキーマ全体を共有できるようになりました。これにより、共有した時点で、将来スキーマに追加されるすべてのテーブルとビューに合わせてスキーマ内のすべてのテーブルとビューに受信者がアクセスできるようになります。 SQL コマンドを使用して共有にスキーマを追加するには、SQL コンピューティング バージョン 2023.35 以降の SQL ウェアハウス、または Databricks Runtime 13.2 以降を実行しているクラスターが必要です。 カタログ エクスプローラーを使用して同じことを行う場合にはコンピューティング要件はありません。 「共有にスキーマを追加する」を参照してください。
Azure Databricks ジョブでタスクを条件付きで実行する
2023 年 8 月 2 日
新しい Run if 条件を使用すると、タスクの依存関係の状態に基づいてジョブ タスクを実行できるため、Azure Databricks ジョブを使用してワークフローを実装する際の柔軟性が向上します。 たとえば、Run if 条件を使用すると、タスクの依存関係の一部またはすべてが失敗したときにタスクを実行できます。 「Azure Databricks ジョブでタスクを条件付きで実行する」を参照してください。
Databricks Terraform プロバイダーがバージョン 1.22.0 に更新されました
2023 年 8 月 1 日
Databricks Terraform プロバイダー バージョン 1.22.0 では、databricks_access_control_rule_set リソースの追加、databricks_metastore の追加、databricks_metastore データ ソースの追加などが行われます。 詳細については、バージョン 1.22.0 の変更ログを参照してください。
強化されたセキュリティとコンプライアンス機能
2023 年 8 月 1 日
コンプライアンス セキュリティ プロファイルを有効にして、ワークスペースで追加の監視、強化されたコンピューティング イメージ、およびその他の機能を提供できます。 コンプライアンス セキュリティ プロファイルは、PCI-DSS で規制されているデータを処理するために Azure Databricks を使用するために必要ですが、そのようなデータを処理していない場合は、プロファイルを有効にすることを選択できます。 適用されるすべての法律と規制に対する独自のコンプライアンスの確保については、お客様のみの責任で行っていただきます。
または、追加の監視とコンピューティング イメージのセキュリティ強化を提供するセキュリティ監視の強化を個別に有効にすることもできます。
どちらの機能も、新しいアドオンの強化されたセキュリティとコンプライアンスの一部として使用できます。 ワークスペースでこれらの機能のいずれかを有効にすると、価格ページで説明されているように、新しいアドオンに対して課金されます。 どちらの機能にも Premium 価格レベルが必要です。
レイクハウス監視はパブリック プレビュー段階です
2023 年 8 月 1 日
Databricks レイクハウス監視は、データとモデルの品質の監視を Databricks プラットフォームに統合します。 要約統計情報、時系列の分布の変化、公平性や偏見を含むモデルのパフォーマンスなど、すぐに使える品質メトリックが提供されます。 レイクハウス監視では、時間の経過に伴うデータ品質の視覚化に役立つ概要ダッシュボードが自動的に生成されます。 データに基づいてアラートを設定することもできます。
Databricks Runtime 13.3 LTS (ベータ版)
2023 年 8 月 1 日
Databricks Runtime 13.3 LTS と Databricks Runtime 13.3 LTS ML をベータ版リリースとして使用できるようになりました。
「Databricks Runtime 13.3 LTS」と「Databricks Runtime 13.3 LTS for Machine Learning」を参照してください。
新しい Git 操作の一般提供: マージのブランチ、リベース、および競合解決を使用したプル
2023 年 8 月 1 日
Databricks Repos で、次の Git 操作が一般提供されました。
- マージとリベース: Azure Databricks で 2 つのブランチを直接 Git マージまたはリベースできるようになりました。 これにより、ブランチを組み合わせるプロセスが簡略化され、操作中に発生する競合を解決する機能が提供されます。
- 競合解決を使用したプル: Databricks Repos を使用して、Azure Databricks を使用してリモート Git リポジトリからプルするときに発生する競合を管理および解決できるようになりました。
これらの強力な新しい競合解決ツールを使用すると、Databricks Repos を使用したコードでの共同作業がさらに合理化され、効率的になります。