拡張セキュリティ監視
この記事では、拡張セキュリティ監視機能と、Azure Databricks ワークスペースまたはアカウントで構成する方法について説明します。
この機能を有効にすると、価格ページで説明されているように、Enhanced Security and Compliance アドオンに対して課金されます。
拡張セキュリティ監視の概要
Azure Databricks の拡張セキュリティ監視には、強化された拡張ディスク イメージと、診断ログから確認できるログ行を生成する追加のセキュリティ監視エージェントが用意されています。
セキュリティ機能強化は、クラスターや非サーバーレスの SQL ウェアハウスなど、クラシック コンピューティング プレーン内のコンピューティング リソースにのみ適用されます。
サーバーレス SQL ウェアハウスなどのサーバーレス コンピューティング プレーン リソースでは、強化されたセキュリティ監視が有効になっている場合、追加の監視は行われません。
Note
ほとんどの Azure インスタンスの種類はサポートされていますが、第 2 世代 (Gen2) および Arm64 ベースの仮想マシンはサポートされていません。 Azure Databricks では、強化されたセキュリティ監視が有効になっている場合、これらのインスタンスの種類でコンピューティングを開始することはできません。
拡張セキュリティ監視には、次のものが含まれます。
Ubuntu Advantage に基づく強化されたオペレーティング システム イメージ。
Ubuntu Advantage は、エンタープライズ セキュリティのパッケージであり、CIS レベル 1 の強化されたイメージを含むオープンソース インフラストラクチャとアプリケーションのサポートです。
確認できるログを生成するウイルス対策監視エージェント。
確認できるログを生成するファイル整合性監視エージェント。
Azure Databricks コンピューティング プレーン イメージの監視エージェント
拡張セキュリティ監視が有効になっている場合、拡張コンピューティング プレーン イメージに事前インストールされている 2 つのエージェントなど、セキュリティ監視エージェントが追加されます。 拡張コンピューティング プレーン ディスク イメージ内にある監視エージェントを無効にすることはできません。
| 監視エージェント | 場所 | 説明 | 出力を取得する方法 |
|---|---|---|---|
| ファイルの整合性の監視 | 拡張コンピューティング プレーン イメージ | ファイルの整合性とセキュリティ境界違反を監視します。 このモニター エージェントは、クラスター内のワーカー VM で実行されます。 | 監査ログシステム テーブルを有効にし、新しい行のログを確認します。 |
| ウイルス対策とマルウェアの検出 | 拡張コンピューティング プレーン イメージ | 毎日ウイルス対策としてファイルシステムをスキャンします。 このモニター エージェントは、クラスターやプロまたはクラシック SQL ウェアハウスなどのコンピューティング リソース内の VM で実行されます。 ウイルス対策およびマルウェア検出エージェントは、ホスト OS ファイルシステム全体と Databricks Runtime コンテナー ファイルシステムをスキャンします。 クラスター VM の外部にあるものは、スキャン スコープの外にあります。 | 監査ログシステム テーブルを有効にし、新しい行のログを確認します。 |
| 脆弱性のスキャン | スキャンは、Azure Databricks 環境内の代表的なイメージで行われます。 | 特定の既知の脆弱性や CVE がないかコンテナー ホスト (VM) をスキャンします。 | Azure Databricks アカウント チームに画像に関するスキャン レポートを要求してください。 |
監視エージェントの最新バージョンを入手するには、クラスターを再起動します。 ワークスペースで自動クラスター更新を使っている場合、既定では、スケジュールされたメンテナンス期間中に必要に応じてクラスターが再起動されます。 ワークスペースでコンプライアンス セキュリティ プロファイルが有効な場合、そのワークスペースで自動クラスター更新が永続的に有効になります。
ファイルの整合性の監視
拡張コンピューティング プレーン イメージには、ワークスペースのクラシック コンピューティング プレーン内にあるコンピューティング リソース (クラスター ワーカー) のランタイムの可視性と脅威検出を提供するファイル整合性監視サービスが含まれています。
ファイル整合性モニターの出力は監査ログ内に生成され、システム テーブルでアクセスできます。 「システム テーブルを使用して使用状況を監視する」を参照してください。 ファイルの整合性の監視に固有の新しい監査可能なイベントの JSON スキーマについては、「ファイルの整合性の監視イベント」をご覧ください。
重要
これらのログを確認するのは、お客様の責任です。 Databricks は、独自の裁量で、これらのログを確認できますが、これを行うことを確約しません。 エージェントが悪意のあるアクティビティを検出した場合は、これらのイベントをトリアージし、解決または修復で Databricks によるアクションが必要な場合は、Databricks でサポート チケットを開く必要があります。 Databricks は、リソースの中断や終了を含め、これらのログに基づいてアクションを実行できますが、これを行うことを確約しません。
ウイルス対策とマルウェアの検出
拡張されたコンピューティング プレーン イメージには、トロイの木馬、ウイルス、マルウェアなどの悪意のある脅威を検出するためのウイルス対策エンジンが含まれています。 ウイルス対策モニターは、ホスト OS ファイルシステム全体と Databricks Runtime コンテナー ファイルシステムをスキャンします。 クラスター VM の外部にあるものは、スキャン スコープの外にあります。
ウイルス対策モニターの出力は監査ログ内に生成され、システム テーブル (パブリック プレビュー) でアクセスできます。 ウイルス対策監視に固有の新しい監査可能なイベントの JSON スキーマについては、「ウイルス対策監視イベント」をご覧ください。
新しい仮想マシン イメージがビルドされると、更新された署名ファイルがそれに含まれます。
重要
これらのログを確認するのは、お客様の責任です。 Databricks は、独自の裁量で、これらのログを確認できますが、これを行うことを確約しません。 エージェントが悪意のあるアクティビティを検出した場合は、これらのイベントをトリアージし、解決または修復で Databricks によるアクションが必要な場合は、Databricks でサポート チケットを開く必要があります。 Databricks は、リソースの中断や終了を含め、これらのログに基づいてアクションを実行できますが、これを行うことを確約しません。
新しい AMI イメージがビルドされると、更新された署名ファイルが新しい AMI イメージ内に含まれます。
脆弱性のスキャン
脆弱性モニター エージェントは、特定の既知の CVE に対してコンテナー ホスト (VM) の脆弱性スキャンを実行します。 スキャンは、Azure Databricks 環境の代表的なイメージで行われます。 Azure Databricks アカウント チームに脆弱性スキャン レポートを要求することができます。
このエージェントで脆弱性が見つかった場合、Databricks はその脆弱性の管理 SLA に対してそれらを追跡し、利用可能な場合は更新されたイメージをリリースします。
監視エージェントの管理とアップグレード
クラシック コンピューティング プレーン内のコンピューティング リソースに使用されるディスク イメージ上にある追加の監視エージェントは、システムをアップグレードするための標準の Azure Databricks プロセスに含まれます。
- クラシック コンピューティング プレーンのベース ディスク イメージ (AMI) は、Databricks によって所有および管理され、パッチは Databricks によって適用されます。
- Databricks は、新しい AMI ディスク イメージをリリースすることで、セキュリティ パッチを配信して適用します。 配信スケジュールは、検出された脆弱性の新機能と SLA によって異なります。 一般的な配信は、2 - 4 週間ごとに行います。
- コンピューティング プレーンの基本オペレーティング システムは Ubuntu Advantage です。
- Azure Databricks クラスターとプロまたはクラシック SQL ウェアハウスは、既定ではエフェメラルです。 起動時に、クラスターとプロまたはクラシック SQL ウェアハウスにより、使用可能な最新の基本イメージが使用されます。 セキュリティの脆弱性がある可能性のある古いバージョンは、新しいクラスターでは使用できません。
- 定期的にクラスターを再起動し (UI または API を使用して)、パッチが適用された最新のホスト VM イメージを使用するようにする必要があります。
モニター エージェントの終了
クラッシュまたはその他の終了のためにワーカー VM 上のモニター エージェントが実行されていないことが検出された場合、システムによりエージェントの再起動が試行されます。
モニター エージェント データのデータ保持ポリシー
監視ログは、診断ログを構成した場合の、Azure サブスクリプション内の監査ログのシステム テーブルの独自のストレージに送信されます。 これらのログを保持、取り込み、分析するのはお客様の責任です。
脆弱性スキャン レポートとログは、Databricks によって少なくとも 1 年間保持されます。 脆弱性レポートを担当の Azure Databricks アカウント チームに要求することができます。
Azure Databricks 拡張セキュリティ監視を有効にする
- Azure Databricks ワークスペースが Premium または Enterprise レベルである必要があります。
ワークスペースで拡張セキュリティ監視を有効にするには、「Azure portal を使って新しいワークスペースの設定を有効にする」を参照してください。
更新がすべての環境と課金などのダウンストリーム システムに反映されるまでに最長 6 時間かかる場合があります。 アクティブに実行されているワークロードは、クラスターまたはその他のコンピューティング リソースの開始時にアクティブだった設定を続行し、次にこれらのワークロードが開始されると、新しい設定の適用が開始されます。