ストリーミングセルをキャンセルした後に Notebook コマンドを実行できない Cannot Run Notebook Commands After Canceling Streaming Cell

問題点Problem

Databricks Runtime 5.0 クラスターにアタッチされているノートブックで実行中のストリーミングセルをキャンセルした後は、notebook で後続のコマンドを実行することはできません。After you cancel a running streaming cell in a notebook attached to a Databricks Runtime 5.0 cluster, you cannot run any subsequent commands in the notebook. コマンドは "実行を待機しています" 状態のままになります。 notebook でコマンドを正常に実行するには、ノートブックの状態をクリアするか、クラスターをデタッチして再アタッチする必要があります。The commands are left in the “waiting to run” state, and you must clear the notebook’s state or detach and reattach the cluster before you can successfully run commands on the notebook.

この問題は、1つのセルをキャンセルした場合にのみ発生することに注意してください。すべてを実行してすべてのセルを取り消すときには適用されません。Note that this issue occurs only when you cancel a single cell; it does not apply when you run all and cancel all cells.

VersionVersion

この問題は、Databricks Runtime 5.0 クラスターに影響します。This problem affects Databricks Runtime 5.0 clusters. また、Spark 構成 spark.databricks.chauffeur.enableIdleContextTrackingtrue に設定されている Databricks Runtime 4.3 クラスターにも影響します。It also affects Databricks Runtime 4.3 clusters whose Spark Configuration spark.databricks.chauffeur.enableIdleContextTracking has been set to true.

原因Cause

Databricks Runtime 4.3 では、オプションのアイドル状態の実行コンテキスト機能が導入されました。これは Databricks Runtime 5.0 で既定で有効になっています。これにより、実行コンテキストは、ストリーミング実行シーケンスを追跡して、アイドル状態であるかどうかを判断できます。Databricks Runtime 4.3 introduced an optional idle execution context feature, which is enabled by default in Databricks Runtime 5.0, that allows the execution context to track streaming execution sequences to determine if they are idle. 残念ながら、ストリーミングセルをキャンセルしたときに、基になる実行コンテキストが無効な状態のままになる問題が発生しました。Unfortunately, this introduced an issue that causes the underlying execution context to be left in an invalid state when you cancel a streaming cell. これにより、notebook の状態がリセットされるまで、追加のコマンドは実行されません。This prevents additional commands from being run until the notebook state is reset. この動作は、対話型ノートブックに固有であり、ジョブには影響しません。This behavior is specific to interactive notebooks and does not affect jobs.

アイドル状態の実行コンテキストの詳細については、「実行コンテキスト」を参照してください。For more information about idle execution contexts, see Execution contexts.

ソリューションSolution

Azure Databricks は、この問題を解決して Databricks Runtime 5.0 のメンテナンス更新をリリースするために動作しています。Azure Databricks is working to resolve this issue and release a maintenance update for Databricks Runtime 5.0. それまでの間は、次のいずれかを実行できます。In the meantime, you can do either of the following:

  • クラスターを再起動せずに影響を受けるノートブックを修復するには、notebook の [クリア] メニューにアクセスし、 [状態のクリア] を選択します。To remediate an affected notebook without restarting the cluster, go to the notebook’s Clear menu and select Clear State:

    no-代替テキスト no-alternative-text

  • クラスターの再起動が許容される場合は、アイドル状態のコンテキスト追跡をオフにすることで問題を解決できます。If restarting the cluster is acceptable, you can solve the issue by turning off idle context tracking. クラスターで次のSpark 構成値を設定します。Set the following Spark configuration value on the cluster:

    spark.databricks.chauffeur.enableIdleContextTracking false
    

    次に、クラスターを再起動します。Then restart the cluster.