メンテナンス更新の Databricks RuntimeDatabricks Runtime Maintenance Updates

このページには Databricks Runtime リリースに対して発行されたメンテナンスの更新が一覧表示されます。This page lists maintenance updates issued for Databricks Runtime releases. メンテナンスの更新プログラムを既存のクラスターに追加するには、クラスターを再起動します。To add a maintenance update to an existing cluster, restart the cluster.

Databricks Runtime 6.1 Databricks Runtime 6.1

Databricks Runtime 6.1を参照してください。See Databricks Runtime 6.1.

  • 2019年11月7日Nov 7, 2019
    • [SPARK-29743][SQL] サンプルは、子の必要な copyresult が true の場合に、必要な copyresult を true に設定する必要があります[SPARK-29743][SQL] sample should set needCopyResult to true if its child’s needCopyResult is true
  • 2019年11月5日Nov 5, 2019
    • DBFS ヒューズのバグを修正し、そのパスに // を持つマウントポイントを処理します。Fixed a bug in DBFS FUSE to handle mount points having // in its path.
    • [SPARK-29081]高速化された実装を使用して、プロパティの呼び出しを変更します。[SPARK-29081]Replace calls to SerializationUtils.clone on properties with a faster implementation
    • [SPARK-29244][CORE] BytesToBytesMap の解放されたページを再利用できないようにします[SPARK-29244][CORE] Prevent freed page in BytesToBytesMap free again
    • (6.1 ML) Library mkl = 2019.4 は unintendedly にインストールされました。(6.1 ML) Library mkl=2019.4 was installed unintendedly. Anaconda Distribution 2019.03 を照合するために、これを mkl = 2019.3 にダウングレードしました。We downgraded it to mkl=2019.3 to match Anaconda Distribution 2019.03.

Databricks Runtime 6.0 Databricks Runtime 6.0

Databricks Runtime 6.0を参照してください。See Databricks Runtime 6.0.

  • 2019年11月5日Nov 5, 2019
    • DBFS ヒューズでは、固定 ACL を使用した S3 マウントがサポートされています。DBFS FUSE supports S3 mounts with canned ACL.
    • dbutils.tensorboard.start() が、手動でインストールされている場合には、この2.0 をサポートするようになりました。dbutils.tensorboard.start() now supports TensorBoard 2.0 (if installed manually).
    • DBFS ヒューズのバグを修正し、そのパスに // を持つマウントポイントを処理します。Fixed a bug in DBFS FUSE to handle mount points having // in its path.
    • [SPARK-29081]高速化された実装を使用して、プロパティの呼び出しを変更します。[SPARK-29081]Replace calls to SerializationUtils.clone on properties with a faster implementation
  • 2019年10月23日Oct 23, 2019
    • [SPARK-29244][CORE] BytesToBytesMap の解放されたページを再利用できないようにします[SPARK-29244][CORE] Prevent freed page in BytesToBytesMap free again
  • 2019 年 10 月 8 日Oct 8, 2019
    • サーバー側の変更により、結果のフェッチ中に接続エラーが発生した後に、Simba Apache Spark ODBC ドライバーを再接続して続行できるようになります ( Simba APACHE SPARK odbc ドライバーバージョン 2.6.10が必要です)。Server side changes to allow Simba Apache Spark ODBC driver to reconnect and continue after a connection failure during fetching results (requires Simba Apache Spark ODBC driver version 2.6.10).
    • テーブル ACL が有効なクラスターでの Optimize コマンドの使用に影響する問題を修正しました。Fixed an issue affecting using Optimize command with table ACL enabled clusters.
    • テーブル ACL および資格情報のパススルーが有効になっているクラスターで、UDF の禁止されたエラーによって pyspark.ml ライブラリが失敗する問題を修正しました。Fixed an issue where pyspark.ml libraries would fail due to Scala UDF forbidden error on table ACL and credential passthrough enabled clusters.
    • ホワイトリストに登録されている資格情報のパススルーメソッド。Whitelisted SerDe/SerDeUtil methods for credential passthrough.
    • クライアントのエラーコードを確認するときに Nullポインター例外を修正します。Fixed NullPointerException when checking error code in the WASB client.
    • dbutils.notebook.run()によって作成されたジョブにユーザーの資格情報が転送されなかった問題を修正しました。Fixed the issue where user credentials were not forwarded to jobs created by dbutils.notebook.run().

Databricks Runtime 5.5 LTS Databricks Runtime 5.5 LTS

Databricks Runtime 5.5 LTSを参照してください。See Databricks Runtime 5.5 LTS.

  • 2019年10月23日Oct 23, 2019
    • [SPARK-29244][CORE] BytesToBytesMap の解放されたページを再利用できないようにします[SPARK-29244][CORE] Prevent freed page in BytesToBytesMap free again
  • 2019 年 10 月 8 日Oct 8, 2019
    • サーバー側の変更により、結果のフェッチ中に接続エラーが発生した後に、Simba Apache Spark ODBC ドライバーを再接続して続行できるようになります ( Simba APACHE SPARK odbc ドライバーバージョン 2.6.10が必要です)。Server side changes to allow Simba Apache Spark ODBC driver to reconnect and continue after a connection failure during fetching results (requires Simba Apache Spark ODBC driver version 2.6.10).
    • テーブル ACL が有効なクラスターでの Optimize コマンドの使用に影響する問題を修正しました。Fixed an issue affecting using Optimize command with table ACL enabled clusters.
    • テーブル ACL および資格情報のパススルーが有効になっているクラスターで、UDF の禁止されたエラーによって pyspark.ml ライブラリが失敗する問題を修正しました。Fixed an issue where pyspark.ml libraries would fail due to Scala UDF forbidden error on table ACL and credential passthrough enabled clusters.
    • ホワイトリストに登録されている資格情報のパススルーメソッド。Whitelisted SerDe/SerDeUtil methods for credential passthrough.
    • クライアントのエラーコードを確認するときに Nullポインター例外を修正します。Fixed NullPointerException when checking error code in the WASB client.
  • 2019年9月24日Sep 24, 2019
    • Parquet writer の安定性が向上しました。Improved stability of Parquet writer.
    • Thrift クエリが実行を開始する前にキャンセルされた問題が、開始状態になっている可能性があることを修正しました。Fixed the problem that Thrift query cancelled before it starts executing may stuck in STARTED state.
  • 2019年9月10、Sep 10, 2019
    • BytesToBytesMap にスレッドセーフな反復子を追加するAdd thread safe iterator to BytesToBytesMap
    • [Spark-27992][spark-28881]Python と接続スレッドを結合してエラーを伝達できるようにする[SPARK-27992][SPARK-28881]Allow Python to join with connection thread to propagate errors
    • 特定のグローバル集計クエリに影響するバグを修正した。Fixed a bug affecting certain global aggregation queries.
    • 強化された資格情報の墨消し。Improved credential redaction.
    • [SPARK-27330][SS] foreach writer でのタスクの中止のサポート[SPARK-27330][SS] support task abort in foreach writer
    • [SPARK-28642]表示 CREATE TABLE で資格情報を非表示にする[SPARK-28642]Hide credentials in SHOW CREATE TABLE
    • [SPARK-28699][SQL] パーティション分割の場合に ShuffleExchangeExec に対して基数並べ替えの使用を無効にする[SPARK-28699][SQL] Disable using radix sort for ShuffleExchangeExec in repartition case
  • 2019年8月27日Aug 27, 2019
    • [SPARK-20906][SQL] スキーマレジストリを使用して_to_avro_ API でユーザー指定のスキーマを許可する[SPARK-20906][SQL]Allow user-specified schema in the API to_avro with schema registry
    • [SPARK-27838][SQL] サポートユーザーが null レコードを含まない null 許容型の catalyst スキーマに対して null 非許容の avro スキーマを指定しました[SPARK-27838][SQL] Support user provided non-nullable avro schema for nullable catalyst schema without any null record
    • デルタレイクのタイムトラベルの向上Improvement on Delta Lake Time Travel
    • 特定の transform 式に影響する問題を修正したFixed an issue affecting certain transform expression
    • プロセス分離が有効になっている場合にブロードキャスト変数をサポートするSupports broadcast variables when Process Isolation is enabled
  • 2019 年 8 月 13 日Aug 13, 2019
    • デルタストリーミングソースは、テーブルの最新のプロトコルを確認する必要がありますDelta streaming source should check the latest protocol of a table
    • [SPARK-28260]終了状態を ExecutionState に追加する[SPARK-28260]Add CLOSED state to ExecutionState
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator がオフセットを削除する可能性のあるバグを修正します[SPARK-28489][SS]Fix a bug that KafkaOffsetRangeCalculator.getRanges may drop offsets
  • 2019年7月30日Jul 30, 2019
    • [SPARK-28015][SQL] [文字列のチェック] () は、yyyy および yyyy-[m] m の形式の入力全体を使用します[SPARK-28015][SQL] Check stringToDate() consumes entire input for the yyyy and yyyy-[m]m formats
    • [SPARK-28308][CORE] calendarinterval サブ2番目の部分は、解析の前に埋め込む必要があります[SPARK-28308][CORE] CalendarInterval sub-second part should be padded before parsing
    • [SPARK-27485]EnsureRequirements では、重複する式を適切に処理する必要があります[SPARK-27485]EnsureRequirements.reorder should handle duplicate expressions gracefully
    • [SPARK-28355][CORE] [PYTHON] SPARK Conf を使用して、UDF がブロードキャストによって圧縮されるしきい値を指定します。[SPARK-28355][CORE][PYTHON] Use Spark conf for threshold at which UDF is compressed by broadcast

Databricks Runtime 5.4 ML Databricks Runtime 5.4 ML

Databricks Runtime 5.4 ML」を参照してください。See Databricks Runtime 5.4 ML.

  • 2019 年 6 月 18 日Jun 18, 2019
    • Hyperopt 統合での MLflow アクティブな実行の処理の向上Improved handling of MLflow active runs in Hyperopt integration
    • Hyperopt でのメッセージの改善Improved messages in Hyperopt
    • パッケージ markdown を3.1 から3.1.1 に更新しましたUpdated package markdown from 3.1 to 3.1.1

Databricks Runtime 5.4 Databricks Runtime 5.4

Databricks Runtime 5.4を参照してください。See Databricks Runtime 5.4.

  • 2019 年 10 月 8 日Oct 8, 2019
    • サーバー側の変更により、結果のフェッチ中に接続エラーが発生した後に、Simba Apache Spark ODBC ドライバーを再接続して続行できるようになります (Simba Apache Spark バージョン2.6.10 に更新する必要があります)。Server side changes to allow Simba Apache Spark ODBC driver to reconnect and continue after a connection failure during fetching results (requires Simba Apache Spark ODBC driver update to version 2.6.10).
    • クライアントのエラーコードを確認するときに Nullポインター例外を修正します。Fixed NullPointerException when checking error code in the WASB client.
  • 2019年9月10、Sep 10, 2019
    • BytesToBytesMap にスレッドセーフな反復子を追加するAdd thread safe iterator to BytesToBytesMap
    • 特定のグローバル集計クエリに影響するバグを修正した。Fixed a bug affecting certain global aggregation queries.
    • [SPARK-27330][SS] foreach writer でのタスクの中止のサポート[SPARK-27330][SS] support task abort in foreach writer
    • [SPARK-28642]表示 CREATE TABLE で資格情報を非表示にする[SPARK-28642]Hide credentials in SHOW CREATE TABLE
    • [SPARK-28699][SQL] パーティション分割の場合に ShuffleExchangeExec に対して基数並べ替えの使用を無効にする[SPARK-28699][SQL] Disable using radix sort for ShuffleExchangeExec in repartition case
    • [SPARK-28699][CORE] 不確定ステージを中止するためのコーナーケースを修正します[SPARK-28699][CORE] Fix a corner case for aborting indeterminate stage
  • 2019年8月27日Aug 27, 2019
    • 特定の transform 式に影響する問題を修正したFixed an issue affecting certain transform expressions
  • 2019 年 8 月 13 日Aug 13, 2019
    • デルタストリーミングソースは、テーブルの最新のプロトコルを確認する必要がありますDelta streaming source should check the latest protocol of a table
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator がオフセットを削除する可能性のあるバグを修正します[SPARK-28489][SS]Fix a bug that KafkaOffsetRangeCalculator.getRanges may drop offsets
  • 2019年7月30日Jul 30, 2019
    • [SPARK-28015][SQL] [文字列のチェック] () は、yyyy および yyyy-[m] m の形式の入力全体を使用します[SPARK-28015][SQL] Check stringToDate() consumes entire input for the yyyy and yyyy-[m]m formats
    • [SPARK-28308][CORE] calendarinterval サブ2番目の部分は、解析の前に埋め込む必要があります[SPARK-28308][CORE] CalendarInterval sub-second part should be padded before parsing
    • [SPARK-27485]EnsureRequirements では、重複する式を適切に処理する必要があります[SPARK-27485]EnsureRequirements.reorder should handle duplicate expressions gracefully
  • 2019年7月2、Jul 2, 2019
    • Snappy を1.1.7.1 から1.1.7.3 にアップグレードしました。Upgraded snappy-java from 1.1.7.1 to 1.1.7.3.
  • 2019 年 6 月 18 日Jun 18, 2019
    • Mlflow 統合での MLflow アクティブな実行の処理の向上Improved handling of MLflow active runs in MLlib integration
    • デルタキャッシュの使用に関連する Databricks Advisor メッセージの改善Improved Databricks Advisor message related to using Delta cache
    • 高階関数の使用に影響するバグを修正したFixed a bug affecting using higher order functions
    • デルタメタデータクエリに影響するバグを修正したFixed a bug affecting Delta metadata queries

Databricks Runtime 5.3 Databricks Runtime 5.3

Databricks Runtime 5.3を参照してください。See Databricks Runtime 5.3.

  • 2019 年 10 月 8 日Oct 8, 2019
    • サーバー側の変更により、結果のフェッチ中に接続エラーが発生した後に、Simba Apache Spark ODBC ドライバーを再接続して続行できるようになります (Simba Apache Spark バージョン2.6.10 に更新する必要があります)。Server side changes to allow Simba Apache Spark ODBC driver to reconnect and continue after a connection failure during fetching results (requires Simba Apache Spark ODBC driver update to version 2.6.10).
    • クライアントのエラーコードを確認するときに Nullポインター例外を修正します。Fixed NullPointerException when checking error code in the WASB client.
  • 2019年9月10、Sep 10, 2019
    • BytesToBytesMap にスレッドセーフな反復子を追加するAdd thread safe iterator to BytesToBytesMap
    • 特定のグローバル集計クエリに影響するバグを修正した。Fixed a bug affecting certain global aggregation queries.
    • [SPARK-27330][SS] foreach writer でのタスクの中止のサポート[SPARK-27330][SS] support task abort in foreach writer
    • [SPARK-28642]表示 CREATE TABLE で資格情報を非表示にする[SPARK-28642]Hide credentials in SHOW CREATE TABLE
    • [SPARK-28699][SQL] パーティション分割の場合に ShuffleExchangeExec に対して基数並べ替えの使用を無効にする[SPARK-28699][SQL] Disable using radix sort for ShuffleExchangeExec in repartition case
    • [SPARK-28699][CORE] 不確定ステージを中止するためのコーナーケースを修正します[SPARK-28699][CORE] Fix a corner case for aborting indeterminate stage
  • 2019年8月27日Aug 27, 2019
    • 特定の transform 式に影響する問題を修正したFixed an issue affecting certain transform expressions
  • 2019 年 8 月 13 日Aug 13, 2019
    • デルタストリーミングソースは、テーブルの最新のプロトコルを確認する必要がありますDelta streaming source should check the latest protocol of a table
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator がオフセットを削除する可能性のあるバグを修正します[SPARK-28489][SS]Fix a bug that KafkaOffsetRangeCalculator.getRanges may drop offsets
  • 2019年7月30日Jul 30, 2019
    • [SPARK-28015][SQL] [文字列のチェック] () は、yyyy および yyyy-[m] m の形式の入力全体を使用します[SPARK-28015][SQL] Check stringToDate() consumes entire input for the yyyy and yyyy-[m]m formats
    • [SPARK-28308][CORE] calendarinterval サブ2番目の部分は、解析の前に埋め込む必要があります[SPARK-28308][CORE] CalendarInterval sub-second part should be padded before parsing
    • [SPARK-27485]EnsureRequirements では、重複する式を適切に処理する必要があります[SPARK-27485]EnsureRequirements.reorder should handle duplicate expressions gracefully
  • 2019 年 6 月 18 日Jun 18, 2019
    • デルタキャッシュの使用に関連する Databricks Advisor メッセージの改善Improved Databricks Advisor message related to using Delta cache
    • 高階関数の使用に影響するバグを修正したFixed a bug affecting using higher order functions
    • デルタメタデータクエリに影響するバグを修正したFixed a bug affecting Delta metadata queries
  • 2019 年 5 月 28 日May 28, 2019
    • デルタの安定性の向上Improved the stability of Delta
    • デルタ LAST_CHECKPOINT ファイルの読み取り時に IOExceptions を許容しますTolerate IOExceptions when reading Delta LAST_CHECKPOINT file
      • 失敗したライブラリのインストールに回復を追加しましたAdded recovery to failed library installation
  • 2019 年 5 月 7 日May 7, 2019
    • ポート HADOOP-15778 (ABFS: 読み取りのためにクライアント側の調整を修正) を Azure Data Lake Storage Gen2 コネクタに接続するPort HADOOP-15778 (ABFS: Fix client side throttling for read) to Azure Data Lake Storage Gen2 connector
    • ポート HADOOP-16040 (ABFS: tolerateOobAppends 構成のバグ修正) から Azure Data Lake Storage Gen2 コネクタへの接続Port HADOOP-16040 (ABFS: Bug fix for tolerateOobAppends configuration) to Azure Data Lake Storage Gen2 connector
    • テーブル Acl に影響するバグを修正したFixed a bug affecting table ACLs
    • fs.s3a.requesterPays.enabled の名前を fs.s3a.requester-pays.enabled に変更しましたRenamed fs.s3a.requesterPays.enabled to fs.s3a.requester-pays.enabled
    • デルタログチェックサムファイルの読み込み時の競合状態を修正したFixed a race condition when loading a Delta log checksum file
    • "挿入 + 上書き" を純粋な "追加" 操作として識別しないように、デルタ競合検出ロジックを修正しましたFixed Delta conflict detection logic to not identify “insert + overwrite” as pure “append” operation
    • テーブル Acl が有効になっているときに DBIO キャッシュが無効になっていないことを確認するEnsure that DBIO cache is not disabled when Table ACLs are enabled
    • [SPARK-27494]秒Kafka ソース v2 で Null キー/値が機能しない[SPARK-27494][SS] Null keys/values don’t work in Kafka source v2
    • [SPARK-27446][R] 使用可能な場合は、既存の spark conf を使用します。[SPARK-27446][R] Use existing spark conf if available.
    • [SPARK-27454][SPARK-27454]MLSERVER無効なイメージが見つかった場合、Spark イメージデータソースが失敗する[SPARK-27454][SPARK-27454][ML][SQL] Spark image datasource fail when encounter some illegal images
    • [SPARK-27160]SERVEROrc フィルターをビルドするときに DecimalType を修正する[SPARK-27160][SQL] Fix DecimalType when building orc filters
    • [SPARK-27338]COREUnsafeExternalSorter と TaskMemoryManager の間のデッドロックを修正します。[SPARK-27338][CORE] Fix deadlock between UnsafeExternalSorter and TaskMemoryManager

Databricks Runtime 5.2 (サポートされていません) Databricks Runtime 5.2 (unsupported)

Databricks Runtime 5.2を参照してください。See Databricks Runtime 5.2.

  • 2019年9月10、Sep 10, 2019
    • BytesToBytesMap にスレッドセーフな反復子を追加するAdd thread safe iterator to BytesToBytesMap
    • 特定のグローバル集計クエリに影響するバグを修正した。Fixed a bug affecting certain global aggregation queries.
    • [SPARK-27330][SS] foreach writer でのタスクの中止のサポート[SPARK-27330][SS] support task abort in foreach writer
    • [SPARK-28642]表示 CREATE TABLE で資格情報を非表示にする[SPARK-28642]Hide credentials in SHOW CREATE TABLE
    • [SPARK-28699][SQL] パーティション分割の場合に ShuffleExchangeExec に対して基数並べ替えの使用を無効にする[SPARK-28699][SQL] Disable using radix sort for ShuffleExchangeExec in repartition case
    • [SPARK-28699][CORE] 不確定ステージを中止するためのコーナーケースを修正します[SPARK-28699][CORE] Fix a corner case for aborting indeterminate stage
  • 2019年8月27日Aug 27, 2019
    • 特定の transform 式に影響する問題を修正したFixed an issue affecting certain transform expressions
  • 2019 年 8 月 13 日Aug 13, 2019
    • デルタストリーミングソースは、テーブルの最新のプロトコルを確認する必要がありますDelta streaming source should check the latest protocol of a table
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator がオフセットを削除する可能性のあるバグを修正します[SPARK-28489][SS]Fix a bug that KafkaOffsetRangeCalculator.getRanges may drop offsets
  • 2019年7月30日Jul 30, 2019
    • [SPARK-28015][SQL] [文字列のチェック] () は、yyyy および yyyy-[m] m の形式の入力全体を使用します[SPARK-28015][SQL] Check stringToDate() consumes entire input for the yyyy and yyyy-[m]m formats
    • [SPARK-28308][CORE] calendarinterval サブ2番目の部分は、解析の前に埋め込む必要があります[SPARK-28308][CORE] CalendarInterval sub-second part should be padded before parsing
    • [SPARK-27485]EnsureRequirements では、重複する式を適切に処理する必要があります[SPARK-27485]EnsureRequirements.reorder should handle duplicate expressions gracefully
  • 2019年7月2、Jul 2, 2019
    • デルタ LAST_CHECKPOINT ファイルの読み取り時に IOExceptions を許容しますTolerate IOExceptions when reading Delta LAST_CHECKPOINT file
  • 2019 年 6 月 18 日Jun 18, 2019
    • デルタキャッシュの使用に関連する Databricks Advisor メッセージの改善Improved Databricks Advisor message related to using Delta cache
    • 高階関数の使用に影響するバグを修正したFixed a bug affecting using higher order functions
    • デルタメタデータクエリに影響するバグを修正したFixed a bug affecting Delta metadata queries
  • 2019 年 5 月 28 日May 28, 2019
    • 失敗したライブラリのインストールに回復を追加しましたAdded recovery to failed library installation
  • 2019 年 5 月 7 日May 7, 2019
    • ポート HADOOP-15778 (ABFS: 読み取りのためにクライアント側の調整を修正) を Azure Data Lake Storage Gen2 コネクタに接続するPort HADOOP-15778 (ABFS: Fix client side throttling for read) to Azure Data Lake Storage Gen2 connector
    • ポート HADOOP-16040 (ABFS: tolerateOobAppends 構成のバグ修正) から Azure Data Lake Storage Gen2 コネクタへの接続Port HADOOP-16040 (ABFS: Bug fix for tolerateOobAppends configuration) to Azure Data Lake Storage Gen2 connector
    • デルタログチェックサムファイルの読み込み時の競合状態を修正したFixed a race condition when loading a Delta log checksum file
    • "挿入 + 上書き" を純粋な "追加" 操作として識別しないように、デルタ競合検出ロジックを修正しましたFixed Delta conflict detection logic to not identify “insert + overwrite” as pure “append” operation
    • テーブル Acl が有効になっているときに DBIO キャッシュが無効になっていないことを確認するEnsure that DBIO cache is not disabled when Table ACLs are enabled
    • [SPARK-27494]秒Kafka ソース v2 で Null キー/値が機能しない[SPARK-27494][SS] Null keys/values don’t work in Kafka source v2
    • [SPARK-27454][SPARK-27454]MLSERVER無効なイメージが見つかった場合、Spark イメージデータソースが失敗する[SPARK-27454][SPARK-27454][ML][SQL] Spark image datasource fail when encounter some illegal images
    • [SPARK-27160]SERVEROrc フィルターをビルドするときに DecimalType を修正する[SPARK-27160][SQL] Fix DecimalType when building orc filters
    • [SPARK-27338]COREUnsafeExternalSorter と TaskMemoryManager の間のデッドロックを修正します。[SPARK-27338][CORE] Fix deadlock between UnsafeExternalSorter and TaskMemoryManager
  • 2019年3月26日Mar 26, 2019
    • プラットフォームに依存するオフセットを、ステージ全体で生成されたコードに文字どおり埋め込まないようにするAvoid embedding platform-dependent offsets literally in whole-stage generated code
    • [SPARK-26665][コア] をブロックするバグを修正します。 fetchBlockSync は無期限にハングする可能性があります。[SPARK-26665][CORE] Fix a bug that BlockTransferService.fetchBlockSync may hang forever.
    • [SPARK-27134][SQL] array_distinct 関数は、配列の配列を含む列では正しく機能しません。[SPARK-27134][SQL] array_distinct function does not work correctly with columns containing array of array.
    • [SPARK-24669][SQL] DROP DATABASE CASCADE の場合、テーブルを無効にします。[SPARK-24669][SQL] Invalidate tables in case of DROP DATABASE CASCADE.
    • [SPARK-26572][SQL] 集計 codegen の結果の評価を修正します。[SPARK-26572][SQL] fix aggregate codegen result evaluation.
    • 特定の Python Udf に影響するバグを修正した。Fixed a bug affecting certain PythonUDFs.
  • 2019年2月26日Feb 26, 2019
    • [SPARK-26864][SQL] クエリは、python udf が左半結合条件として使用されている場合、正しくない結果を返す可能性があります。[SPARK-26864][SQL] Query may return incorrect result when python udf is used as a left-semi join condition.
    • [SPARK-26887][PYTHON] datetime64 を中間データとして作成するのではなく、直接作成します。[SPARK-26887][PYTHON] Create datetime.date directly instead of creating datetime64 as intermediate data.
    • JDBC/ODBC サーバーに影響するバグを修正します。Fixed a bug affecting JDBC/ODBC server.
    • PySpark に影響するバグを修正しています。Fixed a bug affecting PySpark.
    • HadoopRDD をビルドするときに、非表示のファイルを除外します。Exclude the hidden files when building HadoopRDD.
    • シリアル化の問題の原因となった差分のバグを修正しました。Fixed a bug in Delta that caused serialization issues.
  • 2019年2月12日Feb 12, 2019
    • Azure ADLS Gen2 マウントポイントでのデルタの使用に影響する問題を修正しています。Fixed an issue affecting using Delta with Azure ADLS Gen2 mount points.
    • 暗号化が有効になっている大規模な RPC エラーメッセージを送信するときに、Spark 低レベルのネットワークプロトコルが壊れている可能性があるという問題を修正しました (spark.network.crypto.enabled が true に設定されている場合)。Fixed an issue that Spark low level network protocol may be broken when sending large RPC error messages with encryption enabled (when spark.network.crypto.enabled is set to true).
  • 2019年1月30日Jan 30, 2019
    • キャッシュされた関係に傾斜結合ヒントを配置するときに StackOverflowError を修正しています。Fixed the StackOverflowError when putting skew join hint on cached relation.
    • SQL キャッシュのキャッシュされた RDD とその物理プランとの一貫性が損なわれ、結果が不正確になる。Fixed the inconsistency between a SQL cache’s cached RDD and its physical plan, which causes incorrect result.
    • [SPARK-26706][SQL] bytetype の illegalNumericPrecedence を修正します。[SPARK-26706][SQL] Fix illegalNumericPrecedence for ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery は空のレコードを正しく処理しません。[SPARK-26709][SQL] OptimizeMetadataOnlyQuery does not handle empty records correctly.
    • CSV/JSON データソースは、スキーマを推論するときにグロビングパスを避ける必要があります。CSV/JSON data sources should avoid globbing paths when inferring schema.
    • ウィンドウ演算子に対する制約の推定を修正します。Fixed constraint inference on Window operator.
    • テーブル ACL が有効になっているクラスターでの卵ライブラリのインストールに影響する問題を修正しました。Fixed an issue affecting installing egg libraries with clusters having table ACL enabled.

Databricks Runtime 5.1 (サポートされていません) Databricks Runtime 5.1 (unsupported)

Databricks Runtime 5.1を参照してください。See Databricks Runtime 5.1.

  • 2019 年 8 月 13 日Aug 13, 2019
    • デルタストリーミングソースは、テーブルの最新のプロトコルを確認する必要がありますDelta streaming source should check the latest protocol of a table
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator がオフセットを削除する可能性のあるバグを修正します[SPARK-28489][SS]Fix a bug that KafkaOffsetRangeCalculator.getRanges may drop offsets
  • 2019年7月30日Jul 30, 2019
    • [SPARK-28015][SQL] [文字列のチェック] () は、yyyy および yyyy-[m] m の形式の入力全体を使用します[SPARK-28015][SQL] Check stringToDate() consumes entire input for the yyyy and yyyy-[m]m formats
    • [SPARK-28308][CORE] calendarinterval サブ2番目の部分は、解析の前に埋め込む必要があります[SPARK-28308][CORE] CalendarInterval sub-second part should be padded before parsing
    • [SPARK-27485]EnsureRequirements では、重複する式を適切に処理する必要があります[SPARK-27485]EnsureRequirements.reorder should handle duplicate expressions gracefully
  • 2019年7月2、Jul 2, 2019
    • デルタ LAST_CHECKPOINT ファイルの読み取り時に IOExceptions を許容しますTolerate IOExceptions when reading Delta LAST_CHECKPOINT file
  • 2019 年 6 月 18 日Jun 18, 2019
    • 高階関数の使用に影響するバグを修正したFixed a bug affecting using higher order functions
    • デルタメタデータクエリに影響するバグを修正したFixed a bug affecting Delta metadata queries
  • 2019 年 5 月 28 日May 28, 2019
    • 失敗したライブラリのインストールに回復を追加しましたAdded recovery to failed library installation
  • 2019 年 5 月 7 日May 7, 2019
    • ポート HADOOP-15778 (ABFS: 読み取りのためにクライアント側の調整を修正) を Azure Data Lake Storage Gen2 コネクタに接続するPort HADOOP-15778 (ABFS: Fix client side throttling for read) to Azure Data Lake Storage Gen2 connector
    • ポート HADOOP-16040 (ABFS: tolerateOobAppends 構成のバグ修正) から Azure Data Lake Storage Gen2 コネクタへの接続Port HADOOP-16040 (ABFS: Bug fix for tolerateOobAppends configuration) to Azure Data Lake Storage Gen2 connector
    • デルタログチェックサムファイルの読み込み時の競合状態を修正したFixed a race condition when loading a Delta log checksum file
    • "挿入 + 上書き" を純粋な "追加" 操作として識別しないように、デルタ競合検出ロジックを修正しましたFixed Delta conflict detection logic to not identify “insert + overwrite” as pure “append” operation
    • [SPARK-27494]秒Kafka ソース v2 で Null キー/値が機能しない[SPARK-27494][SS] Null keys/values don’t work in Kafka source v2
    • [SPARK-27454][SPARK-27454]MLSERVER無効なイメージが見つかった場合、Spark イメージデータソースが失敗する[SPARK-27454][SPARK-27454][ML][SQL] Spark image datasource fail when encounter some illegal images
    • [SPARK-27160]SERVEROrc フィルターをビルドするときに DecimalType を修正する[SPARK-27160][SQL] Fix DecimalType when building orc filters
    • [SPARK-27338]COREUnsafeExternalSorter と TaskMemoryManager の間のデッドロックを修正します。[SPARK-27338][CORE] Fix deadlock between UnsafeExternalSorter and TaskMemoryManager
  • 2019年3月26日Mar 26, 2019
    • プラットフォームに依存するオフセットを、ステージ全体で生成されたコードに文字どおり埋め込まないようにするAvoid embedding platform-dependent offsets literally in whole-stage generated code
    • 特定の Python Udf に影響するバグを修正した。Fixed a bug affecting certain PythonUDFs.
  • 2019年2月26日Feb 26, 2019
    • [SPARK-26864][SQL] クエリは、python udf が左半結合条件として使用されている場合、正しくない結果を返す可能性があります。[SPARK-26864][SQL] Query may return incorrect result when python udf is used as a left-semi join condition.
    • JDBC/ODBC サーバーに影響するバグを修正します。Fixed a bug affecting JDBC/ODBC server.
    • HadoopRDD をビルドするときに、非表示のファイルを除外します。Exclude the hidden files when building HadoopRDD.
  • 2019年2月12日Feb 12, 2019
    • テーブル ACL が有効になっているクラスターでの卵ライブラリのインストールに影響する問題を修正しました。Fixed an issue affecting installing egg libraries with clusters having table ACL enabled.
    • SQL キャッシュのキャッシュされた RDD とその物理プランとの一貫性が損なわれ、結果が不正確になる。Fixed the inconsistency between a SQL cache’s cached RDD and its physical plan, which causes incorrect result.
    • [SPARK-26706][SQL] bytetype の illegalNumericPrecedence を修正します。[SPARK-26706][SQL] Fix illegalNumericPrecedence for ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery は空のレコードを正しく処理しません。[SPARK-26709][SQL] OptimizeMetadataOnlyQuery does not handle empty records correctly.
    • ウィンドウ演算子に対する制約の推定を修正します。Fixed constraint inference on Window operator.
    • 暗号化が有効になっている大規模な RPC エラーメッセージを送信するときに、Spark 低レベルのネットワークプロトコルが壊れている可能性があるという問題を修正しました (spark.network.crypto.enabled が true に設定されている場合)。Fixed an issue that Spark low level network protocol may be broken when sending large RPC error messages with encryption enabled (when spark.network.crypto.enabled is set to true).
  • 2019年1月30日Jan 30, 2019
    • UDT を使用した df.rdd.count() が特定の場合に不適切な回答を返す可能性がある問題を修正します。Fixed an issue that can cause df.rdd.count() with UDT to return incorrect answer for certain cases.
    • Wheelhouses のインストールに影響する問題を修正しています。Fixed an issue affecting installing wheelhouses.
    • [SPARK-26267]Kafka からの不適切なオフセットを検出するときに再試行します。[SPARK-26267]Retry when detecting incorrect offsets from Kafka.
    • ストリーミングクエリの複数のファイルストリームソースに影響を与えるバグを修正した。Fixed a bug that affects multiple file stream sources in a streaming query.
    • キャッシュされた関係に傾斜結合ヒントを配置するときに StackOverflowError を修正しています。Fixed the StackOverflowError when putting skew join hint on cached relation.
    • SQL キャッシュのキャッシュされた RDD とその物理プランとの一貫性が損なわれ、結果が不正確になる。Fixed the inconsistency between a SQL cache’s cached RDD and its physical plan, which causes incorrect result.
  • 2019年1月8日Jan 8, 2019
    • エラー org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted を発生させる問題を修正した。Fixed issue that causes the error org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]結合の並べ替えで、出力属性の順序を変更することはできません。[SPARK-26352]join reordering should not change the order of output attributes.
    • [SPARK-26366]ReplaceExceptWithFilter は、NULL を False と見なす必要があります。[SPARK-26366]ReplaceExceptWithFilter should consider NULL as False.
    • Delta Lake の安定性が向上しています。Stability improvement for Delta Lake.
    • Delta Lake が有効になっています。Delta Lake is enabled.
    • Azure Data Lake Storage Gen1 で Azure AD 資格情報のパススルーが有効になっている場合に Azure Data Lake Storage Gen2 アクセスが失敗する原因となった問題を修正しました。Fixed the issue that caused failed Azure Data Lake Storage Gen2 access when Azure AD Credential Passthrough is enabled for Azure Data Lake Storage Gen1.
    • すべての価格レベルで、Ls series worker インスタンスの種類に対して Databricks IO キャッシュが有効になりました。Databricks IO Cache is now enabled for Ls series worker instance types for all pricing tiers.

Databricks Runtime 5.0 (サポートされていません) Databricks Runtime 5.0 (unsupported)

Databricks Runtime 5.0を参照してください。See Databricks Runtime 5.0.

  • 2019 年 6 月 18 日Jun 18, 2019
    • 高階関数の使用に影響するバグを修正したFixed a bug affecting using higher order functions
  • 2019 年 5 月 7 日May 7, 2019
    • デルタログチェックサムファイルの読み込み時の競合状態を修正したFixed a race condition when loading a Delta log checksum file
    • "挿入 + 上書き" を純粋な "追加" 操作として識別しないように、デルタ競合検出ロジックを修正しましたFixed Delta conflict detection logic to not identify “insert + overwrite” as pure “append” operation
    • [SPARK-27494]秒Kafka ソース v2 で Null キー/値が機能しない[SPARK-27494][SS] Null keys/values don’t work in Kafka source v2
    • [SPARK-27454][SPARK-27454]MLSERVER無効なイメージが見つかった場合、Spark イメージデータソースが失敗する[SPARK-27454][SPARK-27454][ML][SQL] Spark image datasource fail when encounter some illegal images
    • [SPARK-27160]SERVEROrc フィルターをビルドするときに DecimalType を修正する[SPARK-27160][SQL] Fix DecimalType when building orc filters
      • [SPARK-27338]COREUnsafeExternalSorter と TaskMemoryManager の間のデッドロックを修正します。[SPARK-27338][CORE] Fix deadlock between UnsafeExternalSorter and TaskMemoryManager
  • 2019年3月26日Mar 26, 2019
    • プラットフォームに依存するオフセットを、ステージ全体で生成されたコードに文字どおり埋め込まないようにするAvoid embedding platform-dependent offsets literally in whole-stage generated code
    • 特定の Python Udf に影響するバグを修正した。Fixed a bug affecting certain PythonUDFs.
  • 2019年3月12日Mar 12, 2019
    • [SPARK-26864][SQL] クエリは、python udf が左半結合条件として使用されている場合、正しくない結果を返す可能性があります。[SPARK-26864][SQL] Query may return incorrect result when python udf is used as a left-semi join condition.
  • 2019年2月26日Feb 26, 2019
    • JDBC/ODBC サーバーに影響するバグを修正します。Fixed a bug affecting JDBC/ODBC server.
    • HadoopRDD をビルドするときに、非表示のファイルを除外します。Exclude the hidden files when building HadoopRDD.
  • 2019年2月12日Feb 12, 2019
    • SQL キャッシュのキャッシュされた RDD とその物理プランとの一貫性が損なわれ、結果が不正確になる。Fixed the inconsistency between a SQL cache’s cached RDD and its physical plan, which causes incorrect result.
    • [SPARK-26706][SQL] bytetype の illegalNumericPrecedence を修正します。[SPARK-26706][SQL] Fix illegalNumericPrecedence for ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery は空のレコードを正しく処理しません。[SPARK-26709][SQL] OptimizeMetadataOnlyQuery does not handle empty records correctly.
    • ウィンドウ演算子に対する制約の推定を修正します。Fixed constraint inference on Window operator.
    • 暗号化が有効になっている大規模な RPC エラーメッセージを送信するときに、Spark 低レベルのネットワークプロトコルが壊れている可能性があるという問題を修正しました (spark.network.crypto.enabled が true に設定されている場合)。Fixed an issue that Spark low level network protocol may be broken when sending large RPC error messages with encryption enabled (when spark.network.crypto.enabled is set to true).
  • 2019年1月30日Jan 30, 2019
    • UDT を使用した df.rdd.count() が特定の場合に不適切な回答を返す可能性がある問題を修正します。Fixed an issue that can cause df.rdd.count() with UDT to return incorrect answer for certain cases.
    • [SPARK-26267]Kafka からの不適切なオフセットを検出するときに再試行します。[SPARK-26267]Retry when detecting incorrect offsets from Kafka.
    • ストリーミングクエリの複数のファイルストリームソースに影響を与えるバグを修正した。Fixed a bug that affects multiple file stream sources in a streaming query.
    • キャッシュされた関係に傾斜結合ヒントを配置するときに StackOverflowError を修正しています。Fixed the StackOverflowError when putting skew join hint on cached relation.
    • SQL キャッシュのキャッシュされた RDD とその物理プランとの一貫性が損なわれ、結果が不正確になる。Fixed the inconsistency between a SQL cache’s cached RDD and its physical plan, which causes incorrect result.
  • 2019年1月8日Jan 8, 2019
    • エラー org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted の原因となった問題を修正しました。Fixed issue that caused the error org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]結合の並べ替えで、出力属性の順序を変更することはできません。[SPARK-26352]join reordering should not change the order of output attributes.
    • [SPARK-26366]ReplaceExceptWithFilter は、NULL を False と見なす必要があります。[SPARK-26366]ReplaceExceptWithFilter should consider NULL as False.
    • Delta Lake の安定性が向上しています。Stability improvement for Delta Lake.
    • Delta Lake が有効になっています。Delta Lake is enabled.
    • すべての価格レベルで、Ls series worker インスタンスの種類に対して Databricks IO キャッシュが有効になりました。Databricks IO Cache is now enabled for Ls series worker instance types for all pricing tiers.
  • 2018年12月18日Dec 18, 2018
    • [SPARK-26293]サブクエリで Python UDF を持つときにキャスト例外が発生する[SPARK-26293]Cast exception when having Python UDF in subquery
    • Join と Limit を使用した特定のクエリに影響する問題を修正しています。Fixed an issue affecting certain queries using Join and Limit.
    • Spark UI の RDD 名からの最終資格情報の入力Redacted credentials from RDD names in Spark UI
  • 2018年12月6時点Dec 6, 2018
    • OrderBy を使用するときに、並べ替えキーの先頭部分として group by キーを使用すると、クエリ結果が正しくないという問題を修正しました。Fixed an issue that caused incorrect query result when using orderBy followed immediately by groupBy with group-by key as the leading part of the sort-by key.
    • Spark 用のスノーフレークコネクタを 4_pre_release spark_2 2.4.9.2 から2.4.10 にアップグレードしました。Upgraded Snowflake Connector for Spark from 2.4.9.2-spark_2.4_pre_release to 2.4.10.
    • spark.sql.files.ignoreCorruptFiles または spark.sql.files.ignoreMissingFiles フラグが有効になっている場合は、1回以上再試行した後に、破損したファイルのみを無視します。Only ignore corrupt files after one or more retries when spark.sql.files.ignoreCorruptFiles or spark.sql.files.ignoreMissingFiles flag is enabled.
    • 特定の自己結合クエリに影響する問題を修正した。Fixed an issue affecting certain self union queries.
    • Thrift サーバーで、キャンセル時にセッションがリークすることがあるバグを修正しました。Fixed a bug with the thrift server where sessions are sometimes leaked when cancelled.
    • [SPARK-26307]Hive SerDe を使用してパーティションテーブルを挿入するときに CTAS を修正します。[SPARK-26307]Fixed CTAS when INSERT a partitioned table using Hive SerDe.
    • [SPARK-26147]結合の一方の側の列だけを使用する場合でも、結合条件の Python Udf は失敗します。[SPARK-26147]Python UDFs in join condition fail even when using columns from only one side of join
    • [SPARK-26211]バイナリの埋め込みと、null を持つ構造体および配列を修正します。[SPARK-26211]Fix InSet for binary, and struct and array with null.
    • [SPARK-26181]ColumnStatsMaphasMinMaxStats メソッドが正しくありません。[SPARK-26181]the hasMinMaxStats method of ColumnStatsMap is not correct.
    • インターネットにアクセスできない環境での Python 車輪のインストールに影響する問題を修正しています。Fixed an issue affecting installing Python Wheels in environments without Internet access.
  • 2018 年 11 月 20 日Nov 20, 2018
    • ストリーミングクエリをキャンセルした後に notebook が使用できない原因となった問題を修正しました。Fixed an issue that caused a notebook not usable after cancelling a streaming query.
    • ウィンドウ関数を使用した特定のクエリに影響する問題を修正しています。Fixed an issue affecting certain queries using window functions.
    • 複数のスキーマ変更を伴うデルタからのストリームに影響する問題を修正します。Fixed an issue affecting a stream from Delta with multiple schema changes.
    • 左半/アンチ結合を使用した特定の集計クエリに影響する問題を修正しています。Fixed an issue affecting certain aggregation queries with Left Semi/Anti joins.

Databricks Runtime 4.3 (サポートされていません) Databricks Runtime 4.3 (unsupported)

Databricks Runtime 4.3を参照してください。See Databricks Runtime 4.3.

  • 2019年4月9Apr 9, 2019

    • [SPARK-26665][CORE] BlockTransferService を発生させる可能性があるバグを修正します。 fetchblocksync は無期限にハングします。[SPARK-26665][CORE] Fix a bug that can cause BlockTransferService.fetchBlockSync to hang forever.
    • [SPARK-24669][SQL] DROP DATABASE CASCADE の場合、テーブルを無効にします。[SPARK-24669][SQL] Invalidate tables in case of DROP DATABASE CASCADE.
  • 2019年3月12日Mar 12, 2019

    • コード生成に影響を与えるバグを修正した。Fixed a bug affecting code generation.
    • デルタに影響するバグを修正した。Fixed a bug affecting Delta.
  • 2019年2月26日Feb 26, 2019

    • JDBC/ODBC サーバーに影響するバグを修正します。Fixed a bug affecting JDBC/ODBC server.
  • 2019年2月12日Feb 12, 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery は空のレコードを正しく処理しません。[SPARK-26709][SQL] OptimizeMetadataOnlyQuery does not handle empty records correctly.
    • HadoopRDD をビルドするときに、非表示のファイルを除外します。Excluding the hidden files when building HadoopRDD.
    • IN 述語の値が空の場合の Parquet フィルター変換を修正します。Fixed Parquet Filter Conversion for IN predicate when its value is empty.
    • 暗号化が有効になっている大規模な RPC エラーメッセージを送信するときに、Spark 低レベルのネットワークプロトコルが壊れている可能性があるという問題を修正しました (spark.network.crypto.enabled が true に設定されている場合)。Fixed an issue that Spark low level network protocol may be broken when sending large RPC error messages with encryption enabled (when spark.network.crypto.enabled is set to true).
  • 2019年1月30日Jan 30, 2019

    • UDT を使用した df.rdd.count() が特定の場合に不適切な回答を返す可能性がある問題を修正します。Fixed an issue that can cause df.rdd.count() with UDT to return incorrect answer for certain cases.
    • SQL キャッシュのキャッシュされた RDD とその物理プランとの一貫性が損なわれ、結果が不正確になる。Fixed the inconsistency between a SQL cache’s cached RDD and its physical plan, which causes incorrect result.
  • 2019年1月8日Jan 8, 2019

    • エラー org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted を発生させる問題を修正した。Fixed the issue that causes the error org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Spark UI の RDD 名からの最終資格情報の入力Redacted credentials from RDD names in Spark UI
    • [SPARK-26352]結合の並べ替えで、出力属性の順序を変更することはできません。[SPARK-26352]join reordering should not change the order of output attributes.
    • [SPARK-26366]ReplaceExceptWithFilter は、NULL を False と見なす必要があります。[SPARK-26366]ReplaceExceptWithFilter should consider NULL as False.
    • Delta Lake が有効になっています。Delta Lake is enabled.
    • すべての価格レベルで、Ls series worker インスタンスの種類に対して Databricks IO キャッシュが有効になりました。Databricks IO Cache is now enabled for Ls series worker instance types for all pricing tiers.
  • 2018年12月18日Dec 18, 2018

    • [SPARK-25002]Avro: 出力レコードの名前空間を変更します。[SPARK-25002]Avro: revise the output record namespace.
    • Join と Limit を使用した特定のクエリに影響する問題を修正しています。Fixed an issue affecting certain queries using Join and Limit.
    • [SPARK-26307]Hive SerDe を使用してパーティションテーブルを挿入するときに CTAS を修正します。[SPARK-26307]Fixed CTAS when INSERT a partitioned table using Hive SerDe.
    • spark.sql.files.ignoreCorruptFiles または spark.sql.files.ignoreMissingFiles フラグが有効になっている場合は、1回以上再試行した後に、破損したファイルのみを無視します。Only ignore corrupt files after one or more retries when spark.sql.files.ignoreCorruptFiles or spark.sql.files.ignoreMissingFiles flag is enabled.
    • [SPARK-26181]ColumnStatsMaphasMinMaxStats メソッドが正しくありません。[SPARK-26181]the hasMinMaxStats method of ColumnStatsMap is not correct.
    • インターネットにアクセスできない環境での Python 車輪のインストールに影響する問題を修正しています。Fixed an issue affecting installing Python Wheels in environments without Internet access.
    • クエリアナライザーのパフォーマンスの問題を修正します。Fixed a performance issue in query analyzer.
    • "接続が拒否されました" というエラーでデータフレームアクションが失敗する原因となった PySpark の問題を修正しました。Fixed an issue in PySpark that caused DataFrame actions failed with “connection refused” error.
    • 特定の自己結合クエリに影響する問題を修正した。Fixed an issue affecting certain self union queries.
  • 2018 年 11 月 20 日Nov 20, 2018

    • [Spark-17916][spark-25241]nullvalue が設定されている場合、null として解析される空の文字列を修正します。[SPARK-17916][SPARK-25241]Fix empty string being parsed as null when nullValue is set.
    • [SPARK-25387]CSV 入力が正しくないことが原因で NPE が修正されました。[SPARK-25387]Fix for NPE caused by bad CSV input.
    • 左半/アンチ結合を使用した特定の集計クエリに影響する問題を修正しています。Fixed an issue affecting certain aggregation queries with Left Semi/Anti joins.
  • 2018年11月6日Nov 6, 2018

    • [SPARK-25741]長い Url は、web UI では正しくレンダリングされません。[SPARK-25741]Long URLs are not rendered properly in web UI.
    • [SPARK-25714]オプティマイザールール BooleanSimplification で Null 処理を修正します。[SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.
    • SQL Data Warehouse コネクタで一時オブジェクトのクリーンアップに影響する問題を修正しています。Fixed an issue affecting temporary objects cleanup in SQL Data Warehouse connector.
    • [SPARK-25816]入れ子になったエクストラクターで属性の解決を修正します。[SPARK-25816]Fix attribute resolution in nested extractors.
  • 2018年10月16日Oct 16, 2018

    • デルタテーブルで実行されている SHOW CREATE TABLE の出力に影響するバグを修正した。Fixed a bug affecting the output of running SHOW CREATE TABLE on Delta tables.
    • Union 操作に影響するバグを修正しました。Fixed a bug affecting Union operation.
  • Sep 25、2018Sep 25, 2018

    • [SPARK-25368][SQL] 不適切な制約の推定により、正しくない結果が返されます。[SPARK-25368][SQL] Incorrect constraint inference returns wrong result.
    • [SPARK-25402][SQL] BooleanSimplification の Null 処理。[SPARK-25402][SQL] Null handling in BooleanSimplification.
    • Avro データソースの NotSerializableException を修正します。Fixed NotSerializableException in Avro data source.
  • 2018年9月11日Sep 11, 2018

    • [SPARK-25214][SS] failOnDataLoss=false時に、Kafka v2 ソースが複製されたレコードを返す可能性のある問題を修正します。[SPARK-25214][SS] Fix the issue that Kafka v2 source may return duplicated records when failOnDataLoss=false.
    • [SPARK-24987][SS] トピックのトピックの新しいオフセットがない場合に Kafka のコンシューマーリークを修正します。[SPARK-24987][SS] Fix Kafka consumer leak when no new offsets for TopicPartition.
    • フィルターを減らすには、null 値を正しく処理する必要があります。Filter reduction should handle null value correctly.
    • 実行エンジンの安定性が向上しました。Improved stability of execution engine.
  • 2018年8月28日Aug 28, 2018

    • デルタ Lake Delete コマンドで、条件が null と評価される行を誤って削除するバグを修正した。Fixed a bug in Delta Lake Delete command that would incorrectly delete the rows where the condition evaluates to null.
    • [SPARK-25142]Python worker が _load_from_socketでソケットを開けなかった場合に、エラーメッセージを追加します。[SPARK-25142]Add error messages when Python worker could not open socket in _load_from_socket.
  • 2018年8月23日Aug 23, 2018

    • [SPARK-23935]mapentry は org.codehaus.commons.compiler.CompileExceptionをスローします。[SPARK-23935]mapEntry throws org.codehaus.commons.compiler.CompileException.
    • Parquet reader の null 値を許容するマップの問題を修正します。Fixed nullable map issue in Parquet reader.
    • [SPARK-25051][SQL] fixnullability 値の許容属性は、AnalysisBarrier で停止しないでください。[SPARK-25051][SQL] FixNullability should not stop on AnalysisBarrier.
    • [SPARK-25081]書き込むがメモリの割り当てに失敗したときに、ShuffleExternalSorter が解放されたメモリページにアクセスするバグを修正しました。[SPARK-25081]Fixed a bug where ShuffleExternalSorter may access a released memory page when spilling fails to allocate memory.
    • Databricks Delta と Pyspark の間の対話を修正しました。これにより、一時的な読み取りエラーが発生する可能性があります。Fixed an interaction between Databricks Delta and Pyspark which could cause transient read failures.
    • [SPARK-25084]"複数の列に対して" 分散 "(角かっこで囲む) では、codegen 問題が発生する可能性があります。[SPARK-25084]”distribute by” on multiple columns (wrap in brackets) may lead to codegen issue.
    • [SPARK-25096]キャストが強制的に null 値を許容する場合は、null 値の許容を緩和します。[SPARK-25096]Loosen nullability if the cast is force-nullable.
    • Delta Lake Optimize コマンドによって使用されるスレッドの既定の数を下げ、メモリのオーバーヘッドを減らし、データをより迅速にコミットします。Lowered the default number of threads used by the Delta Lake Optimize command, reducing memory overhead and committing data faster.
    • [SPARK-25114]2つの単語間の減算が整数で割り切れれている場合は、RecordBinaryComparator 子を修正します。 MAX_VALUE。[SPARK-25114]Fix RecordBinaryComparator when subtraction between two words is divisible by Integer.MAX_VALUE.
    • コマンドが部分的に成功した場合にシークレットマネージャーの校正を修正します。Fixed secret manager redaction when command partially succeed.

Databricks Runtime 4.2 (サポートされていません) Databricks Runtime 4.2 (unsupported)

Databricks Runtime 4.2を参照してください。See Databricks Runtime 4.2.

  • 2019年2月26日Feb 26, 2019

    • JDBC/ODBC サーバーに影響するバグを修正します。Fixed a bug affecting JDBC/ODBC server.
  • 2019年2月12日Feb 12, 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery は空のレコードを正しく処理しません。[SPARK-26709][SQL] OptimizeMetadataOnlyQuery does not handle empty records correctly.
    • HadoopRDD をビルドするときに、非表示のファイルを除外します。Excluding the hidden files when building HadoopRDD.
    • IN 述語の値が空の場合の Parquet フィルター変換を修正します。Fixed Parquet Filter Conversion for IN predicate when its value is empty.
    • 暗号化が有効になっている大規模な RPC エラーメッセージを送信するときに、Spark 低レベルのネットワークプロトコルが壊れている可能性があるという問題を修正しました (spark.network.crypto.enabled が true に設定されている場合)。Fixed an issue that Spark low level network protocol may be broken when sending large RPC error messages with encryption enabled (when spark.network.crypto.enabled is set to true).
  • 2019年1月30日Jan 30, 2019

    • UDT を使用した df.rdd.count() が特定の場合に不適切な回答を返す可能性がある問題を修正します。Fixed an issue that can cause df.rdd.count() with UDT to return incorrect answer for certain cases.
  • 2019年1月8日Jan 8, 2019

    • エラー org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted を発生させる問題を修正した。Fixed issue that causes the error org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Spark UI の RDD 名からの最終資格情報の入力Redacted credentials from RDD names in Spark UI
    • [SPARK-26352]結合の並べ替えで、出力属性の順序を変更することはできません。[SPARK-26352]join reordering should not change the order of output attributes.
    • [SPARK-26366]ReplaceExceptWithFilter は、NULL を False と見なす必要があります。[SPARK-26366]ReplaceExceptWithFilter should consider NULL as False.
    • Delta Lake が有効になっています。Delta Lake is enabled.
    • すべての価格レベルで、Ls series worker インスタンスの種類に対して Databricks IO キャッシュが有効になりました。Databricks IO Cache is now enabled for Ls series worker instance types for all pricing tiers.
  • 2018年12月18日Dec 18, 2018

    • [SPARK-25002]Avro: 出力レコードの名前空間を変更します。[SPARK-25002]Avro: revise the output record namespace.
    • Join と Limit を使用した特定のクエリに影響する問題を修正しています。Fixed an issue affecting certain queries using Join and Limit.
    • [SPARK-26307]Hive SerDe を使用してパーティションテーブルを挿入するときに CTAS を修正します。[SPARK-26307]Fixed CTAS when INSERT a partitioned table using Hive SerDe.
    • spark.sql.files.ignoreCorruptFiles または spark.sql.files.ignoreMissingFiles フラグが有効になっている場合は、1回以上再試行した後に、破損したファイルのみを無視します。Only ignore corrupt files after one or more retries when spark.sql.files.ignoreCorruptFiles or spark.sql.files.ignoreMissingFiles flag is enabled.
    • [SPARK-26181]ColumnStatsMaphasMinMaxStats メソッドが正しくありません。[SPARK-26181]the hasMinMaxStats method of ColumnStatsMap is not correct.
    • インターネットにアクセスできない環境での Python 車輪のインストールに影響する問題を修正しています。Fixed an issue affecting installing Python Wheels in environments without Internet access.
    • クエリアナライザーのパフォーマンスの問題を修正します。Fixed a performance issue in query analyzer.
    • "接続が拒否されました" というエラーでデータフレームアクションが失敗する原因となった PySpark の問題を修正しました。Fixed an issue in PySpark that caused DataFrame actions failed with “connection refused” error.
    • 特定の自己結合クエリに影響する問題を修正した。Fixed an issue affecting certain self union queries.
  • 2018 年 11 月 20 日Nov 20, 2018

    • [Spark-17916][spark-25241]nullvalue が設定されている場合、null として解析される空の文字列を修正します。[SPARK-17916][SPARK-25241]Fix empty string being parsed as null when nullValue is set.
    • 左半/アンチ結合を使用した特定の集計クエリに影響する問題を修正しています。Fixed an issue affecting certain aggregation queries with Left Semi/Anti joins.
  • 2018年11月6日Nov 6, 2018

    • [SPARK-25741]長い Url は、web UI では正しくレンダリングされません。[SPARK-25741]Long URLs are not rendered properly in web UI.
    • [SPARK-25714]オプティマイザールール BooleanSimplification で Null 処理を修正します。[SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.
  • 2018年10月16日Oct 16, 2018

    • デルタテーブルで実行されている SHOW CREATE TABLE の出力に影響するバグを修正した。Fixed a bug affecting the output of running SHOW CREATE TABLE on Delta tables.
    • Union 操作に影響するバグを修正しました。Fixed a bug affecting Union operation.
  • Sep 25、2018Sep 25, 2018

    • [SPARK-25368][SQL] 不適切な制約の推定により、正しくない結果が返されます。[SPARK-25368][SQL] Incorrect constraint inference returns wrong result.
    • [SPARK-25402][SQL] BooleanSimplification の Null 処理。[SPARK-25402][SQL] Null handling in BooleanSimplification.
    • Avro データソースの NotSerializableException を修正します。Fixed NotSerializableException in Avro data source.
  • 2018年9月11日Sep 11, 2018

    • [SPARK-25214][SS] failOnDataLoss=false時に、Kafka v2 ソースが複製されたレコードを返す可能性のある問題を修正します。[SPARK-25214][SS] Fix the issue that Kafka v2 source may return duplicated records when failOnDataLoss=false.
    • [SPARK-24987][SS] トピックのトピックの新しいオフセットがない場合に Kafka のコンシューマーリークを修正します。[SPARK-24987][SS] Fix Kafka consumer leak when no new offsets for TopicPartition.
    • フィルターを減らすには、null 値を正しく処理する必要があります。Filter reduction should handle null value correctly.
  • 2018年8月28日Aug 28, 2018

    • デルタ Lake Delete コマンドで、条件が null と評価される行を誤って削除するバグを修正した。Fixed a bug in Delta Lake Delete command that would incorrectly delete the rows where the condition evaluates to null.
  • 2018年8月23日Aug 23, 2018

    • 差分スナップショットの NoClassDefError を修正します。Fixed NoClassDefError for Delta Snapshot
    • [SPARK-23935]mapentry は org.codehaus.commons.compiler.CompileExceptionをスローします。[SPARK-23935]mapEntry throws org.codehaus.commons.compiler.CompileException.
    • [SPARK-24957][SQL] Average with decimal を指定すると、誤った結果が返されます。[SPARK-24957][SQL] Average with decimal followed by aggregation returns wrong result. AVERAGE の不適切な結果が返される可能性があります。The incorrect results of AVERAGE might be returned. 平均演算子で追加されたキャストは、除算の結果がキャスト先と同じ型である場合、バイパスされます。The CAST added in the Average operator will be bypassed if the result of Divide is the same type which it is casted to.
    • [SPARK-25081]書き込むがメモリの割り当てに失敗したときに、ShuffleExternalSorter が解放されたメモリページにアクセスするバグを修正しました。[SPARK-25081]Fixed a bug where ShuffleExternalSorter may access a released memory page when spilling fails to allocate memory.
    • Databricks Delta と Pyspark の間の対話を修正しました。これにより、一時的な読み取りエラーが発生する可能性があります。Fixed an interaction between Databricks Delta and Pyspark which could cause transient read failures.
    • [SPARK-25114]2つの単語間の減算が整数で割り切れれている場合は、RecordBinaryComparator 子を修正します。 MAX_VALUE。[SPARK-25114]Fix RecordBinaryComparator when subtraction between two words is divisible by Integer.MAX_VALUE.
    • [SPARK-25084]"複数の列に対して" 分散 "(角かっこで囲む) では、codegen 問題が発生する可能性があります。[SPARK-25084]”distribute by” on multiple columns (wrap in brackets) may lead to codegen issue.
    • [SPARK-24934][SQL] サポートされている型を、メモリ内のパーティション排除の上限と下限の範囲で明示的にホワイトリストに登録します。[SPARK-24934][SQL] Explicitly whitelist supported types in upper/lower bounds for in-memory partition pruning. キャッシュされたデータに対するクエリフィルターで複合データ型を使用すると、Spark は常に空の結果セットを返します。When complex data types are used in query filters against cached data, Spark always returns an empty result set. Null は複合型の上限または下限に設定されているため、インメモリ統計に基づく排除では、正しくない結果が生成されます。The in-memory stats-based pruning generates incorrect results, because null is set for upper/lower bounds for complex types. この問題を解決するには、複合型に対してインメモリ統計ベースの排除を使用しないようにします。The fix is to not use in-memory stats-based pruning for complex types.
    • コマンドが部分的に成功した場合にシークレットマネージャーの校正を修正します。Fixed secret manager redaction when command partially succeed.
    • Parquet reader の null 値を許容するマップの問題を修正します。Fixed nullable map issue in Parquet reader.
  • 2018年8月2までAug 2, 2018

    • Python に writeStream. table API が追加されました。Added writeStream.table API in Python.
    • デルタチェックポイント処理に影響する問題を修正します。Fixed an issue affecting Delta checkpointing.
    • [SPARK-24867][SQL] AnalysisBarrier を DataFrameWriter に追加します。[SPARK-24867][SQL] Add AnalysisBarrier to DataFrameWriter. DataFrameWriter を使用して UDF でデータフレームを書き込むときに、SQL キャッシュが使用されていません。SQL cache is not being used when using DataFrameWriter to write a DataFrame with UDF. これは、すべての Analyzer ルールがべき等ではないため、AnalysisBarrier で行った変更に起因する回帰です。This is a regression caused by the changes we made in AnalysisBarrier, since not all the Analyzer rules are idempotent.
    • mergeInto コマンドが正しくない結果を生成する原因となる問題を修正しました。Fixed an issue that could cause mergeInto command to produce incorrect results.
    • Azure Data Lake Storage Gen1 へのアクセスの安定性が向上しました。Improved stability on accessing Azure Data Lake Storage Gen1.
    • [SPARK-24809]実行プログラムで LongHashedRelation をシリアル化すると、データエラーが発生する可能性があります。[SPARK-24809]Serializing LongHashedRelation in executor may result in data error.
    • [SPARK-24878][SQL] null を含むプリミティブ型の配列型の reverse 関数を修正します。[SPARK-24878][SQL] Fix reverse function for array type of primitive type containing null.
  • 2018 年 7 月 11 日July 11, 2018

    • クエリ実行のバグを修正し、異なる有効桁数を持つ10進数列の集計によって、誤った結果が返される場合があります。Fixed a bug in query execution that would cause aggregations on decimal columns with different precisions to return incorrect results in some cases.
    • グループ化セットなどの高度な集計操作中にスローされた NullPointerException バグを修正しました。Fixed a NullPointerException bug that was thrown during advanced aggregation operations like grouping sets.

Databricks Runtime 4.1 ML (サポートされていません) Databricks Runtime 4.1 ML (unsupported)

Databricks Runtime 4.1 ML (ベータ版)」を参照してください。See Databricks Runtime 4.1 ML (Beta).

  • 2018 年 7 月 31 日July 31, 2018
    • ML ランタイム4.1 への Azure SQL DW コネクタの追加Added Azure SQL DW connector to ML Runtime 4.1
    • 述語で使用されているパーティション列の名前が、テーブルのスキーマ内のその列のケースと異なる場合に、不適切なクエリ結果を引き起こす可能性のあるバグを修正しました。Fixed a bug that could cause incorrect query results when the name of a partition column used in a predicate differs from the case of that column in the schema of the table.
    • Spark SQL 実行エンジンに影響を与えるバグを修正した。Fixed a bug affecting Spark SQL execution engine.
    • コード生成に影響を与えるバグを修正した。Fixed a bug affecting code generation.
    • Delta Lake に影響するバグ (java.lang.NoClassDefFoundError) を修正した。Fixed a bug (java.lang.NoClassDefFoundError) affecting Delta Lake.
    • Delta Lake でのエラー処理が改善されました。Improved error handling in Delta Lake.
    • 文字列型の列32文字以上の統計情報をスキップする誤ったデータを引き起こすバグを修正しました。Fixed a bug that caused incorrect data skipping statistics to be collected for string columns 32 characters or greater.

Databricks Runtime 4.1 (サポートされていません) Databricks Runtime 4.1 (unsupported)

Databricks Runtime 4.1を参照してください。See Databricks Runtime 4.1.

  • 2019年1月8日Jan 8, 2019

    • [SPARK-26366]ReplaceExceptWithFilter は、NULL を False と見なす必要があります。[SPARK-26366]ReplaceExceptWithFilter should consider NULL as False.
    • Delta Lake が有効になっています。Delta Lake is enabled.
  • 2018年12月18日Dec 18, 2018

    • [SPARK-25002]Avro: 出力レコードの名前空間を変更します。[SPARK-25002]Avro: revise the output record namespace.
    • Join と Limit を使用した特定のクエリに影響する問題を修正しています。Fixed an issue affecting certain queries using Join and Limit.
    • [SPARK-26307]Hive SerDe を使用してパーティションテーブルを挿入するときに CTAS を修正します。[SPARK-26307]Fixed CTAS when INSERT a partitioned table using Hive SerDe.
    • spark.sql.files.ignoreCorruptFiles または spark.sql.files.ignoreMissingFiles フラグが有効になっている場合は、1回以上再試行した後に、破損したファイルのみを無視します。Only ignore corrupt files after one or more retries when spark.sql.files.ignoreCorruptFiles or spark.sql.files.ignoreMissingFiles flag is enabled.
    • インターネットにアクセスできない環境での Python 車輪のインストールに影響する問題を修正しています。Fixed an issue affecting installing Python Wheels in environments without Internet access.
    • "接続が拒否されました" というエラーでデータフレームアクションが失敗する原因となった PySpark の問題を修正しました。Fixed an issue in PySpark that caused DataFrame actions failed with “connection refused” error.
    • 特定の自己結合クエリに影響する問題を修正した。Fixed an issue affecting certain self union queries.
  • 2018 年 11 月 20 日Nov 20, 2018

    • [Spark-17916][spark-25241]nullvalue が設定されている場合、null として解析される空の文字列を修正します。[SPARK-17916][SPARK-25241]Fix empty string being parsed as null when nullValue is set.
    • 左半/アンチ結合を使用した特定の集計クエリに影響する問題を修正しています。Fixed an issue affecting certain aggregation queries with Left Semi/Anti joins.
  • 2018年11月6日Nov 6, 2018

    • [SPARK-25741]長い Url は、web UI では正しくレンダリングされません。[SPARK-25741]Long URLs are not rendered properly in web UI.
    • [SPARK-25714]オプティマイザールール BooleanSimplification で Null 処理を修正します。[SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.
  • 2018年10月16日Oct 16, 2018

    • デルタテーブルで実行されている SHOW CREATE TABLE の出力に影響するバグを修正した。Fixed a bug affecting the output of running SHOW CREATE TABLE on Delta tables.
    • Union 操作に影響するバグを修正しました。Fixed a bug affecting Union operation.
  • Sep 25、2018Sep 25, 2018

    • [SPARK-25368][SQL] 不適切な制約の推定により、正しくない結果が返されます。[SPARK-25368][SQL] Incorrect constraint inference returns wrong result.
    • [SPARK-25402][SQL] BooleanSimplification の Null 処理。[SPARK-25402][SQL] Null handling in BooleanSimplification.
    • Avro データソースの NotSerializableException を修正します。Fixed NotSerializableException in Avro data source.
  • 2018年9月11日Sep 11, 2018

    • [SPARK-25214][SS] failOnDataLoss=false時に、Kafka v2 ソースが複製されたレコードを返す可能性のある問題を修正します。[SPARK-25214][SS] Fix the issue that Kafka v2 source may return duplicated records when failOnDataLoss=false.
    • [SPARK-24987][SS] トピックのトピックの新しいオフセットがない場合に Kafka のコンシューマーリークを修正します。[SPARK-24987][SS] Fix Kafka consumer leak when no new offsets for TopicPartition.
    • フィルターを減らすには、null 値を正しく処理する必要があります。Filter reduction should handle null value correctly.
  • 2018年8月28日Aug 28, 2018

    • デルタ Lake Delete コマンドで、条件が null と評価される行を誤って削除するバグを修正した。Fixed a bug in Delta Lake Delete command that would incorrectly delete the rows where the condition evaluates to null.
    • [SPARK-25084]"複数の列に対して" 分散 "(角かっこで囲む) では、codegen 問題が発生する可能性があります。[SPARK-25084]”distribute by” on multiple columns (wrap in brackets) may lead to codegen issue.
    • [SPARK-25114]2つの単語間の減算が整数で割り切れれている場合は、RecordBinaryComparator 子を修正します。 MAX_VALUE。[SPARK-25114]Fix RecordBinaryComparator when subtraction between two words is divisible by Integer.MAX_VALUE.
  • 2018年8月23日Aug 23, 2018

    • 差分スナップショットの NoClassDefError を修正します。Fixed NoClassDefError for Delta Snapshot.
    • [SPARK-24957][SQL] Average with decimal を指定すると、誤った結果が返されます。[SPARK-24957][SQL] Average with decimal followed by aggregation returns wrong result. AVERAGE の不適切な結果が返される可能性があります。The incorrect results of AVERAGE might be returned. 平均演算子で追加されたキャストは、除算の結果がキャスト先と同じ型である場合、バイパスされます。The CAST added in the Average operator will be bypassed if the result of Divide is the same type which it is casted to.
    • Parquet reader の null 値を許容するマップの問題を修正します。Fixed nullable map issue in Parquet reader.
    • [SPARK-24934][SQL] サポートされている型を、メモリ内のパーティション排除の上限と下限の範囲で明示的にホワイトリストに登録します。[SPARK-24934][SQL] Explicitly whitelist supported types in upper/lower bounds for in-memory partition pruning. キャッシュされたデータに対するクエリフィルターで複合データ型を使用すると、Spark は常に空の結果セットを返します。When complex data types are used in query filters against cached data, Spark always returns an empty result set. Null は複合型の上限または下限に設定されているため、インメモリ統計に基づく排除では、正しくない結果が生成されます。The in-memory stats-based pruning generates incorrect results, because null is set for upper/lower bounds for complex types. この問題を解決するには、複合型に対してインメモリ統計ベースの排除を使用しないようにします。The fix is to not use in-memory stats-based pruning for complex types.
    • [SPARK-25081]書き込むがメモリの割り当てに失敗したときに、ShuffleExternalSorter が解放されたメモリページにアクセスするバグを修正しました。[SPARK-25081]Fixed a bug where ShuffleExternalSorter may access a released memory page when spilling fails to allocate memory.
    • Databricks Delta と Pyspark の間の対話を修正しました。これにより、一時的な読み取りエラーが発生する可能性があります。Fixed an interaction between Databricks Delta and Pyspark which could cause transient read failures.
    • コマンドが部分的に成功したときにシークレットマネージャーの校正を修正Fixed secret manager redaction when command partially succeed
  • 2018年8月2までAug 2, 2018

    • [SPARK-24613][SQL]、UDF を含むキャッシュは、後続の依存キャッシュと一致しませんでした。[SPARK-24613][SQL] Cache with UDF could not be matched with subsequent dependent caches. プランが再度分析されないようにするために、AnalysisBarrier で実行プランをコンパイルするための論理プランをラップします。Wraps the logical plan with a AnalysisBarrier for execution plan compilation in CacheManager, in order to avoid the plan being analyzed again. これは、Spark 2.3 の回帰でもあります。This is also a regression of Spark 2.3.
    • DateType データを書き込むためのタイムゾーンの変換に影響する SQL Data Warehouse コネクタの問題を修正した。Fixed a SQL Data Warehouse connector issue affecting timezone conversion for writing DateType data.
    • デルタチェックポイント処理に影響する問題を修正します。Fixed an issue affecting Delta checkpointing.
    • mergeInto コマンドが正しくない結果を生成する原因となる問題を修正しました。Fixed an issue that could cause mergeInto command to produce incorrect results.
    • [SPARK-24867][SQL] AnalysisBarrier を DataFrameWriter に追加します。[SPARK-24867][SQL] Add AnalysisBarrier to DataFrameWriter. DataFrameWriter を使用して UDF でデータフレームを書き込むときに、SQL キャッシュが使用されていません。SQL cache is not being used when using DataFrameWriter to write a DataFrame with UDF. これは、すべての Analyzer ルールがべき等ではないため、AnalysisBarrier で行った変更に起因する回帰です。This is a regression caused by the changes we made in AnalysisBarrier, since not all the Analyzer rules are idempotent.
    • [SPARK-24809]実行プログラムで LongHashedRelation をシリアル化すると、データエラーが発生する可能性があります。[SPARK-24809]Serializing LongHashedRelation in executor may result in data error.
  • 2018 年 7 月 11 日July 11, 2018

    • クエリ実行のバグを修正し、異なる有効桁数を持つ10進数列の集計によって、誤った結果が返される場合があります。Fixed a bug in query execution that would cause aggregations on decimal columns with different precisions to return incorrect results in some cases.
    • グループ化セットなどの高度な集計操作中にスローされた NullPointerException バグを修正しました。Fixed a NullPointerException bug that was thrown during advanced aggregation operations like grouping sets.
  • 2018 年 6 月 28 日June 28, 2018

    • 述語で使用されているパーティション列の名前が、テーブルのスキーマ内のその列のケースと異なる場合に、不適切なクエリ結果を引き起こす可能性のあるバグを修正しました。Fixed a bug that could cause incorrect query results when the name of a partition column used in a predicate differs from the case of that column in the schema of the table.
  • 2018年6月7日June 7, 2018

    • Spark SQL 実行エンジンに影響を与えるバグを修正した。Fixed a bug affecting Spark SQL execution engine.
    • コード生成に影響を与えるバグを修正した。Fixed a bug affecting code generation.
    • Delta Lake に影響するバグ (java.lang.NoClassDefFoundError) を修正した。Fixed a bug (java.lang.NoClassDefFoundError) affecting Delta Lake.
    • Delta Lake でのエラー処理が改善されました。Improved error handling in Delta Lake.
  • 2018 年 5 月 17 日May 17, 2018

    • 文字列型の列32文字以上の統計情報をスキップする誤ったデータを引き起こすバグを修正しました。Fixed a bug that caused incorrect data skipping statistics to be collected for string columns 32 characters or greater.

Databricks Runtime 4.0 (サポートされていません) Databricks Runtime 4.0 (unsupported)

Databricks Runtime 4.0を参照してください。See Databricks Runtime 4.0.

  • 2018年11月6日Nov 6, 2018

    • [SPARK-25714]オプティマイザールール BooleanSimplification で Null 処理を修正します。[SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.
  • 2018年10月16日Oct 16, 2018

    • Union 操作に影響するバグを修正しました。Fixed a bug affecting Union operation.
  • Sep 25、2018Sep 25, 2018

    • [SPARK-25368][SQL] 不適切な制約の推定により、正しくない結果が返されます。[SPARK-25368][SQL] Incorrect constraint inference returns wrong result.
    • [SPARK-25402][SQL] BooleanSimplification の Null 処理。[SPARK-25402][SQL] Null handling in BooleanSimplification.
    • Avro データソースの NotSerializableException を修正します。Fixed NotSerializableException in Avro data source.
  • 2018年9月11日Sep 11, 2018

    • フィルターを減らすには、null 値を正しく処理する必要があります。Filter reduction should handle null value correctly.
  • 2018年8月28日Aug 28, 2018

    • デルタ Lake Delete コマンドで、条件が null と評価される行を誤って削除するバグを修正した。Fixed a bug in Delta Lake Delete command that would incorrectly delete the rows where the condition evaluates to null.
  • 2018年8月23日Aug 23, 2018

    • Parquet reader の null 値を許容するマップの問題を修正します。Fixed nullable map issue in Parquet reader.
    • コマンドが部分的に成功したときにシークレットマネージャーの校正を修正Fixed secret manager redaction when command partially succeed
    • Databricks Delta と Pyspark の間の対話を修正しました。これにより、一時的な読み取りエラーが発生する可能性があります。Fixed an interaction between Databricks Delta and Pyspark which could cause transient read failures.
    • [SPARK-25081]書き込むがメモリの割り当てに失敗したときに、ShuffleExternalSorter が解放されたメモリページにアクセスするバグを修正しました。[SPARK-25081]Fixed a bug where ShuffleExternalSorter may access a released memory page when spilling fails to allocate memory.
    • [SPARK-25114]2つの単語間の減算が整数で割り切れれている場合は、RecordBinaryComparator 子を修正します。 MAX_VALUE。[SPARK-25114]Fix RecordBinaryComparator when subtraction between two words is divisible by Integer.MAX_VALUE.
  • 2018年8月2までAug 2, 2018

    • [SPARK-24452]Int 加算または multiple でオーバーフローする可能性を回避します。[SPARK-24452]Avoid possible overflow in int add or multiple.
    • [SPARK-24588]ストリーミング結合には、子からの HashClusteredPartitioning が必要です。[SPARK-24588]Streaming join should require HashClusteredPartitioning from children.
    • mergeInto コマンドが正しくない結果を生成する原因となる問題を修正しました。Fixed an issue that could cause mergeInto command to produce incorrect results.
    • [SPARK-24867][SQL] AnalysisBarrier を DataFrameWriter に追加します。[SPARK-24867][SQL] Add AnalysisBarrier to DataFrameWriter. DataFrameWriter を使用して UDF でデータフレームを書き込むときに、SQL キャッシュが使用されていません。SQL cache is not being used when using DataFrameWriter to write a DataFrame with UDF. これは、すべての Analyzer ルールがべき等ではないため、AnalysisBarrier で行った変更に起因する回帰です。This is a regression caused by the changes we made in AnalysisBarrier, since not all the Analyzer rules are idempotent.
    • [SPARK-24809]実行プログラムで LongHashedRelation をシリアル化すると、データエラーが発生する可能性があります。[SPARK-24809]Serializing LongHashedRelation in executor may result in data error.
  • 2018 年 6 月 28 日June 28, 2018

    • 述語で使用されているパーティション列の名前が、テーブルのスキーマ内のその列のケースと異なる場合に、不適切なクエリ結果を引き起こす可能性のあるバグを修正しました。Fixed a bug that could cause incorrect query results when the name of a partition column used in a predicate differs from the case of that column in the schema of the table.
  • 2018年6月7日June 7, 2018

    • Spark SQL 実行エンジンに影響を与えるバグを修正した。Fixed a bug affecting Spark SQL execution engine.
    • Delta Lake でのエラー処理が改善されました。Improved error handling in Delta Lake.
  • 2018 年 5 月 17 日May 17, 2018

    • Databricks secret management のバグ修正。Bug fixes for Databricks secret management.
    • Azure Data Lake Store に格納されているデータの読み取りの安定性が向上しました。Improved stability on reading data stored in Azure Data Lake Store.
    • RDD キャッシュに影響するバグを修正しています。Fixed a bug affecting RDD caching.
    • Spark SQL での Null セーフな等価に影響するバグを修正します。Fixed a bug affecting Null-safe Equal in Spark SQL.
  • 2018年4月24日Apr 24, 2018

    • Azure Data Lake Store へのアクセスの安定性を向上させるために、Azure Data Lake Store SDK を2.0.11 から2.2.8 にアップグレードしました。Upgraded Azure Data Lake Store SDK from 2.0.11 to 2.2.8 to improve the stability of access to Azure Data Lake Store.
    • spark.databricks.io.hive.fastwriter.enabledfalse場合に、パーティション分割された Hive テーブルへの上書きの挿入に影響するバグを修正します。Fixed a bug affecting the insertion of overwrites to partitioned Hive tables when spark.databricks.io.hive.fastwriter.enabled is false.
    • タスクのシリアル化に失敗した問題を修正しました。Fixed an issue that failed task serialization.
    • Delta Lake の安定性が向上しました。Improved Delta Lake stability.
  • 2018年3月14日Mar 14, 2018

    • Delta Lake への書き込み時に不要なメタデータの更新を防止します。Prevent unnecessary metadata updates when writing into Delta Lake.
    • まれに、一部の出力ファイルが失われる可能性がある競合状態が原因で発生する問題を修正しました。Fixed an issue caused by a race condition that could, in rare circumstances, lead to loss of some output files.

Databricks Runtime 3.5 LTS Databricks Runtime 3.5 LTS

Databricks Runtime 3.5 LTSを参照してください。See Databricks Runtime 3.5 LTS.

  • 2019 年 10 月 8 日Oct 8, 2019

    • サーバー側の変更により、結果のフェッチ中に接続エラーが発生した後に、Simba Apache Spark ODBC ドライバーを再接続して続行できるようになります (Simba Apache Spark バージョン2.6.10 に更新する必要があります)。Server side changes to allow Simba Apache Spark ODBC driver to reconnect and continue after a connection failure during fetching results (requires Simba Apache Spark ODBC driver update to version 2.6.10).
  • 2019年9月10、Sep 10, 2019

    • [SPARK-28699][SQL] パーティション分割の場合に ShuffleExchangeExec に対して基数並べ替えの使用を無効にする[SPARK-28699][SQL] Disable using radix sort for ShuffleExchangeExec in repartition case
  • 2019年4月9Apr 9, 2019

    • [SPARK-26665][CORE] BlockTransferService を発生させる可能性があるバグを修正します。 fetchblocksync は無期限にハングします。[SPARK-26665][CORE] Fix a bug that can cause BlockTransferService.fetchBlockSync to hang forever.
  • 2019年2月12日Feb 12, 2019

    • 暗号化が有効になっている大規模な RPC エラーメッセージを送信するときに、Spark 低レベルのネットワークプロトコルが壊れている可能性があるという問題を修正しました (spark.network.crypto.enabled が true に設定されている場合)。Fixed an issue that Spark low level network protocol may be broken when sending large RPC error messages with encryption enabled (when spark.network.crypto.enabled is set to true).
  • 2019年1月30日Jan 30, 2019

    • UDT を使用した df.rdd.count() が特定の場合に不適切な回答を返す可能性がある問題を修正します。Fixed an issue that can cause df.rdd.count() with UDT to return incorrect answer for certain cases.
  • 2018年12月18日Dec 18, 2018

    • spark.sql.files.ignoreCorruptFiles または spark.sql.files.ignoreMissingFiles フラグが有効になっている場合は、1回以上再試行した後に、破損したファイルのみを無視します。Only ignore corrupt files after one or more retries when spark.sql.files.ignoreCorruptFiles or spark.sql.files.ignoreMissingFiles flag is enabled.
    • 特定の自己結合クエリに影響する問題を修正した。Fixed an issue affecting certain self union queries.
  • 2018 年 11 月 20 日Nov 20, 2018

    • [SPARK-25816]入れ子になったエクストラクターの属性解決を修正します。[SPARK-25816]Fixed attribute resolution in nested extractors.
  • 2018年11月6日Nov 6, 2018

    • [SPARK-25714]オプティマイザールール BooleanSimplification で Null 処理を修正します。[SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.
  • 2018年10月16日Oct 16, 2018

    • Union 操作に影響するバグを修正しました。Fixed a bug affecting Union operation.
  • Sep 25、2018Sep 25, 2018

    • [SPARK-25402][SQL] BooleanSimplification の Null 処理。[SPARK-25402][SQL] Null handling in BooleanSimplification.
    • Avro データソースの NotSerializableException を修正します。Fixed NotSerializableException in Avro data source.
  • 2018年9月11日Sep 11, 2018

    • フィルターを減らすには、null 値を正しく処理する必要があります。Filter reduction should handle null value correctly.
  • 2018年8月28日Aug 28, 2018

    • デルタ Lake Delete コマンドで、条件が null と評価される行を誤って削除するバグを修正した。Fixed a bug in Delta Lake Delete command that would incorrectly delete the rows where the condition evaluates to null.
    • [SPARK-25114]2つの単語間の減算が整数で割り切れれている場合は、RecordBinaryComparator 子を修正します。 MAX_VALUE。[SPARK-25114]Fix RecordBinaryComparator when subtraction between two words is divisible by Integer.MAX_VALUE.
  • 2018年8月23日Aug 23, 2018

    • [SPARK-24809]実行プログラムで LongHashedRelation をシリアル化すると、データエラーが発生する可能性があります。[SPARK-24809]Serializing LongHashedRelation in executor may result in data error.
    • Parquet reader の null 値を許容するマップの問題を修正します。Fixed nullable map issue in Parquet reader.
    • [SPARK-25081]書き込むがメモリの割り当てに失敗したときに、ShuffleExternalSorter が解放されたメモリページにアクセスするバグを修正しました。[SPARK-25081]Fixed a bug where ShuffleExternalSorter may access a released memory page when spilling fails to allocate memory.
    • Databricks Delta と Pyspark の間の対話を修正しました。これにより、一時的な読み取りエラーが発生する可能性があります。Fixed an interaction between Databricks Delta and Pyspark which could cause transient read failures.
  • 2018 年 6 月 28 日June 28, 2018

    • 述語で使用されているパーティション列の名前が、テーブルのスキーマ内のその列のケースと異なる場合に、不適切なクエリ結果を引き起こす可能性のあるバグを修正しました。Fixed a bug that could cause incorrect query results when the name of a partition column used in a predicate differs from the case of that column in the schema of the table.
  • 2018 年 6 月 28 日June 28, 2018

    • 述語で使用されているパーティション列の名前が、テーブルのスキーマ内のその列のケースと異なる場合に、不適切なクエリ結果を引き起こす可能性のあるバグを修正しました。Fixed a bug that could cause incorrect query results when the name of a partition column used in a predicate differs from the case of that column in the schema of the table.
  • 2018年6月7日June 7, 2018

    • Spark SQL 実行エンジンに影響を与えるバグを修正した。Fixed a bug affecting Spark SQL execution engine.
    • Delta Lake でのエラー処理が改善されました。Improved error handling in Delta Lake.
  • 2018 年 5 月 17 日May 17, 2018

    • Azure Data Lake Store に格納されているデータの読み取りの安定性が向上しました。Improved stability on reading data stored in Azure Data Lake Store.
    • RDD キャッシュに影響するバグを修正しています。Fixed a bug affecting RDD caching.
    • Spark SQL での Null セーフな等価に影響するバグを修正します。Fixed a bug affecting Null-safe Equal in Spark SQL.
    • ストリーミングクエリの特定の集計に影響するバグを修正します。Fixed a bug affecting certain aggregations in streaming queries.
  • 2018年4月24日Apr 24, 2018

    • Azure Data Lake Store へのアクセスの安定性を向上させるために、Azure Data Lake Store SDK を2.0.11 から2.2.8 にアップグレードしました。Upgraded Azure Data Lake Store SDK from 2.0.11 to 2.2.8 to improve the stability of access to Azure Data Lake Store.
    • spark.databricks.io.hive.fastwriter.enabledfalse場合に、パーティション分割された Hive テーブルへの上書きの挿入に影響するバグを修正します。Fixed a bug affecting the insertion of overwrites to partitioned Hive tables when spark.databricks.io.hive.fastwriter.enabled is false.
    • タスクのシリアル化に失敗した問題を修正しました。Fixed an issue that failed task serialization.
  • 2018 年 3 月 9 日Mar 09, 2018

    • まれに、一部の出力ファイルが失われる可能性がある競合状態が原因で発生する問題を修正しました。Fixed an issue caused by a race condition that could, in rare circumstances, lead to loss of some output files.
  • 2018年3月01Mar 01, 2018

    • 停止に長時間かかる可能性があるストリームの処理効率が向上しました。Improved the efficiency of handling streams that can take a long time to stop.
    • Python オートコンプリートに影響する問題を修正しています。Fixed an issue affecting Python autocomplete.
    • Ubuntu セキュリティパッチが適用されました。Applied Ubuntu security patches.
    • Python Udf とウィンドウ関数を使用した特定のクエリに影響する問題を修正しています。Fixed an issue affecting certain queries using Python UDFs and window functions.
    • テーブルアクセス制御が有効になっているクラスターでの Udf の使用に影響する問題を修正しました。Fixed an issue affecting the use of UDFs on a cluster with table access control enabled.
  • 2018年1月29日Jan 29, 2018

    • Azure Blob storage に格納されているテーブルの操作に影響する問題を修正しています。Fixed an issue affecting the manipulation of tables stored in Azure Blob storage.
    • 空のデータフレームで dropDuplicates の後に集計を修正した。Fixed aggregation after dropDuplicates on empty DataFrame.

Databricks Runtime 3.4 (サポートされていません) Databricks Runtime 3.4 (unsupported)

Databricks Runtime 3.4を参照してください。See Databricks Runtime 3.4.

  • 2018年6月7日June 7, 2018

    • Spark SQL 実行エンジンに影響を与えるバグを修正した。Fixed a bug affecting Spark SQL execution engine.
    • Delta Lake でのエラー処理が改善されました。Improved error handling in Delta Lake.
  • 2018 年 5 月 17 日May 17, 2018

    • Azure Data Lake Store に格納されているデータの読み取りの安定性が向上しました。Improved stability on reading data stored in Azure Data Lake Store.
    • RDD キャッシュに影響するバグを修正しています。Fixed a bug affecting RDD caching.
    • Spark SQL での Null セーフな等価に影響するバグを修正します。Fixed a bug affecting Null-safe Equal in Spark SQL.
  • 2018年4月24日Apr 24, 2018

    • spark.databricks.io.hive.fastwriter.enabledfalse場合に、パーティション分割された Hive テーブルへの上書きの挿入に影響するバグを修正します。Fixed a bug affecting the insertion of overwrites to partitioned Hive tables when spark.databricks.io.hive.fastwriter.enabled is false.
  • 2018 年 3 月 9 日Mar 09, 2018

    • まれに、一部の出力ファイルが失われる可能性がある競合状態が原因で発生する問題を修正しました。Fixed an issue caused by a race condition that could, in rare circumstances, lead to loss of some output files.
  • 2017年12月13日Dec 13, 2017

    • 拡張性のある Udf に影響する問題を修正しています。Fixed an issue affecting UDFs in Scala.
    • 非 DBFS パスに格納されているデータソーステーブルのインデックスをスキップするデータの使用に影響する問題を修正しています。Fixed an issue affecting the use of Data Skipping Index on data source tables stored in non-DBFS paths.
  • 2017年12月7日Dec 07, 2017

    • シャッフルの安定性が向上しました。Improved shuffle stability.