Databricks ランタイム メンテナンス更新プログラムDatabricks runtime maintenance updates

このページには Databricks Runtime リリースに対して発行されたメンテナンスの更新が一覧表示されます。This page lists maintenance updates issued for Databricks Runtime releases. メンテナンスの更新プログラムを既存のクラスターに追加するには、クラスターを再起動します。To add a maintenance update to an existing cluster, restart the cluster.

注意

この記事には、Azure Databricks 使用されなくなった用語の ホワイトリスト への参照が含まれています。This article contains references to the term whitelist, a term that Azure Databricks no longer uses. ソフトウェアからこの用語が削除された時点で、この記事から削除します。When the term is removed from the software, we’ll remove it from this article.

サポートされている Databricks Runtime リリースSupported Databricks Runtime releases

サポートされている Databricks Runtime リリースのメンテナンス更新:Maintenance updates for supported Databricks Runtime releases:

元のリリースノートについては、小見出しの下にあるリンクを参照してください。For the original release notes, follow the link below the subheading.

Databricks Runtime 7.5 Databricks Runtime 7.5

Databricks Runtime 7.5を参照してください。See Databricks Runtime 7.5.

  • 2021年2月4日Feb 4, 2021
    • などのグローバル制限を設定するクエリの増分実行を防止する回帰を修正し SELECT * FROM table LIMIT nrows ます。Fixed a regression that prevents the incremental execution of a query that sets a global limit such as SELECT * FROM table LIMIT nrows. 矢印のシリアル化が有効になっている ODBC/JDBC を使用してクエリを実行するユーザーが、この回帰を経験しました。The regression was experienced by users running queries via ODBC/JDBC with Arrow serialization enabled.
    • では、書き込み時間のチェックが Hive クライアントに導入され、デルタテーブルの Hive metastore のメタデータが破損しないようになっています。Introduced write time checks to the Hive client to prevent the corruption of metadata in the Hive metastore for Delta tables.
    • クラスター環境変数の構成に無効な bash 構文が含まれている場合に、DBFS ヒューズが起動しない原因となった回帰を修正しました。Fixed a regression that caused DBFS FUSE to fail to start when cluster environment variable configurations contain invalid bash syntax.
  • 2021年1月20日Jan 20, 2021
    • 2021年1月12日のメンテナンスリリースで、誤った AnalysisException を引き起こす可能性がある回帰を修正し、列が自己結合であいまいであると言います。Fixed a regression in the Jan 12, 2021 maintenance release that can cause an incorrect AnalysisException and say the column is ambiguous in a self join. この回帰は、ユーザーが次の条件でデータフレームとその派生データフレーム (いわゆる自己結合) を結合すると発生します。This regression happens when a user joins a DataFrame with its derived DataFrame (a so-called self-join) with the following conditions:
      • これら2つの DataFrames に共通の列がありますが、自己結合の出力に共通の列がありません。These two DataFrames have common columns, but the output of the self join does not have common columns. たとえば、df.join(df.select($"col" as "new_col"), cond)For example, df.join(df.select($"col" as "new_col"), cond)
      • 派生データフレームは、select、groupBy、または window を介して一部の列を除外します。The derived DataFrame excludes some columns via select, groupBy, or window.
      • 結合されたデータフレームの後の結合条件または次の変換は、共通でない列を参照します。The join condition or the following transformation after the joined Dataframe refers to the non-common columns. たとえば、df.join(df.drop("a"), df("a") === 1)For example, df.join(df.drop("a"), df("a") === 1)
  • 2021 年 1 月 12 日Jan 12, 2021
    • Azure Storage SDK を2.3.8 から2.3.9 にアップグレードします。Upgrade Azure Storage SDK from 2.3.8 to 2.3.9.
    • [SPARK-33593][SQL] ベクターリーダーに、バイナリパーティション値を含む正しくないデータが返される[SPARK-33593][SQL] Vector reader got incorrect data with binary partition value
    • [SPARK-33480][SQL] char/varchar テーブルの挿入長チェックのエラーメッセージを更新します[SPARK-33480][SQL] updates the error message of char/varchar table insertion length check

Databricks Runtime 7.4 Databricks Runtime 7.4

Databricks Runtime 7.4を参照してください。See Databricks Runtime 7.4.

  • 2021年2月4日Feb 4, 2021

    • などのグローバル制限を設定するクエリの増分実行を防止する回帰を修正し SELECT * FROM table LIMIT nrows ます。Fixed a regression that prevents the incremental execution of a query that sets a global limit such as SELECT * FROM table LIMIT nrows. 矢印のシリアル化が有効になっている ODBC/JDBC を使用してクエリを実行するユーザーが、この回帰を経験しました。The regression was experienced by users running queries via ODBC/JDBC with Arrow serialization enabled.
    • クラスター環境変数の構成に無効な bash 構文が含まれている場合に、DBFS ヒューズが起動しない原因となった回帰を修正しました。Fixed a regression that caused DBFS FUSE to fail to start when cluster environment variable configurations contain invalid bash syntax.
  • 2021年1月20日Jan 20, 2021

    • 2021年1月12日のメンテナンスリリースで、誤った AnalysisException を引き起こす可能性がある回帰を修正し、列が自己結合であいまいであると言います。Fixed a regression in the Jan 12, 2021 maintenance release that can cause an incorrect AnalysisException and say the column is ambiguous in a self join. この回帰は、ユーザーが次の条件でデータフレームとその派生データフレーム (いわゆる自己結合) を結合すると発生します。This regression happens when a user joins a DataFrame with its derived DataFrame (a so-called self-join) with the following conditions:
      • これら2つの DataFrames に共通の列がありますが、自己結合の出力に共通の列がありません。These two DataFrames have common columns, but the output of the self join does not have common columns. たとえば、df.join(df.select($"col" as "new_col"), cond)For example, df.join(df.select($"col" as "new_col"), cond)
      • 派生データフレームは、select、groupBy、または window を介して一部の列を除外します。The derived DataFrame excludes some columns via select, groupBy, or window.
      • 結合されたデータフレームの後の結合条件または次の変換は、共通でない列を参照します。The join condition or the following transformation after the joined Dataframe refers to the non-common columns. たとえば、df.join(df.drop("a"), df("a") === 1)For example, df.join(df.drop("a"), df("a") === 1)
  • 2021 年 1 月 12 日Jan 12, 2021

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
    • [SPARK-33593][SQL] ベクターリーダーに、バイナリパーティション値を含む正しくないデータが返される[SPARK-33593][SQL] Vector reader got incorrect data with binary partition value
    • [SPARK-33677][SQL] Skip LikeSimplification rule if Pattern contains escapeChar[SPARK-33677][SQL] Skip LikeSimplification rule if pattern contains any escapeChar
    • [Spark-33071][33536] [SQL] DetectAmbiguousSelfJoin を中断しないようにするには、join () で logicalplan の dataset_id を変更しないようにします[SPARK-33071][SPARK-33536][SQL] Avoid changing dataset_id of LogicalPlan in join() to not break DetectAmbiguousSelfJoin
  • 2020 年 12 月 8 日Dec 8, 2020

    • [SPARK-33587][CORE] 入れ子になった致命的なエラーに対して実行プログラムを強制終了します[SPARK-33587][CORE] Kill the executor on nested fatal errors
    • [SPARK-27421][SQL] 列のフィルターを修正し、パーティション列を排除するときに値クラスの System.string を修正します。[SPARK-27421][SQL] Fix filter for int column and value class java.lang.String when pruning partition column
    • [SPARK-33316][SQL] サポートユーザーが、avro 書き込みで null 非許容の catalyst スキーマに対して指定された、null 値を許容する avro スキーマをサポートする[SPARK-33316][SQL] Support user provided nullable Avro schema for non-nullable catalyst schema in Avro writing
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020年12月1時Dec 1, 2020

    • [SPARK-33404][SQL] [3.0] 式の結果が正しくないことを修正します date_trunc[SPARK-33404][SQL][3.0] Fix incorrect results in date_trunc expression
    • [SPARK-33339][PYTHON] Pyspark アプリケーションは、例外以外のエラーにより停止します[SPARK-33339][PYTHON] Pyspark application will hang due to non Exception error
    • [SPARK-33183][SQL] [修正プログラム] オプティマイザールール EliminateSorts を修正し、冗長な並べ替えを削除するための物理ルールを追加します。[SPARK-33183][SQL][HOTFIX] Fix Optimizer rule EliminateSorts and add a physical rule to remove redundant sorts
    • [SPARK-33371][python] [3.0] Setup.py と python 3.9 のテストの更新[SPARK-33371][PYTHON][3.0] Update setup.py and tests for Python 3.9
    • [SPARK-33391][SQL] Element_at createarray が1ベースのインデックスを考慮していません。[SPARK-33391][SQL] element_at with CreateArray not respect one based index.
    • [SPARK-33306][SQL] 日付を文字列にキャストする場合は、タイムゾーンが必要です[SPARK-33306][SQL]Timezone is needed when cast date to string
    • [SPARK-33260][SQL] ソート順序が Stream の場合に sortexec から間違った結果を修正します[SPARK-33260][SQL] Fix incorrect results from SortExec when sortOrder is Stream
    • [SPARK-33272][SQL] queryplan の属性マッピングを排除します。 transformUpWithNewOutput[SPARK-33272][SQL] prune the attributes mapping in QueryPlan.transformUpWithNewOutput

Databricks Runtime 7.3 LTS Databricks Runtime 7.3 LTS

Databricks Runtime 7.3 LTSを参照してください。See Databricks Runtime 7.3 LTS.

  • 2021年2月4日Feb 4, 2021

    • などのグローバル制限を設定するクエリの増分実行を防止する回帰を修正し SELECT * FROM table LIMIT nrows ます。Fixed a regression that prevents the incremental execution of a query that sets a global limit such as SELECT * FROM table LIMIT nrows. 矢印のシリアル化が有効になっている ODBC/JDBC を使用してクエリを実行するユーザーが、この回帰を経験しました。The regression was experienced by users running queries via ODBC/JDBC with Arrow serialization enabled.
    • クラスター環境変数の構成に無効な bash 構文が含まれている場合に、DBFS ヒューズが起動しない原因となった回帰を修正しました。Fixed a regression that caused DBFS FUSE to fail to start when cluster environment variable configurations contain invalid bash syntax.
  • 2021年1月20日Jan 20, 2021

    • 2021年1月12日のメンテナンスリリースで、誤った AnalysisException を引き起こす可能性がある回帰を修正し、列が自己結合であいまいであると言います。Fixed a regression in the Jan 12, 2021 maintenance release that can cause an incorrect AnalysisException and say the column is ambiguous in a self join. この回帰は、ユーザーが次の条件でデータフレームとその派生データフレーム (いわゆる自己結合) を結合すると発生します。This regression happens when a user joins a DataFrame with its derived DataFrame (a so-called self-join) with the following conditions:
      • これら2つの DataFrames に共通の列がありますが、自己結合の出力に共通の列がありません。These two DataFrames have common columns, but the output of the self join does not have common columns. たとえば、df.join(df.select($"col" as "new_col"), cond)For example, df.join(df.select($"col" as "new_col"), cond)
      • 派生データフレームは、select、groupBy、または window を介して一部の列を除外します。The derived DataFrame excludes some columns via select, groupBy, or window.
      • 結合されたデータフレームの後の結合条件または次の変換は、共通でない列を参照します。The join condition or the following transformation after the joined Dataframe refers to the non-common columns. たとえば、df.join(df.drop("a"), df("a") === 1)For example, df.join(df.drop("a"), df("a") === 1)
  • 2021 年 1 月 12 日Jan 12, 2021

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
    • [SPARK-33593][SQL] ベクターリーダーに、バイナリパーティション値を含む正しくないデータが返される[SPARK-33593][SQL] Vector reader got incorrect data with binary partition value
    • [SPARK-33677][SQL] Skip LikeSimplification rule if Pattern contains escapeChar[SPARK-33677][SQL] Skip LikeSimplification rule if pattern contains any escapeChar
    • [SPARK-33592][ML] [PYTHON] Pyspark ML 検証パラメーター estimatorParamMaps を保存して再読み込みした後に失われる可能性があります[SPARK-33592][ML][PYTHON] Pyspark ML Validator params in estimatorParamMaps may be lost after saving and reloading
    • [Spark-33071][33536] [SQL] DetectAmbiguousSelfJoin を中断しないようにするには、join () で logicalplan の dataset_id を変更しないようにします[SPARK-33071][SPARK-33536][SQL] Avoid changing dataset_id of LogicalPlan in join() to not break DetectAmbiguousSelfJoin
  • 2020 年 12 月 8 日Dec 8, 2020

    • [SPARK-33587][CORE] 入れ子になった致命的なエラーに対して実行プログラムを強制終了します[SPARK-33587][CORE] Kill the executor on nested fatal errors
    • [SPARK-27421][SQL] 列のフィルターを修正し、パーティション列を排除するときに値クラスの System.string を修正します。[SPARK-27421][SQL] Fix filter for int column and value class java.lang.String when pruning partition column
    • [SPARK-33316][SQL] サポートユーザーが、avro 書き込みで null 非許容の catalyst スキーマに対して指定された、null 値を許容する avro スキーマをサポートする[SPARK-33316][SQL] Support user provided nullable Avro schema for non-nullable catalyst schema in Avro writing
    • Databricks Connect を使用して起動された Spark ジョブは、実行 Executor$TaskRunner.$anonfun$copySessionState プログラムのスタックトレースで無期限にハングする可能性がありますSpark Jobs launched using Databricks Connect could hang indefinitely with Executor$TaskRunner.$anonfun$copySessionState in executor stack trace
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020年12月1時Dec 1, 2020

    • [SPARK-33404][SQL] [3.0] 式の結果が正しくないことを修正します date_trunc[SPARK-33404][SQL][3.0] Fix incorrect results in date_trunc expression
    • [SPARK-33339][PYTHON] Pyspark アプリケーションは、例外以外のエラーにより停止します[SPARK-33339][PYTHON] Pyspark application will hang due to non Exception error
    • [SPARK-33183][SQL] [修正プログラム] オプティマイザールール EliminateSorts を修正し、冗長な並べ替えを削除するための物理ルールを追加します。[SPARK-33183][SQL][HOTFIX] Fix Optimizer rule EliminateSorts and add a physical rule to remove redundant sorts
    • [SPARK-33371][python] [3.0] Setup.py と python 3.9 のテストの更新[SPARK-33371][PYTHON][3.0] Update setup.py and tests for Python 3.9
    • [SPARK-33391][SQL] Element_at createarray が1ベースのインデックスを考慮していません。[SPARK-33391][SQL] element_at with CreateArray not respect one based index.
    • [SPARK-33306][SQL] 日付を文字列にキャストする場合は、タイムゾーンが必要です[SPARK-33306][SQL]Timezone is needed when cast date to string
    • [SPARK-33260][SQL] ソート順序が Stream の場合に sortexec から間違った結果を修正します[SPARK-33260][SQL] Fix incorrect results from SortExec when sortOrder is Stream
  • 2020年11月5日Nov 5, 2020

    • に関して、ABFS および中 b のロックを修正し UserGroupInformation.getCurrentUser() ます。Fix ABFS and WASB locking with regard to UserGroupInformation.getCurrentUser().
    • Avro リーダーがマジックバイトを読み取るときに無限ループのバグを修正します。Fix an infinite loop bug when Avro reader reads the MAGIC bytes.
    • 使用権限のサポートを追加します。Add support for the USAGE privilege.
    • テーブルアクセス制御での特権チェックのパフォーマンスが向上しました。Performance improvements for privilege checking in table access control.
  • 2020 年 10 月 13 日Oct 13, 2020

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
    • 高同時実行資格情報のパススルーが有効になっているクラスターでは、/dbfs/でヒューズマウントを使用して DBFS から読み取りおよび書き込みを行うことができます。You can read and write from DBFS using the FUSE mount at /dbfs/ when on a high concurrency credential passthrough enabled cluster. 通常のマウントはサポートされていますが、パススルー資格情報を必要とするマウントはまだサポートされていません。Regular mounts are supported but mounts that need passthrough credentials are not supported yet.
    • [SPARK-32999][SQL] を使用して、TreeNode でクラス名の形式が正しくないことを回避するには、getSimpleName[SPARK-32999][SQL] Use Utils.getSimpleName to avoid hitting Malformed class name in TreeNode
    • [SPARK-32585][SQL] サポートは、スケールインリフレクションでの列挙型をサポートしています[SPARK-32585][SQL] Support scala enumeration in ScalaReflection
    • 無効な XML 文字を含むファイル名を含む、ヒューズマウント内のディレクトリを修正します。Fixed listing directories in FUSE mount that contain file names with invalid XML characters
    • ヒューズマウントで Listmultipartuを使用しなくなりました。FUSE mount no longer uses ListMultipartUploads
  • 2020年9月29日Sep 29, 2020

    • [SPARK-32718][SQL] 間隔単位の不要なキーワードを削除します[SPARK-32718][SQL] Remove unnecessary keywords for interval units
    • [SPARK-32635][SQL] たたみ込み伝達を修正します[SPARK-32635][SQL] Fix foldable propagation
    • 新しい構成を追加 spark.shuffle.io.decoder.consolidateThreshold します。Add a new config spark.shuffle.io.decoder.consolidateThreshold. 構成値をに設定して、 Long.MAX_VALUE netty FrameBuffers の統合をスキップします。これにより、コーナーケースが回避され java.lang.IndexOutOfBoundsException ます。Set the config value to Long.MAX_VALUE to skip the consolidation of netty FrameBuffers, which prevents java.lang.IndexOutOfBoundsException in corner cases.

Databricks Runtime 6.4 Databricks Runtime 6.4

Databricks Runtime 6.4を参照してください。See Databricks Runtime 6.4.

  • 2021年2月4日Feb 4, 2021

    • などのグローバル制限を設定するクエリの増分実行を防止する回帰を修正し SELECT * FROM table LIMIT nrows ます。Fixed a regression that prevents the incremental execution of a query that sets a global limit such as SELECT * FROM table LIMIT nrows. 矢印のシリアル化が有効になっている ODBC/JDBC を使用してクエリを実行するユーザーが、この回帰を経験しました。The regression was experienced by users running queries via ODBC/JDBC with Arrow serialization enabled.
    • クラスター環境変数の構成に無効な bash 構文が含まれている場合に、DBFS ヒューズが起動しない原因となった回帰を修正しました。Fixed a regression that caused DBFS FUSE to fail to start when cluster environment variable configurations contain invalid bash syntax.
  • 2021 年 1 月 12 日Jan 12, 2021

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020 年 12 月 8 日Dec 8, 2020

    • [SPARK-27421][SQL] 列のフィルターを修正し、パーティション列を排除するときに値クラスの System.string を修正します。[SPARK-27421][SQL] Fix filter for int column and value class java.lang.String when pruning partition column
    • [SPARK-33183][SQL] オプティマイザールール EliminateSorts を修正し、冗長な並べ替えを削除するための物理ルールを追加します[SPARK-33183][SQL] Fix Optimizer rule EliminateSorts and add a physical rule to remove redundant sorts
    • [ランタイム 6.4 ML GPU]NCCL の正しくないバージョン (2.7.8 + cuda 11.1) が既にインストールされています。[Runtime 6.4 ML GPU] We previously installed an incorrect version (2.7.8-1+cuda11.1) of NCCL. このリリースでは、CUDA 10.0 と互換性のある 2.4.8 + cuda 10.0 に修正されています。This release corrects it to 2.4.8-1+cuda10.0 that is compatible with CUDA 10.0.
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020年12月1時Dec 1, 2020

    • [SPARK-33260][SQL] ソート順序が Stream の場合に sortexec から間違った結果を修正します[SPARK-33260][SQL] Fix incorrect results from SortExec when sortOrder is Stream
    • [SPARK-32635][SQL] たたみ込み伝達を修正します[SPARK-32635][SQL] Fix foldable propagation
  • 2020年11月3日Nov 3, 2020

    • Java バージョンを1.8.0 以降252から1.8.0 以降265にアップグレードしました。Upgraded Java version from 1.8.0_252 to 1.8.0_265.
    • UserGroupInformation に関して ABFS ロックと中 b ロックを修正します。 getCurrentUser ()Fix ABFS and WASB locking with regard to UserGroupInformation.getCurrentUser()
    • マジックバイトを読み取るときに Avro リーダーの無限ループバグを修正します。Fix an infinite loop bug of Avro reader when reading the MAGIC bytes.
  • 2020 年 10 月 13 日Oct 13, 2020

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
    • [SPARK-32999][SQL] [2.4] を使用して、TreeNode のクラス名の形式が正しくないことを回避するには、getSimpleName[SPARK-32999][SQL][2.4] Use Utils.getSimpleName to avoid hitting Malformed class name in TreeNode
    • 無効な XML 文字を含むファイル名を含む、ヒューズマウント内のディレクトリを修正します。Fixed listing directories in FUSE mount that contain file names with invalid XML characters
    • ヒューズマウントで Listmultipartuを使用しなくなりました。FUSE mount no longer uses ListMultipartUploads
  • 2020年9月24日Sep 24, 2020

    • 標準クラスターでのパススルーで、ユーザーが使用するファイルシステムの実装を制限するという以前の制限を修正した。Fixed a previous limitation where passthrough on standard cluster would still restrict the filesystem implementation user uses. これで、ユーザーは制限なしでローカルファイルシステムにアクセスできるようになりました。Now users would be able to access local filesystems without restrictions.
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020 年 9 月 8 日Sep 8, 2020

    • Azure Synapse Analytics の新しいパラメーターが作成されました maxbinlengthA new parameter was created for Azure Synapse Analytics, maxbinlength. このパラメーターは、BinaryType 列の列の長さを制御するために使用され、として変換され VARBINARY(maxbinlength) ます。This parameter is used to control the column length of BinaryType columns, and is translated as VARBINARY(maxbinlength). これは、を使用して設定でき .option("maxbinlength", n) ます。ここで、0 < n <= 8000 です。It can be set using .option("maxbinlength", n), where 0 < n <= 8000.
    • Azure Storage SDK を更新して、8.6.4 ドライバーによって行われた接続で TCP keep alive を有効にします。Update Azure Storage SDK to 8.6.4 and enable TCP keep alive on connections made by the WASB driver
  • 2020年8月25までAug 25, 2020

    • 自己マージのあいまいな属性解決を修正したFixed ambiguous attribute resolution in self-merge
  • 2020年8月18日Aug 18, 2020

    • [SPARK-32431][SQL] 組み込みのデータソースからの読み取りで重複する入れ子になった列を確認します[SPARK-32431][SQL] Check duplicate nested columns in read from in-built datasources
    • トリガーを使用するときの AQS コネクタでの競合状態を修正した。Fixed a race condition in the AQS connector when using Trigger.Once.
  • 2020 年 8 月 11 日Aug 11, 2020

    • [SPARK-28676][CORE] contextcleaner からの過剰なログ記録を避ける[SPARK-28676][CORE] Avoid Excessive logging from ContextCleaner
  • 2020年8月3時Aug 3, 2020

    • これで、パススルー対応クラスターで LDA transform 関数を使用できるようになりました。You can now use the LDA transform function on a passthrough-enabled cluster.
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020年7月7日Jul 7, 2020

    • Java バージョンを1.8.0 以降232から1.8.0 以降252にアップグレードしました。Upgraded Java version from 1.8.0_232 to 1.8.0_252.
  • 2020年4月21日Apr 21, 2020

    • [SPARK-31312][SQL] HIVEFUNCTIONWRAPPER の UDF インスタンスのキャッシュクラスインスタンス[SPARK-31312][SQL] Cache Class instance for the UDF instance in HiveFunctionWrapper
  • 2020年4月7日Apr 7, 2020

    • PyArrow 0.15.0 以上で動作しないパンダの udf の問題を解決するには、環境変数 () を追加して、 ARROW_PRE_0_15_IPC_FORMAT=1 これらのバージョンの PyArrow をサポートできるようにしました。To resolve an issue with pandas udf not working with PyArrow 0.15.0 and above, we added an environment variable (ARROW_PRE_0_15_IPC_FORMAT=1) to enable support for those versions of PyArrow. 詳細については、「 [SPARK-29367]」を参照してください。See the instructions in [SPARK-29367].
  • 2020 年 3 月 10 日March 10, 2020

    • 最適化された自動スケールは、 Azure Databricks Premium プランのすべての目的のクラスターで既定で使用されるようになりました。Optimized autoscaling is now used by default on all-purpose clusters on the Azure Databricks Premium Plan.
    • spark-snowflake_2.11Databricks Runtime に含まれているスノーフレークコネクタ () は、バージョン2.5.9 に更新されます。The Snowflake connector (spark-snowflake_2.11) included in Databricks Runtime is updated to version 2.5.9. snowflake-jdbc はバージョン3.12.0 に更新されます。snowflake-jdbc is updated to version 3.12.0.

Databricks Runtime 5.5 LTS Databricks Runtime 5.5 LTS

Databricks Runtime 5.5 LTSを参照してください。See Databricks Runtime 5.5 LTS.

  • 2021 年 1 月 12 日Jan 12, 2021

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
    • [HADOOP-17130]の修正。Fix for [HADOOP-17130].
  • 2020 年 12 月 8 日Dec 8, 2020

    • [SPARK-27421][SQL] 列のフィルターを修正し、パーティション列を排除するときに値クラスの System.string を修正します。[SPARK-27421][SQL] Fix filter for int column and value class java.lang.String when pruning partition column
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020年12月1時Dec 1, 2020

    • [SPARK-33260][SQL] ソート順序が Stream の場合に sortexec から間違った結果を修正します[SPARK-33260][SQL] Fix incorrect results from SortExec when sortOrder is Stream
    • [SPARK-32635][SQL] たたみ込み伝達を修正します[SPARK-32635][SQL] Fix foldable propagation
  • 2020年10月29日Oct 29, 2020

    • Java バージョンを1.8.0 以降252から1.8.0 以降265にアップグレードしました。Upgraded Java version from 1.8.0_252 to 1.8.0_265.
    • UserGroupInformation に関して ABFS ロックと中 b ロックを修正します。 getCurrentUser ()Fix ABFS and WASB locking with regard to UserGroupInformation.getCurrentUser()
    • マジックバイトを読み取るときに Avro リーダーの無限ループバグを修正します。Fix an infinite loop bug of Avro reader when reading the MAGIC bytes.
  • 2020 年 10 月 13 日Oct 13, 2020

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
    • [SPARK-32999][SQL] [2.4] を使用して、TreeNode のクラス名の形式が正しくないことを回避するには、getSimpleName[SPARK-32999][SQL][2.4] Use Utils.getSimpleName to avoid hitting Malformed class name in TreeNode
  • 2020年9月24日Sep 24, 2020

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020 年 9 月 8 日Sep 8, 2020

    • Azure Synapse Analytics の新しいパラメーターが作成されました maxbinlengthA new parameter was created for Azure Synapse Analytics, maxbinlength. このパラメーターは、BinaryType 列の列の長さを制御するために使用され、として変換され VARBINARY(maxbinlength) ます。This parameter is used to control the column length of BinaryType columns, and is translated as VARBINARY(maxbinlength). これは、を使用して設定でき .option("maxbinlength", n) ます。ここで、0 < n <= 8000 です。It can be set using .option("maxbinlength", n), where 0 < n <= 8000.
  • 2020年8月18日Aug 18, 2020

    • [SPARK-32431][SQL] 組み込みのデータソースからの読み取りで重複する入れ子になった列を確認します[SPARK-32431][SQL] Check duplicate nested columns in read from in-built datasources
    • トリガーを使用するときの AQS コネクタでの競合状態を修正した。Fixed a race condition in the AQS connector when using Trigger.Once.
  • 2020 年 8 月 11 日Aug 11, 2020

    • [SPARK-28676][CORE] contextcleaner からの過剰なログ記録を避ける[SPARK-28676][CORE] Avoid Excessive logging from ContextCleaner
  • 2020年8月3時Aug 3, 2020

    • オペレーティングシステムのセキュリティ更新プログラムOperating system security updates
  • 2020年7月7日Jul 7, 2020

    • Java バージョンを1.8.0 以降232から1.8.0 以降252にアップグレードしました。Upgraded Java version from 1.8.0_232 to 1.8.0_252.
  • 2020年4月21日Apr 21, 2020

    • [SPARK-31312][SQL] HIVEFUNCTIONWRAPPER の UDF インスタンスのキャッシュクラスインスタンス[SPARK-31312][SQL] Cache Class instance for the UDF instance in HiveFunctionWrapper
  • 2020年4月7日Apr 7, 2020

    • PyArrow 0.15.0 以上で動作しないパンダの udf の問題を解決するには、環境変数 () を追加して、 ARROW_PRE_0_15_IPC_FORMAT=1 これらのバージョンの PyArrow をサポートできるようにしました。To resolve an issue with pandas udf not working with PyArrow 0.15.0 and above, we added an environment variable (ARROW_PRE_0_15_IPC_FORMAT=1) to enable support for those versions of PyArrow. 詳細については、「 [SPARK-29367]」を参照してください。See the instructions in [SPARK-29367].
  • 2020年3月25、Mar 25, 2020

    • spark-snowflake_2.11Databricks Runtime に含まれているスノーフレークコネクタ () は、バージョン2.5.9 に更新されます。The Snowflake connector (spark-snowflake_2.11) included in Databricks Runtime is updated to version 2.5.9. snowflake-jdbc はバージョン3.12.0 に更新されます。snowflake-jdbc is updated to version 3.12.0.
  • 2020 年 3 月 10 日Mar 10, 2020

    • ジョブ出力 (stdout に出力されるログ出力など) には、20 MB のサイズ制限が適用されます。Job output, such as log output emitted to stdout, is subject to a 20MB size limit. 出力の合計サイズが大きい場合は、実行が取り消され、失敗としてマークされます。If the total output has a larger size, the run will be canceled and marked as failed. この制限が発生しないようにするために、 spark.databricks.driver.disableScalaOutput Spark 構成をに設定することにより、ドライバーからに stdout が返されないようにすることができます trueTo avoid encountering this limit, you can prevent stdout from being returned from the driver to by setting the spark.databricks.driver.disableScalaOutput Spark configuration to true. 既定では、フラグの値は false です。By default the flag value is false. フラグは、1つの JAR ジョブと1つのノートブックのセル出力を制御します。The flag controls cell output for Scala JAR jobs and Scala notebooks. フラグが有効になっている場合、Spark はジョブの実行結果をクライアントに返しません。If the flag is enabled, Spark does not return job execution results to the client. フラグは、クラスターのログファイルに書き込まれたデータには影響しません。The flag does not affect the data that is written in the cluster’s log files. このフラグの設定は、notebook の結果を無効にするため、JAR ジョブの自動クラスターに対してのみ推奨されます。Setting this flag is recommended only for automated clusters for JAR jobs, because it will disable notebook results.
  • 2020年2月18日Feb 18, 2020

    • [Spark-24783][SQL] SPARK. .sql. シャッフル. partitions = 0 は例外をスローする必要があります[SPARK-24783][SQL] spark.sql.shuffle.partitions=0 should throw exception
    • ADLS Gen2 を使用した資格情報のパススルーでは、ADLS クライアントのプリフェッチが有効になっている場合にスレッドローカル処理が正しくないため、パフォーマンスが低下します。Credential passthrough with ADLS Gen2 has a performance degradation due to incorrect thread local handling when ADLS client prefetching is enabled. このリリースでは、適切な修正が行われるまで、資格情報のパススルーが有効になっている場合に ADLS Gen2 プリフェッチが無効になります。This release disables ADLS Gen2 prefetching when credential passthrough is enabled until we have a proper fix.
  • 2020年1月28日Jan 28, 2020

  • 2020 年 1 月 14 日Jan 14, 2020

    • Java バージョンを1.8.0 以降222から1.8.0 以降232にアップグレードしました。Upgraded Java version from 1.8.0_222 to 1.8.0_232.
  • 2019年11月19日Nov 19, 2019

    • [SPARK-29743] [SQL] サンプルは、子の必要な copyresult が true の場合に、必要な copyresult を true に設定する必要があります[SPARK-29743] [SQL] sample should set needCopyResult to true if its child’s needCopyResult is true
    • R バージョンは、3.6.0 から3.6.1 に unintendedly にアップグレードされました。R version was unintendedly upgraded to 3.6.1 from 3.6.0. 3.6.0 にダウングレードしています。We downgraded it back to 3.6.0.
  • 2019年11月5日Nov 5, 2019

    • Java バージョンを1.8.0 以降から1.8.0 以降222にアップグレードしました。Upgraded Java version from 1.8.0_212 to 1.8.0_222.
  • 2019年10月23日Oct 23, 2019

    • [SPARK-29244][CORE] BytesToBytesMap の解放されたページを再利用できないようにします[SPARK-29244][CORE] Prevent freed page in BytesToBytesMap free again
  • 2019 年 10 月 8 日Oct 8, 2019

    • サーバー側の変更により、結果のフェッチ中に接続エラーが発生した後に、Simba Apache Spark ODBC ドライバーを再接続して続行できるようになります ( Simba APACHE SPARK odbc ドライバーバージョン 2.6.10が必要です)。Server side changes to allow Simba Apache Spark ODBC driver to reconnect and continue after a connection failure during fetching results (requires Simba Apache Spark ODBC driver version 2.6.10).
    • Optimizeテーブル ACL が有効なクラスターでのコマンドの使用に影響する問題を修正しました。Fixed an issue affecting using Optimize command with table ACL enabled clusters.
    • pyspark.mlテーブル ACL および資格情報のパススルーが有効になっているクラスターで、UDF の禁止されたエラーによってライブラリが失敗する問題を修正しました。Fixed an issue where pyspark.ml libraries would fail due to Scala UDF forbidden error on table ACL and credential passthrough enabled clusters.
    • 資格情報のパススルー用にリストされた SerDe および SerDeUtil メソッド。Allowlisted SerDe and SerDeUtil methods for credential passthrough.
    • クライアントのエラーコードを確認するときに Nullポインター例外を修正します。Fixed NullPointerException when checking error code in the WASB client.
  • 2019年9月24日Sep 24, 2019

    • Parquet writer の安定性が向上しました。Improved stability of Parquet writer.
    • Thrift クエリが実行を開始する前にキャンセルされた問題が、開始状態になっている可能性があることを修正しました。Fixed the problem that Thrift query cancelled before it starts executing may stuck in STARTED state.
  • 2019年9月10、Sep 10, 2019

    • BytesToBytesMap にスレッドセーフな反復子を追加するAdd thread safe iterator to BytesToBytesMap
    • [Spark-27992][spark-28881]Python と接続スレッドを結合してエラーを伝達できるようにする[SPARK-27992][SPARK-28881]Allow Python to join with connection thread to propagate errors
    • 特定のグローバル集計クエリに影響するバグを修正した。Fixed a bug affecting certain global aggregation queries.
    • 強化された資格情報の墨消し。Improved credential redaction.
    • [SPARK-27330][SS] foreach writer でのタスクの中止のサポート[SPARK-27330][SS] support task abort in foreach writer
    • [SPARK-28642]表示 CREATE TABLE で資格情報を非表示にする[SPARK-28642]Hide credentials in SHOW CREATE TABLE
    • [SPARK-28699][SQL] パーティション分割の場合に ShuffleExchangeExec に対して基数並べ替えの使用を無効にする[SPARK-28699][SQL] Disable using radix sort for ShuffleExchangeExec in repartition case
  • 2019 年 8 月 27 日Aug 27, 2019

    • [SPARK-20906][SQL] スキーマレジストリを使用して to_avro API でユーザー指定のスキーマを許可する[SPARK-20906][SQL]Allow user-specified schema in the API to_avro with schema registry
    • [SPARK-27838][SQL] サポートユーザーが null レコードを含まない null 許容型の catalyst スキーマに対して null 非許容の avro スキーマを指定しました[SPARK-27838][SQL] Support user provided non-nullable avro schema for nullable catalyst schema without any null record
    • デルタレイクのタイムトラベルの向上Improvement on Delta Lake time travel
    • 特定の式に影響する問題を修正した transformFixed an issue affecting certain transform expression
    • プロセス分離が有効になっている場合にブロードキャスト変数をサポートするSupports broadcast variables when Process Isolation is enabled
  • 2019 年 8 月 13 日Aug 13, 2019

    • デルタストリーミングソースは、テーブルの最新のプロトコルを確認する必要がありますDelta streaming source should check the latest protocol of a table
    • [SPARK-28260]終了状態を ExecutionState に追加する[SPARK-28260]Add CLOSED state to ExecutionState
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator がオフセットを削除する可能性のあるバグを修正します[SPARK-28489][SS]Fix a bug that KafkaOffsetRangeCalculator.getRanges may drop offsets
  • 2019年7月30日Jul 30, 2019

    • [SPARK-28015][SQL] [文字列のチェック] () は、yyyy および yyyy-[m] m の形式の入力全体を使用します[SPARK-28015][SQL] Check stringToDate() consumes entire input for the yyyy and yyyy-[m]m formats
    • [SPARK-28308][CORE] calendarinterval サブ2番目の部分は、解析の前に埋め込む必要があります[SPARK-28308][CORE] CalendarInterval sub-second part should be padded before parsing
    • [SPARK-27485]EnsureRequirements では、重複する式を適切に処理する必要があります[SPARK-27485]EnsureRequirements.reorder should handle duplicate expressions gracefully
    • [SPARK-28355][CORE] [PYTHON] SPARK Conf を使用して、UDF がブロードキャストによって圧縮されるしきい値を指定します。[SPARK-28355][CORE][PYTHON] Use Spark conf for threshold at which UDF is compressed by broadcast

Databricks 明るい 2.4 Databricks Light 2.4

Databricks Light 2.4」を参照してください。See Databricks Light 2.4.

  • 2021 年 1 月 12 日Jan 12, 2021

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020 年 12 月 8 日Dec 8, 2020

    • [SPARK-27421][SQL] 列のフィルターを修正し、パーティション列を排除するときに値クラスの System.string を修正します。[SPARK-27421][SQL] Fix filter for int column and value class java.lang.String when pruning partition column
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020年12月1時Dec 1, 2020

  • [SPARK-33260][SQL] ソート順序が Stream の場合に sortexec から間違った結果を修正します[SPARK-33260][SQL] Fix incorrect results from SortExec when sortOrder is Stream

  • 2020年11月3日Nov 3, 2020

    • Java バージョンを1.8.0 以降252から1.8.0 以降265にアップグレードしました。Upgraded Java version from 1.8.0_252 to 1.8.0_265.
    • UserGroupInformation に関して ABFS ロックと中 b ロックを修正します。 getCurrentUser ()Fix ABFS and WASB locking with regard to UserGroupInformation.getCurrentUser()
  • 2020 年 10 月 13 日Oct 13, 2020

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.

サポートされていない Databricks Runtime リリースUnsupported Databricks Runtime releases

サポートされていない Databricks Runtime リリースのメンテナンス更新:Maintenance updates for unsupported Databricks Runtime releases:

元のリリースノートについては、小見出しの下にあるリンクを参照してください。For the original release notes, follow the link below the subheading.

Databricks Runtime 7.2 (サポートされていません) Databricks Runtime 7.2 (Unsupported)

Databricks Runtime 7.2 (サポートされていません) を参照してください。See Databricks Runtime 7.2 (Unsupported).

  • 2021年2月4日Feb 4, 2021

    • などのグローバル制限を設定するクエリの増分実行を防止する回帰を修正し SELECT * FROM table LIMIT nrows ます。Fixed a regression that prevents the incremental execution of a query that sets a global limit such as SELECT * FROM table LIMIT nrows. 矢印のシリアル化が有効になっている ODBC/JDBC を使用してクエリを実行するユーザーが、この回帰を経験しました。The regression was experienced by users running queries via ODBC/JDBC with Arrow serialization enabled.
    • クラスター環境変数の構成に無効な bash 構文が含まれている場合に、DBFS ヒューズが起動しない原因となった回帰を修正しました。Fixed a regression that caused DBFS FUSE to fail to start when cluster environment variable configurations contain invalid bash syntax.
  • 2021年1月20日Jan 20, 2021

    • 2021年1月12日のメンテナンスリリースで、誤った AnalysisException を引き起こす可能性がある回帰を修正し、列が自己結合であいまいであると言います。Fixed a regression in the Jan 12, 2021 maintenance release that can cause an incorrect AnalysisException and say the column is ambiguous in a self join. この回帰は、ユーザーが次の条件でデータフレームとその派生データフレーム (いわゆる自己結合) を結合すると発生します。This regression happens when a user joins a DataFrame with its derived DataFrame (a so-called self-join) with the following conditions:
      • これら2つの DataFrames に共通の列がありますが、自己結合の出力に共通の列がありません。These two DataFrames have common columns, but the output of the self join does not have common columns. たとえば、df.join(df.select($"col" as "new_col"), cond)For example, df.join(df.select($"col" as "new_col"), cond)
      • 派生データフレームは、select、groupBy、または window を介して一部の列を除外します。The derived DataFrame excludes some columns via select, groupBy, or window.
      • 結合されたデータフレームの後の結合条件または次の変換は、共通でない列を参照します。The join condition or the following transformation after the joined Dataframe refers to the non-common columns. たとえば、df.join(df.drop("a"), df("a") === 1)For example, df.join(df.drop("a"), df("a") === 1)
  • 2021 年 1 月 12 日Jan 12, 2021

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
    • [SPARK-33593][SQL] ベクターリーダーに、バイナリパーティション値を含む正しくないデータが返される[SPARK-33593][SQL] Vector reader got incorrect data with binary partition value
    • [SPARK-33677][SQL] Skip LikeSimplification rule if Pattern contains escapeChar[SPARK-33677][SQL] Skip LikeSimplification rule if pattern contains any escapeChar
    • [Spark-33071][33536] [SQL] DetectAmbiguousSelfJoin を中断しないようにするには、join () で logicalplan の dataset_id を変更しないようにします[SPARK-33071][SPARK-33536][SQL] Avoid changing dataset_id of LogicalPlan in join() to not break DetectAmbiguousSelfJoin
  • 2020 年 12 月 8 日Dec 8, 2020

    • [SPARK-27421][SQL] 列のフィルターを修正し、パーティション列を排除するときに値クラスの System.string を修正します。[SPARK-27421][SQL] Fix filter for int column and value class java.lang.String when pruning partition column
    • [SPARK-33404][SQL] 式に正しくない結果が修正される date_trunc[SPARK-33404][SQL] Fix incorrect results in date_trunc expression
    • [SPARK-33339][PYTHON] Pyspark アプリケーションは、例外以外のエラーにより停止します[SPARK-33339][PYTHON] Pyspark application will hang due to non Exception error
    • [SPARK-33183][SQL] オプティマイザールール EliminateSorts を修正し、冗長な並べ替えを削除するための物理ルールを追加します[SPARK-33183][SQL] Fix Optimizer rule EliminateSorts and add a physical rule to remove redundant sorts
    • [SPARK-33391][SQL] Element_at createarray が1ベースのインデックスを考慮していません。[SPARK-33391][SQL] element_at with CreateArray not respect one based index.
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020年12月1時Dec 1, 2020

    • [SPARK-33306][SQL] 日付を文字列にキャストする場合は、タイムゾーンが必要です[SPARK-33306][SQL]Timezone is needed when cast date to string
    • [SPARK-33260][SQL] ソート順序が Stream の場合に sortexec から間違った結果を修正します[SPARK-33260][SQL] Fix incorrect results from SortExec when sortOrder is Stream
  • 2020年11月3日Nov 3, 2020

    • Java バージョンを1.8.0 以降252から1.8.0 以降265にアップグレードしました。Upgraded Java version from 1.8.0_252 to 1.8.0_265.
    • UserGroupInformation に関して ABFS ロックと中 b ロックを修正します。 getCurrentUser ()Fix ABFS and WASB locking with regard to UserGroupInformation.getCurrentUser()
    • マジックバイトを読み取るときに Avro リーダーの無限ループバグを修正します。Fix an infinite loop bug of Avro reader when reading the MAGIC bytes.
  • 2020 年 10 月 13 日Oct 13, 2020

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
    • [SPARK-32999][SQL] を使用して、TreeNode でクラス名の形式が正しくないことを回避するには、getSimpleName[SPARK-32999][SQL] Use Utils.getSimpleName to avoid hitting Malformed class name in TreeNode
    • 無効な XML 文字を含むファイル名を含む、ヒューズマウント内のディレクトリを修正します。Fixed listing directories in FUSE mount that contain file names with invalid XML characters
    • ヒューズマウントで Listmultipartuを使用しなくなりました。FUSE mount no longer uses ListMultipartUploads
  • 2020年9月29日Sep 29, 2020

    • [SPARK-28863][SQL] [組み込みの修正] V1FallbackWriters の再分析を防止するために事前に最適化されています[SPARK-28863][SQL][WARMFIX] Introduce AlreadyOptimized to prevent reanalysis of V1FallbackWriters
    • [SPARK-32635][SQL] たたみ込み伝達を修正します[SPARK-32635][SQL] Fix foldable propagation
    • 新しい構成を追加 spark.shuffle.io.decoder.consolidateThreshold します。Add a new config spark.shuffle.io.decoder.consolidateThreshold. 構成値をに設定して、 Long.MAX_VALUE netty FrameBuffers の統合をスキップします。これにより、コーナーケースが回避され java.lang.IndexOutOfBoundsException ます。Set the config value to Long.MAX_VALUE to skip the consolidation of netty FrameBuffers, which prevents java.lang.IndexOutOfBoundsException in corner cases.
  • 2020年9月24日Sep 24, 2020

    • [SPARK-32764][SQL]-0.0 は0.0 と同じでなければなりません[SPARK-32764][SQL] -0.0 should be equal to 0.0
    • [SPARK-32753][SQL] プランの変換時にタグをタグなしでノードにコピーします[SPARK-32753][SQL] Only copy tags to node with no tags when transforming plans
    • [SPARK-32659][SQL] 挿入された動的パーティション排除のデータ問題を非アトミック型で修正します[SPARK-32659][SQL] Fix the data issue of inserted Dynamic Partition Pruning on non-atomic type
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020 年 9 月 8 日Sep 8, 2020

    • Azure Synapse Analytics の新しいパラメーターが作成されました maxbinlengthA new parameter was created for Azure Synapse Analytics, maxbinlength. このパラメーターは、BinaryType 列の列の長さを制御するために使用され、として変換され VARBINARY(maxbinlength) ます。This parameter is used to control the column length of BinaryType columns, and is translated as VARBINARY(maxbinlength). これは、を使用して設定でき .option("maxbinlength", n) ます。ここで、0 < n <= 8000 です。It can be set using .option("maxbinlength", n), where 0 < n <= 8000.

Databricks Runtime 7.1 (サポートされていません) Databricks Runtime 7.1 (Unsupported)

Databricks Runtime 7.1 (サポートされていません) を参照してください。See Databricks Runtime 7.1 (Unsupported).

  • 2021年2月4日Feb 4, 2021

    • クラスター環境変数の構成に無効な bash 構文が含まれている場合に、DBFS ヒューズが起動しない原因となった回帰を修正しました。Fixed a regression that caused DBFS FUSE to fail to start when cluster environment variable configurations contain invalid bash syntax.
  • 2021年1月20日Jan 20, 2021

    • 2021年1月12日のメンテナンスリリースで、誤った AnalysisException を引き起こす可能性がある回帰を修正し、列が自己結合であいまいであると言います。Fixed a regression in the Jan 12, 2021 maintenance release that can cause an incorrect AnalysisException and say the column is ambiguous in a self join. この回帰は、ユーザーが次の条件でデータフレームとその派生データフレーム (いわゆる自己結合) を結合すると発生します。This regression happens when a user joins a DataFrame with its derived DataFrame (a so-called self-join) with the following conditions:
      • これら2つの DataFrames に共通の列がありますが、自己結合の出力に共通の列がありません。These two DataFrames have common columns, but the output of the self join does not have common columns. たとえば、df.join(df.select($"col" as "new_col"), cond)For example, df.join(df.select($"col" as "new_col"), cond)
      • 派生データフレームは、select、groupBy、または window を介して一部の列を除外します。The derived DataFrame excludes some columns via select, groupBy, or window.
      • 結合されたデータフレームの後の結合条件または次の変換は、共通でない列を参照します。The join condition or the following transformation after the joined Dataframe refers to the non-common columns. たとえば、df.join(df.drop("a"), df("a") === 1)For example, df.join(df.drop("a"), df("a") === 1)
  • 2021 年 1 月 12 日Jan 12, 2021

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
    • [SPARK-33593][SQL] ベクターリーダーに、バイナリパーティション値を含む正しくないデータが返される[SPARK-33593][SQL] Vector reader got incorrect data with binary partition value
    • [SPARK-33677][SQL] Skip LikeSimplification rule if Pattern contains escapeChar[SPARK-33677][SQL] Skip LikeSimplification rule if pattern contains any escapeChar
    • [Spark-33071][33536] [SQL] DetectAmbiguousSelfJoin を中断しないようにするには、join () で logicalplan の dataset_id を変更しないようにします[SPARK-33071][SPARK-33536][SQL] Avoid changing dataset_id of LogicalPlan in join() to not break DetectAmbiguousSelfJoin
  • 2020 年 12 月 8 日Dec 8, 2020

    • [SPARK-27421][SQL] 列のフィルターを修正し、パーティション列を排除するときに値クラスの System.string を修正します。[SPARK-27421][SQL] Fix filter for int column and value class java.lang.String when pruning partition column
    • Databricks Connect を使用して起動された Spark ジョブは、実行 Executor$TaskRunner.$anonfun$copySessionState プログラムのスタックトレースで無期限にハングする可能性がありますSpark Jobs launched using Databricks Connect could hang indefinitely with Executor$TaskRunner.$anonfun$copySessionState in executor stack trace
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020年12月1時Dec 1, 2020

    • [SPARK-33404][SQL] [3.0] 式の結果が正しくないことを修正します date_trunc[SPARK-33404][SQL][3.0] Fix incorrect results in date_trunc expression
    • [SPARK-33339][PYTHON] Pyspark アプリケーションは、例外以外のエラーにより停止します[SPARK-33339][PYTHON] Pyspark application will hang due to non Exception error
    • [SPARK-33183][SQL] [修正プログラム] オプティマイザールール EliminateSorts を修正し、冗長な並べ替えを削除するための物理ルールを追加します。[SPARK-33183][SQL][HOTFIX] Fix Optimizer rule EliminateSorts and add a physical rule to remove redundant sorts
    • [SPARK-33371][python] [3.0] Setup.py と python 3.9 のテストの更新[SPARK-33371][PYTHON][3.0] Update setup.py and tests for Python 3.9
    • [SPARK-33391][SQL] Element_at createarray が1ベースのインデックスを考慮していません。[SPARK-33391][SQL] element_at with CreateArray not respect one based index.
    • [SPARK-33306][SQL] 日付を文字列にキャストする場合は、タイムゾーンが必要です[SPARK-33306][SQL]Timezone is needed when cast date to string
  • 2020年11月3日Nov 3, 2020

    • Java バージョンを1.8.0 以降252から1.8.0 以降265にアップグレードしました。Upgraded Java version from 1.8.0_252 to 1.8.0_265.
    • UserGroupInformation に関して ABFS ロックと中 b ロックを修正します。 getCurrentUser ()Fix ABFS and WASB locking with regard to UserGroupInformation.getCurrentUser()
    • マジックバイトを読み取るときに Avro リーダーの無限ループバグを修正します。Fix an infinite loop bug of Avro reader when reading the MAGIC bytes.
  • 2020 年 10 月 13 日Oct 13, 2020

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
    • [SPARK-32999][SQL] を使用して、TreeNode でクラス名の形式が正しくないことを回避するには、getSimpleName[SPARK-32999][SQL] Use Utils.getSimpleName to avoid hitting Malformed class name in TreeNode
    • 無効な XML 文字を含むファイル名を含む、ヒューズマウント内のディレクトリを修正します。Fixed listing directories in FUSE mount that contain file names with invalid XML characters
    • ヒューズマウントで Listmultipartuを使用しなくなりました。FUSE mount no longer uses ListMultipartUploads
  • 2020年9月29日Sep 29, 2020

    • [SPARK-28863][SQL] [組み込みの修正] V1FallbackWriters の再分析を防止するために事前に最適化されています[SPARK-28863][SQL][WARMFIX] Introduce AlreadyOptimized to prevent reanalysis of V1FallbackWriters
    • [SPARK-32635][SQL] たたみ込み伝達を修正します[SPARK-32635][SQL] Fix foldable propagation
    • 新しい構成を追加 spark.shuffle.io.decoder.consolidateThreshold します。Add a new config spark.shuffle.io.decoder.consolidateThreshold. 構成値をに設定して、 Long.MAX_VALUE netty FrameBuffers の統合をスキップします。これにより、コーナーケースが回避され java.lang.IndexOutOfBoundsException ます。Set the config value to Long.MAX_VALUE to skip the consolidation of netty FrameBuffers, which prevents java.lang.IndexOutOfBoundsException in corner cases.
  • 2020年9月24日Sep 24, 2020

    • [SPARK-32764][SQL]-0.0 は0.0 と同じでなければなりません[SPARK-32764][SQL] -0.0 should be equal to 0.0
    • [SPARK-32753][SQL] プランの変換時にタグをタグなしでノードにコピーします[SPARK-32753][SQL] Only copy tags to node with no tags when transforming plans
    • [SPARK-32659][SQL] 挿入された動的パーティション排除のデータ問題を非アトミック型で修正します[SPARK-32659][SQL] Fix the data issue of inserted Dynamic Partition Pruning on non-atomic type
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020 年 9 月 8 日Sep 8, 2020

    • Azure Synapse Analytics の新しいパラメーターが作成されました maxbinlengthA new parameter was created for Azure Synapse Analytics, maxbinlength. このパラメーターは、BinaryType 列の列の長さを制御するために使用され、として変換され VARBINARY(maxbinlength) ます。This parameter is used to control the column length of BinaryType columns, and is translated as VARBINARY(maxbinlength). これは、を使用して設定でき .option("maxbinlength", n) ます。ここで、0 < n <= 8000 です。It can be set using .option("maxbinlength", n), where 0 < n <= 8000.
  • 2020年8月25までAug 25, 2020

    • [SPARK-32159][SQL] との間の統合 Aggregator[Array[_], _, _] を修正します UnresolvedMapObjects[SPARK-32159][SQL] Fix integration between Aggregator[Array[_], _, _] and UnresolvedMapObjects
    • [SPARK-32559][SQL] のトリムロジックを修正し UTF8String.toInt/toLong ます。これにより、ASCII 以外の文字が正しく処理されませんでした[SPARK-32559][SQL] Fix the trim logic in UTF8String.toInt/toLong, which didn’t handle non-ASCII characters correctly
    • [SPARK-32543][R] arrow::as_tibble SparkR の使用を削除します[SPARK-32543][R] Remove arrow::as_tibble usage in SparkR
    • [SPARK-32091][CORE] 失われた実行プログラムのブロックを削除するときに、タイムアウトエラーを無視します[SPARK-32091][CORE] Ignore timeout error when removing blocks on the lost executor
    • MSI 資格情報を使用した Azure Synapse コネクタに影響する問題を修正したFixed an issue affecting Azure Synapse connector with MSI credentials
    • 自己マージのあいまいな属性解決を修正したFixed ambiguous attribute resolution in self-merge
  • 2020年8月18日Aug 18, 2020

    • [SPARK-32594][SQL] Hive テーブルに挿入された日付のシリアル化を修正します[SPARK-32594][SQL] Fix serialization of dates inserted to Hive tables
    • [SPARK-32237][SQL] CTE の Resolve ヒント[SPARK-32237][SQL] Resolve hint in CTE
    • [SPARK-32431][SQL] 組み込みのデータソースからの読み取りで重複する入れ子になった列を確認します[SPARK-32431][SQL] Check duplicate nested columns in read from in-built datasources
    • [SPARK-32467][UI] https リダイレクトで URL を2回エンコードしない[SPARK-32467][UI] Avoid encoding URL twice on https redirect
    • トリガーを使用するときの AQS コネクタでの競合状態を修正した。Fixed a race condition in the AQS connector when using Trigger.Once.
  • 2020 年 8 月 11 日Aug 11, 2020

    • [Spark-32280][spark-32372][SQL] ResolveReferences dedupRight は、競合計画の祖先ノードの属性のみを書き換える必要があります[SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight should only rewrite attributes for ancestor nodes of the conflict plan
    • [Spark-32234][SQL] SPARK SQL コマンドが ORC テーブルの選択に失敗しています[SPARK-32234][SQL] Spark SQL commands are failing on selecting the ORC tables
  • 2020年8月3時Aug 3, 2020

    • これで、パススルー対応クラスターで LDA transform 関数を使用できるようになりました。You can now use the LDA transform function on a passthrough-enabled cluster.

Databricks Runtime 7.0 (サポートされていません) Databricks Runtime 7.0 (Unsupported)

Databricks Runtime 7.0 (サポートされていません) を参照してください。See Databricks Runtime 7.0 (Unsupported).

  • 2021年2月4日Feb 4, 2021

    • クラスター環境変数の構成に無効な bash 構文が含まれている場合に、DBFS ヒューズが起動しない原因となった回帰を修正しました。Fixed a regression that caused DBFS FUSE to fail to start when cluster environment variable configurations contain invalid bash syntax.
  • 2021年1月20日Jan 20, 2021

    • 2021年1月12日のメンテナンスリリースで、誤った AnalysisException を引き起こす可能性がある回帰を修正し、列が自己結合であいまいであると言います。Fixed a regression in the Jan 12, 2021 maintenance release that can cause an incorrect AnalysisException and say the column is ambiguous in a self join. この回帰は、ユーザーが次の条件でデータフレームとその派生データフレーム (いわゆる自己結合) を結合すると発生します。This regression happens when a user joins a DataFrame with its derived DataFrame (a so-called self-join) with the following conditions:
      • これら2つの DataFrames に共通の列がありますが、自己結合の出力に共通の列がありません。These two DataFrames have common columns, but the output of the self join does not have common columns. たとえば、df.join(df.select($"col" as "new_col"), cond)For example, df.join(df.select($"col" as "new_col"), cond)
      • 派生データフレームは、select、groupBy、または window を介して一部の列を除外します。The derived DataFrame excludes some columns via select, groupBy, or window.
      • 結合されたデータフレームの後の結合条件または次の変換は、共通でない列を参照します。The join condition or the following transformation after the joined Dataframe refers to the non-common columns. たとえば、df.join(df.drop("a"), df("a") === 1)For example, df.join(df.drop("a"), df("a") === 1)
  • 2021 年 1 月 12 日Jan 12, 2021

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
    • [SPARK-33593][SQL] ベクターリーダーに、バイナリパーティション値を含む正しくないデータが返される[SPARK-33593][SQL] Vector reader got incorrect data with binary partition value
    • [SPARK-33677][SQL] Skip LikeSimplification rule if Pattern contains escapeChar[SPARK-33677][SQL] Skip LikeSimplification rule if pattern contains any escapeChar
    • [Spark-33071][33536] [SQL] DetectAmbiguousSelfJoin を中断しないようにするには、join () で logicalplan の dataset_id を変更しないようにします[SPARK-33071][SPARK-33536][SQL] Avoid changing dataset_id of LogicalPlan in join() to not break DetectAmbiguousSelfJoin
  • 2020 年 12 月 8 日Dec 8, 2020

    • [SPARK-27421][SQL] 列のフィルターを修正し、パーティション列を排除するときに値クラスの System.string を修正します。[SPARK-27421][SQL] Fix filter for int column and value class java.lang.String when pruning partition column
    • [SPARK-33404][SQL] 式に正しくない結果が修正される date_trunc[SPARK-33404][SQL] Fix incorrect results in date_trunc expression
    • [SPARK-33339][PYTHON] Pyspark アプリケーションは、例外以外のエラーにより停止します[SPARK-33339][PYTHON] Pyspark application will hang due to non Exception error
    • [SPARK-33183][SQL] オプティマイザールール EliminateSorts を修正し、冗長な並べ替えを削除するための物理ルールを追加します[SPARK-33183][SQL] Fix Optimizer rule EliminateSorts and add a physical rule to remove redundant sorts
    • [SPARK-33391][SQL] Element_at createarray が1ベースのインデックスを考慮していません。[SPARK-33391][SQL] element_at with CreateArray not respect one based index.
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020年12月1時Dec 1, 2020

    • [SPARK-33306][SQL] 日付を文字列にキャストする場合は、タイムゾーンが必要です[SPARK-33306][SQL]Timezone is needed when cast date to string
  • 2020年11月3日Nov 3, 2020

    • Java バージョンを1.8.0 以降252から1.8.0 以降265にアップグレードしました。Upgraded Java version from 1.8.0_252 to 1.8.0_265.
    • UserGroupInformation に関して ABFS ロックと中 b ロックを修正します。 getCurrentUser ()Fix ABFS and WASB locking with regard to UserGroupInformation.getCurrentUser()
    • マジックバイトを読み取るときに Avro リーダーの無限ループバグを修正します。Fix an infinite loop bug of Avro reader when reading the MAGIC bytes.
  • 2020 年 10 月 13 日Oct 13, 2020

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
    • [SPARK-32999][SQL] を使用して、TreeNode でクラス名の形式が正しくないことを回避するには、getSimpleName[SPARK-32999][SQL] Use Utils.getSimpleName to avoid hitting Malformed class name in TreeNode
    • 無効な XML 文字を含むファイル名を含む、ヒューズマウント内のディレクトリを修正します。Fixed listing directories in FUSE mount that contain file names with invalid XML characters
    • ヒューズマウントで Listmultipartuを使用しなくなりました。FUSE mount no longer uses ListMultipartUploads
  • 2020年9月29日Sep 29, 2020

    • [SPARK-28863][SQL] [組み込みの修正] V1FallbackWriters の再分析を防止するために事前に最適化されています[SPARK-28863][SQL][WARMFIX] Introduce AlreadyOptimized to prevent reanalysis of V1FallbackWriters
    • [SPARK-32635][SQL] たたみ込み伝達を修正します[SPARK-32635][SQL] Fix foldable propagation
    • 新しい構成を追加 spark.shuffle.io.decoder.consolidateThreshold します。Add a new config spark.shuffle.io.decoder.consolidateThreshold. 構成値をに設定して、 Long.MAX_VALUE netty FrameBuffers の統合をスキップします。これにより、コーナーケースが回避され java.lang.IndexOutOfBoundsException ます。Set the config value to Long.MAX_VALUE to skip the consolidation of netty FrameBuffers, which prevents java.lang.IndexOutOfBoundsException in corner cases.
  • 2020年9月24日Sep 24, 2020

    • [SPARK-32764][SQL]-0.0 は0.0 と同じでなければなりません[SPARK-32764][SQL] -0.0 should be equal to 0.0
    • [SPARK-32753][SQL] プランの変換時にタグをタグなしでノードにコピーします[SPARK-32753][SQL] Only copy tags to node with no tags when transforming plans
    • [SPARK-32659][SQL] 挿入された動的パーティション排除のデータ問題を非アトミック型で修正します[SPARK-32659][SQL] Fix the data issue of inserted Dynamic Partition Pruning on non-atomic type
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020 年 9 月 8 日Sep 8, 2020

    • Azure Synapse Analytics の新しいパラメーターが作成されました maxbinlengthA new parameter was created for Azure Synapse Analytics, maxbinlength. このパラメーターは、BinaryType 列の列の長さを制御するために使用され、として変換され VARBINARY(maxbinlength) ます。This parameter is used to control the column length of BinaryType columns, and is translated as VARBINARY(maxbinlength). これは、を使用して設定でき .option("maxbinlength", n) ます。ここで、0 < n <= 8000 です。It can be set using .option("maxbinlength", n), where 0 < n <= 8000.
  • 2020年8月25までAug 25, 2020

    • [SPARK-32159][SQL] との間の統合 Aggregator[Array[_], _, _] を修正します UnresolvedMapObjects[SPARK-32159][SQL] Fix integration between Aggregator[Array[_], _, _] and UnresolvedMapObjects
    • [SPARK-32559][SQL] のトリムロジックを修正し UTF8String.toInt/toLong ます。これにより、ASCII 以外の文字が正しく処理されませんでした[SPARK-32559][SQL] Fix the trim logic in UTF8String.toInt/toLong, which didn’t handle non-ASCII characters correctly
    • [SPARK-32543][R] arrow::as_tibble SparkR の使用を削除します[SPARK-32543][R] Remove arrow::as_tibble usage in SparkR
    • [SPARK-32091][CORE] 失われた実行プログラムのブロックを削除するときに、タイムアウトエラーを無視します[SPARK-32091][CORE] Ignore timeout error when removing blocks on the lost executor
    • MSI 資格情報を使用した Azure Synapse コネクタに影響する問題を修正したFixed an issue affecting Azure Synapse connector with MSI credentials
    • 自己マージのあいまいな属性解決を修正したFixed ambiguous attribute resolution in self-merge
  • 2020年8月18日Aug 18, 2020

    • [SPARK-32594][SQL] Hive テーブルに挿入された日付のシリアル化を修正します[SPARK-32594][SQL] Fix serialization of dates inserted to Hive tables
    • [SPARK-32237][SQL] CTE の Resolve ヒント[SPARK-32237][SQL] Resolve hint in CTE
    • [SPARK-32431][SQL] 組み込みのデータソースからの読み取りで重複する入れ子になった列を確認します[SPARK-32431][SQL] Check duplicate nested columns in read from in-built datasources
    • [SPARK-32467][UI] https リダイレクトで URL を2回エンコードしない[SPARK-32467][UI] Avoid encoding URL twice on https redirect
    • トリガーを使用するときの AQS コネクタでの競合状態を修正した。Fixed a race condition in the AQS connector when using Trigger.Once.
  • 2020 年 8 月 11 日Aug 11, 2020

    • [Spark-32280][spark-32372][SQL] ResolveReferences dedupRight は、競合計画の祖先ノードの属性のみを書き換える必要があります[SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight should only rewrite attributes for ancestor nodes of the conflict plan
    • [Spark-32234][SQL] SPARK SQL コマンドが ORC テーブルの選択に失敗しています[SPARK-32234][SQL] Spark SQL commands are failing on selecting the ORC tables
    • これで、パススルー対応クラスターで LDA transform 関数を使用できるようになりました。You can now use the LDA transform function on a passthrough-enabled cluster.

Databricks Runtime 6.6 (サポートされていません) Databricks Runtime 6.6 (Unsupported)

Databricks Runtime 6.6 (サポートされていません) を参照してください。See Databricks Runtime 6.6 (Unsupported).

  • 2020年12月1時Dec 1, 2020

    • [SPARK-33260][SQL] ソート順序が Stream の場合に sortexec から間違った結果を修正します[SPARK-33260][SQL] Fix incorrect results from SortExec when sortOrder is Stream
    • [SPARK-32635][SQL] たたみ込み伝達を修正します[SPARK-32635][SQL] Fix foldable propagation
  • 2020年11月3日Nov 3, 2020

    • Java バージョンを1.8.0 以降252から1.8.0 以降265にアップグレードしました。Upgraded Java version from 1.8.0_252 to 1.8.0_265.
    • UserGroupInformation に関して ABFS ロックと中 b ロックを修正します。 getCurrentUser ()Fix ABFS and WASB locking with regard to UserGroupInformation.getCurrentUser()
    • マジックバイトを読み取るときに Avro リーダーの無限ループバグを修正します。Fix an infinite loop bug of Avro reader when reading the MAGIC bytes.
  • 2020 年 10 月 13 日Oct 13, 2020

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
    • [SPARK-32999][SQL] [2.4] を使用して、TreeNode のクラス名の形式が正しくないことを回避するには、getSimpleName[SPARK-32999][SQL][2.4] Use Utils.getSimpleName to avoid hitting Malformed class name in TreeNode
    • 無効な XML 文字を含むファイル名を含む、ヒューズマウント内のディレクトリを修正します。Fixed listing directories in FUSE mount that contain file names with invalid XML characters
    • ヒューズマウントで Listmultipartuを使用しなくなりました。FUSE mount no longer uses ListMultipartUploads
  • 2020年9月24日Sep 24, 2020

    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020 年 9 月 8 日Sep 8, 2020

    • Azure Synapse Analytics の新しいパラメーターが作成されました maxbinlengthA new parameter was created for Azure Synapse Analytics, maxbinlength. このパラメーターは、BinaryType 列の列の長さを制御するために使用され、として変換され VARBINARY(maxbinlength) ます。This parameter is used to control the column length of BinaryType columns, and is translated as VARBINARY(maxbinlength). これは、を使用して設定でき .option("maxbinlength", n) ます。ここで、0 < n <= 8000 です。It can be set using .option("maxbinlength", n), where 0 < n <= 8000.
    • Azure Storage SDK を更新して、8.6.4 ドライバーによって行われた接続で TCP keep alive を有効にします。Update Azure Storage SDK to 8.6.4 and enable TCP keep alive on connections made by the WASB driver
  • 2020年8月25までAug 25, 2020

    • 自己マージのあいまいな属性解決を修正したFixed ambiguous attribute resolution in self-merge
  • 2020年8月18日Aug 18, 2020

    • [SPARK-32431][SQL] 組み込みのデータソースからの読み取りで重複する入れ子になった列を確認します[SPARK-32431][SQL] Check duplicate nested columns in read from in-built datasources
    • トリガーを使用するときの AQS コネクタでの競合状態を修正した。Fixed a race condition in the AQS connector when using Trigger.Once.
  • 2020 年 8 月 11 日Aug 11, 2020

    • [SPARK-28676][CORE] contextcleaner からの過剰なログ記録を避ける[SPARK-28676][CORE] Avoid Excessive logging from ContextCleaner
    • [SPARK-31967][UI] vis.js 4.21.0 にダウングレードして、ジョブの UI 読み込み時間の回帰を修正します[SPARK-31967][UI] Downgrade to vis.js 4.21.0 to fix Jobs UI loading time regression
  • 2020年8月3時Aug 3, 2020

    • これで、パススルー対応クラスターで LDA transform 関数を使用できるようになりました。You can now use the LDA transform function on a passthrough-enabled cluster.
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.

Databricks Runtime 6.5 (サポートされていません) Databricks Runtime 6.5 (Unsupported)

Databricks Runtime 6.5 (サポートされていません) を参照してください。See Databricks Runtime 6.5 (Unsupported).

  • 2020年9月24日Sep 24, 2020
    • 標準クラスターでのパススルーで、ユーザーが使用するファイルシステムの実装を制限するという以前の制限を修正した。Fixed a previous limitation where passthrough on standard cluster would still restrict the filesystem implementation user uses. これで、ユーザーは制限なしでローカルファイルシステムにアクセスできるようになりました。Now users would be able to access local filesystems without restrictions.
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020 年 9 月 8 日Sep 8, 2020
    • Azure Synapse Analytics の新しいパラメーターが作成されました maxbinlengthA new parameter was created for Azure Synapse Analytics, maxbinlength. このパラメーターは、BinaryType 列の列の長さを制御するために使用され、として変換され VARBINARY(maxbinlength) ます。This parameter is used to control the column length of BinaryType columns, and is translated as VARBINARY(maxbinlength). これは、を使用して設定でき .option("maxbinlength", n) ます。ここで、0 < n <= 8000 です。It can be set using .option("maxbinlength", n), where 0 < n <= 8000.
    • Azure Storage SDK を更新して、8.6.4 ドライバーによって行われた接続で TCP keep alive を有効にします。Update Azure Storage SDK to 8.6.4 and enable TCP keep alive on connections made by the WASB driver
  • 2020年8月25までAug 25, 2020
    • 自己マージのあいまいな属性解決を修正したFixed ambiguous attribute resolution in self-merge
  • 2020年8月18日Aug 18, 2020
    • [SPARK-32431][SQL] 組み込みのデータソースからの読み取りで重複する入れ子になった列を確認します[SPARK-32431][SQL] Check duplicate nested columns in read from in-built datasources
    • トリガーを使用するときの AQS コネクタでの競合状態を修正した。Fixed a race condition in the AQS connector when using Trigger.Once.
  • 2020 年 8 月 11 日Aug 11, 2020
    • [SPARK-28676][CORE] contextcleaner からの過剰なログ記録を避ける[SPARK-28676][CORE] Avoid Excessive logging from ContextCleaner
  • 2020年8月3時Aug 3, 2020
    • これで、パススルー対応クラスターで LDA transform 関数を使用できるようになりました。You can now use the LDA transform function on a passthrough-enabled cluster.
    • オペレーティングシステムのセキュリティ更新プログラム。Operating system security updates.
  • 2020年7月7日Jul 7, 2020
    • Java バージョンを1.8.0 以降242から1.8.0 以降252にアップグレードしました。Upgraded Java version from 1.8.0_242 to 1.8.0_252.
  • 2020年4月21日Apr 21, 2020
    • [SPARK-31312][SQL] HIVEFUNCTIONWRAPPER の UDF インスタンスのキャッシュクラスインスタンス[SPARK-31312][SQL] Cache Class instance for the UDF instance in HiveFunctionWrapper

Databricks Runtime 6.3 (サポートされていません) Databricks Runtime 6.3 (Unsupported)

Databricks Runtime 6.3 (サポートされていません) を参照してください。See Databricks Runtime 6.3 (Unsupported).

  • 2020年7月7日Jul 7, 2020
    • Java バージョンを1.8.0 以降232から1.8.0 以降252にアップグレードしました。Upgraded Java version from 1.8.0_232 to 1.8.0_252.
  • 2020年4月21日Apr 21, 2020
    • [SPARK-31312][SQL] HIVEFUNCTIONWRAPPER の UDF インスタンスのキャッシュクラスインスタンス[SPARK-31312][SQL] Cache Class instance for the UDF instance in HiveFunctionWrapper
  • 2020年4月7日Apr 7, 2020
    • PyArrow 0.15.0 以上で動作しないパンダの udf の問題を解決するには、環境変数 () を追加して、 ARROW_PRE_0_15_IPC_FORMAT=1 これらのバージョンの PyArrow をサポートできるようにしました。To resolve an issue with pandas udf not working with PyArrow 0.15.0 and above, we added an environment variable (ARROW_PRE_0_15_IPC_FORMAT=1) to enable support for those versions of PyArrow. 詳細については、「 [SPARK-29367]」を参照してください。See the instructions in [SPARK-29367].
  • 2020 年 3 月 10 日Mar 10, 2020
    • spark-snowflake_2.11Databricks Runtime に含まれているスノーフレークコネクタ () は、バージョン2.5.9 に更新されます。The Snowflake connector (spark-snowflake_2.11) included in Databricks Runtime is updated to version 2.5.9. snowflake-jdbc はバージョン3.12.0 に更新されます。snowflake-jdbc is updated to version 3.12.0.
  • 2020年2月18日Feb 18, 2020
    • ADLS Gen2 を使用した資格情報のパススルーでは、ADLS クライアントのプリフェッチが有効になっている場合にスレッドローカル処理が正しくないため、パフォーマンスが低下します。Credential passthrough with ADLS Gen2 has a performance degradation due to incorrect thread local handling when ADLS client prefetching is enabled. このリリースでは、適切な修正が行われるまで、資格情報のパススルーが有効になっている場合に ADLS Gen2 プリフェッチが無効になります。This release disables ADLS Gen2 prefetching when credential passthrough is enabled until we have a proper fix.
  • 2020 年 2 月 11 日Feb 11, 2020
    • [Spark-24783][SQL] SPARK. .sql. シャッフル. partitions = 0 は例外をスローする必要があります[SPARK-24783][SQL] spark.sql.shuffle.partitions=0 should throw exception
    • [SPARK-30447][SQL] 定数の反映の null 値許容の問題[SPARK-30447][SQL] Constant propagation nullability issue
    • [SPARK-28152][SQL] old MsSqlServerDialect numeric mapping のレガシ Conf を追加します。[SPARK-28152][SQL] Add a legacy conf for old MsSqlServerDialect numeric mapping
    • MLModels が Mlmodels を拡張して関数を呼び出すことができるように、上書き関数を allowlisted 示しました。Allowlisted the overwrite function so that the MLModels extends MLWriter could call the function.

Databricks Runtime 6.2 (サポートされていません) Databricks Runtime 6.2 (Unsupported)

Databricks Runtime 6.2 (サポートされていません) を参照してください。See Databricks Runtime 6.2 (Unsupported).

  • 2020年4月21日Apr 21, 2020
    • [SPARK-31312][SQL] HIVEFUNCTIONWRAPPER の UDF インスタンスのキャッシュクラスインスタンス[SPARK-31312][SQL] Cache Class instance for the UDF instance in HiveFunctionWrapper
  • 2020年4月7日Apr 7, 2020
    • PyArrow 0.15.0 以上で動作しないパンダの udf の問題を解決するには、環境変数 () を追加して、 ARROW_PRE_0_15_IPC_FORMAT=1 これらのバージョンの PyArrow をサポートできるようにしました。To resolve an issue with pandas udf not working with PyArrow 0.15.0 and above, we added an environment variable (ARROW_PRE_0_15_IPC_FORMAT=1) to enable support for those versions of PyArrow. 詳細については、「 [SPARK-29367]」を参照してください。See the instructions in [SPARK-29367].
  • 2020年3月25、Mar 25, 2020
    • ジョブ出力 (stdout に出力されるログ出力など) には、20 MB のサイズ制限が適用されます。Job output, such as log output emitted to stdout, is subject to a 20MB size limit. 出力の合計サイズが大きい場合は、実行が取り消され、失敗としてマークされます。If the total output has a larger size, the run will be canceled and marked as failed. この制限が発生しないようにするために、 spark.databricks.driver.disableScalaOutput Spark 構成をに設定することにより、ドライバーからに stdout が返されないようにすることができます trueTo avoid encountering this limit, you can prevent stdout from being returned from the driver to by setting the spark.databricks.driver.disableScalaOutput Spark configuration to true. 既定では、フラグの値は false です。By default the flag value is false. フラグは、1つの JAR ジョブと1つのノートブックのセル出力を制御します。The flag controls cell output for Scala JAR jobs and Scala notebooks. フラグが有効になっている場合、Spark はジョブの実行結果をクライアントに返しません。If the flag is enabled, Spark does not return job execution results to the client. フラグは、クラスターのログファイルに書き込まれたデータには影響しません。The flag does not affect the data that is written in the cluster’s log files. このフラグの設定は、notebook の結果を無効にするため、JAR ジョブの自動クラスターに対してのみ推奨されます。Setting this flag is recommended only for automated clusters for JAR jobs, because it will disable notebook results.
  • 2020 年 3 月 10 日Mar 10, 2020
    • spark-snowflake_2.11Databricks Runtime に含まれているスノーフレークコネクタ () は、バージョン2.5.9 に更新されます。The Snowflake connector (spark-snowflake_2.11) included in Databricks Runtime is updated to version 2.5.9. snowflake-jdbc はバージョン3.12.0 に更新されます。snowflake-jdbc is updated to version 3.12.0.
  • 2020年2月18日Feb 18, 2020
    • [Spark-24783][SQL] SPARK. .sql. シャッフル. partitions = 0 は例外をスローする必要があります[SPARK-24783][SQL] spark.sql.shuffle.partitions=0 should throw exception
    • ADLS Gen2 を使用した資格情報のパススルーでは、ADLS クライアントのプリフェッチが有効になっている場合にスレッドローカル処理が正しくないため、パフォーマンスが低下します。Credential passthrough with ADLS Gen2 has a performance degradation due to incorrect thread local handling when ADLS client prefetching is enabled. このリリースでは、適切な修正が行われるまで、資格情報のパススルーが有効になっている場合に ADLS Gen2 プリフェッチが無効になります。This release disables ADLS Gen2 prefetching when credential passthrough is enabled until we have a proper fix.
  • 2020年1月28日Jan 28, 2020
    • モデルの保存で資格情報のパススルークラスターで上書きモードを使用できるように、資格情報のパススルーが有効になっているクラスターに対して、ML モデルライターの ' overwrite 関数が表示されました。Allowlisted ML Model Writers’ overwrite function for clusters enabled for credential passthrough, so that model save can use overwrite mode on credential passthrough clusters.
    • [SPARK-30447][SQL] 定数の反映の null 値許容の問題。[SPARK-30447][SQL] Constant propagation nullability issue.
    • [SPARK-28152][SQL] old MsSqlServerDialect numeric mapping のレガシ Conf を追加します。[SPARK-28152][SQL] Add a legacy conf for old MsSqlServerDialect numeric mapping.
  • 2020 年 1 月 14 日Jan 14, 2020
    • Java バージョンを1.8.0 以降222から1.8.0 以降232にアップグレードしました。Upgraded Java version from 1.8.0_222 to 1.8.0_232.
  • 2019 年 12 月 10 日Dec 10, 2019
    • [SPARK-29904][SQL] JSON/CSV データソースのタイムスタンプをマイクロ秒単位で解析します。[SPARK-29904][SQL] Parse timestamps in microsecond precision by JSON/CSV data sources.

Databricks Runtime 6.1 (サポートされていません) Databricks Runtime 6.1 (Unsupported)

Databricks Runtime 6.1 (サポートされていません) を参照してください。See Databricks Runtime 6.1 (Unsupported).

  • 2020年4月7日Apr 7, 2020
    • PyArrow 0.15.0 以上で動作しないパンダの udf の問題を解決するには、環境変数 () を追加して、 ARROW_PRE_0_15_IPC_FORMAT=1 これらのバージョンの PyArrow をサポートできるようにしました。To resolve an issue with pandas udf not working with PyArrow 0.15.0 and above, we added an environment variable (ARROW_PRE_0_15_IPC_FORMAT=1) to enable support for those versions of PyArrow. 詳細については、「 [SPARK-29367]」を参照してください。See the instructions in [SPARK-29367].
  • 2020年3月25、Mar 25, 2020
    • ジョブ出力 (stdout に出力されるログ出力など) には、20 MB のサイズ制限が適用されます。Job output, such as log output emitted to stdout, is subject to a 20MB size limit. 出力の合計サイズが大きい場合は、実行が取り消され、失敗としてマークされます。If the total output has a larger size, the run will be canceled and marked as failed. この制限が発生しないようにするために、 spark.databricks.driver.disableScalaOutput Spark 構成をに設定することにより、ドライバーからに stdout が返されないようにすることができます trueTo avoid encountering this limit, you can prevent stdout from being returned from the driver to by setting the spark.databricks.driver.disableScalaOutput Spark configuration to true. 既定では、フラグの値は false です。By default the flag value is false. フラグは、1つの JAR ジョブと1つのノートブックのセル出力を制御します。The flag controls cell output for Scala JAR jobs and Scala notebooks. フラグが有効になっている場合、Spark はジョブの実行結果をクライアントに返しません。If the flag is enabled, Spark does not return job execution results to the client. フラグは、クラスターのログファイルに書き込まれたデータには影響しません。The flag does not affect the data that is written in the cluster’s log files. このフラグの設定は、notebook の結果を無効にするため、JAR ジョブの自動クラスターに対してのみ推奨されます。Setting this flag is recommended only for automated clusters for JAR jobs, because it will disable notebook results.
  • 2020 年 3 月 10 日Mar 10, 2020
    • spark-snowflake_2.11Databricks Runtime に含まれているスノーフレークコネクタ () は、バージョン2.5.9 に更新されます。The Snowflake connector (spark-snowflake_2.11) included in Databricks Runtime is updated to version 2.5.9. snowflake-jdbc はバージョン3.12.0 に更新されます。snowflake-jdbc is updated to version 3.12.0.
  • 2020年2月18日Feb 18, 2020
    • [Spark-24783][SQL] SPARK. .sql. シャッフル. partitions = 0 は例外をスローする必要があります[SPARK-24783][SQL] spark.sql.shuffle.partitions=0 should throw exception
    • ADLS Gen2 を使用した資格情報のパススルーでは、ADLS クライアントのプリフェッチが有効になっている場合にスレッドローカル処理が正しくないため、パフォーマンスが低下します。Credential passthrough with ADLS Gen2 has a performance degradation due to incorrect thread local handling when ADLS client prefetching is enabled. このリリースでは、適切な修正が行われるまで、資格情報のパススルーが有効になっている場合に ADLS Gen2 プリフェッチが無効になります。This release disables ADLS Gen2 prefetching when credential passthrough is enabled until we have a proper fix.
  • 2020年1月28日Jan 28, 2020
    • [SPARK-30447][SQL] 定数の反映の null 値許容の問題。[SPARK-30447][SQL] Constant propagation nullability issue.
    • [SPARK-28152][SQL] old MsSqlServerDialect numeric mapping のレガシ Conf を追加します。[SPARK-28152][SQL] Add a legacy conf for old MsSqlServerDialect numeric mapping.
  • 2020 年 1 月 14 日Jan 14, 2020
    • Java バージョンを1.8.0 以降222から1.8.0 以降232にアップグレードしました。Upgraded Java version from 1.8.0_222 to 1.8.0_232.
  • 2019年11月7日Nov 7, 2019
  • 2019年11月5日Nov 5, 2019
    • パスに含まれるマウントポイントを処理するように DBFS ヒューズのバグを修正した //Fixed a bug in DBFS FUSE to handle mount points having // in its path.
    • [SPARK-29081] 高速化された実装を使用して、プロパティの呼び出しを変更します。[SPARK-29081] Replace calls to SerializationUtils.clone on properties with a faster implementation
    • [SPARK-29244][CORE] BytesToBytesMap の解放されたページを再利用できないようにします[SPARK-29244][CORE] Prevent freed page in BytesToBytesMap free again
    • (6.1 ML) ライブラリ mkl バージョン2019.4 が誤ってインストールされました。(6.1 ML) Library mkl version 2019.4 was installed unintentionally. Anaconda Distribution 2019.03 に適合するように、これを mkl バージョン2019.3 にダウングレードしました。We downgraded it to mkl version 2019.3 to match Anaconda Distribution 2019.03.

Databricks Runtime 6.0 (サポートされていません) Databricks Runtime 6.0 (Unsupported)

Databricks Runtime 6.0 (サポートされていません) を参照してください。See Databricks Runtime 6.0 (Unsupported).

  • 2020年3月25、Mar 25, 2020
    • ジョブ出力 (stdout に出力されるログ出力など) には、20 MB のサイズ制限が適用されます。Job output, such as log output emitted to stdout, is subject to a 20MB size limit. 出力の合計サイズが大きい場合は、実行が取り消され、失敗としてマークされます。If the total output has a larger size, the run will be canceled and marked as failed. この制限が発生しないようにするために、 spark.databricks.driver.disableScalaOutput Spark 構成をに設定することにより、ドライバーからに stdout が返されないようにすることができます trueTo avoid encountering this limit, you can prevent stdout from being returned from the driver to by setting the spark.databricks.driver.disableScalaOutput Spark configuration to true. 既定では、フラグの値は false です。By default the flag value is false. フラグは、1つの JAR ジョブと1つのノートブックのセル出力を制御します。The flag controls cell output for Scala JAR jobs and Scala notebooks. フラグが有効になっている場合、Spark はジョブの実行結果をクライアントに返しません。If the flag is enabled, Spark does not return job execution results to the client. フラグは、クラスターのログファイルに書き込まれたデータには影響しません。The flag does not affect the data that is written in the cluster’s log files. このフラグの設定は、notebook の結果を無効にするため、JAR ジョブの自動クラスターに対してのみ推奨されます。Setting this flag is recommended only for automated clusters for JAR jobs, because it will disable notebook results.
  • 2020年2月18日Feb 18, 2020
    • ADLS Gen2 を使用した資格情報のパススルーでは、ADLS クライアントのプリフェッチが有効になっている場合にスレッドローカル処理が正しくないため、パフォーマンスが低下します。Credential passthrough with ADLS Gen2 has a performance degradation due to incorrect thread local handling when ADLS client prefetching is enabled. このリリースでは、適切な修正が行われるまで、資格情報のパススルーが有効になっている場合に ADLS Gen2 プリフェッチが無効になります。This release disables ADLS Gen2 prefetching when credential passthrough is enabled until we have a proper fix.
  • 2020 年 2 月 11 日Feb 11, 2020
    • [Spark-24783][SQL] SPARK. .sql. シャッフル. partitions = 0 は例外をスローする必要があります[SPARK-24783][SQL] spark.sql.shuffle.partitions=0 should throw exception
  • 2020年1月28日Jan 28, 2020
    • [SPARK-30447][SQL] 定数の反映の null 値許容の問題。[SPARK-30447][SQL] Constant propagation nullability issue.
    • [SPARK-28152][SQL] old MsSqlServerDialect numeric mapping のレガシ Conf を追加します。[SPARK-28152][SQL] Add a legacy conf for old MsSqlServerDialect numeric mapping.
  • 2020 年 1 月 14 日Jan 14, 2020
    • Java バージョンを1.8.0 以降222から1.8.0 以降232にアップグレードしました。Upgraded Java version from 1.8.0_222 to 1.8.0_232.
  • 2019年11月19日Nov 19, 2019
    • [SPARK-29743] [SQL] サンプルは、子の必要な copyresult が true の場合に、必要な copyresult を true に設定する必要があります[SPARK-29743] [SQL] sample should set needCopyResult to true if its child’s needCopyResult is true
  • 2019年11月5日Nov 5, 2019
    • dbutils.tensorboard.start() は、(手動でインストールされている場合)、のインストールが2.0 サポートされるようになりました。dbutils.tensorboard.start() now supports TensorBoard 2.0 (if installed manually).
    • パスに含まれるマウントポイントを処理するように DBFS ヒューズのバグを修正した //Fixed a bug in DBFS FUSE to handle mount points having // in its path.
    • [SPARK-29081]高速化された実装を使用して、プロパティの呼び出しを変更します。[SPARK-29081]Replace calls to SerializationUtils.clone on properties with a faster implementation
  • 2019年10月23日Oct 23, 2019
    • [SPARK-29244][CORE] BytesToBytesMap の解放されたページを再利用できないようにします[SPARK-29244][CORE] Prevent freed page in BytesToBytesMap free again
  • 2019 年 10 月 8 日Oct 8, 2019
    • サーバー側の変更により、結果のフェッチ中に接続エラーが発生した後に、Simba Apache Spark ODBC ドライバーを再接続して続行できるようになります ( Simba APACHE SPARK odbc ドライバーバージョン 2.6.10が必要です)。Server side changes to allow Simba Apache Spark ODBC driver to reconnect and continue after a connection failure during fetching results (requires Simba Apache Spark ODBC driver version 2.6.10).
    • Optimizeテーブル ACL が有効なクラスターでのコマンドの使用に影響する問題を修正しました。Fixed an issue affecting using Optimize command with table ACL enabled clusters.
    • pyspark.mlテーブル ACL および資格情報のパススルーが有効になっているクラスターで、UDF の禁止されたエラーによってライブラリが失敗する問題を修正しました。Fixed an issue where pyspark.ml libraries would fail due to Scala UDF forbidden error on table ACL and credential passthrough enabled clusters.
    • 資格情報のパススルー用にリストされた SerDe/SerDeUtil メソッド。Allowlisted SerDe/SerDeUtil methods for credential passthrough.
    • クライアントのエラーコードを確認するときに Nullポインター例外を修正します。Fixed NullPointerException when checking error code in the WASB client.
    • ユーザーの資格情報がによって作成されたジョブに転送されない問題を修正しました dbutils.notebook.run()Fixed the issue where user credentials were not forwarded to jobs created by dbutils.notebook.run().

Databricks Runtime 5.4 ML (サポートされていません) Databricks Runtime 5.4 ML (Unsupported)

Machine Learning については Databricks Runtime 5.4 (サポートされていません) を参照してください。See Databricks Runtime 5.4 for Machine Learning (Unsupported).

  • 2019 年 6 月 18 日Jun 18, 2019
    • Hyperopt 統合での MLflow アクティブな実行の処理の向上Improved handling of MLflow active runs in Hyperopt integration
    • Hyperopt でのメッセージの改善Improved messages in Hyperopt
    • パッケージ markdown を3.1 から3.1.1 に更新しましたUpdated package markdown from 3.1 to 3.1.1

Databricks Runtime 5.4 (サポートされていません) Databricks Runtime 5.4 (Unsupported)

Databricks Runtime 5.4 (サポートされていません) を参照してください。See Databricks Runtime 5.4 (Unsupported).

  • 2019年11月19日Nov 19, 2019
    • [SPARK-29743] [SQL] サンプルは、子の必要な copyresult が true の場合に、必要な copyresult を true に設定する必要があります[SPARK-29743] [SQL] sample should set needCopyResult to true if its child’s needCopyResult is true
  • 2019 年 10 月 8 日Oct 8, 2019
    • サーバー側の変更により、結果のフェッチ中に接続エラーが発生した後に、Simba Apache Spark ODBC ドライバーを再接続して続行できるようになります (Simba Apache Spark バージョン2.6.10 に更新する必要があります)。Server side changes to allow Simba Apache Spark ODBC driver to reconnect and continue after a connection failure during fetching results (requires Simba Apache Spark ODBC driver update to version 2.6.10).
    • クライアントのエラーコードを確認するときに Nullポインター例外を修正します。Fixed NullPointerException when checking error code in the WASB client.
  • 2019年9月10、Sep 10, 2019
    • BytesToBytesMap にスレッドセーフな反復子を追加するAdd thread safe iterator to BytesToBytesMap
    • 特定のグローバル集計クエリに影響するバグを修正した。Fixed a bug affecting certain global aggregation queries.
    • [SPARK-27330][SS] foreach writer でのタスクの中止のサポート[SPARK-27330][SS] support task abort in foreach writer
    • [SPARK-28642]表示 CREATE TABLE で資格情報を非表示にする[SPARK-28642]Hide credentials in SHOW CREATE TABLE
    • [SPARK-28699][SQL] パーティション分割の場合に ShuffleExchangeExec に対して基数並べ替えの使用を無効にする[SPARK-28699][SQL] Disable using radix sort for ShuffleExchangeExec in repartition case
    • [SPARK-28699][CORE] 不確定ステージを中止するためのコーナーケースを修正します[SPARK-28699][CORE] Fix a corner case for aborting indeterminate stage
  • 2019 年 8 月 27 日Aug 27, 2019
    • 特定の式に影響する問題を修正した transformFixed an issue affecting certain transform expressions
  • 2019 年 8 月 13 日Aug 13, 2019
    • デルタストリーミングソースは、テーブルの最新のプロトコルを確認する必要がありますDelta streaming source should check the latest protocol of a table
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator がオフセットを削除する可能性のあるバグを修正します[SPARK-28489][SS]Fix a bug that KafkaOffsetRangeCalculator.getRanges may drop offsets
  • 2019年7月30日Jul 30, 2019
    • [SPARK-28015][SQL] [文字列のチェック] () は、yyyy および yyyy-[m] m の形式の入力全体を使用します[SPARK-28015][SQL] Check stringToDate() consumes entire input for the yyyy and yyyy-[m]m formats
    • [SPARK-28308][CORE] calendarinterval サブ2番目の部分は、解析の前に埋め込む必要があります[SPARK-28308][CORE] CalendarInterval sub-second part should be padded before parsing
    • [SPARK-27485]EnsureRequirements では、重複する式を適切に処理する必要があります[SPARK-27485]EnsureRequirements.reorder should handle duplicate expressions gracefully
  • 2019年7月2、Jul 2, 2019
    • Snappy を1.1.7.1 から1.1.7.3 にアップグレードしました。Upgraded snappy-java from 1.1.7.1 to 1.1.7.3.
  • 2019 年 6 月 18 日Jun 18, 2019
    • Mlflow 統合での MLflow アクティブな実行の処理の向上Improved handling of MLflow active runs in MLlib integration
    • デルタキャッシュの使用に関連する Databricks Advisor メッセージの改善Improved Databricks Advisor message related to using Delta cache
    • 高階関数の使用に影響するバグを修正したFixed a bug affecting using higher order functions
    • デルタメタデータクエリに影響するバグを修正したFixed a bug affecting Delta metadata queries

Databricks Runtime 5.3 (サポートされていません) Databricks Runtime 5.3 (Unsupported)

Databricks Runtime 5.3 (サポートされていません) を参照してください。See Databricks Runtime 5.3 (Unsupported).

  • 2019年11月7日Nov 7, 2019
    • [SPARK-29743][SQL] サンプルは、子の必要な copyresult が true の場合に、必要な copyresult を true に設定する必要があります[SPARK-29743][SQL] sample should set needCopyResult to true if its child’s needCopyResult is true
  • 2019 年 10 月 8 日Oct 8, 2019
    • サーバー側の変更により、結果のフェッチ中に接続エラーが発生した後に、Simba Apache Spark ODBC ドライバーを再接続して続行できるようになります (Simba Apache Spark バージョン2.6.10 に更新する必要があります)。Server side changes to allow Simba Apache Spark ODBC driver to reconnect and continue after a connection failure during fetching results (requires Simba Apache Spark ODBC driver update to version 2.6.10).
    • クライアントのエラーコードを確認するときに Nullポインター例外を修正します。Fixed NullPointerException when checking error code in the WASB client.
  • 2019年9月10、Sep 10, 2019
    • BytesToBytesMap にスレッドセーフな反復子を追加するAdd thread safe iterator to BytesToBytesMap
    • 特定のグローバル集計クエリに影響するバグを修正した。Fixed a bug affecting certain global aggregation queries.
    • [SPARK-27330][SS] foreach writer でのタスクの中止のサポート[SPARK-27330][SS] support task abort in foreach writer
    • [SPARK-28642]表示 CREATE TABLE で資格情報を非表示にする[SPARK-28642]Hide credentials in SHOW CREATE TABLE
    • [SPARK-28699][SQL] パーティション分割の場合に ShuffleExchangeExec に対して基数並べ替えの使用を無効にする[SPARK-28699][SQL] Disable using radix sort for ShuffleExchangeExec in repartition case
    • [SPARK-28699][CORE] 不確定ステージを中止するためのコーナーケースを修正します[SPARK-28699][CORE] Fix a corner case for aborting indeterminate stage
  • 2019 年 8 月 27 日Aug 27, 2019
    • 特定の式に影響する問題を修正した transformFixed an issue affecting certain transform expressions
  • 2019 年 8 月 13 日Aug 13, 2019
    • デルタストリーミングソースは、テーブルの最新のプロトコルを確認する必要がありますDelta streaming source should check the latest protocol of a table
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator がオフセットを削除する可能性のあるバグを修正します[SPARK-28489][SS]Fix a bug that KafkaOffsetRangeCalculator.getRanges may drop offsets
  • 2019年7月30日Jul 30, 2019
    • [SPARK-28015][SQL] [文字列のチェック] () は、yyyy および yyyy-[m] m の形式の入力全体を使用します[SPARK-28015][SQL] Check stringToDate() consumes entire input for the yyyy and yyyy-[m]m formats
    • [SPARK-28308][CORE] calendarinterval サブ2番目の部分は、解析の前に埋め込む必要があります[SPARK-28308][CORE] CalendarInterval sub-second part should be padded before parsing
    • [SPARK-27485]EnsureRequirements では、重複する式を適切に処理する必要があります[SPARK-27485]EnsureRequirements.reorder should handle duplicate expressions gracefully
  • 2019 年 6 月 18 日Jun 18, 2019
    • デルタキャッシュの使用に関連する Databricks Advisor メッセージの改善Improved Databricks Advisor message related to using Delta cache
    • 高階関数の使用に影響するバグを修正したFixed a bug affecting using higher order functions
    • デルタメタデータクエリに影響するバグを修正したFixed a bug affecting Delta metadata queries
  • 2019 年 5 月 28 日May 28, 2019
    • デルタの安定性の向上Improved the stability of Delta
    • デルタ LAST_CHECKPOINT ファイルの読み取り時に IOExceptions を許容しますTolerate IOExceptions when reading Delta LAST_CHECKPOINT file
      • 失敗したライブラリのインストールに回復を追加しましたAdded recovery to failed library installation
  • 2019 年 5 月 7 日May 7, 2019
    • ポート HADOOP-15778 (ABFS: 読み取りのためにクライアント側の調整を修正) を Azure Data Lake Storage Gen2 コネクタに接続するPort HADOOP-15778 (ABFS: Fix client side throttling for read) to Azure Data Lake Storage Gen2 connector
    • ポート HADOOP-16040 (ABFS: tolerateOobAppends 構成のバグ修正) から Azure Data Lake Storage Gen2 コネクタへの接続Port HADOOP-16040 (ABFS: Bug fix for tolerateOobAppends configuration) to Azure Data Lake Storage Gen2 connector
    • テーブル Acl に影響するバグを修正したFixed a bug affecting table ACLs
    • デルタログチェックサムファイルの読み込み時の競合状態を修正したFixed a race condition when loading a Delta log checksum file
    • "挿入 + 上書き" を純粋な "追加" 操作として識別しないように、デルタ競合検出ロジックを修正しましたFixed Delta conflict detection logic to not identify “insert + overwrite” as pure “append” operation
    • テーブル Acl が有効になっているときに DBIO キャッシュが無効になっていないことを確認するEnsure that DBIO cache is not disabled when Table ACLs are enabled
    • [SPARK-27494]秒Kafka ソース v2 で Null キー/値が機能しない[SPARK-27494][SS] Null keys/values don’t work in Kafka source v2
    • [SPARK-27446][R] 使用可能な場合は、既存の spark conf を使用します。[SPARK-27446][R] Use existing spark conf if available.
    • [SPARK-27454][SPARK-27454]MLSERVER無効なイメージが見つかった場合、Spark イメージデータソースが失敗する[SPARK-27454][SPARK-27454][ML][SQL] Spark image datasource fail when encounter some illegal images
    • [SPARK-27160]SERVEROrc フィルターをビルドするときに DecimalType を修正する[SPARK-27160][SQL] Fix DecimalType when building orc filters
    • [SPARK-27338]COREUnsafeExternalSorter と TaskMemoryManager の間のデッドロックを修正します。[SPARK-27338][CORE] Fix deadlock between UnsafeExternalSorter and TaskMemoryManager

Databricks Runtime 5.2 (サポートされていません) Databricks Runtime 5.2 (Unsupported)

Databricks Runtime 5.2 (サポートされていません) を参照してください。See Databricks Runtime 5.2 (Unsupported).

  • 2019年9月10、Sep 10, 2019
    • BytesToBytesMap にスレッドセーフな反復子を追加するAdd thread safe iterator to BytesToBytesMap
    • 特定のグローバル集計クエリに影響するバグを修正した。Fixed a bug affecting certain global aggregation queries.
    • [SPARK-27330][SS] foreach writer でのタスクの中止のサポート[SPARK-27330][SS] support task abort in foreach writer
    • [SPARK-28642]表示 CREATE TABLE で資格情報を非表示にする[SPARK-28642]Hide credentials in SHOW CREATE TABLE
    • [SPARK-28699][SQL] パーティション分割の場合に ShuffleExchangeExec に対して基数並べ替えの使用を無効にする[SPARK-28699][SQL] Disable using radix sort for ShuffleExchangeExec in repartition case
    • [SPARK-28699][CORE] 不確定ステージを中止するためのコーナーケースを修正します[SPARK-28699][CORE] Fix a corner case for aborting indeterminate stage
  • 2019 年 8 月 27 日Aug 27, 2019
    • 特定の式に影響する問題を修正した transformFixed an issue affecting certain transform expressions
  • 2019 年 8 月 13 日Aug 13, 2019
    • デルタストリーミングソースは、テーブルの最新のプロトコルを確認する必要がありますDelta streaming source should check the latest protocol of a table
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator がオフセットを削除する可能性のあるバグを修正します[SPARK-28489][SS]Fix a bug that KafkaOffsetRangeCalculator.getRanges may drop offsets
  • 2019年7月30日Jul 30, 2019
    • [SPARK-28015][SQL] [文字列のチェック] () は、yyyy および yyyy-[m] m の形式の入力全体を使用します[SPARK-28015][SQL] Check stringToDate() consumes entire input for the yyyy and yyyy-[m]m formats
    • [SPARK-28308][CORE] calendarinterval サブ2番目の部分は、解析の前に埋め込む必要があります[SPARK-28308][CORE] CalendarInterval sub-second part should be padded before parsing
    • [SPARK-27485]EnsureRequirements では、重複する式を適切に処理する必要があります[SPARK-27485]EnsureRequirements.reorder should handle duplicate expressions gracefully
  • 2019年7月2、Jul 2, 2019
    • デルタ LAST_CHECKPOINT ファイルの読み取り時に IOExceptions を許容しますTolerate IOExceptions when reading Delta LAST_CHECKPOINT file
  • 2019 年 6 月 18 日Jun 18, 2019
    • デルタキャッシュの使用に関連する Databricks Advisor メッセージの改善Improved Databricks Advisor message related to using Delta cache
    • 高階関数の使用に影響するバグを修正したFixed a bug affecting using higher order functions
    • デルタメタデータクエリに影響するバグを修正したFixed a bug affecting Delta metadata queries
  • 2019 年 5 月 28 日May 28, 2019
    • 失敗したライブラリのインストールに回復を追加しましたAdded recovery to failed library installation
  • 2019 年 5 月 7 日May 7, 2019
    • ポート HADOOP-15778 (ABFS: 読み取りのためにクライアント側の調整を修正) を Azure Data Lake Storage Gen2 コネクタに接続するPort HADOOP-15778 (ABFS: Fix client side throttling for read) to Azure Data Lake Storage Gen2 connector
    • ポート HADOOP-16040 (ABFS: tolerateOobAppends 構成のバグ修正) から Azure Data Lake Storage Gen2 コネクタへの接続Port HADOOP-16040 (ABFS: Bug fix for tolerateOobAppends configuration) to Azure Data Lake Storage Gen2 connector
    • デルタログチェックサムファイルの読み込み時の競合状態を修正したFixed a race condition when loading a Delta log checksum file
    • "挿入 + 上書き" を純粋な "追加" 操作として識別しないように、デルタ競合検出ロジックを修正しましたFixed Delta conflict detection logic to not identify “insert + overwrite” as pure “append” operation
    • テーブル Acl が有効になっているときに DBIO キャッシュが無効になっていないことを確認するEnsure that DBIO cache is not disabled when Table ACLs are enabled
    • [SPARK-27494]秒Kafka ソース v2 で Null キー/値が機能しない[SPARK-27494][SS] Null keys/values don’t work in Kafka source v2
    • [SPARK-27454][SPARK-27454]MLSERVER無効なイメージが見つかった場合、Spark イメージデータソースが失敗する[SPARK-27454][SPARK-27454][ML][SQL] Spark image datasource fail when encounter some illegal images
    • [SPARK-27160]SERVEROrc フィルターをビルドするときに DecimalType を修正する[SPARK-27160][SQL] Fix DecimalType when building orc filters
    • [SPARK-27338]COREUnsafeExternalSorter と TaskMemoryManager の間のデッドロックを修正します。[SPARK-27338][CORE] Fix deadlock between UnsafeExternalSorter and TaskMemoryManager
  • 2019年3月26日Mar 26, 2019
    • プラットフォームに依存するオフセットを、ステージ全体で生成されたコードに文字どおり埋め込まないようにするAvoid embedding platform-dependent offsets literally in whole-stage generated code
    • [SPARK-26665][コア] をブロックするバグを修正します。 fetchBlockSync は無期限にハングする可能性があります。[SPARK-26665][CORE] Fix a bug that BlockTransferService.fetchBlockSync may hang forever.
    • [SPARK-27134][SQL] array_distinct 関数は、配列の配列を含む列では正しく機能しません。[SPARK-27134][SQL] array_distinct function does not work correctly with columns containing array of array.
    • [SPARK-24669][SQL] DROP DATABASE CASCADE の場合、テーブルを無効にします。[SPARK-24669][SQL] Invalidate tables in case of DROP DATABASE CASCADE.
    • [SPARK-26572][SQL] 集計 codegen の結果の評価を修正します。[SPARK-26572][SQL] fix aggregate codegen result evaluation.
    • 特定の Python Udf に影響するバグを修正した。Fixed a bug affecting certain PythonUDFs.
  • 2019年2月26日Feb 26, 2019
    • [SPARK-26864][SQL] クエリは、python udf が左半結合条件として使用されている場合、正しくない結果を返す可能性があります。[SPARK-26864][SQL] Query may return incorrect result when python udf is used as a left-semi join condition.
    • [SPARK-26887][PYTHON] datetime64 を中間データとして作成するのではなく、直接作成します。[SPARK-26887][PYTHON] Create datetime.date directly instead of creating datetime64 as intermediate data.
    • JDBC/ODBC サーバーに影響するバグを修正します。Fixed a bug affecting JDBC/ODBC server.
    • PySpark に影響するバグを修正しています。Fixed a bug affecting PySpark.
    • HadoopRDD をビルドするときに、非表示のファイルを除外します。Exclude the hidden files when building HadoopRDD.
    • シリアル化の問題の原因となった差分のバグを修正しました。Fixed a bug in Delta that caused serialization issues.
  • 2019年2月12日Feb 12, 2019
    • Azure ADLS Gen2 マウントポイントでのデルタの使用に影響する問題を修正しています。Fixed an issue affecting using Delta with Azure ADLS Gen2 mount points.
    • ( spark.network.crypto.enabled が true に設定されている場合) 暗号化が有効になっている大規模な RPC エラーメッセージを送信するときに、Spark 低レベルのネットワークプロトコルが破損する問題を修正しました。Fixed an issue that Spark low level network protocol may be broken when sending large RPC error messages with encryption enabled (when spark.network.crypto.enabled is set to true).
  • 2019年1月30日Jan 30, 2019
    • キャッシュされた関係に傾斜結合ヒントを配置するときに StackOverflowError を修正しています。Fixed the StackOverflowError when putting skew join hint on cached relation.
    • SQL キャッシュのキャッシュされた RDD とその物理プランとの一貫性が損なわれ、結果が不正確になる。Fixed the inconsistency between a SQL cache’s cached RDD and its physical plan, which causes incorrect result.
    • [SPARK-26706][SQL] illegalNumericPrecedence Bytetype の修正。[SPARK-26706][SQL] Fix illegalNumericPrecedence for ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery は空のレコードを正しく処理しません。[SPARK-26709][SQL] OptimizeMetadataOnlyQuery does not handle empty records correctly.
    • CSV/JSON データソースは、スキーマを推論するときにグロビングパスを避ける必要があります。CSV/JSON data sources should avoid globbing paths when inferring schema.
    • ウィンドウ演算子に対する制約の推定を修正します。Fixed constraint inference on Window operator.
    • テーブル ACL が有効になっているクラスターでの卵ライブラリのインストールに影響する問題を修正しました。Fixed an issue affecting installing egg libraries with clusters having table ACL enabled.

Databricks Runtime 5.1 (サポートされていません) Databricks Runtime 5.1 (Unsupported)

Databricks Runtime 5.1 (サポートされていません) を参照してください。See Databricks Runtime 5.1 (Unsupported).

  • 2019 年 8 月 13 日Aug 13, 2019
    • デルタストリーミングソースは、テーブルの最新のプロトコルを確認する必要がありますDelta streaming source should check the latest protocol of a table
    • [SPARK-28489][SS] KafkaOffsetRangeCalculator がオフセットを削除する可能性のあるバグを修正します[SPARK-28489][SS]Fix a bug that KafkaOffsetRangeCalculator.getRanges may drop offsets
  • 2019年7月30日Jul 30, 2019
    • [SPARK-28015][SQL] [文字列のチェック] () は、yyyy および yyyy-[m] m の形式の入力全体を使用します[SPARK-28015][SQL] Check stringToDate() consumes entire input for the yyyy and yyyy-[m]m formats
    • [SPARK-28308][CORE] calendarinterval サブ2番目の部分は、解析の前に埋め込む必要があります[SPARK-28308][CORE] CalendarInterval sub-second part should be padded before parsing
    • [SPARK-27485]EnsureRequirements では、重複する式を適切に処理する必要があります[SPARK-27485]EnsureRequirements.reorder should handle duplicate expressions gracefully
  • 2019年7月2、Jul 2, 2019
    • デルタ LAST_CHECKPOINT ファイルの読み取り時に IOExceptions を許容しますTolerate IOExceptions when reading Delta LAST_CHECKPOINT file
  • 2019 年 6 月 18 日Jun 18, 2019
    • 高階関数の使用に影響するバグを修正したFixed a bug affecting using higher order functions
    • デルタメタデータクエリに影響するバグを修正したFixed a bug affecting Delta metadata queries
  • 2019 年 5 月 28 日May 28, 2019
    • 失敗したライブラリのインストールに回復を追加しましたAdded recovery to failed library installation
  • 2019 年 5 月 7 日May 7, 2019
    • ポート HADOOP-15778 (ABFS: 読み取りのためにクライアント側の調整を修正) を Azure Data Lake Storage Gen2 コネクタに接続するPort HADOOP-15778 (ABFS: Fix client side throttling for read) to Azure Data Lake Storage Gen2 connector
    • ポート HADOOP-16040 (ABFS: tolerateOobAppends 構成のバグ修正) から Azure Data Lake Storage Gen2 コネクタへの接続Port HADOOP-16040 (ABFS: Bug fix for tolerateOobAppends configuration) to Azure Data Lake Storage Gen2 connector
    • デルタログチェックサムファイルの読み込み時の競合状態を修正したFixed a race condition when loading a Delta log checksum file
    • "挿入 + 上書き" を純粋な "追加" 操作として識別しないように、デルタ競合検出ロジックを修正しましたFixed Delta conflict detection logic to not identify “insert + overwrite” as pure “append” operation
    • [SPARK-27494]秒Kafka ソース v2 で Null キー/値が機能しない[SPARK-27494][SS] Null keys/values don’t work in Kafka source v2
    • [SPARK-27454][SPARK-27454]MLSERVER無効なイメージが見つかった場合、Spark イメージデータソースが失敗する[SPARK-27454][SPARK-27454][ML][SQL] Spark image datasource fail when encounter some illegal images
    • [SPARK-27160]SERVEROrc フィルターをビルドするときに DecimalType を修正する[SPARK-27160][SQL] Fix DecimalType when building orc filters
    • [SPARK-27338]COREUnsafeExternalSorter と TaskMemoryManager の間のデッドロックを修正します。[SPARK-27338][CORE] Fix deadlock between UnsafeExternalSorter and TaskMemoryManager
  • 2019年3月26日Mar 26, 2019
    • プラットフォームに依存するオフセットを、ステージ全体で生成されたコードに文字どおり埋め込まないようにするAvoid embedding platform-dependent offsets literally in whole-stage generated code
    • 特定の Python Udf に影響するバグを修正した。Fixed a bug affecting certain PythonUDFs.
  • 2019年2月26日Feb 26, 2019
    • [SPARK-26864][SQL] クエリは、python udf が左半結合条件として使用されている場合、正しくない結果を返す可能性があります。[SPARK-26864][SQL] Query may return incorrect result when python udf is used as a left-semi join condition.
    • JDBC/ODBC サーバーに影響するバグを修正します。Fixed a bug affecting JDBC/ODBC server.
    • HadoopRDD をビルドするときに、非表示のファイルを除外します。Exclude the hidden files when building HadoopRDD.
  • 2019年2月12日Feb 12, 2019
    • テーブル ACL が有効になっているクラスターでの卵ライブラリのインストールに影響する問題を修正しました。Fixed an issue affecting installing egg libraries with clusters having table ACL enabled.
    • SQL キャッシュのキャッシュされた RDD とその物理プランとの一貫性が損なわれ、結果が不正確になる。Fixed the inconsistency between a SQL cache’s cached RDD and its physical plan, which causes incorrect result.
    • [SPARK-26706][SQL] illegalNumericPrecedence Bytetype の修正。[SPARK-26706][SQL] Fix illegalNumericPrecedence for ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery は空のレコードを正しく処理しません。[SPARK-26709][SQL] OptimizeMetadataOnlyQuery does not handle empty records correctly.
    • ウィンドウ演算子に対する制約の推定を修正します。Fixed constraint inference on Window operator.
    • ( spark.network.crypto.enabled が true に設定されている場合) 暗号化が有効になっている大規模な RPC エラーメッセージを送信するときに、Spark 低レベルのネットワークプロトコルが破損する問題を修正しました。Fixed an issue that Spark low level network protocol may be broken when sending large RPC error messages with encryption enabled (when spark.network.crypto.enabled is set to true).
  • 2019年1月30日Jan 30, 2019
    • df.rdd.count()UDT が特定のケースに対して間違った回答を返す可能性がある問題を修正します。Fixed an issue that can cause df.rdd.count() with UDT to return incorrect answer for certain cases.
    • Wheelhouses のインストールに影響する問題を修正しています。Fixed an issue affecting installing wheelhouses.
    • [SPARK-26267]Kafka からの不適切なオフセットを検出するときに再試行します。[SPARK-26267]Retry when detecting incorrect offsets from Kafka.
    • ストリーミングクエリの複数のファイルストリームソースに影響を与えるバグを修正した。Fixed a bug that affects multiple file stream sources in a streaming query.
    • キャッシュされた関係に傾斜結合ヒントを配置するときに StackOverflowError を修正しています。Fixed the StackOverflowError when putting skew join hint on cached relation.
    • SQL キャッシュのキャッシュされた RDD とその物理プランとの一貫性が損なわれ、結果が不正確になる。Fixed the inconsistency between a SQL cache’s cached RDD and its physical plan, which causes incorrect result.
  • 2019年1月8日Jan 8, 2019
    • エラーを発生させる問題を修正 org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted した。Fixed issue that causes the error org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]結合の並べ替えで、出力属性の順序を変更することはできません。[SPARK-26352]join reordering should not change the order of output attributes.
    • [SPARK-26366]ReplaceExceptWithFilter は、NULL を False と見なす必要があります。[SPARK-26366]ReplaceExceptWithFilter should consider NULL as False.
    • Delta Lake の安定性が向上しています。Stability improvement for Delta Lake.
    • Delta Lake が有効になっています。Delta Lake is enabled.
    • Azure Data Lake Storage Gen1 で Azure AD 資格情報のパススルーが有効になっている場合に Azure Data Lake Storage Gen2 アクセスが失敗する原因となった問題を修正しました。Fixed the issue that caused failed Azure Data Lake Storage Gen2 access when Azure AD Credential Passthrough is enabled for Azure Data Lake Storage Gen1.
    • すべての価格レベルで、Ls series worker インスタンスの種類に対して Databricks IO キャッシュが有効になりました。Databricks IO Cache is now enabled for Ls series worker instance types for all pricing tiers.

Databricks Runtime 5.0 (サポートされていません) Databricks Runtime 5.0 (Unsupported)

Databricks Runtime 5.0 (サポートされていません) を参照してください。See Databricks Runtime 5.0 (Unsupported).

  • 2019 年 6 月 18 日Jun 18, 2019
    • 高階関数の使用に影響するバグを修正したFixed a bug affecting using higher order functions
  • 2019 年 5 月 7 日May 7, 2019
    • デルタログチェックサムファイルの読み込み時の競合状態を修正したFixed a race condition when loading a Delta log checksum file
    • "挿入 + 上書き" を純粋な "追加" 操作として識別しないように、デルタ競合検出ロジックを修正しましたFixed Delta conflict detection logic to not identify “insert + overwrite” as pure “append” operation
    • [SPARK-27494]秒Kafka ソース v2 で Null キー/値が機能しない[SPARK-27494][SS] Null keys/values don’t work in Kafka source v2
    • [SPARK-27454][SPARK-27454]MLSERVER無効なイメージが見つかった場合、Spark イメージデータソースが失敗する[SPARK-27454][SPARK-27454][ML][SQL] Spark image datasource fail when encounter some illegal images
    • [SPARK-27160]SERVEROrc フィルターをビルドするときに DecimalType を修正する[SPARK-27160][SQL] Fix DecimalType when building orc filters
      • [SPARK-27338]COREUnsafeExternalSorter と TaskMemoryManager の間のデッドロックを修正します。[SPARK-27338][CORE] Fix deadlock between UnsafeExternalSorter and TaskMemoryManager
  • 2019年3月26日Mar 26, 2019
    • プラットフォームに依存するオフセットを、ステージ全体で生成されたコードに文字どおり埋め込まないようにするAvoid embedding platform-dependent offsets literally in whole-stage generated code
    • 特定の Python Udf に影響するバグを修正した。Fixed a bug affecting certain PythonUDFs.
  • 2019年3月12日Mar 12, 2019
    • [SPARK-26864][SQL] クエリは、python udf が左半結合条件として使用されている場合、正しくない結果を返す可能性があります。[SPARK-26864][SQL] Query may return incorrect result when python udf is used as a left-semi join condition.
  • 2019年2月26日Feb 26, 2019
    • JDBC/ODBC サーバーに影響するバグを修正します。Fixed a bug affecting JDBC/ODBC server.
    • HadoopRDD をビルドするときに、非表示のファイルを除外します。Exclude the hidden files when building HadoopRDD.
  • 2019年2月12日Feb 12, 2019
    • SQL キャッシュのキャッシュされた RDD とその物理プランとの一貫性が損なわれ、結果が不正確になる。Fixed the inconsistency between a SQL cache’s cached RDD and its physical plan, which causes incorrect result.
    • [SPARK-26706][SQL] illegalNumericPrecedence Bytetype の修正。[SPARK-26706][SQL] Fix illegalNumericPrecedence for ByteType.
    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery は空のレコードを正しく処理しません。[SPARK-26709][SQL] OptimizeMetadataOnlyQuery does not handle empty records correctly.
    • ウィンドウ演算子に対する制約の推定を修正します。Fixed constraint inference on Window operator.
    • ( spark.network.crypto.enabled が true に設定されている場合) 暗号化が有効になっている大規模な RPC エラーメッセージを送信するときに、Spark 低レベルのネットワークプロトコルが破損する問題を修正しました。Fixed an issue that Spark low level network protocol may be broken when sending large RPC error messages with encryption enabled (when spark.network.crypto.enabled is set to true).
  • 2019年1月30日Jan 30, 2019
    • df.rdd.count()UDT が特定のケースに対して間違った回答を返す可能性がある問題を修正します。Fixed an issue that can cause df.rdd.count() with UDT to return incorrect answer for certain cases.
    • [SPARK-26267]Kafka からの不適切なオフセットを検出するときに再試行します。[SPARK-26267]Retry when detecting incorrect offsets from Kafka.
    • ストリーミングクエリの複数のファイルストリームソースに影響を与えるバグを修正した。Fixed a bug that affects multiple file stream sources in a streaming query.
    • キャッシュされた関係に傾斜結合ヒントを配置するときに StackOverflowError を修正しています。Fixed the StackOverflowError when putting skew join hint on cached relation.
    • SQL キャッシュのキャッシュされた RDD とその物理プランとの一貫性が損なわれ、結果が不正確になる。Fixed the inconsistency between a SQL cache’s cached RDD and its physical plan, which causes incorrect result.
  • 2019年1月8日Jan 8, 2019
    • エラーの原因となった問題を修正しました org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelistedFixed issue that caused the error org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • [SPARK-26352]結合の並べ替えで、出力属性の順序を変更することはできません。[SPARK-26352]join reordering should not change the order of output attributes.
    • [SPARK-26366]ReplaceExceptWithFilter は、NULL を False と見なす必要があります。[SPARK-26366]ReplaceExceptWithFilter should consider NULL as False.
    • Delta Lake の安定性が向上しています。Stability improvement for Delta Lake.
    • Delta Lake が有効になっています。Delta Lake is enabled.
    • すべての価格レベルで、Ls series worker インスタンスの種類に対して Databricks IO キャッシュが有効になりました。Databricks IO Cache is now enabled for Ls series worker instance types for all pricing tiers.
  • 2018年12月18日Dec 18, 2018
    • [SPARK-26293]サブクエリで Python UDF を持つときにキャスト例外が発生する[SPARK-26293]Cast exception when having Python UDF in subquery
    • Join と Limit を使用した特定のクエリに影響する問題を修正しています。Fixed an issue affecting certain queries using Join and Limit.
    • Spark UI の RDD 名からの最終資格情報の入力Redacted credentials from RDD names in Spark UI
  • 2018年12月6時点Dec 6, 2018
    • OrderBy を使用するときに、並べ替えキーの先頭部分として group by キーを使用すると、クエリ結果が正しくないという問題を修正しました。Fixed an issue that caused incorrect query result when using orderBy followed immediately by groupBy with group-by key as the leading part of the sort-by key.
    • Spark 用のスノーフレークコネクタが 2. 4. 9. 2 ~ spark_2. 4_pre_release から 2. 4. 10 にアップグレードされました。Upgraded Snowflake Connector for Spark from 2.4.9.2-spark_2.4_pre_release to 2.4.10.
    • spark.sql.files.ignoreCorruptFilesまたはフラグが有効になっている場合は、1回以上の再試行後に、破損したファイルのみ spark.sql.files.ignoreMissingFiles を無視します。Only ignore corrupt files after one or more retries when spark.sql.files.ignoreCorruptFiles or spark.sql.files.ignoreMissingFiles flag is enabled.
    • 特定の自己結合クエリに影響する問題を修正した。Fixed an issue affecting certain self union queries.
    • Thrift サーバーで、キャンセル時にセッションがリークすることがあるバグを修正しました。Fixed a bug with the thrift server where sessions are sometimes leaked when cancelled.
    • [SPARK-26307]Hive SerDe を使用してパーティションテーブルを挿入するときに CTAS を修正します。[SPARK-26307]Fixed CTAS when INSERT a partitioned table using Hive SerDe.
    • [SPARK-26147]結合の一方の側の列だけを使用する場合でも、結合条件の Python Udf は失敗します。[SPARK-26147]Python UDFs in join condition fail even when using columns from only one side of join
    • [SPARK-26211]バイナリの埋め込みと、null を持つ構造体および配列を修正します。[SPARK-26211]Fix InSet for binary, and struct and array with null.
    • [SPARK-26181] hasMinMaxStats のメソッド ColumnStatsMap が正しくありません。[SPARK-26181]the hasMinMaxStats method of ColumnStatsMap is not correct.
    • インターネットにアクセスできない環境での Python 車輪のインストールに影響する問題を修正しています。Fixed an issue affecting installing Python Wheels in environments without Internet access.
  • 2018 年 11 月 20 日Nov 20, 2018
    • ストリーミングクエリをキャンセルした後に notebook が使用できない原因となった問題を修正しました。Fixed an issue that caused a notebook not usable after cancelling a streaming query.
    • ウィンドウ関数を使用した特定のクエリに影響する問題を修正しています。Fixed an issue affecting certain queries using window functions.
    • 複数のスキーマ変更を伴うデルタからのストリームに影響する問題を修正します。Fixed an issue affecting a stream from Delta with multiple schema changes.
    • 左半/アンチ結合を使用した特定の集計クエリに影響する問題を修正しています。Fixed an issue affecting certain aggregation queries with Left Semi/Anti joins.

Databricks Runtime 4.3 (サポートされていません) Databricks Runtime 4.3 (Unsupported)

Databricks Runtime 4.3 (サポートされていません) を参照してください。See Databricks Runtime 4.3 (Unsupported).

  • 2019年4月9Apr 9, 2019

    • [SPARK-26665][CORE] BlockTransferService を発生させる可能性があるバグを修正します。 fetchblocksync は無期限にハングします。[SPARK-26665][CORE] Fix a bug that can cause BlockTransferService.fetchBlockSync to hang forever.
    • [SPARK-24669][SQL] DROP DATABASE CASCADE の場合、テーブルを無効にします。[SPARK-24669][SQL] Invalidate tables in case of DROP DATABASE CASCADE.
  • 2019年3月12日Mar 12, 2019

    • コード生成に影響を与えるバグを修正した。Fixed a bug affecting code generation.
    • デルタに影響するバグを修正した。Fixed a bug affecting Delta.
  • 2019年2月26日Feb 26, 2019

    • JDBC/ODBC サーバーに影響するバグを修正します。Fixed a bug affecting JDBC/ODBC server.
  • 2019年2月12日Feb 12, 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery は空のレコードを正しく処理しません。[SPARK-26709][SQL] OptimizeMetadataOnlyQuery does not handle empty records correctly.
    • HadoopRDD をビルドするときに、非表示のファイルを除外します。Excluding the hidden files when building HadoopRDD.
    • IN 述語の値が空の場合の Parquet フィルター変換を修正します。Fixed Parquet Filter Conversion for IN predicate when its value is empty.
    • ( spark.network.crypto.enabled が true に設定されている場合) 暗号化が有効になっている大規模な RPC エラーメッセージを送信するときに、Spark 低レベルのネットワークプロトコルが破損する問題を修正しました。Fixed an issue that Spark low level network protocol may be broken when sending large RPC error messages with encryption enabled (when spark.network.crypto.enabled is set to true).
  • 2019年1月30日Jan 30, 2019

    • df.rdd.count()UDT が特定のケースに対して間違った回答を返す可能性がある問題を修正します。Fixed an issue that can cause df.rdd.count() with UDT to return incorrect answer for certain cases.
    • SQL キャッシュのキャッシュされた RDD とその物理プランとの一貫性が損なわれ、結果が不正確になる。Fixed the inconsistency between a SQL cache’s cached RDD and its physical plan, which causes incorrect result.
  • 2019年1月8日Jan 8, 2019

    • エラーの原因となる問題を修正した org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelistedFixed the issue that causes the error org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Spark UI の RDD 名からの最終資格情報の入力Redacted credentials from RDD names in Spark UI
    • [SPARK-26352]結合の並べ替えで、出力属性の順序を変更することはできません。[SPARK-26352]join reordering should not change the order of output attributes.
    • [SPARK-26366]ReplaceExceptWithFilter は、NULL を False と見なす必要があります。[SPARK-26366]ReplaceExceptWithFilter should consider NULL as False.
    • Delta Lake が有効になっています。Delta Lake is enabled.
    • すべての価格レベルで、Ls series worker インスタンスの種類に対して Databricks IO キャッシュが有効になりました。Databricks IO Cache is now enabled for Ls series worker instance types for all pricing tiers.
  • 2018年12月18日Dec 18, 2018

    • [SPARK-25002]Avro: 出力レコードの名前空間を変更します。[SPARK-25002]Avro: revise the output record namespace.
    • Join と Limit を使用した特定のクエリに影響する問題を修正しています。Fixed an issue affecting certain queries using Join and Limit.
    • [SPARK-26307]Hive SerDe を使用してパーティションテーブルを挿入するときに CTAS を修正します。[SPARK-26307]Fixed CTAS when INSERT a partitioned table using Hive SerDe.
    • spark.sql.files.ignoreCorruptFilesまたはフラグが有効になっている場合は、1回以上の再試行後に、破損したファイルのみ spark.sql.files.ignoreMissingFiles を無視します。Only ignore corrupt files after one or more retries when spark.sql.files.ignoreCorruptFiles or spark.sql.files.ignoreMissingFiles flag is enabled.
    • [SPARK-26181] hasMinMaxStats のメソッド ColumnStatsMap が正しくありません。[SPARK-26181]the hasMinMaxStats method of ColumnStatsMap is not correct.
    • インターネットにアクセスできない環境での Python 車輪のインストールに影響する問題を修正しています。Fixed an issue affecting installing Python Wheels in environments without Internet access.
    • クエリアナライザーのパフォーマンスの問題を修正します。Fixed a performance issue in query analyzer.
    • "接続が拒否されました" というエラーでデータフレームアクションが失敗する原因となった PySpark の問題を修正しました。Fixed an issue in PySpark that caused DataFrame actions failed with “connection refused” error.
    • 特定の自己結合クエリに影響する問題を修正した。Fixed an issue affecting certain self union queries.
  • 2018 年 11 月 20 日Nov 20, 2018

    • [Spark-17916][spark-25241]nullvalue が設定されている場合、null として解析される空の文字列を修正します。[SPARK-17916][SPARK-25241]Fix empty string being parsed as null when nullValue is set.
    • [SPARK-25387]CSV 入力が正しくないことが原因で NPE が修正されました。[SPARK-25387]Fix for NPE caused by bad CSV input.
    • 左半/アンチ結合を使用した特定の集計クエリに影響する問題を修正しています。Fixed an issue affecting certain aggregation queries with Left Semi/Anti joins.
  • 2018年11月6日Nov 6, 2018

    • [SPARK-25741]長い Url は、web UI では正しくレンダリングされません。[SPARK-25741]Long URLs are not rendered properly in web UI.
    • [SPARK-25714]オプティマイザールール BooleanSimplification で Null 処理を修正します。[SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.
    • Synapse Analytics コネクタでの一時オブジェクトのクリーンアップに影響する問題を修正しています。Fixed an issue affecting temporary objects cleanup in Synapse Analytics connector.
    • [SPARK-25816]入れ子になったエクストラクターで属性の解決を修正します。[SPARK-25816]Fix attribute resolution in nested extractors.
  • 2018年10月16日Oct 16, 2018

    • デルタテーブルで実行されるの出力に影響するバグを修正し SHOW CREATE TABLE ます。Fixed a bug affecting the output of running SHOW CREATE TABLE on Delta tables.
    • 操作に影響するバグを修正しました UnionFixed a bug affecting Union operation.
  • Sep 25、2018Sep 25, 2018

    • [SPARK-25368][SQL] 不適切な制約の推定により、正しくない結果が返されます。[SPARK-25368][SQL] Incorrect constraint inference returns wrong result.
    • [SPARK-25402][SQL] BooleanSimplification の Null 処理。[SPARK-25402][SQL] Null handling in BooleanSimplification.
    • NotSerializableExceptionAvro データソースで修正されています。Fixed NotSerializableException in Avro data source.
  • 2018年9月11日Sep 11, 2018

    • [SPARK-25214][SS] Kafka v2 ソースが重複するレコードを返す可能性がある問題を修正 failOnDataLoss=false します。[SPARK-25214][SS] Fix the issue that Kafka v2 source may return duplicated records when failOnDataLoss=false.
    • [SPARK-24987][SS] articlePartition の新しいオフセットがない場合に Kafka のコンシューマーリークを修正します。[SPARK-24987][SS] Fix Kafka consumer leak when no new offsets for articlePartition.
    • フィルターを減らすには、null 値を正しく処理する必要があります。Filter reduction should handle null value correctly.
    • 実行エンジンの安定性が向上しました。Improved stability of execution engine.
  • 2018年8月28日Aug 28, 2018

    • デルタ Lake Delete コマンドで、条件が null と評価される行を誤って削除するバグを修正した。Fixed a bug in Delta Lake Delete command that would incorrectly delete the rows where the condition evaluates to null.
    • [SPARK-25142]Python worker がでソケットを開けなかった場合に、エラーメッセージを追加 _load_from_socket します。[SPARK-25142]Add error messages when Python worker could not open socket in _load_from_socket.
  • 2018年8月23日Aug 23, 2018

    • [SPARK-23935]mapentry がスローさ org.codehaus.commons.compiler.CompileException れます。[SPARK-23935]mapEntry throws org.codehaus.commons.compiler.CompileException.
    • Parquet reader の null 値を許容するマップの問題を修正します。Fixed nullable map issue in Parquet reader.
    • [SPARK-25051][SQL] fixnullability 値の許容属性は、AnalysisBarrier で停止しないでください。[SPARK-25051][SQL] FixNullability should not stop on AnalysisBarrier.
    • [SPARK-25081]書き込むがメモリの割り当てに失敗したときに、ShuffleExternalSorter が解放されたメモリページにアクセスするバグを修正しました。[SPARK-25081]Fixed a bug where ShuffleExternalSorter may access a released memory page when spilling fails to allocate memory.
    • Databricks Delta と Pyspark の間の対話を修正しました。これにより、一時的な読み取りエラーが発生する可能性があります。Fixed an interaction between Databricks Delta and Pyspark which could cause transient read failures.
    • [SPARK-25084]"複数の列に対して" 分散 "(角かっこで囲む) では、codegen 問題が発生する可能性があります。[SPARK-25084]”distribute by” on multiple columns (wrap in brackets) may lead to codegen issue.
    • [SPARK-25096]キャストが強制的に null 値を許容する場合は、null 値の許容を緩和します。[SPARK-25096]Loosen nullability if the cast is force-nullable.
    • Delta Lake Optimize コマンドによって使用されるスレッドの既定の数を下げ、メモリのオーバーヘッドを減らし、データをより迅速にコミットします。Lowered the default number of threads used by the Delta Lake Optimize command, reducing memory overhead and committing data faster.
    • [SPARK-25114]2つの単語間の減算が Integer.MAX_VALUE によって割り切れれる場合に、RecordBinaryComparator 子を修正します。[SPARK-25114]Fix RecordBinaryComparator when subtraction between two words is divisible by Integer.MAX_VALUE.
    • コマンドが部分的に成功した場合にシークレットマネージャーの校正を修正します。Fixed secret manager redaction when command partially succeed.

Databricks Runtime 4.2 (サポートされていません) Databricks Runtime 4.2 (Unsupported)

Databricks Runtime 4.2 (サポートされていません) を参照してください。See Databricks Runtime 4.2 (Unsupported).

  • 2019年2月26日Feb 26, 2019

    • JDBC/ODBC サーバーに影響するバグを修正します。Fixed a bug affecting JDBC/ODBC server.
  • 2019年2月12日Feb 12, 2019

    • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery は空のレコードを正しく処理しません。[SPARK-26709][SQL] OptimizeMetadataOnlyQuery does not handle empty records correctly.
    • HadoopRDD をビルドするときに、非表示のファイルを除外します。Excluding the hidden files when building HadoopRDD.
    • IN 述語の値が空の場合の Parquet フィルター変換を修正します。Fixed Parquet Filter Conversion for IN predicate when its value is empty.
    • ( spark.network.crypto.enabled が true に設定されている場合) 暗号化が有効になっている大規模な RPC エラーメッセージを送信するときに、Spark 低レベルのネットワークプロトコルが破損する問題を修正しました。Fixed an issue that Spark low level network protocol may be broken when sending large RPC error messages with encryption enabled (when spark.network.crypto.enabled is set to true).
  • 2019年1月30日Jan 30, 2019

    • df.rdd.count()UDT が特定のケースに対して間違った回答を返す可能性がある問題を修正します。Fixed an issue that can cause df.rdd.count() with UDT to return incorrect answer for certain cases.
  • 2019年1月8日Jan 8, 2019

    • エラーを発生させる問題を修正 org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted した。Fixed issue that causes the error org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
    • Spark UI の RDD 名からの最終資格情報の入力Redacted credentials from RDD names in Spark UI
    • [SPARK-26352]結合の並べ替えで、出力属性の順序を変更することはできません。[SPARK-26352]join reordering should not change the order of output attributes.
    • [SPARK-26366]ReplaceExceptWithFilter は、NULL を False と見なす必要があります。[SPARK-26366]ReplaceExceptWithFilter should consider NULL as False.
    • Delta Lake が有効になっています。Delta Lake is enabled.
    • すべての価格レベルで、Ls series worker インスタンスの種類に対して Databricks IO キャッシュが有効になりました。Databricks IO Cache is now enabled for Ls series worker instance types for all pricing tiers.
  • 2018年12月18日Dec 18, 2018

    • [SPARK-25002]Avro: 出力レコードの名前空間を変更します。[SPARK-25002]Avro: revise the output record namespace.
    • Join と Limit を使用した特定のクエリに影響する問題を修正しています。Fixed an issue affecting certain queries using Join and Limit.
    • [SPARK-26307]Hive SerDe を使用してパーティションテーブルを挿入するときに CTAS を修正します。[SPARK-26307]Fixed CTAS when INSERT a partitioned table using Hive SerDe.
    • spark.sql.files.ignoreCorruptFilesまたはフラグが有効になっている場合は、1回以上の再試行後に、破損したファイルのみ spark.sql.files.ignoreMissingFiles を無視します。Only ignore corrupt files after one or more retries when spark.sql.files.ignoreCorruptFiles or spark.sql.files.ignoreMissingFiles flag is enabled.
    • [SPARK-26181] hasMinMaxStats のメソッド ColumnStatsMap が正しくありません。[SPARK-26181]the hasMinMaxStats method of ColumnStatsMap is not correct.
    • インターネットにアクセスできない環境での Python 車輪のインストールに影響する問題を修正しています。Fixed an issue affecting installing Python Wheels in environments without Internet access.
    • クエリアナライザーのパフォーマンスの問題を修正します。Fixed a performance issue in query analyzer.
    • "接続が拒否されました" というエラーでデータフレームアクションが失敗する原因となった PySpark の問題を修正しました。Fixed an issue in PySpark that caused DataFrame actions failed with “connection refused” error.
    • 特定の自己結合クエリに影響する問題を修正した。Fixed an issue affecting certain self union queries.
  • 2018 年 11 月 20 日Nov 20, 2018

    • [Spark-17916][spark-25241]nullvalue が設定されている場合、null として解析される空の文字列を修正します。[SPARK-17916][SPARK-25241]Fix empty string being parsed as null when nullValue is set.
    • 左半/アンチ結合を使用した特定の集計クエリに影響する問題を修正しています。Fixed an issue affecting certain aggregation queries with Left Semi/Anti joins.
  • 2018年11月6日Nov 6, 2018

    • [SPARK-25741]長い Url は、web UI では正しくレンダリングされません。[SPARK-25741]Long URLs are not rendered properly in web UI.
    • [SPARK-25714]オプティマイザールール BooleanSimplification で Null 処理を修正します。[SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.
  • 2018年10月16日Oct 16, 2018

    • デルタテーブルで実行されるの出力に影響するバグを修正し SHOW CREATE TABLE ます。Fixed a bug affecting the output of running SHOW CREATE TABLE on Delta tables.
    • 操作に影響するバグを修正しました UnionFixed a bug affecting Union operation.
  • Sep 25、2018Sep 25, 2018

    • [SPARK-25368][SQL] 不適切な制約の推定により、正しくない結果が返されます。[SPARK-25368][SQL] Incorrect constraint inference returns wrong result.
    • [SPARK-25402][SQL] BooleanSimplification の Null 処理。[SPARK-25402][SQL] Null handling in BooleanSimplification.
    • NotSerializableExceptionAvro データソースで修正されています。Fixed NotSerializableException in Avro data source.
  • 2018年9月11日Sep 11, 2018

    • [SPARK-25214][SS] Kafka v2 ソースが重複するレコードを返す可能性がある問題を修正 failOnDataLoss=false します。[SPARK-25214][SS] Fix the issue that Kafka v2 source may return duplicated records when failOnDataLoss=false.
    • [SPARK-24987][SS] articlePartition の新しいオフセットがない場合に Kafka のコンシューマーリークを修正します。[SPARK-24987][SS] Fix Kafka consumer leak when no new offsets for articlePartition.
    • フィルターを減らすには、null 値を正しく処理する必要があります。Filter reduction should handle null value correctly.
  • 2018年8月28日Aug 28, 2018

    • デルタ Lake Delete コマンドで、条件が null と評価される行を誤って削除するバグを修正した。Fixed a bug in Delta Lake Delete command that would incorrectly delete the rows where the condition evaluates to null.
  • 2018年8月23日Aug 23, 2018

    • 差分スナップショットの NoClassDefError を修正します。Fixed NoClassDefError for Delta Snapshot
    • [SPARK-23935]mapentry がスローさ org.codehaus.commons.compiler.CompileException れます。[SPARK-23935]mapEntry throws org.codehaus.commons.compiler.CompileException.
    • [SPARK-24957][SQL] Average with decimal を指定すると、誤った結果が返されます。[SPARK-24957][SQL] Average with decimal followed by aggregation returns wrong result. AVERAGE の不適切な結果が返される可能性があります。The incorrect results of AVERAGE might be returned. 平均演算子で追加されたキャストは、除算の結果がキャスト先と同じ型である場合、バイパスされます。The CAST added in the Average operator will be bypassed if the result of Divide is the same type which it is casted to.
    • [SPARK-25081]書き込むがメモリの割り当てに失敗したときに、ShuffleExternalSorter が解放されたメモリページにアクセスするバグを修正しました。[SPARK-25081]Fixed a bug where ShuffleExternalSorter may access a released memory page when spilling fails to allocate memory.
    • Databricks Delta と Pyspark の間の対話を修正しました。これにより、一時的な読み取りエラーが発生する可能性があります。Fixed an interaction between Databricks Delta and Pyspark which could cause transient read failures.
    • [SPARK-25114]2つの単語間の減算が Integer.MAX_VALUE によって割り切れれる場合に、RecordBinaryComparator 子を修正します。[SPARK-25114]Fix RecordBinaryComparator when subtraction between two words is divisible by Integer.MAX_VALUE.
    • [SPARK-25084]"複数の列に対して" 分散 "(角かっこで囲む) では、codegen 問題が発生する可能性があります。[SPARK-25084]”distribute by” on multiple columns (wrap in brackets) may lead to codegen issue.
    • [SPARK-24934][SQL] では、メモリ内のパーティション排除の上限または下限で、サポートされる型が明示的に許可リストされています。[SPARK-24934][SQL] Explicitly allowlist supported types in upper/lower bounds for in-memory partition pruning. キャッシュされたデータに対するクエリフィルターで複合データ型を使用すると、Spark は常に空の結果セットを返します。When complex data types are used in query filters against cached data, Spark always returns an empty result set. Null は複合型の上限または下限に設定されているため、インメモリ統計に基づく排除では、正しくない結果が生成されます。The in-memory stats-based pruning generates incorrect results, because null is set for upper/lower bounds for complex types. この問題を解決するには、複合型に対してインメモリ統計ベースの排除を使用しないようにします。The fix is to not use in-memory stats-based pruning for complex types.
    • コマンドが部分的に成功した場合にシークレットマネージャーの校正を修正します。Fixed secret manager redaction when command partially succeed.
    • Parquet reader の null 値を許容するマップの問題を修正します。Fixed nullable map issue in Parquet reader.
  • 2018年8月2までAug 2, 2018

    • Python に writeStream. table API が追加されました。Added writeStream.table API in Python.
    • デルタチェックポイント処理に影響する問題を修正します。Fixed an issue affecting Delta checkpointing.
    • [SPARK-24867][SQL] AnalysisBarrier を DataFrameWriter に追加します。[SPARK-24867][SQL] Add AnalysisBarrier to DataFrameWriter. DataFrameWriter を使用して UDF でデータフレームを書き込むときに、SQL キャッシュが使用されていません。SQL cache is not being used when using DataFrameWriter to write a DataFrame with UDF. これは、すべての Analyzer ルールがべき等ではないため、AnalysisBarrier で行った変更に起因する回帰です。This is a regression caused by the changes we made in AnalysisBarrier, since not all the Analyzer rules are idempotent.
    • mergeIntoコマンドが正しくない結果を生成する原因となる問題を修正しました。Fixed an issue that could cause mergeInto command to produce incorrect results.
    • Azure Data Lake Storage Gen1 へのアクセスの安定性が向上しました。Improved stability on accessing Azure Data Lake Storage Gen1.
    • [SPARK-24809]実行プログラムで LongHashedRelation をシリアル化すると、データエラーが発生する可能性があります。[SPARK-24809]Serializing LongHashedRelation in executor may result in data error.
    • [SPARK-24878][SQL] null を含むプリミティブ型の配列型の reverse 関数を修正します。[SPARK-24878][SQL] Fix reverse function for array type of primitive type containing null.
  • 2018 年 7 月 11 日July 11, 2018

    • クエリ実行のバグを修正し、異なる有効桁数を持つ10進数列の集計によって、誤った結果が返される場合があります。Fixed a bug in query execution that would cause aggregations on decimal columns with different precisions to return incorrect results in some cases.
    • NullPointerExceptionグループ化セットなどの高度な集計操作中にスローされたバグを修正しました。Fixed a NullPointerException bug that was thrown during advanced aggregation operations like grouping sets.

Databricks Runtime 4.1 ML (サポートされていません) Databricks Runtime 4.1 ML (Unsupported)

Databricks Runtime 4.1 ML (サポートされていません)」を参照してください。See Databricks Runtime 4.1 ML (Unsupported).

  • 2018 年 7 月 31日July 31, 2018
    • Azure Synapse Analytics を ML ランタイム4.1 に追加しましたAdded Azure Synapse Analytics to ML Runtime 4.1
    • 述語で使用されているパーティション列の名前が、テーブルのスキーマ内のその列のケースと異なる場合に、不適切なクエリ結果を引き起こす可能性のあるバグを修正しました。Fixed a bug that could cause incorrect query results when the name of a partition column used in a predicate differs from the case of that column in the schema of the table.
    • Spark SQL 実行エンジンに影響を与えるバグを修正した。Fixed a bug affecting Spark SQL execution engine.
    • コード生成に影響を与えるバグを修正した。Fixed a bug affecting code generation.
    • デルタレイクに影響するバグ () を修正 java.lang.NoClassDefFoundError した。Fixed a bug (java.lang.NoClassDefFoundError) affecting Delta Lake.
    • Delta Lake でのエラー処理が改善されました。Improved error handling in Delta Lake.
    • 文字列型の列32文字以上の統計情報をスキップする誤ったデータを引き起こすバグを修正しました。Fixed a bug that caused incorrect data skipping statistics to be collected for string columns 32 characters or greater.

Databricks Runtime 4.1 (サポートされていません) Databricks Runtime 4.1 (Unsupported)

Databricks Runtime 4.1 (サポートされていません) を参照してください。See Databricks Runtime 4.1 (Unsupported).

  • 2019年1月8日Jan 8, 2019

    • [SPARK-26366]ReplaceExceptWithFilter は、NULL を False と見なす必要があります。[SPARK-26366]ReplaceExceptWithFilter should consider NULL as False.
    • Delta Lake が有効になっています。Delta Lake is enabled.
  • 2018年12月18日Dec 18, 2018

    • [SPARK-25002]Avro: 出力レコードの名前空間を変更します。[SPARK-25002]Avro: revise the output record namespace.
    • Join と Limit を使用した特定のクエリに影響する問題を修正しています。Fixed an issue affecting certain queries using Join and Limit.
    • [SPARK-26307]Hive SerDe を使用してパーティションテーブルを挿入するときに CTAS を修正します。[SPARK-26307]Fixed CTAS when INSERT a partitioned table using Hive SerDe.
    • spark.sql.files.ignoreCorruptFilesまたはフラグが有効になっている場合は、1回以上の再試行後に、破損したファイルのみ spark.sql.files.ignoreMissingFiles を無視します。Only ignore corrupt files after one or more retries when spark.sql.files.ignoreCorruptFiles or spark.sql.files.ignoreMissingFiles flag is enabled.
    • インターネットにアクセスできない環境での Python 車輪のインストールに影響する問題を修正しています。Fixed an issue affecting installing Python Wheels in environments without Internet access.
    • "接続が拒否されました" というエラーでデータフレームアクションが失敗する原因となった PySpark の問題を修正しました。Fixed an issue in PySpark that caused DataFrame actions failed with “connection refused” error.
    • 特定の自己結合クエリに影響する問題を修正した。Fixed an issue affecting certain self union queries.
  • 2018 年 11 月 20 日Nov 20, 2018

    • [Spark-17916][spark-25241]nullvalue が設定されている場合、null として解析される空の文字列を修正します。[SPARK-17916][SPARK-25241]Fix empty string being parsed as null when nullValue is set.
    • 左半/アンチ結合を使用した特定の集計クエリに影響する問題を修正しています。Fixed an issue affecting certain aggregation queries with Left Semi/Anti joins.
  • 2018年11月6日Nov 6, 2018

    • [SPARK-25741]長い Url は、web UI では正しくレンダリングされません。[SPARK-25741]Long URLs are not rendered properly in web UI.
    • [SPARK-25714]オプティマイザールール BooleanSimplification で Null 処理を修正します。[SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.
  • 2018年10月16日Oct 16, 2018

    • デルタテーブルで実行されるの出力に影響するバグを修正し SHOW CREATE TABLE ます。Fixed a bug affecting the output of running SHOW CREATE TABLE on Delta tables.
    • 操作に影響するバグを修正しました UnionFixed a bug affecting Union operation.
  • Sep 25、2018Sep 25, 2018

    • [SPARK-25368][SQL] 不適切な制約の推定により、正しくない結果が返されます。[SPARK-25368][SQL] Incorrect constraint inference returns wrong result.
    • [SPARK-25402][SQL] BooleanSimplification の Null 処理。[SPARK-25402][SQL] Null handling in BooleanSimplification.
    • NotSerializableExceptionAvro データソースで修正されています。Fixed NotSerializableException in Avro data source.
  • 2018年9月11日Sep 11, 2018

    • [SPARK-25214][SS] Kafka v2 ソースが重複するレコードを返す可能性がある問題を修正 failOnDataLoss=false します。[SPARK-25214][SS] Fix the issue that Kafka v2 source may return duplicated records when failOnDataLoss=false.
    • [SPARK-24987][SS] articlePartition の新しいオフセットがない場合に Kafka のコンシューマーリークを修正します。[SPARK-24987][SS] Fix Kafka consumer leak when no new offsets for articlePartition.
    • フィルターを減らすには、null 値を正しく処理する必要があります。Filter reduction should handle null value correctly.
  • 2018年8月28日Aug 28, 2018

    • デルタ Lake Delete コマンドで、条件が null と評価される行を誤って削除するバグを修正した。Fixed a bug in Delta Lake Delete command that would incorrectly delete the rows where the condition evaluates to null.
    • [SPARK-25084]"複数の列に対して" 分散 "(角かっこで囲む) では、codegen 問題が発生する可能性があります。[SPARK-25084]”distribute by” on multiple columns (wrap in brackets) may lead to codegen issue.
    • [SPARK-25114]2つの単語間の減算が Integer.MAX_VALUE によって割り切れれる場合に、RecordBinaryComparator 子を修正します。[SPARK-25114]Fix RecordBinaryComparator when subtraction between two words is divisible by Integer.MAX_VALUE.
  • 2018年8月23日Aug 23, 2018

    • 差分スナップショットの NoClassDefError を修正します。Fixed NoClassDefError for Delta Snapshot.
    • [SPARK-24957][SQL] Average with decimal を指定すると、誤った結果が返されます。[SPARK-24957][SQL] Average with decimal followed by aggregation returns wrong result. AVERAGE の不適切な結果が返される可能性があります。The incorrect results of AVERAGE might be returned. 平均演算子で追加されたキャストは、除算の結果がキャスト先と同じ型である場合、バイパスされます。The CAST added in the Average operator will be bypassed if the result of Divide is the same type which it is casted to.
    • Parquet reader の null 値を許容するマップの問題を修正します。Fixed nullable map issue in Parquet reader.
    • [SPARK-24934][SQL] では、メモリ内のパーティション排除の上限または下限で、サポートされる型が明示的に許可リストされています。[SPARK-24934][SQL] Explicitly allowlist supported types in upper/lower bounds for in-memory partition pruning. キャッシュされたデータに対するクエリフィルターで複合データ型を使用すると、Spark は常に空の結果セットを返します。When complex data types are used in query filters against cached data, Spark always returns an empty result set. Null は複合型の上限または下限に設定されているため、インメモリ統計に基づく排除では、正しくない結果が生成されます。The in-memory stats-based pruning generates incorrect results, because null is set for upper/lower bounds for complex types. この問題を解決するには、複合型に対してインメモリ統計ベースの排除を使用しないようにします。The fix is to not use in-memory stats-based pruning for complex types.
    • [SPARK-25081]書き込むがメモリの割り当てに失敗したときに、ShuffleExternalSorter が解放されたメモリページにアクセスするバグを修正しました。[SPARK-25081]Fixed a bug where ShuffleExternalSorter may access a released memory page when spilling fails to allocate memory.
    • Databricks Delta と Pyspark の間の対話を修正しました。これにより、一時的な読み取りエラーが発生する可能性があります。Fixed an interaction between Databricks Delta and Pyspark which could cause transient read failures.
    • コマンドが部分的に成功したときにシークレットマネージャーの校正を修正Fixed secret manager redaction when command partially succeed
  • 2018年8月2までAug 2, 2018

    • [SPARK-24613][SQL]、UDF を含むキャッシュは、後続の依存キャッシュと一致しませんでした。[SPARK-24613][SQL] Cache with UDF could not be matched with subsequent dependent caches. プランが再度分析されないようにするために、AnalysisBarrier で実行プランをコンパイルするための論理プランをラップします。Wraps the logical plan with a AnalysisBarrier for execution plan compilation in CacheManager, in order to avoid the plan being analyzed again. これは、Spark 2.3 の回帰でもあります。This is also a regression of Spark 2.3.
    • DateType データを書き込むためのタイムゾーン変換に影響する Synapse Analytics コネクタの問題を修正した。Fixed a Synapse Analytics connector issue affecting timezone conversion for writing DateType data.
    • デルタチェックポイント処理に影響する問題を修正します。Fixed an issue affecting Delta checkpointing.
    • mergeIntoコマンドが正しくない結果を生成する原因となる問題を修正しました。Fixed an issue that could cause mergeInto command to produce incorrect results.
    • [SPARK-24867][SQL] AnalysisBarrier を DataFrameWriter に追加します。[SPARK-24867][SQL] Add AnalysisBarrier to DataFrameWriter. DataFrameWriter を使用して UDF でデータフレームを書き込むときに、SQL キャッシュが使用されていません。SQL cache is not being used when using DataFrameWriter to write a DataFrame with UDF. これは、すべての Analyzer ルールがべき等ではないため、AnalysisBarrier で行った変更に起因する回帰です。This is a regression caused by the changes we made in AnalysisBarrier, since not all the Analyzer rules are idempotent.
    • [SPARK-24809]実行プログラムで LongHashedRelation をシリアル化すると、データエラーが発生する可能性があります。[SPARK-24809]Serializing LongHashedRelation in executor may result in data error.
  • 2018 年 7 月 11 日July 11, 2018

    • クエリ実行のバグを修正し、異なる有効桁数を持つ10進数列の集計によって、誤った結果が返される場合があります。Fixed a bug in query execution that would cause aggregations on decimal columns with different precisions to return incorrect results in some cases.
    • NullPointerExceptionグループ化セットなどの高度な集計操作中にスローされたバグを修正しました。Fixed a NullPointerException bug that was thrown during advanced aggregation operations like grouping sets.
  • 2018 年 6 月 28 日June 28, 2018

    • 述語で使用されているパーティション列の名前が、テーブルのスキーマ内のその列のケースと異なる場合に、不適切なクエリ結果を引き起こす可能性のあるバグを修正しました。Fixed a bug that could cause incorrect query results when the name of a partition column used in a predicate differs from the case of that column in the schema of the table.
  • 2018年6月7日June 7, 2018

    • Spark SQL 実行エンジンに影響を与えるバグを修正した。Fixed a bug affecting Spark SQL execution engine.
    • コード生成に影響を与えるバグを修正した。Fixed a bug affecting code generation.
    • デルタレイクに影響するバグ () を修正 java.lang.NoClassDefFoundError した。Fixed a bug (java.lang.NoClassDefFoundError) affecting Delta Lake.
    • Delta Lake でのエラー処理が改善されました。Improved error handling in Delta Lake.
  • 2018年5月17日May 17, 2018

    • 文字列型の列32文字以上の統計情報をスキップする誤ったデータを引き起こすバグを修正しました。Fixed a bug that caused incorrect data skipping statistics to be collected for string columns 32 characters or greater.

Databricks Runtime 4.0 (サポートされていません) Databricks Runtime 4.0 (Unsupported)

Databricks Runtime 4.0 (サポートされていません) を参照してください。See Databricks Runtime 4.0 (Unsupported).

  • 2018年11月6日Nov 6, 2018

    • [SPARK-25714]オプティマイザールール BooleanSimplification で Null 処理を修正します。[SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.
  • 2018年10月16日Oct 16, 2018

    • 操作に影響するバグを修正しました UnionFixed a bug affecting Union operation.
  • Sep 25、2018Sep 25, 2018

    • [SPARK-25368][SQL] 不適切な制約の推定により、正しくない結果が返されます。[SPARK-25368][SQL] Incorrect constraint inference returns wrong result.
    • [SPARK-25402][SQL] BooleanSimplification の Null 処理。[SPARK-25402][SQL] Null handling in BooleanSimplification.
    • NotSerializableExceptionAvro データソースで修正されています。Fixed NotSerializableException in Avro data source.
  • 2018年9月11日Sep 11, 2018

    • フィルターを減らすには、null 値を正しく処理する必要があります。Filter reduction should handle null value correctly.
  • 2018年8月28日Aug 28, 2018

    • デルタ Lake Delete コマンドで、条件が null と評価される行を誤って削除するバグを修正した。Fixed a bug in Delta Lake Delete command that would incorrectly delete the rows where the condition evaluates to null.
  • 2018年8月23日Aug 23, 2018

    • Parquet reader の null 値を許容するマップの問題を修正します。Fixed nullable map issue in Parquet reader.
    • コマンドが部分的に成功したときにシークレットマネージャーの校正を修正Fixed secret manager redaction when command partially succeed
    • Databricks Delta と Pyspark の間の対話を修正しました。これにより、一時的な読み取りエラーが発生する可能性があります。Fixed an interaction between Databricks Delta and Pyspark which could cause transient read failures.
    • [SPARK-25081]書き込むがメモリの割り当てに失敗したときに、ShuffleExternalSorter が解放されたメモリページにアクセスするバグを修正しました。[SPARK-25081]Fixed a bug where ShuffleExternalSorter may access a released memory page when spilling fails to allocate memory.
    • [SPARK-25114]2つの単語間の減算が Integer.MAX_VALUE によって割り切れれる場合に、RecordBinaryComparator 子を修正します。[SPARK-25114]Fix RecordBinaryComparator when subtraction between two words is divisible by Integer.MAX_VALUE.
  • 2018年8月2までAug 2, 2018

    • [SPARK-24452]Int 加算または multiple でオーバーフローする可能性を回避します。[SPARK-24452]Avoid possible overflow in int add or multiple.
    • [SPARK-24588]ストリーミング結合には、子からの HashClusteredPartitioning が必要です。[SPARK-24588]Streaming join should require HashClusteredPartitioning from children.
    • mergeIntoコマンドが正しくない結果を生成する原因となる問題を修正しました。Fixed an issue that could cause mergeInto command to produce incorrect results.
    • [SPARK-24867][SQL] AnalysisBarrier を DataFrameWriter に追加します。[SPARK-24867][SQL] Add AnalysisBarrier to DataFrameWriter. DataFrameWriter を使用して UDF でデータフレームを書き込むときに、SQL キャッシュが使用されていません。SQL cache is not being used when using DataFrameWriter to write a DataFrame with UDF. これは、すべての Analyzer ルールがべき等ではないため、AnalysisBarrier で行った変更に起因する回帰です。This is a regression caused by the changes we made in AnalysisBarrier, since not all the Analyzer rules are idempotent.
    • [SPARK-24809]実行プログラムで LongHashedRelation をシリアル化すると、データエラーが発生する可能性があります。[SPARK-24809]Serializing LongHashedRelation in executor may result in data error.
  • 2018 年 6 月 28 日June 28, 2018

    • 述語で使用されているパーティション列の名前が、テーブルのスキーマ内のその列のケースと異なる場合に、不適切なクエリ結果を引き起こす可能性のあるバグを修正しました。Fixed a bug that could cause incorrect query results when the name of a partition column used in a predicate differs from the case of that column in the schema of the table.
  • 2018年6月7日June 7, 2018

    • Spark SQL 実行エンジンに影響を与えるバグを修正した。Fixed a bug affecting Spark SQL execution engine.
    • Delta Lake でのエラー処理が改善されました。Improved error handling in Delta Lake.
  • 2018年5月17日May 17, 2018

    • Databricks secret management のバグ修正。Bug fixes for Databricks secret management.
    • Azure Data Lake Store に格納されているデータの読み取りの安定性が向上しました。Improved stability on reading data stored in Azure Data Lake Store.
    • RDD キャッシュに影響するバグを修正しています。Fixed a bug affecting RDD caching.
    • Spark SQL での Null セーフな等価に影響するバグを修正します。Fixed a bug affecting Null-safe Equal in Spark SQL.
  • 2018年4月24日Apr 24, 2018

    • Azure Data Lake Store へのアクセスの安定性を向上させるために、Azure Data Lake Store SDK を2.0.11 から2.2.8 にアップグレードしました。Upgraded Azure Data Lake Store SDK from 2.0.11 to 2.2.8 to improve the stability of access to Azure Data Lake Store.
    • がの場合に、パーティション分割された Hive テーブルへの上書きの挿入に影響するバグを修正し spark.databricks.io.hive.fastwriter.enabled false ます。Fixed a bug affecting the insertion of overwrites to partitioned Hive tables when spark.databricks.io.hive.fastwriter.enabled is false.
    • タスクのシリアル化に失敗した問題を修正しました。Fixed an issue that failed task serialization.
    • Delta Lake の安定性が向上しました。Improved Delta Lake stability.
  • 2018年3月14日Mar 14, 2018

    • Delta Lake への書き込み時に不要なメタデータの更新を防止します。Prevent unnecessary metadata updates when writing into Delta Lake.
    • まれに、一部の出力ファイルが失われる可能性がある競合状態が原因で発生する問題を修正しました。Fixed an issue caused by a race condition that could, in rare circumstances, lead to loss of some output files.

Databricks Runtime 3.5 LTS (サポートされていません) Databricks Runtime 3.5 LTS (Unsupported)

Databricks Runtime 3.5 LTS (サポートされていません)」を参照してください。See Databricks Runtime 3.5 LTS (Unsupported).

  • 2019年11月7日Nov 7, 2019

    • [SPARK-29743][SQL] サンプルは、子の必要な copyresult が true の場合に、必要な copyresult を true に設定する必要があります[SPARK-29743][SQL] sample should set needCopyResult to true if its child’s needCopyResult is true
  • 2019 年 10 月 8 日Oct 8, 2019

    • サーバー側の変更により、結果のフェッチ中に接続エラーが発生した後に、Simba Apache Spark ODBC ドライバーを再接続して続行できるようになります (Simba Apache Spark バージョン2.6.10 に更新する必要があります)。Server side changes to allow Simba Apache Spark ODBC driver to reconnect and continue after a connection failure during fetching results (requires Simba Apache Spark ODBC driver update to version 2.6.10).
  • 2019年9月10、Sep 10, 2019

    • [SPARK-28699][SQL] パーティション分割の場合に ShuffleExchangeExec に対して基数並べ替えの使用を無効にする[SPARK-28699][SQL] Disable using radix sort for ShuffleExchangeExec in repartition case
  • 2019年4月9Apr 9, 2019

    • [SPARK-26665][CORE] BlockTransferService を発生させる可能性があるバグを修正します。 fetchblocksync は無期限にハングします。[SPARK-26665][CORE] Fix a bug that can cause BlockTransferService.fetchBlockSync to hang forever.
  • 2019年2月12日Feb 12, 2019

    • ( spark.network.crypto.enabled が true に設定されている場合) 暗号化が有効になっている大規模な RPC エラーメッセージを送信するときに、Spark 低レベルのネットワークプロトコルが破損する問題を修正しました。Fixed an issue that Spark low level network protocol may be broken when sending large RPC error messages with encryption enabled (when spark.network.crypto.enabled is set to true).
  • 2019年1月30日Jan 30, 2019

    • df.rdd.count()UDT が特定のケースに対して間違った回答を返す可能性がある問題を修正します。Fixed an issue that can cause df.rdd.count() with UDT to return incorrect answer for certain cases.
  • 2018年12月18日Dec 18, 2018

    • spark.sql.files.ignoreCorruptFilesまたはフラグが有効になっている場合は、1回以上の再試行後に、破損したファイルのみ spark.sql.files.ignoreMissingFiles を無視します。Only ignore corrupt files after one or more retries when spark.sql.files.ignoreCorruptFiles or spark.sql.files.ignoreMissingFiles flag is enabled.
    • 特定の自己結合クエリに影響する問題を修正した。Fixed an issue affecting certain self union queries.
  • 2018 年 11 月 20 日Nov 20, 2018

    • [SPARK-25816]入れ子になったエクストラクターの属性解決を修正します。[SPARK-25816]Fixed attribute resolution in nested extractors.
  • 2018年11月6日Nov 6, 2018

    • [SPARK-25714]オプティマイザールール BooleanSimplification で Null 処理を修正します。[SPARK-25714]Fix Null Handling in the Optimizer rule BooleanSimplification.
  • 2018年10月16日Oct 16, 2018

    • 操作に影響するバグを修正しました UnionFixed a bug affecting Union operation.
  • Sep 25、2018Sep 25, 2018

    • [SPARK-25402][SQL] BooleanSimplification の Null 処理。[SPARK-25402][SQL] Null handling in BooleanSimplification.
    • NotSerializableExceptionAvro データソースで修正されています。Fixed NotSerializableException in Avro data source.
  • 2018年9月11日Sep 11, 2018

    • フィルターを減らすには、null 値を正しく処理する必要があります。Filter reduction should handle null value correctly.
  • 2018年8月28日Aug 28, 2018

    • デルタ Lake Delete コマンドで、条件が null と評価される行を誤って削除するバグを修正した。Fixed a bug in Delta Lake Delete command that would incorrectly delete the rows where the condition evaluates to null.
    • [SPARK-25114]2つの単語間の減算が Integer.MAX_VALUE によって割り切れれる場合に、RecordBinaryComparator 子を修正します。[SPARK-25114]Fix RecordBinaryComparator when subtraction between two words is divisible by Integer.MAX_VALUE.
  • 2018年8月23日Aug 23, 2018

    • [SPARK-24809]実行プログラムで LongHashedRelation をシリアル化すると、データエラーが発生する可能性があります。[SPARK-24809]Serializing LongHashedRelation in executor may result in data error.
    • Parquet reader の null 値を許容するマップの問題を修正します。Fixed nullable map issue in Parquet reader.
    • [SPARK-25081]書き込むがメモリの割り当てに失敗したときに、ShuffleExternalSorter が解放されたメモリページにアクセスするバグを修正しました。[SPARK-25081]Fixed a bug where ShuffleExternalSorter may access a released memory page when spilling fails to allocate memory.
    • Databricks Delta と Pyspark の間の対話を修正しました。これにより、一時的な読み取りエラーが発生する可能性があります。Fixed an interaction between Databricks Delta and Pyspark which could cause transient read failures.
  • 2018 年 6 月 28 日June 28, 2018

    • 述語で使用されているパーティション列の名前が、テーブルのスキーマ内のその列のケースと異なる場合に、不適切なクエリ結果を引き起こす可能性のあるバグを修正しました。Fixed a bug that could cause incorrect query results when the name of a partition column used in a predicate differs from the case of that column in the schema of the table.
  • 2018 年 6 月 28 日June 28, 2018

    • 述語で使用されているパーティション列の名前が、テーブルのスキーマ内のその列のケースと異なる場合に、不適切なクエリ結果を引き起こす可能性のあるバグを修正しました。Fixed a bug that could cause incorrect query results when the name of a partition column used in a predicate differs from the case of that column in the schema of the table.
  • 2018年6月7日June 7, 2018

    • Spark SQL 実行エンジンに影響を与えるバグを修正した。Fixed a bug affecting Spark SQL execution engine.
    • Delta Lake でのエラー処理が改善されました。Improved error handling in Delta Lake.
  • 2018年5月17日May 17, 2018

    • Azure Data Lake Store に格納されているデータの読み取りの安定性が向上しました。Improved stability on reading data stored in Azure Data Lake Store.
    • RDD キャッシュに影響するバグを修正しています。Fixed a bug affecting RDD caching.
    • Spark SQL での Null セーフな等価に影響するバグを修正します。Fixed a bug affecting Null-safe Equal in Spark SQL.
    • ストリーミングクエリの特定の集計に影響するバグを修正します。Fixed a bug affecting certain aggregations in streaming queries.
  • 2018年4月24日Apr 24, 2018

    • Azure Data Lake Store へのアクセスの安定性を向上させるために、Azure Data Lake Store SDK を2.0.11 から2.2.8 にアップグレードしました。Upgraded Azure Data Lake Store SDK from 2.0.11 to 2.2.8 to improve the stability of access to Azure Data Lake Store.
    • がの場合に、パーティション分割された Hive テーブルへの上書きの挿入に影響するバグを修正し spark.databricks.io.hive.fastwriter.enabled false ます。Fixed a bug affecting the insertion of overwrites to partitioned Hive tables when spark.databricks.io.hive.fastwriter.enabled is false.
    • タスクのシリアル化に失敗した問題を修正しました。Fixed an issue that failed task serialization.
  • 2018 年 3 月 9 日Mar 09, 2018

    • まれに、一部の出力ファイルが失われる可能性がある競合状態が原因で発生する問題を修正しました。Fixed an issue caused by a race condition that could, in rare circumstances, lead to loss of some output files.
  • 2018年3月01Mar 01, 2018

    • 停止に長時間かかる可能性があるストリームの処理効率が向上しました。Improved the efficiency of handling streams that can take a long time to stop.
    • Python オートコンプリートに影響する問題を修正しています。Fixed an issue affecting Python autocomplete.
    • Ubuntu セキュリティパッチが適用されました。Applied Ubuntu security patches.
    • Python Udf とウィンドウ関数を使用した特定のクエリに影響する問題を修正しています。Fixed an issue affecting certain queries using Python UDFs and window functions.
    • テーブルアクセス制御が有効になっているクラスターでの Udf の使用に影響する問題を修正しました。Fixed an issue affecting the use of UDFs on a cluster with table access control enabled.
  • 2018年1月29日Jan 29, 2018

    • Azure Blob storage に格納されているテーブルの操作に影響する問題を修正しています。Fixed an issue affecting the manipulation of tables stored in Azure Blob storage.
    • 空のデータフレームで dropDuplicates の後に集計を修正した。Fixed aggregation after dropDuplicates on empty DataFrame.

Databricks Runtime 3.4 (サポートされていません) Databricks Runtime 3.4 (Unsupported)

Databricks Runtime 3.4 (サポートされていません) を参照してください。See Databricks Runtime 3.4 (Unsupported).

  • 2018年6月7日June 7, 2018

    • Spark SQL 実行エンジンに影響を与えるバグを修正した。Fixed a bug affecting Spark SQL execution engine.
    • Delta Lake でのエラー処理が改善されました。Improved error handling in Delta Lake.
  • 2018年5月17日May 17, 2018

    • Azure Data Lake Store に格納されているデータの読み取りの安定性が向上しました。Improved stability on reading data stored in Azure Data Lake Store.
    • RDD キャッシュに影響するバグを修正しています。Fixed a bug affecting RDD caching.
    • Spark SQL での Null セーフな等価に影響するバグを修正します。Fixed a bug affecting Null-safe Equal in Spark SQL.
  • 2018年4月24日Apr 24, 2018

    • がの場合に、パーティション分割された Hive テーブルへの上書きの挿入に影響するバグを修正し spark.databricks.io.hive.fastwriter.enabled false ます。Fixed a bug affecting the insertion of overwrites to partitioned Hive tables when spark.databricks.io.hive.fastwriter.enabled is false.
  • 2018 年 3 月 9 日Mar 09, 2018

    • まれに、一部の出力ファイルが失われる可能性がある競合状態が原因で発生する問題を修正しました。Fixed an issue caused by a race condition that could, in rare circumstances, lead to loss of some output files.
  • 2017年12月13日Dec 13, 2017

    • 拡張性のある Udf に影響する問題を修正しています。Fixed an issue affecting UDFs in Scala.
    • 非 DBFS パスに格納されているデータソーステーブルのインデックスをスキップするデータの使用に影響する問題を修正しています。Fixed an issue affecting the use of Data Skipping Index on data source tables stored in non-DBFS paths.
  • 2017年12月7日Dec 07, 2017

    • シャッフルの安定性が向上しました。Improved shuffle stability.