Обновления обслуживания для Databricks Runtime (архивированные)

На этой архивной странице перечислены обновления обслуживания, выданные для выпусков среды выполнения Databricks, которые больше не поддерживаются. Чтобы добавить обновление для обслуживания в существующем кластере, перезапустите кластер.

Сведения о миграции в поддерживаемую версию Databricks Runtime см. в руководстве по миграции Databricks Runtime.

Внимание

Поддержка этой документации прекращена, она может больше не обновляться. Продукты, службы или технологии, упоминание в этом содержимом больше не поддерживаются. См . заметки о выпуске Databricks Runtime и версии совместимости.

Примечание.

Эта статья содержит упоминания термина whitelist (список разрешений), который больше не используется в Azure Databricks. Когда этот термин будет удален из программного обеспечения, мы удалим его из статьи.

Заметки о выпуске Databricks Runtime

Обновления обслуживания по выпуску:

• Databricks Runtime 14.0
• Databricks Runtime 13.1
• Databricks Runtime 12.2 LTS
• Databricks Runtime 11.3 LTS
• Databricks Runtime 10.4 LTS
• Databricks Runtime 9.1 LTS
• Databricks Runtime 13.0 (неподдерживаемый)
• Databricks Runtime 12.1 (неподдерживаемый)
• Databricks Runtime 12.0 (неподдерживаемый)
• Databricks Runtime 11.2 (неподдерживаемый)
• Databricks Runtime 11.1 (неподдерживаемый)
• Databricks Runtime 11.0 (неподдерживаемый)
• Databricks Runtime 10.5 (неподдерживаемый)
• Databricks Runtime 10.3 (не поддерживается)
• Databricks Runtime 10.2 (неподдерживаемый)
• Databricks Runtime 10.1 (неподдерживаемый)
• Databricks Runtime 10.0 (неподдерживаемый)
• Databricks Runtime 9.0 (неподдерживаемый)
• Databricks Runtime 8.4 (неподдерживаемый)
• Databricks Runtime 8.3 (неподдерживаемый)
• Databricks Runtime 8.2 (неподдерживаемый)
• Databricks Runtime 8.1 (неподдерживаемый)
• Databricks Runtime 8.0 (неподдерживаемый)
• Databricks Runtime 7.6 (неподдерживаемый)
• Databricks Runtime 7.5 (неподдерживаемый)
• Databricks Runtime 7.3 LTS (неподдерживаемый)
• Расширенная поддержка Databricks Runtime 6.4 (неподдерживаемая)
• Databricks Runtime 5.5 LTS (неподдерживаемый)
• Расширенная поддержка Databricks Light 2.4
• Databricks Runtime 7.4 (неподдерживаемый)
• Databricks Runtime 7.2 (неподдерживаемый)
• Databricks Runtime 7.1 (неподдерживаемый)
• Databricks Runtime 7.0 (неподдерживаемый)
• Databricks Runtime 6.6 (неподдерживаемый)
• Databricks Runtime 6.5 (неподдерживаемый)
• Databricks Runtime 6.3 (неподдерживаемый)
• Databricks Runtime 6.2 (неподдерживаемый)
• Databricks Runtime 6.1 (неподдерживаемый)
• Databricks Runtime 6.0 (неподдерживаемый)
• Databricks Runtime 5.4 ML (неподдерживаемый)
• Databricks Runtime 5.4 (неподдерживаемый)
• Databricks Runtime 5.3 (неподдерживаемый)
• Databricks Runtime 5.2 (неподдерживаемый)
• Databricks Runtime 5.1 (неподдерживаемый)
• Databricks Runtime 5.0 (неподдерживаемый)
• Databricks Runtime 4.3 (неподдерживаемый)
• Databricks Runtime 4.2 (неподдерживаемый)
• Databricks Runtime 4.1 ML (неподдерживаемый)
• Databricks Runtime 4.1 (неподдерживаемый)
• Databricks Runtime 4.0 (неподдерживаемый)
• Databricks Runtime 3.5 LTS (неподдерживаемый)
• Databricks Runtime 3.4 (неподдерживаемый)

Обновления обслуживания для поддерживаемых версий среды выполнения Databricks см. в разделе Обновления обслуживания Databricks Runtime.

Databricks Runtime 14.0

См. раздел Databricks Runtime 14.0 (неподдерживаемый).

• 8 февраля 2024 г.
  • [SPARK-46396] Вывод метки времени не должен вызывать исключение.
  • [SPARK-46794] Удалите вложенные запросы из ограничений LogicalRDD.
  • [SPARK-45182] Игнорировать завершение задачи из старой стадии после повторной попытки родительского неопределенного этапа, как определено проверка sum.
  • [SPARK-46933] Добавьте метрику времени выполнения запроса в соединители, использующие JDBCRDD.
  • [SPARK-45957] Избегайте создания плана выполнения для не исполняемых команд.
  • [SPARK-46861] Избегайте взаимоблокировки в DAGScheduler.
  • [SPARK-46930] Добавьте поддержку настраиваемого префикса для полей типа Union в Avro.
  • [SPARK-46941] Не удается вставить узел ограничения группы окон для вычислений top-k, если содержит SizeBasedWindowFunction.
  • [SPARK-45582] Убедитесь, что экземпляр хранилища не используется после вызова фиксации в режиме потоковой передачи потоковой передачи.
  • Обновления системы безопасности операционной системы.
• 31 января 2024 г.
  • [SPARK-46541] Исправьте неоднозначную ссылку на столбец при самостоятельном соединении.
  • [SPARK-46676] dropDuplicatesWithinWatermark не должен завершать ошибку канонизации плана.
  • [SPARK-46769] Уточнение метки времени, связанной с выводом схемы.
  • [SPARK-45498] Дальнейшие действия. Пропустить завершение задачи из старых попыток этапа.
  • Возврат [SPARK-46769] Уточнение метки времени, связанной с выводом схемы.
  • [SPARK-46383] Сокращение использования кучи драйверов путем уменьшения срока существования TaskInfo.accumulables().
  • [SPARK-46633] Исправление средства чтения Avro для обработки блоков нулевой длины.
  • [SPARK-46677] Исправление dataframe["*"] разрешения.
  • [SPARK-46684] Исправьте coGroup.applyInPandas/Arrow, чтобы правильно передать аргументы.
  • [SPARK-46763] Исправлена ошибка утверждения в ReplaceDeduplicateWithAggregate для повторяющихся атрибутов.
  • [SPARK-46610] Создание таблицы должно вызывать исключение, если значение ключа в параметрах не должно быть.
  • Обновления системы безопасности операционной системы.
• 17 января 2024 г.
  • Узел shuffle плана объяснения, возвращаемого запросом Photon, обновляется, чтобы добавить causedBroadcastJoinBuildOOM=true флаг при возникновении ошибки вне памяти во время перетасовки, которая является частью вещания соединения.
  • Чтобы избежать повышенной задержки при обмене данными по протоколу TLSv1.3, этот выпуск обслуживания включает исправление для установки JDK 8, чтобы устранить ошибку JDK-8293562.
  • [SPARK-46394] Исправьте проблемы spark.catalog.listDatabases() со схемами со специальными символами, если spark.sql.legacy.keepCommandOutputSchema задано значение true.
  • [SPARK-46250] Deflake test_parity_listener.
  • [SPARK-45814] Сделайте стрелкуConverters.createEmptyArrowBatch вызов close(), чтобы избежать утечки памяти.
  • [SPARK-46173] Пропуск вызова trimAll во время синтаксического анализа даты.
  • [SPARK-46484] Чтобы resolveOperators вспомогательные функции сохраняли идентификатор плана.
  • [SPARK-46466] Векторное средство чтения parquet никогда не должно делать перебазу для метки времени ntz.
  • [SPARK-46056] Исправление векторного вектора Parquet чтения NPE с значением по умолчанию byteArrayDecimalType.
  • [SPARK-46058] Добавьте отдельный флаг для privateKeyPassword.
  • [SPARK-46478] Вернуть SPARK-43049 для использования oracle varchar(255) для строки.
  • [SPARK-46132] Поддержка пароля ключа для ключей JKS для ПРОТОКОЛА SSL RPC.
  • [SPARK-46417] Не завершайте ошибку при вызове hive.getTable и throwException имеет значение false.
  • [SPARK-46261]DataFrame.withColumnsRenamed должен хранить упорядочение диктовки или карты.
  • [SPARK-46370] Исправлена ошибка при запросе из таблицы после изменения значений по умолчанию столбца.
  • [SPARK-46609] Избегайте экспоненциального взрыва в PartitioningPreservingUnaryExecNode.
  • [SPARK-46600] Переместите общий код между SqlConf и SqlApiConf в SqlApiConfHelper.
  • [SPARK-46538] Исправлена неоднозначная проблема ALSModel.transformсо ссылкой на столбец.
  • [SPARK-46337] Сохраните CTESubstitutionPLAN_ID_TAG.
  • [SPARK-46602]allowExisting Распространение в режиме создания представления, если представление или таблица не существует.
  • [SPARK-46260]DataFrame.withColumnsRenamed должен соблюдать порядок диктовки.
  • [SPARK-46145] Spark.catalog.listTables не создает исключение, если таблица или представление не найдены.
• 14 декабря 2023 г.
  • Исправлена проблема, из-за которой экранированные подчеркивания в операциях getColumns, исходящих из клиентов JDBC или ODBC, обрабатывались неправильно и интерпретировались как дикие карта.
  • [SPARK-46255] Поддержка сложного типа —> преобразование строк.
  • [SPARK-46028] Примите Column.__getitem__ входной столбец.
  • [SPARK-45920] группа по порядковой номеру должна быть идемпотентной.
  • [SPARK-45433] Исправьте вывод схемы CSV/JSON, если метки времени не соответствуют заданной метке времени.
  • [SPARK-45509] Исправлено поведение ссылки на столбец df для Подключение Spark.
  • Обновления системы безопасности операционной системы.
• 29 ноября 2023 г.
  • Установите новый пакет, pyarrow-hotfix чтобы устранить уязвимость PyArrow RCE.
  • Исправлена проблема, из-за которой экранированные подчеркивания в getColumns операциях, исходящих из клиентов JDBC или ODBC, были неправильно интерпретированы как дикие карта.
  • При приеме данных CSV с помощью автозагрузчика или потоковой передачи большие CSV-файлы теперь разделены и могут обрабатываться параллельно во время вывода схемы и обработки данных.
  • Соединитель Spark-snowflake обновляется до версии 2.12.0.
  • [SPARK-45859] Сделал объекты UDF ленивым ml.functions .
  • Возврат [SPARK-45592].
  • [SPARK-45892] Проверка плана оптимизатора рефакторинга для развязки validateSchemaOutput и validateExprIdUniqueness.
  • [SPARK-45592] Исправлена проблема с правильностью в AQE.InMemoryTableScanExec
  • [SPARK-45620] API, связанные с UDF Python, теперь используют верблюдьи Регистр.
  • [SPARK-44784] Сделал SBT тестирования герметично.
  • [SPARK-45770] Исправлено разрешение столбцов для DataFrameDropColumnsDataframe.drop.
  • [SPARK-45544] Встроенная поддержка SSL в TransportContext.
  • [SPARK-45730] Улучшенные ограничения времени для ReloadingX509TrustManagerSuite.
  • Обновления системы безопасности операционной системы.
• 10 ноября 2023 г.
  • Измененные запросы веб-канала данных в таблицах потоковой передачи каталога Unity и материализованных представлениях для отображения сообщений об ошибках.
  • [SPARK-45545]SparkTransportConf наследуется SSLOptions при создании.
  • [SPARK-45584] Исправлен сбой выполнения вложенных запросов.TakeOrderedAndProjectExec
  • [SPARK-45427] Добавлены параметры SSL RPC в SSLOptions и SparkTransportConf.
  • [SPARK-45541] Добавлен.SSLFactory
  • [SPARK-45430]FramelessOffsetWindowFunction больше не завершается ошибкой, когда IGNORE NULLS и offset > rowCount.
  • [SPARK-45429] Добавлены вспомогательные классы для обмена данными SSL RPC.
  • [SPARK-44219] Добавлены дополнительные проверки для каждого правила для перезаписи оптимизации.
  • [SPARK-45543] Исправлена проблема, из-за которой возникла ошибка, InferWindowGroupLimit если другие функции окна не совпадают с рангами, такими как функции.
  • Обновления системы безопасности операционной системы.
• 23 октября 2023 г.
  • [SPARK-45426] Добавлена поддержка ReloadingX509TrustManager.
  • [SPARK-45396] Добавлена запись документа для PySpark.ml.connect модуля и добавлена Evaluator в __all__ml.connectнее.
  • [SPARK-45256] Исправлена проблема, из-за которой DurationWriter при написании больше значений, чем начальная емкость.
  • [SPARK-45279] Присоединено plan_id ко всем логическим планам.
  • [SPARK-45250] Добавлена поддержка профиля ресурсов на уровне стадии для кластеров yarn при отключении динамического выделения.
  • [SPARK-45182] Добавлена поддержка отката этапа перетасовки карты, поэтому все задачи этапа можно получить, когда выходные данные этапа не определены.
  • [SPARK-45419] Избегайте повторного использования rocksdb sst файлов в другом rocksdb экземпляре, удалив записи карты версий файлов более крупных версий.
  • [SPARK-45386] Исправлена проблема, из-за которой StorageLevel.NONE неправильно возвращалось значение 0.
  • Обновления системы безопасности операционной системы.
• 13 октября 2023 г.
  • Зависимость Snowflake-jdbc обновлена с 3.13.29 до 3.13.33.
  • Функция array_insert основана на 1 для положительных и отрицательных индексов, в то время как раньше она была основана на 0 для отрицательных индексов. Теперь он вставляет новый элемент в конец входных массивов для индекса -1. Чтобы восстановить прежнее поведение, присвойте параметру spark.sql.legacy.negativeIndexInArrayInsert значение true.
  • Azure Databricks больше не игнорирует поврежденные файлы, если вывод схемы CSV с включен ignoreCorruptFilesавтозагрузчиком.
  • [SPARK-45227] Исправлена проблема с тонкой безопасностью CoarseGrainedExecutorBackendпотока.
  • [SPARK-44658]ShuffleStatus.getMapStatus должен возвращаться None вместо Some(null).
  • [SPARK-44910]Encoders.bean не поддерживает суперклассы с аргументами универсального типа.
  • [SPARK-45346] Вывод схемы Parquet учитывает флаги с учетом регистра при слиянии схемы.
  • Возврат [SPARK-42946].
  • [SPARK-42205] Обновлен протокол JSON, чтобы удалить ведение журнала Accumulables в задачах или событиях начала этапа.
  • [SPARK-45360] Построитель сеансов Spark поддерживает инициализацию из SPARK_REMOTE.
  • [SPARK-45316] Добавление новых параметров ignoreCorruptFiles/ignoreMissingFiles в HadoopRDD и NewHadoopRDD.
  • [SPARK-44909] Пропустите запуск сервера потоковой передачи журнала распространителя факела, если он недоступен.
  • [SPARK-45084]StateOperatorProgress теперь использует точный номер секции перетасовки.
  • [SPARK-45371] Исправлены проблемы с заливки в клиенте Spark Подключение Scala.
  • [SPARK-45178] Резервное выполнение одного пакета для Trigger.AvailableNow неподдерживаемых источников, а не с помощью оболочки.
  • [SPARK-44840] Сделайте array_insert() 1 на основе отрицательных индексов.
  • [SPARK-44551] Измененные примечания для синхронизации с OSS.
  • [SPARK-45078] Теперь ArrayInsert функция делает явное приведение, если тип элемента не равен производного типа компонента.
  • [SPARK-45339] PySpark теперь регистрирует ошибки повторных попыток.
  • [SPARK-45057] Избегайте получения блокировки чтения при keepReadLock значении false.
  • [SPARK-44908] Исправлена функция перекрестного проверки foldCol парам.
  • Обновления системы безопасности операционной системы.

Databricks Runtime 13.1

См. раздел Databricks Runtime 13.1 (неподдерживаемый).

• 29 ноября 2023 г.
  • Исправлена проблема, из-за которой экранированные подчеркивания в getColumns операциях, исходящих из клиентов JDBC или ODBC, были неправильно интерпретированы как дикие карта.
  • [SPARK-44846] Удалены сложные выражения группировки после RemoveRedundantAggregates.
  • [SPARK-43802] Исправлена проблема, из-за которой кодеген для несхеченных и несбойных выражений unbase64.
  • [SPARK-43718] Исправлена возможность null для ключей в USING соединениях.
  • Обновления системы безопасности операционной системы.
• 14 ноября 2023 г.
  • Фильтры секций в запросах потоковой передачи Delta Lake отправляются вниз до ограничения скорости, чтобы повысить эффективность использования.
  • Измененные запросы веб-канала данных в таблицах потоковой передачи каталога Unity и материализованных представлениях для отображения сообщений об ошибках.
  • [SPARK-45584] Исправлен сбой выполнения вложенных запросов.TakeOrderedAndProjectExec
  • [SPARK-45430]FramelessOffsetWindowFunction больше не завершается ошибкой, когда IGNORE NULLS и offset > rowCount.
  • [SPARK-45543] Исправлена проблема, из-за которой InferWindowGroupLimit возникла проблема, если другие функции окна не имели того же кадра окна, что и функции ранжирования.
  • Обновления системы безопасности операционной системы.
• 24 октября 2023 г.
  • [SPARK-43799] Добавлен двоичный параметр дескриптора в API PySpark Protobuf .
  • Возврат [SPARK-42946].
  • [SPARK-45346] Вывод схемы Parquet теперь учитывает флаг с учетом регистра при слиянии схемы.
  • Обновления системы безопасности операционной системы.
• 13 октября 2023 г.
  • Зависимость Snowflake-jdbc обновлена с 3.13.29 до 3.13.33.
  • Больше не игнорирует поврежденные файлы при ignoreCorruptFiles включении во время вывода схемы CSV с помощью автозагрузчика.
  • [SPARK-44658]ShuffleStatus.getMapStatus возвращается None вместо Some(null).
  • [SPARK-45178] Резервное выполнение одного пакета для Trigger.AvailableNow неподдерживаемых источников, а не с помощью оболочки.
  • [SPARK-42205] Обновлен протокол JSON, чтобы удалить ведение журнала Accumulables в задачах или событиях начала этапа.
  • Обновления системы безопасности операционной системы.
• 12 сентября 2023 г.
  • [SPARK-44718] Сопоставление ColumnVector конфигурации в режиме памяти по умолчанию со OffHeapMemoryMode значением конфигурации.
  • SPARK-44878 Отключил строгий предел для диспетчера записи, RocksDB чтобы избежать исключения вставки в кэше.
  • Прочие исправления.
• 30 августа 2023 г.
  • [SPARK-44871] Исправлено поведение percentile_disc.
  • [SPARK-44714] Упрощение ограничения разрешения LCA относительно запросов.
  • [SPARK-44245]PySpark.sql.dataframe sample() Тесты doc теперь иллюстрируются только для иллюстрации.
  • [SPARK-44818] Исправлена гонка за ожидающие прерывания задачи, выданные до инициализации taskThread .
  • Обновления системы безопасности операционной системы.
• 15 августа 2023 г.
  • [SPARK-44485] Оптимизировано TreeNode.generateTreeString.
  • [SPARK-44643] Исправлено Row.__repr__ , если строка пуста.
  • [SPARK-44504] Задача обслуживания теперь очищает загруженных поставщиков при ошибке остановки.
  • [SPARK-44479] Исправлено protobuf преобразование из пустого типа структуры.
  • [SPARK-44464] Исправлено applyInPandasWithStatePythonRunner для выходных строк, имеющих Null значение первого столбца.
  • Прочие исправления.
• 27 июля 2023 г.
  • Исправлена проблема dbutils.fs.ls() , из-за которой возвращался INVALID_PARAMETER_VALUE.LOCATION_OVERLAP при вызове пути к расположению хранилища, который столкнулся с другим внешним или управляемым расположением хранилища.
  • [SPARK-44199]CacheManager больше не обновляет ненужные fileIndex .
  • [SPARK-44448] Исправлена ошибка ошибок результатов из DenseRankLimitIterator и InferWindowGroupLimit.
  • Обновления системы безопасности операционной системы.
• 24 июля 2023 г.
  • Возврат [SPARK-42323].
  • [SPARK-41848] Исправлена проблема TaskResourceProfileс превышением расписания задачи.
  • [SPARK-44136] Исправлена проблема, из-за которой StateManager он был материализован в исполнителе, а не драйвером FlatMapGroupsWithStateExec.
  • [SPARK-44337] Исправлена проблема, из-за которой любой набор Any.getDefaultInstance полей вызвал ошибки синтаксического анализа.
  • Обновления системы безопасности операционной системы.
• 27 июня 2023 г.
  • Обновления системы безопасности операционной системы.
• 15 июня 2023 г.
  • Фотонализовано approx_count_distinct.
  • Средство синтаксического анализа JSON теперь удаляет запись в failOnUnknownFieldsDROPMALFORMED режиме и завершается сбоем непосредственно в FAILFAST режиме.
  • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
  • Поле PubSubRecord атрибутов хранится как JSON вместо строки из карты Scala для более простой сериализации и десериализации.
  • Теперь команда EXPLAIN EXTENDED возвращает право кэша результатов запроса.
  • Повышение производительности добавочных обновлений с помощью SHALLOW CLONE Айсберга и Parquet.
  • [SPARK-43032] Исправлена ошибка Python SQM.
  • [SPARK-43404]Пропустите повторное использовать SST-файл для той же версии хранилища состояний RocksDB, чтобы избежать ошибки несоответствия идентификаторов.
  • [SPARK-43340] Обработка отсутствующих полей трассировки стека в журналах событий.
  • [SPARK-43527] Исправлено catalog.listCatalogs в PySpark.
  • [SPARK-43541] Распространение всех Project тегов в разрешении выражений и отсутствующих столбцов.
  • [SPARK-43300]NonFateSharingCache оболочка для кэша Guava.
  • [SPARK-43378] Правильно закрывайте объекты потока в deserializeFromChunkedBuffer.
  • [SPARK-42852]NamedLambdaVariable Возврат связанных изменений из EquivalentExpressions.
  • [SPARK-43779]ParseToDate теперь загружается EvalMode в основной поток.
  • [SPARK-43413] Исправление IN допустимости вложенного запроса ListQuery null.
  • [SPARK-43889] Добавьте проверка для имени столбца, чтобы отфильтровать имена столбцов, __dir__() подверженных ошибкам.
  • [SPARK-43043] Улучшена производительность MapOutputTrackerupdateMapOutput
  • [SPARK-43522] Исправлено создание имени столбца структуры с индексом массива.
  • [SPARK-43457] Расширение агента пользователя с версиями ОС, Python и Spark.
  • [SPARK-43286] Обновлен aes_encrypt режим CBC для создания случайных IV.
  • [SPARK-42851] Guard EquivalentExpressions.addExpr() с supportedExpression().
  • Возврат [SPARK-43183].
  • Обновления системы безопасности операционной системы.

Databricks Runtime 12.2 LTS

См. раздел Databricks Runtime 12.2 LTS.

• 29 ноября 2023 г.
  • Исправлена проблема, из-за которой экранированные подчеркивания в getColumns операциях, исходящих из клиентов JDBC или ODBC, были неправильно интерпретированы как дикие карта.
  • [SPARK-42205] Удалены журналы, доступные для ведения журнала, в Stage событиях запуска и Task запуска.
  • [SPARK-44846] Удалены сложные выражения группировки после RemoveRedundantAggregates.
  • [SPARK-43718] Исправлена возможность null для ключей в USING соединениях.
  • [SPARK-45544] Встроенная поддержка SSL в TransportContext.
  • [SPARK-43973] Структурированный пользовательский интерфейс потоковой передачи теперь отображает неудачные запросы.
  • [SPARK-45730] Улучшенные ограничения времени для ReloadingX509TrustManagerSuite.
  • [SPARK-45859] Сделал объекты UDF ленивым ml.functions .
  • Обновления системы безопасности операционной системы.
• 14 ноября 2023 г.
  • Фильтры секций в запросах потоковой передачи Delta Lake отправляются вниз до ограничения скорости, чтобы повысить эффективность использования.
  • [SPARK-45545]SparkTransportConf наследуется SSLOptions при создании.
  • [SPARK-45427] Добавлены параметры SSL RPC в SSLOptions и SparkTransportConf.
  • [SPARK-45584] Исправлен сбой выполнения вложенных запросов.TakeOrderedAndProjectExec
  • [SPARK-45541] Добавлен.SSLFactory
  • [SPARK-45430]FramelessOffsetWindowFunction больше не завершается ошибкой, когда IGNORE NULLS и offset > rowCount.
  • [SPARK-45429] Добавлены вспомогательные классы для обмена данными SSL RPC.
  • Обновления системы безопасности операционной системы.
• 24 октября 2023 г.
  • [SPARK-45426] Добавлена поддержка ReloadingX509TrustManager.
  • Прочие исправления.
• 13 октября 2023 г.
  • Зависимость Snowflake-jdbc обновлена с 3.13.29 до 3.13.33.
  • [SPARK-42553] Убедитесь, что по крайней мере один единица времени после интервала.
  • [SPARK-45346] Вывод схемы Parquet учитывает флаг конфиденциальности регистра при слиянии схемы.
  • [SPARK-45178] Резервное выполнение одного пакета для Trigger.AvailableNow неподдерживаемых источников, а не с помощью оболочки.
  • [SPARK-45084]StateOperatorProgress для использования точного, адекватного номера секции перетасовки.
• 12 сентября 2023 г.
  • [SPARK-44873] Добавлена поддержка alter view вложенных столбцов в клиенте Hive.
  • [SPARK-44718] Сопоставление ColumnVector конфигурации в режиме памяти по умолчанию со OffHeapMemoryMode значением конфигурации.
  • [SPARK-43799] Добавлен двоичный параметр дескриптора в API PySpark Protobuf .
  • Прочие исправления.
• 30 августа 2023 г.
  • [SPARK-44485] Оптимизировано TreeNode.generateTreeString.
  • [SPARK-44818] Исправлена гонка за ожидающие прерывания задачи, выданные до инициализации taskThread .
  • [11.3-13.0] [[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871) Исправлено percentile_disc поведение.
  • [SPARK-44714] Упрощенное ограничение разрешения LCA относительно запросов.
  • Обновления системы безопасности операционной системы.
• 15 августа 2023 г.
  • [SPARK-44504] Задача обслуживания очищает загруженных поставщиков при ошибке остановки.
  • [SPARK-44464] Исправлено applyInPandasWithStatePythonRunner для выходных строк, имеющих Null значение первого столбца.
  • Обновления системы безопасности операционной системы.
• 29 июля 2023 г.
  • Исправлена проблема dbutils.fs.ls() , из-за которой возвращался INVALID_PARAMETER_VALUE.LOCATION_OVERLAP при вызове пути к расположению хранилища, который столкнулся с другим внешним или управляемым расположением хранилища.
  • [SPARK-44199]CacheManager больше не обновляет ненужные fileIndex .
  • Обновления системы безопасности операционной системы.
• 24 июля 2023 г.
  • [SPARK-44337] Исправлена проблема, из-за которой любой набор Any.getDefaultInstance полей вызвал ошибки синтаксического анализа.
  • [SPARK-44136] Исправлена проблема, из-за которой StateManager он был материализован в исполнителе, а не драйвером FlatMapGroupsWithStateExec.
  • Обновления системы безопасности операционной системы.
• 23 июня 2023 г.
  • Обновления системы безопасности операционной системы.
• 15 июня 2023 г.
  • Фотонализовано approx_count_distinct.
  • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
  • [SPARK-43779]ParseToDate теперь загружается EvalMode в основной поток.
  • [SPARK-43156][SPARK-43098] Проверка ошибки расширенного скалярного подзаверждения с decorrelateInnerQuery отключенным.
  • Обновления системы безопасности операционной системы.
• 2 июня 2023 г.
  • Средство синтаксического анализа JSON в failOnUnknownFields режиме удаляет запись в DROPMALFORMED режиме и завершается сбоем непосредственно в режиме FAILFAST .
  • Повышение производительности добавочных обновлений с помощью SHALLOW CLONE Айсберга и Parquet.
  • Исправлена проблема в автозагрузчике, в которой разные форматы исходных файлов были несогласованы, когда указанная схема не включала выводные секции. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.
  • [SPARK-43404] Пропустите повторное использовать SST-файл для той же версии хранилища состояний RocksDB, чтобы избежать ошибки несоответствия идентификаторов.
  • [SPARK-43413][11.3-13.0] Исправлена IN возможность nullquery ListQuery .
  • [SPARK-43522] Исправлено создание имени столбца структуры с индексом массива.
  • [SPARK-43541] Распространение всех Project тегов в разрешении выражений и отсутствующих столбцов.
  • [SPARK-43527] Исправлено catalog.listCatalogs в PySpark.
  • [SPARK-43123] Внутренние метаданные поля больше не утечки в каталоги.
  • [SPARK-43340] Исправлено отсутствие поля трассировки стека в журналах событий.
  • [SPARK-424444]DataFrame.drop теперь правильно обрабатывает повторяющиеся столбцы.
  • [SPARK-42937]PlanSubqueries теперь задает InSubqueryExec#shouldBroadcast значение true.
  • [SPARK-43286] Обновлен aes_encrypt режим CBC для создания случайных IV.
  • [SPARK-43378] Правильно закрывайте объекты потока в deserializeFromChunkedBuffer.
• 17 мая 2023 г.
  • Теперь сканирование Parquet обеспечивает надежную защиту от OOM при сканировании исключительно структурированных файлов путем динамической настройки размера пакета. Метаданные файлов анализируются для предварительного уменьшения размера пакета и снова снижаются при повторных попытках задачи в качестве окончательной сетки безопасности.
  • Если файл Avro считывался только с параметром failOnUnknownFields\ или с автозагрузчиком в режиме failOnNewColumns\ эволюции схемы, столбцы с различными типами данных будут считываться, как null\ вместо того, чтобы вызвать ошибку, указывающую, что файл не может быть прочитан. Теперь эти операции чтения завершаются ошибкой и рекомендуют пользователям использовать этот rescuedDataColumn\ параметр.
  • Автозагрузчик теперь выполняет следующие действия.
  • • Правильно считывает и больше не спасаетIntegerShort, и Byte типы, если предоставлен один из этих типов данных, но файл Avro предлагает один из других двух типов.
  • • Запрещает чтение типов интервалов в виде типов меток даты или времени, чтобы избежать повреждения дат.
  • • Запрещает Decimal чтение типов с более низкой точностью.
  • [SPARK-43172] Предоставляет узел и маркер из клиента Spark connect.
  • [SPARK-43293]__qualified_access_only игнорируется в обычных столбцах.
  • [SPARK-43098] Исправлена ошибка правильности COUNT при группировке скалярных вложенных запросов по предложению.
  • [SPARK-43085] Поддержка назначения столбцов DEFAULT для имен таблиц с несколькими частьми.
  • [SPARK-43190]ListQuery.childOutput теперь согласуется со вторичными выходными данными.
  • [SPARK-43192] Удалена проверка charset агента пользователя.
  • Обновления системы безопасности операционной системы.
• 25 апреля 2023 г.
  • Если файл Parquet был считан только failOnUnknownFields с параметром или автоматическим загрузчиком в режиме failOnNewColumns эволюции схемы, столбцы с различными типами данных будут считываться, как null вместо того, чтобы вызвать ошибку, указывающую, что файл не может быть прочитан. Теперь эти операции чтения завершаются ошибкой и рекомендуют пользователям использовать этот rescuedDataColumn параметр.
  • Автоматический загрузчик теперь правильно считывает и больше не спасаетIntegerShort, и Byte типы, если предоставлен один из этих типов данных. Файл Parquet предлагает один из двух других типов. Когда ранее был включен сохраненный столбец данных, несоответствие типа данных приведет к сохранению столбцов, даже если они доступны для чтения.
  • [SPARK-43009] Параметризованный sql() с Any константами
  • [SPARK-42406] Завершение рекурсивных полей Protobuf путем удаления поля
  • [SPARK-43038] Поддержка режима CBC по aes_encrypt()/aes_decrypt()
  • [SPARK-42971] Изменение на печатьworkdir, если appDirs значение NULL при событии рабочего дескриптора WorkDirCleanup
  • [SPARK-43018] Исправлена ошибка для команд INSERT с литералом метки времени
  • Обновления системы безопасности операционной системы.
• 11 апреля 2023 г.
  • Поддержка устаревших форматов источников данных в команде SYNC .
  • Исправлена проблема в поведении %autoreload в записных книжках за пределами репозитория.
  • Исправлена проблема, из-за которой эволюция схемы автозагрузчика может перейти в бесконечный цикл сбоя при обнаружении нового столбца в схеме вложенного объекта JSON.
  • [SPARK-42928] Выполняет resolvePersistentFunction синхронизацию.
  • [SPARK-42936] Устраняет проблему LCan, когда предложение может быть разрешено непосредственно его дочерним агрегатом.
  • [SPARK-42967] Исправления SparkListenerTaskStart.stageAttemptId при запуске задачи после отмены этапа.
  • Обновления системы безопасности операционной системы.
• 29 марта 2023 г.

  • Databricks SQL теперь поддерживает указание значений по умолчанию для столбцов таблиц Delta Lake либо во время создания таблицы, либо после этого. Последующие INSERTкоманды DELETEUPDATEи MERGE команды могут ссылаться на значение по умолчанию любого столбца с помощью явного DEFAULT ключевое слово. Кроме того, если любое INSERT назначение имеет явный список меньше столбцов, чем целевая таблица, соответствующие значения столбцов по умолчанию заменяются остальными столбцами (или NULL, если значение по умолчанию не указано).

    Например:

    CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE()) USING delta;
    INSERT INTO t VALUES (0, DEFAULT);
    INSERT INTO t VALUES (1, DEFAULT);
    SELECT first, second FROM t;
    \> 0, 2023-03-28
    1, 2023-03-28z
    

  • Автозагрузчик теперь инициирует по крайней мере одну синхронную очистку журнала RocksDB для Trigger.AvailableNow потоков, чтобы проверка, что точка проверка может регулярно очищаться для быстрых потоков автозагрузчика. Это может привести к тому, что некоторые потоки будут занять больше времени до завершения работы, но это позволит сэкономить затраты на хранение и улучшить возможности автозагрузчика в будущих запусках.

  • Теперь можно изменить таблицу Delta, чтобы добавить поддержку в функции таблицы с помощью DeltaTable.addFeatureSupport(feature_name).

  • [SPARK-42794] Увеличьте блокировкуAcquireTimeoutMs до 2 минут для получения хранилища состояний RocksDB в службе "Потоковая передача структуры"

  • [SPARK-42521] Добавление NULLs для INSERTs с пользовательскими списками меньше столбцов, чем целевая таблица

  • [SPARK-42702][SPARK-42623] Поддержка параметризованного запроса в вложенных запросах и CTE

  • [SPARK-42668] Перехват исключения при попытке закрыть сжатый поток в HDFSStateStoreProvider

  • [SPARK-42403] JsonProtocol должен обрабатывать строки JSON NULL

• 8 марта 2023 г.
  • Сообщение об ошибке "Сбой инициализации конфигурации" улучшено, чтобы обеспечить больше контекста для клиента.
  • Существует изменение терминологии для добавления функций в таблицу Delta с помощью свойства таблицы. Предпочтительный синтаксис теперь 'delta.feature.featureName'='supported' вместо 'delta.feature.featureName'='enabled'. Для обеспечения обратной совместимости использование 'delta.feature.featureName'='enabled' по-прежнему работает и продолжит работать.
  • Начиная с этого выпуска, можно создать или заменить таблицу дополнительным свойством delta.ignoreProtocolDefaults таблицы, чтобы игнорировать конфигурации Spark, связанные с протоколом, которая включает версии чтения и записи по умолчанию и функции таблицы, поддерживаемые по умолчанию.
  • [SPARK-42070] Изменение значения по умолчанию аргумента функции Mask с -1 на NULL
  • [SPARK-41793] Неправильный результат для кадров окна, определенных предложением диапазона для значительных десятичных разрядов
  • [SPARK-42484] Лучшее сообщение об ошибке unsafeRowUtils
  • [SPARK-42516] Всегда захватывать конфигурацию часового пояса сеанса при создании представлений
  • [SPARK-42635] Исправлено выражение TimestampAdd.
  • [SPARK-42622] Отключена подстановка значений
  • [SPARK-42534] Исправление предложения DB2Dialect Limit
  • [SPARK-42121] Добавление встроенных табличных функций posexplode, posexplode_outer, json_tuple и стека
  • [SPARK-42045] Режим SQL ANSI: Round/Bround должен возвращать ошибку при крошечном/маленьком или значительном переполнении целых чисел
  • Обновления системы безопасности операционной системы.

Databricks Runtime 11.3 LTS

См. раздел Databricks Runtime 11.3 LTS.

• 29 ноября 2023 г.
  • Исправлена проблема, из-за которой экранированные подчеркивания в getColumns операциях, исходящих из клиентов JDBC или ODBC, были неправильно интерпретированы как дикие карта.
  • [SPARK-43973] Структурированный пользовательский интерфейс потоковой передачи теперь отображает неудачные запросы.
  • [SPARK-45730] Улучшенные ограничения времени для ReloadingX509TrustManagerSuite.
  • [SPARK-45544] Встроенная поддержка SSL в TransportContext.
  • [SPARK-45859] Сделал объекты UDF ленивым ml.functions .
  • [SPARK-43718] Исправлена возможность null для ключей в USING соединениях.
  • [SPARK-44846] Удалены сложные выражения группировки после RemoveRedundantAggregates.
  • Обновления системы безопасности операционной системы.
• 14 ноября 2023 г.
  • Фильтры секций в запросах потоковой передачи Delta Lake отправляются вниз до ограничения скорости, чтобы повысить эффективность использования.
  • [SPARK-42205] Удалены сведения о ведении журнала в событиях запуска этапов и задач.
  • [SPARK-45545]SparkTransportConf наследуется SSLOptions при создании.
  • Возврат [SPARK-33861].
  • [SPARK-45541] Добавлен.SSLFactory
  • [SPARK-45429] Добавлены вспомогательные классы для обмена данными SSL RPC.
  • [SPARK-45584] Исправлен сбой выполнения вложенных запросов.TakeOrderedAndProjectExec
  • [SPARK-45430]FramelessOffsetWindowFunction больше не завершается ошибкой, когда IGNORE NULLS и offset > rowCount.
  • [SPARK-45427] Добавлены параметры SSL RPC в SSLOptions и SparkTransportConf.
  • Обновления системы безопасности операционной системы.
• 24 октября 2023 г.
  • [SPARK-45426] Добавлена поддержка ReloadingX509TrustManager.
  • Прочие исправления.
• 13 октября 2023 г.
  • Зависимость Snowflake-jdbc обновлена с 3.13.29 до 3.13.33.
  • [SPARK-45178] Резервное выполнение одного пакета для Trigger.AvailableNow неподдерживаемых источников, а не с помощью оболочки.
  • [SPARK-45084]StateOperatorProgress для использования точного, адекватного номера секции перетасовки.
  • [SPARK-45346] Вывод схемы Parquet теперь учитывает флаг с учетом регистра при слиянии схемы.
  • Обновления системы безопасности операционной системы.
• 10 сентября 2023 г.
  • Прочие исправления.
• 30 августа 2023 г.
  • [SPARK-44818] Исправлена гонка за ожидающие прерывания задачи, выданные до инициализации taskThread .
  • [SPARK-44871][11.3-13.0] Исправлено percentile_disc поведение.
  • Обновления системы безопасности операционной системы.
• 15 августа 2023 г.
  • [SPARK-44485] Оптимизировано TreeNode.generateTreeString.
  • [SPARK-44504] Задача обслуживания очищает загруженных поставщиков при ошибке остановки.
  • [SPARK-44464] Исправлено applyInPandasWithStatePythonRunner для выходных строк, имеющих Null значение первого столбца.
  • Обновления системы безопасности операционной системы.
• 27 июля 2023 г.
  • Исправлена проблема dbutils.fs.ls() , из-за которой возвращался INVALID_PARAMETER_VALUE.LOCATION_OVERLAP при вызове пути к расположению хранилища, который столкнулся с другим внешним или управляемым расположением хранилища.
  • [SPARK-44199]CacheManager больше не обновляет ненужные fileIndex .
  • Обновления системы безопасности операционной системы.
• 24 июля 2023 г.
  • [SPARK-44136] Исправлена проблема, из-за которой StateManager может материализоваться в исполнителях вместо драйвера в FlatMapGroupsWithStateExec.
  • Обновления системы безопасности операционной системы.
• 23 июня 2023 г.
  • Обновления системы безопасности операционной системы.
• 15 июня 2023 г.
  • Фотонализовано approx_count_distinct.
  • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
  • [SPARK-43779]ParseToDate теперь загружается EvalMode в основной поток.
  • [SPARK-40862] Поддержка не агрегированных вложенных запросов в RewriteCorrelatedScalarSubquery
  • [SPARK-43156][SPARK-43098] Расширенный скалярный тест количества decorrelateInnerQuery ошибок с отключенным.
  • [SPARK-43098] Исправлена ошибка COUNT правильности, если скалярный вложенный запрос содержит группу по предложению
  • Обновления системы безопасности операционной системы.
• 2 июня 2023 г.
  • Средство синтаксического анализа JSON в failOnUnknownFields режиме удаляет запись в DROPMALFORMED режиме и завершается сбоем непосредственно в режиме FAILFAST .
  • Повышение производительности добавочных обновлений с помощью SHALLOW CLONE Айсберга и Parquet.
  • Исправлена проблема в автозагрузчике, в которой разные форматы исходных файлов были несогласованы, когда указанная схема не включала выводные секции. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.
  • [SPARK-43404]Пропустите повторное использовать SST-файл для той же версии хранилища состояний RocksDB, чтобы избежать ошибки несоответствия идентификаторов.
  • [SPARK-43527] Исправлено catalog.listCatalogs в PySpark.
  • [SPARK-43413][11.3-13.0] Исправлена IN возможность nullquery ListQuery .
  • [SPARK-43340] Исправлено отсутствие поля трассировки стека в журналах событий.

Databricks Runtime 10.4 LTS

См. Databricks Runtime 10.4 LTS.

• 29 ноября 2023 г.
  • [SPARK-45544] Встроенная поддержка SSL в TransportContext.
  • [SPARK-45859] Сделал объекты UDF ленивым ml.functions .
  • [SPARK-43718] Исправлена возможность null для ключей в USING соединениях.
  • [SPARK-45730] Улучшенные ограничения времени для ReloadingX509TrustManagerSuite.
  • [SPARK-42205] Удалены сведения о ведении журнала в событиях запуска этапов и задач.
  • [SPARK-44846] Удалены сложные выражения группировки после RemoveRedundantAggregates.
  • Обновления системы безопасности операционной системы.
• 14 ноября 2023 г.
  • [SPARK-45541] Добавлен.SSLFactory
  • [SPARK-45545]SparkTransportConf наследуется SSLOptions при создании.
  • [SPARK-45427] Добавлены параметры SSL RPC в SSLOptions и SparkTransportConf.
  • [SPARK-45429] Добавлены вспомогательные классы для обмена данными SSL RPC.
  • [SPARK-45584] Исправлен сбой выполнения вложенных запросов.TakeOrderedAndProjectExec
  • Возврат [SPARK-33861].
  • Обновления системы безопасности операционной системы.
• 24 октября 2023 г.
  • [SPARK-45426] Добавлена поддержка ReloadingX509TrustManager.
  • Обновления системы безопасности операционной системы.
• 13 октября 2023 г.
  • [SPARK-45084]StateOperatorProgress для использования точного, адекватного номера секции перетасовки.
  • [SPARK-45178] Резервное выполнение одного пакета для Trigger.AvailableNow неподдерживаемых источников, а не с помощью оболочки.
  • Обновления системы безопасности операционной системы.
• 10 сентября 2023 г.
  • Прочие исправления.
• 30 августа 2023 г.
  • [SPARK-44818] Исправлена гонка за ожидающие прерывания задачи, выданные до инициализации taskThread .
  • Обновления системы безопасности операционной системы.
• 15 августа 2023 г.
  • [SPARK-44504] Задача обслуживания очищает загруженных поставщиков при ошибке остановки.
  • [SPARK-43973] Структурированный пользовательский интерфейс потоковой передачи теперь отображается неправильно.
  • Обновления системы безопасности операционной системы.
• 23 июня 2023 г.
  • Обновления системы безопасности операционной системы.
• 15 июня 2023 г.
  • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
  • [SPARK-43098] Исправлена ошибка COUNT правильности, если скалярный вложенный запрос содержит группу по предложению
  • [SPARK-40862] Поддержка не агрегированных вложенных запросов в RewriteCorrelatedScalarSubquery
  • [SPARK-43156][SPARK-43098] Расширенный тест скалярного подзапроса с decorrelateInnerQuery отключенным.
  • Обновления системы безопасности операционной системы.
• 2 июня 2023 г.
  • Средство синтаксического анализа JSON в failOnUnknownFields режиме удаляет запись в DROPMALFORMED режиме и завершается сбоем непосредственно в режиме FAILFAST .
  • Исправлена проблема в синтаксическом анализе данных JSON, чтобы предотвратить UnknownFieldException.
  • Исправлена проблема в автозагрузчике, в которой разные форматы исходных файлов были несогласованы, когда указанная схема не включала выводные секции. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.
  • [SPARK-43404] Пропустите повторное использовать SST-файл для той же версии хранилища состояний RocksDB, чтобы избежать ошибки несоответствия идентификаторов.
  • [SPARK-43413] Исправлена IN возможность nullquery ListQuery .
  • Обновления системы безопасности операционной системы.
• 17 мая 2023 г.
  • Теперь сканирование Parquet обеспечивает надежную защиту от OOM при сканировании исключительно структурированных файлов путем динамической настройки размера пакета. Метаданные файлов анализируются для предварительного уменьшения размера пакета и снова снижаются при повторных попытках задачи в качестве окончательной сетки безопасности.
  • [SPARK-41520] Разделение AND_OR шаблона дерева для разделения и ORразделенияAND.
  • [SPARK-43190]ListQuery.childOutput теперь согласуется со вторичными выходными данными.
  • Обновления системы безопасности операционной системы.
• 25 апреля 2023 г.
  • [SPARK-42928] Сделайте resolvePersistentFunction синхронизированным.
  • Обновления системы безопасности операционной системы.
• 11 апреля 2023 г.
  • Исправлена проблема, из-за которой эволюция схемы автозагрузчика может перейти в бесконечный цикл сбоя при обнаружении нового столбца в схеме вложенного объекта JSON.
  • [SPARK-42937]PlanSubqueries теперь задает InSubqueryExec#shouldBroadcast значение true.
  • [SPARK-42967] Исправление SparkListenerTaskStart.stageAttemptId при запуске задачи после отмены этапа.
• 29 марта 2023 г.
  • [SPARK-42668] Перехват исключения при попытке закрыть сжатый поток в HDFSStateStoreProvider
  • [SPARK-42635] Исправление ...
  • Обновления системы безопасности операционной системы.
• 14 марта 2023 г.
  • [SPARK-41162] Исправление анти- и полусоединения для самостоятельного объединения с помощью агрегатов
  • [SPARK-33206] Исправление вычисления веса кэша кэша индексов с перетасовками для небольших файлов индексов
  • [SPARK-42484] Улучшено сообщение об ошибке UnsafeRowUtils
  • Прочие исправления.
• 28 февраля 2023 г.
  • Поддержка созданного столбца для date_format гггг-ММ-дд. Это изменение поддерживает очистку секций для гггг-ММ-дд в виде date_format в созданных столбцах.
  • Теперь пользователи могут читать и записывать определенные таблицы Delta, требующие чтения версии 3 и записи версии 7, с помощью Databricks Runtime 9.1 LTS или более поздней версии. Для успешного выполнения функции таблиц, перечисленные в протоколе таблиц, должны поддерживаться текущей версией Databricks Runtime.
  • Поддержка созданного столбца для date_format гггг-ММ-дд. Это изменение поддерживает очистку секций для гггг-ММ-дд в виде date_format в созданных столбцах.
  • Обновления системы безопасности операционной системы.
• 16 февраля 2023 г.
  • [SPARK-30220] Включение вложенных запросов "Существует" или "В" за пределами узла фильтра
  • Обновления системы безопасности операционной системы.
• 31 января 2023 г.
  • По умолчанию типы таблиц JDBC являются внешними.
• 18 января 2023 г.
  • Соединитель Azure Synapse возвращает более описательное сообщение об ошибке, если имя столбца содержит недопустимые символы, такие как пробелы или точки с запятой. В таких случаях будет возвращено следующее сообщение: Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space
  • [SPARK-38277] Очистка пакета записи после фиксации хранилища состояний RocksDB
  • [SPARK-41199] Исправлена проблема с метриками при совместном использовании источника потоковой передачи DSv1 и источника потоковой передачи DSv2.
  • [SPARK-41198] Исправление метрик в потоковом запросе с источником потоковой передачи CTE и DSv1
  • [SPARK-41339] Закрытие и повторное создание пакета записи RocksDB вместо простой очистки
  • [SPARK-41732] Применение обрезки на основе дерева для сеанса правила
  • Обновления системы безопасности операционной системы.
• 29 ноября 2022 г.
  • Пользователи могут настроить поведение ведущих и конечных пробелов при записи данных с помощью соединителя Redshift. Добавлены следующие параметры для управления обработкой пробелов:
    • csvignoreleadingwhitespace, если задано значение true, удаляет ведущее пробелы из значений во время записи, когда tempformat задано CSV значение или CSV GZIP. Пробелы сохраняются при установке конфигурации false. Значение по умолчанию — true.
    • csvignoretrailingwhitespace, если задано trueзначение , удаляет конечный пробел из значений во время записи, когда tempformat задано CSV значение или CSV GZIP. Пробелы сохраняются при установке конфигурации false. Значение по умолчанию — true.
  • Исправлена проблема с синтаксический анализ JSON в автозагрузчике, когда все столбцы были оставлены как строки (cloudFiles.inferColumnTypes не заданы или falseне заданы) и JSON содержал вложенные объекты.
  • Обновления системы безопасности операционной системы.
• 15 ноября 2022 г.
  • Обновление Apache commons-text до версии 1.10.0.
  • [SPARK-40646] Синтаксический анализ JSON для структур, карт и массивов был исправлен таким образом, если часть записи не соответствует схеме, остальная часть записи по-прежнему может быть правильно проанализирована, а не возвращать значения NULL. Чтобы принять участие в улучшенном поведении, задайте для spark.sql.json.enablePartialResultstrueпараметра . Флаг отключен по умолчанию, чтобы сохранить исходное поведение.
  • [SPARK-40292] Исправление имен столбцов в функции при arrays_zip ссылке на массивы из вложенных структур
  • Обновления системы безопасности операционной системы.
• 1 ноября 2022 г.
  • Исправлена проблема, из-за которой если в таблице Delta существовал определяемый пользователем столбец _change_type, но веб-канал изменений был отключен в этой таблице, данные в этом столбце неправильно заполняются значениями NULL при выполнении MERGE.
  • Исправлена проблема с автозагрузчиком, из-за которой файл можно дублировать в одном микропакете при allowOverwrites включении
  • [SPARK-40697] Добавление заполнения на стороне чтения для покрытия внешних файлов данных
  • [SPARK-40596] Заполнение объекта ExecutorDecommission сообщениями в ExecutorDecommissionInfo
  • Обновления системы безопасности операционной системы.
• 18 октября 2022 г.
  • Обновления системы безопасности операционной системы.
• 5 октября 2022 г.
  • [SPARK-40468] Исправьте обрезку столбцов в CSV при _corrupt_record выборе.
  • Обновления системы безопасности операционной системы.
• 22 сентября 2022 г.
  • Пользователи могут задать spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, trueчтобы повторно включить встроенный список для автозагрузчика в ADLS 2-го поколения. Встроенное описание было ранее отключено из-за проблем с производительностью, но может быть вызвано увеличением затрат на хранение для клиентов.
  • [SPARK-40315] Добавление hashCode() для литерала ArrayBasedMapData
  • [SPARK-40213] Поддержка преобразования значений ASCII для символов Latin-1
  • [SPARK-40380] Исправление константного свертывания InvokeLike, чтобы избежать несериализируемых литерала, внедренных в план
  • [SPARK-38404] Улучшение разрешения CTE, когда вложенный CTE ссылается на внешний CTE
  • [SPARK-40089] Исправление сортировки для некоторых десятичных типов
  • [SPARK-39887] RemoveRedundantAliases должен сохранять псевдонимы, которые делают выходные данные узлов проекции уникальными
• 6 сентября 2022 г.
  • [SPARK-40235] Используйте прерванную блокировку вместо синхронизированной в Executor.updateDependencies()
  • [SPARK-40218] GROUPING SETS должен сохранять столбцы группировки
  • [SPARK-39976] ArrayIntersect должен правильно обрабатывать значение NULL в левом выражении
  • [SPARK-40053] Добавление в динамические случаи отмены, для которых требуется assume среда выполнения Python
  • [SPARK-35542] Исправление. Контейнеризатор, созданный для нескольких столбцов с параметрами splitsArray, inputCols и outputCols не могут быть загружены после сохранения.
  • [SPARK-40079] Добавление проверки ввода Imputer InputCols для пустого регистра ввода
• 24 августа 2022 г.
  • [SPARK-39983] Не кэшируйте несериализированные отношения вещания на драйвере
  • [SPARK-39775] Отключение проверки значений по умолчанию при синтаксическом анализе схем Avro
  • [SPARK-39962] Применение проекции при пустых атрибутах группы
  • [SPARK-37643] Если charVarcharAsString имеет значение true, для запроса предиката типа char следует пропустить правило rpadding
  • Обновления системы безопасности операционной системы.
• 9 августа 2022 г.
  • [SPARK-39847] Исправьте состояние гонки в RocksDBLoader.loadLibrary(), если вызывающий поток прерван
  • [SPARK-39731] Исправлена проблема в источниках данных CSV и JSON при синтаксическом анализе дат в формате yyMMddd с политикой синтаксического анализа времени CORRECTED.
  • Обновления системы безопасности операционной системы.
• 27 июля 2022 г.
  • [SPARK-39625] Добавление Dataset.as(StructType)
  • [SPARK-39689]Поддержка 2-chars в источнике lineSep данных CSV
  • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded должен быть потокобезопасной
  • [SPARK-39570] Встроенная таблица должна разрешать выражения с псевдонимом
  • [SPARK-39702] Сокращение расходов на память в TransportCipher$EncryptedMessage с помощью общей байтовойRawChannel
  • [SPARK-39575] add ByteBuffer#rewind after ByteBuffer#get in AvroDeserializer
  • [SPARK-39476] Отключение оптимизации приведения при приведения от Long к Float/ Double или из целого числа в Float
  • [SPARK-38868] Не распространяйте исключения из предиката фильтра при оптимизации внешних соединений
  • Обновления системы безопасности операционной системы.
• 20 июля 2022 г.
  • Результаты операции Delta MERGE согласованы, если источник не детерминирован.
  • [SPARK-39355] Один столбец использует кавычки для создания НеразрешенногоAttribute
  • [SPARK-39548] Команда CreateView с запросом предложения окна нажмите неправильное определение окна, не найденное
  • [SPARK-39419] Исправление ArraySort для создания исключения, когда компратор возвращает значение NULL
  • Отключено использование встроенных облачных API-интерфейсов автозагрузчика для перечисления каталогов в Azure.
  • Обновления системы безопасности операционной системы.
• 5 июля 2022 г.
  • [SPARK-39376] Скрытие повторяющихся столбцов в расширении подзапроса из NATURAL/USING JOIN
  • Обновления системы безопасности операционной системы.
• 15 июня 2022 г.
  • [SPARK-39283] Исправлена взаимоблокировка между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator
  • [SPARK-39285] Spark не должен проверка имена полей при чтении файлов
  • [SPARK-34096] Повышение производительности для nth_value пропускать значения NULL в окне смещения
  • [SPARK-36718] Исправление isExtractOnly проверка в CollapseProject
• 2 июня 2022 г.
  • [SPARK-39093] Избегайте ошибки компиляции кодегена при делении интервалов годовых или дневных интервалов по целочисленным
  • [SPARK-38990] Избегайте nullPointerException при оценке формата date_trunc/усечения в качестве привязанной ссылки
  • Обновления системы безопасности операционной системы.
• 18 мая 2022 г.
  • Устраняет потенциальную утечку встроенной памяти в автозагрузчике.
  • [SPARK-38918] Обрезание вложенных столбцов должно отфильтровать атрибуты, которые не относятся к текущему реляциону
  • [SPARK-37593] Уменьшите размер страницы по умолчанию LONG_ARRAY_OFFSET, если используется G1GC и ON_HEAP
  • [SPARK-39084] Исправление df.rdd.isEmpty() с помощью TaskContext для остановки итератора при завершении задачи
  • [SPARK-32268] Добавление ColumnPruning в injectBloomFilter
  • [SPARK-38974] Фильтрация зарегистрированных функций с заданным именем базы данных в функциях списка
  • [SPARK-38931] Создание корневого каталога dfs для RocksDBFileManager с неизвестным числом ключей на 1-м проверка point
  • Обновления системы безопасности операционной системы.
• 19 апреля 2022 г.
  • Пакет SDK AWS для Java обновлен с версии 1.11.655 до версии 1.12.1899.
  • Исправлена проблема, из-за которой библиотеки с областью записной книжки не работали в заданиях пакетной потоковой передачи.
  • [SPARK-38616] Отслеживание текста sql-запроса в Приложении Catalyst TreeNode
  • Обновления системы безопасности операционной системы.
• 6 апреля 2022 г.
  • Следующие функции SQL Spark теперь доступны в этом выпуске:
    • timestampadd() и dateadd(): добавьте длительность времени в указанное единицу в выражение метки времени.
    • timestampdiff() и datediff(): вычислите разницу времени между двумя выражениями меток в заданной единице.
  • Parquet-MR обновлен до версии 1.12.2.
  • Улучшена поддержка комплексных схем в файлах Parquet
  • [SPARK-38631] Использует реализацию на основе Java для отмены таринга в Utils.unpack
  • [SPARK-38509][SPARK-38481] Вишни выбрать три timestmapadd/diff изменения.
  • [SPARK-38523] Исправление ссылки на поврежденный столбец записи из CSV
  • [SPARK-38237] Разрешить ClusteredDistribution требовать полные ключи кластеризация
  • [SPARK-38437] Сериализация даты и времени из источника данных
  • [SPARK-38180] Разрешить безопасные выражения приведения в коррелированных предикатах равенства
  • [SPARK-38155] Запретить отдельный агрегат в боковом вложенных запросах с неподдерживаемые предикаты
  • Обновления системы безопасности операционной системы.

Databricks Runtime 9.1 LTS

См. Databricks Runtime 9.1 LTS.

• 29 ноября 2023 г.
  • [SPARK-45859] Сделал объекты UDF ленивым ml.functions .
  • [SPARK-45544] Встроенная поддержка SSL в TransportContext.
  • [SPARK-45730] Улучшенные ограничения времени для ReloadingX509TrustManagerSuite.
  • Обновления системы безопасности операционной системы.
• 14 ноября 2023 г.
  • [SPARK-45545]SparkTransportConf наследуется SSLOptions при создании.
  • [SPARK-45429] Добавлены вспомогательные классы для обмена данными SSL RPC.
  • [SPARK-45427] Добавлены параметры SSL RPC в SSLOptions и SparkTransportConf.
  • [SPARK-45584] Исправлен сбой выполнения вложенных запросов.TakeOrderedAndProjectExec
  • [SPARK-45541] Добавлен.SSLFactory
  • [SPARK-42205] Удалены сведения о ведении журнала в событиях запуска этапов и задач.
  • Обновления системы безопасности операционной системы.
• 24 октября 2023 г.
  • [SPARK-45426] Добавлена поддержка ReloadingX509TrustManager.
  • Обновления системы безопасности операционной системы.
• 13 октября 2023 г.
  • Обновления системы безопасности операционной системы.
• 10 сентября 2023 г.
  • Прочие исправления.
• 30 августа 2023 г.
  • Обновления системы безопасности операционной системы.
• 15 августа 2023 г.
  • Обновления системы безопасности операционной системы.
• 23 июня 2023 г.
  • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
  • Обновления системы безопасности операционной системы.
• 15 июня 2023 г.
  • [SPARK-43098] Исправлена ошибка COUNT правильности, если скалярный вложенный запрос содержит группу по предложению
  • [SPARK-43156][SPARK-43098] Расширение скалярного теста количества ошибок счетчика ошибок с decorrelateInnerQuery отключенным.
  • [SPARK-40862] Поддержка не агрегированных вложенных запросов в RewriteCorrelatedScalarSubquery
  • Обновления системы безопасности операционной системы.
• 2 июня 2023 г.
  • Средство синтаксического анализа JSON в failOnUnknownFields режиме удаляет запись в DROPMALFORMED режиме и завершается сбоем непосредственно в режиме FAILFAST .
  • Исправлена проблема в синтаксическом анализе данных JSON, чтобы предотвратить UnknownFieldException.
  • Исправлена проблема в автозагрузчике, в которой разные форматы исходных файлов были несогласованы, когда указанная схема не включала выводные секции. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.
  • [SPARK-37520]startswith() Добавление функций и endswith() строковых функций
  • [SPARK-43413] Исправлена IN возможность nullquery ListQuery .
  • Обновления системы безопасности операционной системы.
• 17 мая 2023 г.
  • Обновления системы безопасности операционной системы.
• 25 апреля 2023 г.
  • Обновления системы безопасности операционной системы.
• 11 апреля 2023 г.
  • Исправлена проблема, из-за которой эволюция схемы автозагрузчика может перейти в бесконечный цикл сбоя при обнаружении нового столбца в схеме вложенного объекта JSON.
  • [SPARK-42967] Исправление SparkListenerTaskStart.stageAttemptId при запуске задачи после отмены этапа.
• 29 марта 2023 г.
  • Обновления системы безопасности операционной системы.
• 14 марта 2023 г.
  • [SPARK-42484] Улучшено сообщение об ошибке для UnsafeRowUtils.
  • Прочие исправления.
• 28 февраля 2023 г.
  • Теперь пользователи могут читать и записывать определенные таблицы Delta, требующие чтения версии 3 и записи версии 7, с помощью Databricks Runtime 9.1 LTS или более поздней версии. Для успешного выполнения функции таблиц, перечисленные в протоколе таблиц, должны поддерживаться текущей версией Databricks Runtime.
  • Обновления системы безопасности операционной системы.
• 16 февраля 2023 г.
  • Обновления системы безопасности операционной системы.
• 31 января 2023 г.
  • По умолчанию типы таблиц JDBC являются внешними.
• 18 января 2023 г.
  • Обновления системы безопасности операционной системы.
• 29 ноября 2022 г.
  • Исправлена проблема с синтаксический анализ JSON в автозагрузчике, когда все столбцы были оставлены как строки (cloudFiles.inferColumnTypes не заданы или falseне заданы) и JSON содержал вложенные объекты.
  • Обновления системы безопасности операционной системы.
• 15 ноября 2022 г.
  • Обновление Apache commons-text до версии 1.10.0.
  • Обновления системы безопасности операционной системы.
  • Прочие исправления.
• 1 ноября 2022 г.
  • Исправлена проблема, из-за которой если в таблице Delta существовал определяемый пользователем столбец _change_type, но веб-канал изменений был отключен в этой таблице, данные в этом столбце неправильно заполняются значениями NULL при выполнении MERGE.
  • Исправлена проблема с автозагрузчиком, из-за которой файл можно дублировать в одном микропакете при allowOverwrites включении
  • [SPARK-40596] Заполнение объекта ExecutorDecommission сообщениями в ExecutorDecommissionInfo
  • Обновления системы безопасности операционной системы.
• 18 октября 2022 г.
  • Обновления системы безопасности операционной системы.
• 5 октября 2022 г.
  • Прочие исправления.
  • Обновления системы безопасности операционной системы.
• 22 сентября 2022 г.
  • Пользователи могут задать spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") для повторного включения встроенного списка для автозагрузчика в ADLS 2-го поколения. Встроенное описание было ранее отключено из-за проблем с производительностью, но может быть вызвано увеличением затрат на хранение для клиентов.
  • [SPARK-40315] Добавление hashCode() для литерала ArrayBasedMapData
  • [SPARK-40089] Исправление сортировки для некоторых десятичных типов
  • [SPARK-39887] RemoveRedundantAliases должен сохранять псевдонимы, которые делают выходные данные узлов проекции уникальными
• 6 сентября 2022 г.
  • [SPARK-40235] Используйте прерванную блокировку вместо синхронизированной в Executor.updateDependencies()
  • [SPARK-35542] Исправление. Контейнеризатор, созданный для нескольких столбцов с параметрами splitsArray, inputCols и outputCols не могут быть загружены после сохранения.
  • [SPARK-40079] Добавление проверки ввода Imputer InputCols для пустого регистра ввода
• 24 августа 2022 г.
  • [SPARK-39666] Использование unsafeProjection.create для уважения spark.sql.codegen.factoryMode в ExpressionEncoder
  • [SPARK-39962] Применение проекции при пустых атрибутах группы
  • Обновления системы безопасности операционной системы.
• 9 августа 2022 г.
  • Обновления системы безопасности операционной системы.
• 27 июля 2022 г.
  • Результаты операции Delta MERGE согласованы, если источник не детерминирован.
  • [SPARK-39689] Поддержка 2-chars в источнике lineSep данных CSV
  • [SPARK-39575] Добавлено ByteBuffer#rewind после ByteBuffer#get этого в AvroDeserializer.
  • [SPARK-37392] Исправлена ошибка производительности для оптимизатора катализатора.
  • Обновления системы безопасности операционной системы.
• 13 июля 2022 г.
  • [SPARK-39419]ArraySort создает исключение, когда средство сравнения возвращает значение NULL.
  • Отключено использование встроенных облачных API-интерфейсов автозагрузчика для перечисления каталогов в Azure.
  • Обновления системы безопасности операционной системы.
• 5 июля 2022 г.
  • Обновления системы безопасности операционной системы.
  • Прочие исправления.
• 15 июня 2022 г.
  • [SPARK-39283] Исправлена взаимоблокировка между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator.
• 2 июня 2022 г.
  • [SPARK-34554]copy() Реализуйте метод в ColumnarMap.
  • Обновления системы безопасности операционной системы.
• 18 мая 2022 г.
  • Исправлена потенциальная утечка встроенной памяти в автозагрузчике.
  • Версия пакета SDK AWS обновлена с 1.11.655 до 1.11.678.
  • [SPARK-38918] Обрезание вложенных столбцов должно отфильтровать атрибуты, которые не относятся к текущему реляциону
  • [SPARK-39084] Исправление df.rdd.isEmpty() с помощью TaskContext итератора при завершении задачи
  • Обновления системы безопасности операционной системы.
• 19 апреля 2022 г.
  • Обновления системы безопасности операционной системы.
  • Прочие исправления.
• 6 апреля 2022 г.
  • [SPARK-38631] Использует реализацию на основе Java для отмены таринга в Utils.unpack
  • Обновления системы безопасности операционной системы.
• 22 марта 2022 г.
  • В кластерах с высоким уровнем параллелизма с включенным управлением доступом к таблицам или сквозной передачей учетных данных текущий рабочий каталог записных книжек теперь является домашним каталогом пользователя. Ранее active directory был /databricks/driver.
  • [SPARK-38437] Сериализация даты и времени из источника данных
  • [SPARK-38180] Разрешить безопасные выражения приведения в коррелированных предикатах равенства
  • [SPARK-38155] Запретить отдельный агрегат в боковом вложенных запросах с неподдерживаемые предикаты
  • [SPARK-27442] Удалено поле проверка при чтении или записи данных в parquet.
• 14 марта 2022 г.
  • [SPARK-38236] Абсолютные пути к файлам, указанным в таблице create/alter, рассматриваются как относительные
  • [SPARK-34069] Прерывание потока задач, если для локального свойства SPARK_JOB_INTERRUPT_ON_CANCEL задано значение true.
• 23 февраля 2022 г.
  • [SPARK-37859] Таблицы SQL, созданные с помощью JDBC с Spark 3.1, недоступны для чтения с помощью Spark 3.2.
• 8 февраля 2022 г.
  • [SPARK-27442] Удалено поле проверка при чтении или записи данных в parquet.
  • Обновления системы безопасности операционной системы.
• 1 февраля 2022 г.
  • Обновления системы безопасности операционной системы.
• 26 января 2022 г.
  • Исправлена проблема, из-за которой параллельные транзакции в таблицах Delta могли зафиксироваться в несериализируемом порядке в определенных редких условиях.
  • Исправлена проблема, из-за которой OPTIMIZE команда могла завершиться ошибкой при включении диалекта ANSI SQL.
• 19 января 2022 г.
  • Незначительные исправления и улучшения безопасности.
  • Обновления системы безопасности операционной системы.
• 4 ноября 2021 г.
  • Исправлена проблема, из-за которой структурированные потоки потоковой передачи завершаются ошибкой ArrayIndexOutOfBoundsException.
  • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: No FileSystem for scheme, или привести к тому, что изменения в sparkContext.hadoopConfiguration не вступят в силу в запросах.
  • Соединитель Apache Spark для разностного доступа был обновлен до 0.2.0.
• 20 октября 2021 г.
  • Обновлен соединитель BigQuery с версии 0.18.1 до версии 0.22.2. Это добавляет поддержку типа BigNumeric.

Databricks Runtime 13.0 (неподдерживаемый)

См. раздел Databricks Runtime 13.0 (неподдерживаемый).

• 13 октября 2023 года

  • Зависимость Snowflake-jdbc обновлена с 3.13.29 до 3.13.33.
  • [SPARK-42553][SQL] Убедитесь, что по крайней мере один единица времени после интервала.
  • [SPARK-45178] Резервное выполнение одного пакета для Trigger.AvailableNow неподдерживаемых источников, а не с помощью оболочки.
  • [SPARK-44658][CORE] ShuffleStatus.getMapStatus возвращается None вместо Some(null).
  • [SPARK-42205][CORE] Удаление ведения журнала Accumulables в событиях JsonProtocolначала задачи или этапа.
  • Обновления системы безопасности операционной системы.

• 12 сентября 2023 г.

  • [SPARK-44485][SQL] Оптимизация TreeNode.generateTreeString.
  • [SPARK-44718][SQL] Сопоставление ColumnVector конфигурации в режиме памяти по умолчанию со OffHeapMemoryMode значением конфигурации.
  • Прочие исправления ошибок.

• 30 августа 2023 г.

  • [SPARK-44818][Backport] Исправлена гонка за ожидающие прерывания задачи, выданные до инициализации taskThread .
  • [SPARK-44714] Упрощение ограничения разрешения LCA относительно запросов.
  • [SPARK-44245][PYTHON] pyspark.sql.dataframe sample() doctests теперь является иллюстрирующей только.
  • [11.3-13.0] [[SPARK-44871]]https://issues.apache.org/jira/browse/SPARK-44871) [SQL] Исправлено percentile_disc поведение.
  • Обновления системы безопасности операционной системы.

• 15 августа 2023 г.

  • [SPARK-44643][SQL] [PYTHON] Исправление Row.__repr__ , когда строка пуста.
  • [SPARK-44504][Backport] Задача обслуживания очищает загруженных поставщиков при ошибке остановки.
  • [SPARK-44479][CONNECT] [PYTHON] Исправлено protobuf преобразование из пустого типа структуры.
  • [SPARK-44464][SS] Исправлено applyInPandasWithStatePythonRunner для выходных строк, имеющих Null значение первого столбца.
  • Прочие исправления ошибок.

• 29 июля 2023 г.

  • Исправлена ошибка dbutils.fs.ls()INVALID_PARAMETER_VALUE.LOCATION_OVERLAP , возвращаемая при вызове пути расположения хранилища, который столкнулся с другим внешним или управляемым расположением хранилища.
  • [SPARK-44199]CacheManager больше не обновляет ненужные fileIndex .
  • Обновления системы безопасности операционной системы.

• 24 июля 2023 г.

  • [SPARK-44337][PROTOBUF] Исправлена проблема, из-за которой любой набор Any.getDefaultInstance полей вызвал ошибки синтаксического анализа.
  • [SPARK-44136] [SS] Исправлена проблема, из-за которой StateManager он был материализован в исполнителе, а не в FlatMapGroupsWithStateExecдрайвере.
  • Вернуть [SPARK-42323][SQL] Назначить имя_LEGACY_ERROR_TEMP_2332.
  • Обновления системы безопасности операционной системы.

• 23 июня 2023 г.

  • Обновления системы безопасности операционной системы.

• 15 июня 2023 г.

  • Фотонализовано approx_count_distinct.
  • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
  • [SPARK-43156][SPARK-43098][SQL] Расширение тестовой ошибки скалярного подзаверха с отключенным decorrelateInnerQuery
  • [SPARK-43779][SQL] ParseToDate теперь загружается EvalMode в основной поток.
  • [SPARK-42937][SQL] PlanSubqueriesInSubqueryExec#shouldBroadcast значение true
  • Обновления системы безопасности операционной системы.

• 2 июня 2023 г.

  • Средство синтаксического анализа JSON в failOnUnknownFields режиме удаляет запись в DROPMALFORMED режиме и завершается сбоем непосредственно в режиме FAILFAST .
  • Повышение производительности добавочного обновления с помощью SHALLOW CLONE Айсберга и Parquet.
  • Исправлена проблема в автозагрузчике, в которой разные форматы исходных файлов были несогласованы, когда указанная схема не включала выводные секции. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.
  • [SPARK-43404][Backport] Пропустите повторное использовать SST-файл для той же версии хранилища состояний RocksDB, чтобы избежать ошибки несоответствия идентификаторов.
  • [SPARK-43340][CORE] Исправлено отсутствие поля трассировки стека в журналах событий.
  • [SPARK-43300][CORE] NonFateSharingCache оболочка для кэша Guava.
  • [SPARK-43378][CORE] Правильно закрывайте объекты потока в deserializeFromChunkedBuffer.
  • [SPARK-16484][SQL] Используйте 8-разрядные регистры для представления DataSketches.
  • [SPARK-43522][SQL] Исправлено создание имени столбца структуры с индексом массива.
  • [SPARK-43413][11.3-13.0] [SQL] Исправлена IN возможность nullquery ListQuery .
  • [SPARK-43043][CORE] Улучшенная MapOutputTracker.updateMapOutput производительность.
  • [SPARK-16484][SQL] Добавлена поддержка DataSketches HllSketch.
  • [SPARK-43123][SQL] Внутренние метаданные поля больше не утечки в каталоги.
  • [SPARK-42851][SQL] Guard EquivalentExpressions.addExpr() с supportedExpression().
  • [SPARK-43336][SQL] Приведение между Timestamp и TimestampNTZ требует часового пояса.
  • [SPARK-43286][SQL] Обновлен aes_encrypt режим CBC для создания случайных IV.
  • [SPARK-42852][SQL] Отменены NamedLambdaVariable связанные изменения из EquivalentExpressions.
  • [SPARK-43541][SQL] Распространение всех Project тегов в разрешении выражений и отсутствующих столбцов.
  • [SPARK-43527][PYTHON] Исправлено catalog.listCatalogs в PySpark.
  • Обновления системы безопасности операционной системы.

• 31 мая 2023 г.

  • Поддержка оптимизированной записи по умолчанию для таблиц Delta, зарегистрированных в каталоге Unity, расширена для включения CTAS инструкций и INSERT операций для секционированных таблиц. Это поведение соответствует значениям по умолчанию в хранилищах SQL. См . оптимизированные записи для Delta Lake в Azure Databricks.

• 17 мая 2023 г.

  • Исправлена регрессия, в которой _metadata.file_path и _metadata.file_name возвращались неправильно отформатированные строки. Например, теперь путь с пробелами будет представлен s3://test-bucket/some%20directory/some%20data.csv вместо s3://test-bucket/some directory/some data.csv.
  • Теперь сканирование Parquet обеспечивает надежную защиту от OOM при сканировании исключительно структурированных файлов путем динамической настройки размера пакета. Метаданные файлов анализируются для предварительного уменьшения размера пакета и снова снижаются при повторных попытках задачи в качестве окончательной сетки безопасности.
  • • Если файл Avro считывался только с параметром failOnUnknownFields\ или с автозагрузчиком в режиме failOnNewColumns\ эволюции схемы, столбцы с различными типами данных будут считываться, как null\ вместо того, чтобы вызвать ошибку, указывающую, что файл не может быть прочитан. Теперь эти операции чтения завершаются ошибкой и рекомендуют пользователям использовать этот rescuedDataColumn\ параметр.
  • Автозагрузчик теперь выполняет следующие действия.
  • • Правильно считывает и больше не спасает Integerтипы, ShortByte если предоставляется один из этих типов данных, но avro-файл предлагает один из других двух типов.
  • • Запрещает типы интервалов чтения как типы меток даты и времени, чтобы избежать повреждения дат.
  • • Запрещает Decimal чтение типов с более низкой точностью.
  • [SPARK-43172] [CONNECT] Предоставляет узел и маркер из клиента Spark connect.
  • [SPARK-43293][SQL] __qualified_access_only игнорируется в обычных столбцах.
  • [SPARK-43098][SQL] Исправлена ошибка правильности COUNT при группировке скалярных вложенных запросов по предложению.
  • [SPARK-43085][SQL] Поддержка назначения столбцов DEFAULT для имен таблиц с несколькими частьми.
  • [SPARK-43190][SQL] ListQuery.childOutput теперь согласуется со вторичными выходными данными.
  • [SPARK-43192] [CONNECT] Удалена проверка charset агента пользователя.

• 25 апреля 2023 г.

  • Можно изменить таблицу Delta, чтобы добавить поддержку функции разностной таблицы с помощью DeltaTable.addFeatureSupport(feature_name).
  • Теперь команда SYNC поддерживает устаревшие форматы источников данных.
  • Исправлена ошибка, из-за которой при использовании средства форматирования Python перед выполнением других команд в записной книжке Python путь к записной книжке может быть пропущен из sys.path.
  • Azure Databricks теперь поддерживает указание значений по умолчанию для столбцов таблиц Delta. INSERT, , UPDATEDELETEи MERGE команды могут ссылаться на значение столбца по умолчанию с помощью явного DEFAULT ключевое слово. Для INSERT команд с явным списком меньше столбцов, чем целевая таблица, соответствующие значения столбцов по умолчанию заменяются остальными столбцами (или NULL если значение по умолчанию не указано).

• Исправлена ошибка, из-за которой веб-терминал не мог использоваться для доступа к файлам /Workspace для некоторых пользователей.

  • Если файл Parquet был считан только failOnUnknownFields с параметром или автоматическим загрузчиком в режиме failOnNewColumns эволюции схемы, столбцы с различными типами данных будут считываться, как null вместо того, чтобы вызвать ошибку, указывающую, что файл не может быть прочитан. Теперь эти операции чтения завершаются ошибкой и рекомендуют пользователям использовать этот rescuedDataColumn параметр.
  • Автоматический загрузчик теперь правильно считывает и больше не спасает Integer, Shortтипы, Byte если предоставляется один из этих типов данных. Файл Parquet предлагает один из двух других типов. Когда ранее был включен сохраненный столбец данных, несоответствие типа данных приведет к спасению столбцов, даже если они доступны для чтения.
  • Исправлена ошибка, из-за которой эволюция схемы автозагрузчика может перейти в бесконечный цикл сбоя, когда новый столбец обнаруживается в схеме вложенного объекта JSON.
  • [SPARK-42794][SS] Увеличьте блокировкуAcquireTimeoutMs до 2 минут для получения хранилища состояний RocksDB в службе "Потоковая передача структуры".
  • [SPARK-39221][SQL] Правильное редактирование конфиденциальной информации для задания или этапа задания сервера thrift.
  • [SPARK-42971][CORE] Измените значение на печать workdir , если appDirs значение NULL при событии рабочего дескриптора WorkDirCleanup .
  • [SPARK-42936][SQL] Исправьте ошибку LCA, если предложение наличие может быть разрешено непосредственно его дочерним агрегатом.
  • [SPARK-43018][SQL] Исправлена ошибка для INSERT команд с литералом метки времени.
  • Возврат [SPARK-42754][SQL][пользовательский интерфейс] Исправлена проблема с обратной совместимостью в вложенном запуске SQL.
  • Возврат [SPARK-41498] Распространение метаданных через объединение.
  • [SPARK-43038][SQL] Поддержка режима CBC по aes_encrypt()/aes_decrypt().
  • [SPARK-42928][SQL] Сделайте resolvePersistentFunction синхронизированным.
  • [SPARK-42521][SQL] Добавьте NULL значения для INSERT списков, указанных пользователем, меньше столбцов, чем целевая таблица.
  • [SPARK-41391][SQL] Неправильное имя выходного столбца groupBy.agg(count_distinct) .
  • [SPARK-42548][SQL] Добавьте ReferenceAllColumns , чтобы пропустить перезапись атрибутов.
  • [SPARK-42423][SQL] Добавьте блок файла столбца метаданных в начало и длину.
  • [SPARK-42796][SQL] Поддержка доступа к столбцам TimestampNTZ в CachedBatch.
  • [SPARK-42266][PYTHON] Удалите родительский каталог в shell.py запуска при использовании IPython.
  • [SPARK-43011][SQL] array_insert должен завершиться ошибкой с индексом 0.
  • [SPARK-41874][CONNECT] [PYTHON] Поддержка SameSemantics в Подключение Spark.
  • [SPARK-42702][SPARK-42623][SQL] Поддержка параметризованного запроса в вложенных запросах и CTE.
  • [SPARK-42967][CORE] Исправление SparkListenerTaskStart.stageAttemptId при запуске задачи после отмены этапа.
  • Обновления системы безопасности операционной системы.

Databricks Runtime 12.1 (неподдерживаемый)

См. раздел Databricks Runtime 12.1 (неподдерживаемый).

• 23 июня 2023 г.

  • Обновления системы безопасности операционной системы.

• 15 июня 2023 г.

  • Фотонализовано approx_count_distinct.
  • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
  • [SPARK-43779][SQL] ParseToDate теперь загружается EvalMode в основной поток.
  • [SPARK-43156][SPARK-43098][SQL] Расширение тестовой ошибки скалярного подзаверха с отключенным decorrelateInnerQuery
  • Обновления системы безопасности операционной системы.

• 2 июня 2023 г.

  • Средство синтаксического анализа JSON в failOnUnknownFields режиме удаляет запись в DROPMALFORMED режиме и завершается сбоем непосредственно в режиме FAILFAST .
  • Повышение производительности добавочного обновления с помощью SHALLOW CLONE Айсберга и Parquet.
  • Исправлена проблема в автозагрузчике, в которой разные форматы исходных файлов были несогласованы, когда указанная схема не включала выводные секции. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.
  • [SPARK-43404][Backport] Пропустите повторное использовать SST-файл для той же версии хранилища состояний RocksDB, чтобы избежать ошибки несоответствия идентификаторов.
  • [SPARK-43413][11.3-13.0] [SQL] Исправлена IN возможность nullquery ListQuery .
  • [SPARK-43522][SQL] Исправлено создание имени столбца структуры с индексом массива.
  • [SPARK-424444][PYTHON] DataFrame.drop теперь правильно обрабатывает повторяющиеся столбцы.
  • [SPARK-43541][SQL] Распространение всех Project тегов в разрешении выражений и отсутствующих столбцов.
  • [SPARK-43340][CORE] Исправлено отсутствие поля трассировки стека в журналах событий.
  • [SPARK-42937][SQL] PlanSubqueries теперь задает InSubqueryExec#shouldBroadcast значение true.
  • [SPARK-43527][PYTHON] Исправлено catalog.listCatalogs в PySpark.
  • [SPARK-43378][CORE] Правильно закрывайте объекты потока в deserializeFromChunkedBuffer.

• 17 мая 2023 г.

  • Теперь сканирование Parquet обеспечивает надежную защиту от OOM при сканировании исключительно структурированных файлов путем динамической настройки размера пакета. Метаданные файлов анализируются для предварительного уменьшения размера пакета и снова снижаются при повторных попытках задачи в качестве окончательной сетки безопасности.
  • Если файл Avro считывался только с параметром failOnUnknownFields\ или с автозагрузчиком в режиме failOnNewColumns\ эволюции схемы, столбцы с различными типами данных будут считываться, как null\ вместо того, чтобы вызвать ошибку, указывающую, что файл не может быть прочитан. Теперь эти операции чтения завершаются ошибкой и рекомендуют пользователям использовать этот rescuedDataColumn\ параметр.
  • Автозагрузчик теперь выполняет следующие действия.
  • • Правильно считывает и больше не спасает Integerтипы, ShortByte если предоставляется один из этих типов данных, но avro-файл предлагает один из других двух типов.
  • • Запрещает типы интервалов чтения как типы меток даты и времени, чтобы избежать повреждения дат.
  • • Запрещает Decimal чтение типов с более низкой точностью.
  • [SPARK-43098][SQL] Исправлена ошибка правильности COUNT при группировке скалярных вложенных запросов по предложению.
  • [SPARK-43190][SQL] ListQuery.childOutput теперь согласуется со вторичными выходными данными.
  • Обновления системы безопасности операционной системы.

• 25 апреля 2023 г.

  • Если файл Parquet был считан только failOnUnknownFields с параметром или автоматическим загрузчиком в режиме failOnNewColumns эволюции схемы, столбцы с различными типами данных будут считываться, как null вместо того, чтобы вызвать ошибку, указывающую, что файл не может быть прочитан. Теперь эти операции чтения завершаются ошибкой и рекомендуют пользователям использовать этот rescuedDataColumn параметр.
  • Автоматический загрузчик теперь правильно считывает и больше не спасает Integer, Shortтипы, Byte если предоставляется один из этих типов данных. Файл Parquet предлагает один из двух других типов. Когда ранее был включен сохраненный столбец данных, несоответствие типа данных приведет к спасению столбцов, даже если они доступны для чтения.
  • [SPARK-43009][SQL] Параметризовано sql() константами Any .
  • [SPARK-42971][CORE] Измените значение на печать workdir , если appDirs значение NULL при событии рабочего дескриптора WorkDirCleanup .
  • Обновления системы безопасности операционной системы.

• 11 апреля 2023 г.

  • Поддержка устаревших форматов источников данных в команде SYNC.
  • Исправлена ошибка в поведении %autoreload в записных книжках, которые находятся за пределами репозитория.
  • Исправлена ошибка, из-за которой эволюция схемы автозагрузчика может перейти в бесконечный цикл сбоя, когда новый столбец обнаруживается в схеме вложенного объекта JSON.
  • [SPARK-42928][SQL] Выполняет resolvePersistentFunction синхронизацию.
  • [SPARK-42967][CORE] Исправляет SparkListenerTaskStart.stageAttemptId , когда задача начинается после отмены этапа.
  • Обновления системы безопасности операционной системы.

• 29 марта 2023 г.

  • Автозагрузчик теперь активирует по крайней мере один синхронный журнал RocksDB для Trigger.AvailableNow потоков, чтобы убедиться, что точка проверка может регулярно очищаться для быстрых потоков автозагрузчика. Это может привести к тому, что некоторые потоки будут занимать больше времени, прежде чем они завершаются, но при этом будут сохранены затраты на хранение и улучшены возможности автозагрузчика в будущих запусках.
  • Теперь можно изменить таблицу Delta, чтобы добавить поддержку в функции таблицы с помощью DeltaTable.addFeatureSupport(feature_name).
  • [SPARK-42702][SPARK-42623][SQL] Поддержка параметризованного запроса в вложенных запросах и CTE
  • [SPARK-41162][SQL] Исправление анти- и полусоединения для самостоятельного объединения с помощью агрегатов
  • [SPARK-42403][CORE] JsonProtocol должен обрабатывать строки JSON NULL
  • [SPARK-42668][SS] Перехват исключения при попытке закрыть сжатый поток в HDFSStateStoreProvider
  • [SPARK-42794][SS] Увеличьте блокировкуAcquireTimeoutMs до 2 минут для получения хранилища состояний RocksDB в службе "Потоковая передача структуры"

• 14 марта 2023 г.

  • Существует изменение терминологии для добавления функций в таблицу Delta с помощью свойства таблицы. Предпочтительный синтаксис теперь 'delta.feature.featureName'='supported' вместо 'delta.feature.featureName'='enabled'. Для обратной совместимости использование 'delta.feature.featureName'='enabled' по-прежнему работает и продолжит работать.
  • [SPARK-42622][CORE] Отключение подстановки значений
  • [SPARK-42534][SQL] Исправление предложения DB2Dialect Limit
  • [SPARK-42635][SQL] Исправлено выражение TimestampAdd.
  • [SPARK-42516][SQL] Всегда захватывать конфигурацию часового пояса сеанса при создании представлений
  • [SPARK-42484] [SQL] Лучшее сообщение об ошибке unsafeRowUtils
  • [SPARK-41793][SQL] Неправильный результат для кадров окна, определенных предложением диапазона для больших десятичных разрядов
  • Обновления системы безопасности операционной системы.

• 24 февраля 2023

  • Теперь можно использовать единый набор параметров (, port, database, user) passwordдля подключения к источникам данных, поддерживаемым в федерации запросов (hostPostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Обратите внимание, что port это необязательно и использует номер порта по умолчанию для каждого источника данных, если он не указан.

  Пример конфигурации подключения PostgreSQL

  CREATE TABLE postgresql_table
  USING postgresql
  OPTIONS (
    dbtable '<table-name>',
    host '<host-name>',
    database '<database-name>',
    user '<user>',
    password secret('scope', 'key')
  );
  

  Пример конфигурации подключения Snowflake

  CREATE TABLE snowflake_table
  USING snowflake
  OPTIONS (
    dbtable '<table-name>',
    host '<host-name>',
    port '<port-number>',
    database '<database-name>',
    user secret('snowflake_creds', 'my_username'),
    password secret('snowflake_creds', 'my_password'),
    schema '<schema-name>',
    sfWarehouse '<warehouse-name>'
  );
  

  • [SPARK-41989][PYTHON] Избегайте критической конфигурации ведения журнала из pyspark.pandas
  • [SPARK-42346][SQL] Перезапись отдельных статистических выражений после слияния вложенного запроса
  • [SPARK-41990][SQL] apply Вместо FieldReference.column преобразования фильтра версии 1 в версию 2
  • Возврат [SPARK-41848][CORE] Исправление задачи с превышением расписания с помощью TaskResourceProfile
  • [SPARK-42162] Введение выражения MultiCommutativeOp в качестве оптимизации памяти для канонизации больших деревьев коммутативных выражений
  • Обновления системы безопасности операционной системы.

• 16 февраля 2023 г.

  • Команда SYNC поддерживает синхронизацию повторно созданной таблицы хранилища метаданных Hive. Если таблица HMS ранее была синхронизирована в каталог Unity, но затем удалена и воссоздана, последующий повторной синхронизации будет работать вместо создания кода состояния TABLE_ALREADY_EXISTS.
  • [SPARK-41219][SQL] Целочисленная идентификатора использует десятичную (1, 0) для представления 0
  • [SPARK-36173][CORE] Поддержка получения номера ЦП в TaskContext
  • [SPARK-41848][CORE] Исправление задачи с превышением расписания с помощью TaskResourceProfile
  • [SPARK-42286][SQL] Резервный путь к предыдущему пути кода codegen для сложного экспра с помощью CAST

• 31 января 2023 г.

  • Для создания схемы с определенным расположением теперь требуется, чтобы у пользователя были права SELECT и MODIFY в ANY FILE.
  • [SPARK-41581][SQL] Назначение имени _LEGACY_ERROR_TEMP_1230
  • [SPARK-41996][SQL] [SS] Исправление теста kafka, чтобы проверить потерянные секции для учета медленных операций Kafka
  • [SPARK-41580][SQL] Назначение имени _LEGACY_ERROR_TEMP_2137
  • [SPARK-41666][PYTHON] Поддержка параметризованного SQL по sql()
  • [SPARK-41579][SQL] Назначение имени _LEGACY_ERROR_TEMP_1249
  • [SPARK-41573][SQL] Назначение имени _LEGACY_ERROR_TEMP_2136
  • [SPARK-41574][SQL] Назначение имени _LEGACY_ERROR_TEMP_2009
  • [SPARK-41049][Отслеживание] Исправлена регрессия синхронизации кода для ConvertToLocalRelation
  • [SPARK-41576][SQL] Назначение имени _LEGACY_ERROR_TEMP_2051
  • [SPARK-41572][SQL] Назначение имени _LEGACY_ERROR_TEMP_2149
  • [SPARK-41575][SQL] Назначение имени _LEGACY_ERROR_TEMP_2054
  • Обновления системы безопасности операционной системы.

Databricks Runtime 12.0 (неподдерживаемый)

См. раздел Databricks Runtime 12.0 (неподдерживаемый).

• 15 июня 2023 г.

  • Фотонализовано approx_count_distinct.
  • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
  • [SPARK-43156][SPARK-43098][SQL] Расширение тестовой ошибки скалярного подзаверха с отключенным decorrelateInnerQuery
  • [SPARK-43779][SQL] ParseToDate теперь загружается EvalMode в основной поток.
  • Обновления системы безопасности операционной системы.

• 2 июня 2023 г.

  • Средство синтаксического анализа JSON в failOnUnknownFields режиме удаляет запись в DROPMALFORMED режиме и завершается сбоем непосредственно в режиме FAILFAST .
  • Повышение производительности добавочного обновления с помощью SHALLOW CLONE Айсберга и Parquet.
  • Исправлена проблема в автозагрузчике, в которой разные форматы исходных файлов были несогласованы, когда указанная схема не включала выводные секции. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.
  • [SPARK-424444][PYTHON] DataFrame.drop теперь правильно обрабатывает повторяющиеся столбцы.
  • [SPARK-43404][Backport] Пропустите повторное использовать SST-файл для той же версии хранилища состояний RocksDB, чтобы избежать ошибки несоответствия идентификаторов.
  • [11.3-13.0] [[SPARK-43413]]https://issues.apache.org/jira/browse/SPARK-43413) [SQL] Исправлена IN возможность nullquery ListQuery .
  • [SPARK-43527][PYTHON] Исправлено catalog.listCatalogs в PySpark.
  • [SPARK-43522][SQL] Исправлено создание имени столбца структуры с индексом массива.
  • [SPARK-43541][SQL] Распространение всех Project тегов в разрешении выражений и отсутствующих столбцов.
  • [SPARK-43340][CORE] Исправлено отсутствие поля трассировки стека в журналах событий.
  • [SPARK-42937][SQL] PlanSubqueries задайте InSubqueryExec#shouldBroadcast значение true.

• 17 мая 2023 г.

  • Теперь сканирование Parquet обеспечивает надежную защиту от OOM при сканировании исключительно структурированных файлов путем динамической настройки размера пакета. Метаданные файлов анализируются для предварительного уменьшения размера пакета и снова снижаются при повторных попытках задачи в качестве окончательной сетки безопасности.
  • Если файл Avro считывался только с параметром failOnUnknownFields\ или с автозагрузчиком в режиме failOnNewColumns\ эволюции схемы, столбцы с различными типами данных будут считываться, как null\ вместо того, чтобы вызвать ошибку, указывающую, что файл не может быть прочитан. Теперь эти операции чтения завершаются ошибкой и рекомендуют пользователям использовать этот rescuedDataColumn\ параметр.
  • Автозагрузчик теперь выполняет следующие действия.
  • • Правильно считывает и больше не спасает Integerтипы, ShortByte если предоставляется один из этих типов данных, но avro-файл предлагает один из других двух типов.
  • • Запрещает типы интервалов чтения как типы меток даты и времени, чтобы избежать повреждения дат.
  • • Запрещает Decimal чтение типов с более низкой точностью.
  • [SPARK-43172] [CONNECT] Предоставляет узел и маркер из клиента Spark connect.
  • [SPARK-41520][SQL] Разделение AND_OR шаблона дерева для разделения и ORразделенияAND.
  • [SPARK-43098][SQL] Исправлена ошибка правильности COUNT при группировке скалярных вложенных запросов по предложению.
  • [SPARK-43190][SQL] ListQuery.childOutput теперь согласуется со вторичными выходными данными.
  • Обновления системы безопасности операционной системы.

• 25 апреля 2023 г.

  • Если файл Parquet был считан только failOnUnknownFields с параметром или автоматическим загрузчиком в режиме failOnNewColumns эволюции схемы, столбцы с различными типами данных будут считываться, как null вместо того, чтобы вызвать ошибку, указывающую, что файл не может быть прочитан. Теперь эти операции чтения завершаются ошибкой и рекомендуют пользователям использовать этот rescuedDataColumn параметр.
  • Автоматический загрузчик теперь правильно считывает и больше не спасает Integer, Shortтипы, Byte если предоставляется один из этих типов данных. Файл Parquet предлагает один из двух других типов. Когда ранее был включен сохраненный столбец данных, несоответствие типа данных приведет к спасению столбцов, даже если они доступны для чтения.
  • [SPARK-42971][CORE] Изменение на печатьworkdir, если appDirs значение NULL при событии рабочего дескриптора WorkDirCleanup
  • Обновления системы безопасности операционной системы.

• 11 апреля 2023 г.

  • Поддержка устаревших форматов источников данных в SYNC команде.
  • Исправлена ошибка в поведении %autoreload в записных книжках, которые находятся за пределами репозитория.
  • Исправлена ошибка, из-за которой эволюция схемы автозагрузчика может перейти в бесконечный цикл сбоя, когда новый столбец обнаруживается в схеме вложенного объекта JSON.
  • [SPARK-42928][SQL] Выполняет resolvePersistentFunction синхронизацию.
  • [SPARK-42967][CORE] Исправляет SparkListenerTaskStart.stageAttemptId , когда задача начинается после отмены этапа.
  • Обновления системы безопасности операционной системы.

• 29 марта 2023 г.

  • [SPARK-42794][SS] Увеличьте блокировкуAcquireTimeoutMs до 2 минут для получения хранилища состояний RocksDB в службе "Потоковая передача структуры"
  • [SPARK-41162][SQL] Исправление анти- и полусоединения для самостоятельного объединения с помощью агрегатов
  • [SPARK-42403][CORE] JsonProtocol должен обрабатывать строки JSON NULL
  • [SPARK-42668][SS] Перехват исключения при попытке закрыть сжатый поток в HDFSStateStoreProvider
  • Прочие исправления ошибок.

• 14 марта 2023 г.

  • [SPARK-42534][SQL] Исправление предложения DB2Dialect Limit
  • [SPARK-42622][CORE] Отключение подстановки значений
  • [SPARK-41793][SQL] Неправильный результат для кадров окна, определенных предложением диапазона для больших десятичных разрядов
  • [SPARK-42484] [SQL] Лучшее сообщение об ошибке unsafeRowUtils
  • [SPARK-42635][SQL] Исправлено выражение TimestampAdd.
  • [SPARK-42516][SQL] Всегда захватывать конфигурацию часового пояса сеанса при создании представлений
  • Обновления системы безопасности операционной системы.

• 24 февраля 2023

  • Стандартные параметры Подключение ion для федерации запросов

    Теперь можно использовать единый набор параметров (, port, database, user) passwordдля подключения к источникам данных, поддерживаемым в федерации запросов (hostPostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Обратите внимание, что port это необязательно и будет использовать номер порта по умолчанию для каждого источника данных, если он не указан.

    Пример конфигурации подключения PostgreSQL

    CREATE TABLE postgresql_table
    USING postgresql
    OPTIONS (
      dbtable '<table-name>',
      host '<host-name>',
      database '<database-name>',
      user '<user>',
      password secret('scope', 'key')
    );
    

    Пример конфигурации подключения Snowflake

    CREATE TABLE snowflake_table
    USING snowflake
    OPTIONS (
      dbtable '<table-name>',
      host '<host-name>',
      port '<port-number>',
      database '<database-name>',
      user secret('snowflake_creds', 'my_username'),
      password secret('snowflake_creds', 'my_password'),
      schema '<schema-name>',
      sfWarehouse '<warehouse-name>'
    );
    

  • Возврат [SPARK-41848][CORE] Исправление задачи с превышением расписания с помощью TaskResourceProfile

  • [SPARK-42162] Введение выражения MultiCommutativeOp в качестве оптимизации памяти для канонизации больших деревьев коммутативных выражений

  • [SPARK-41990][SQL] apply Вместо FieldReference.column преобразования фильтра версии 1 в версию 2

  • [SPARK-42346][SQL] Перезапись отдельных статистических выражений после слияния вложенного запроса

  • Обновления системы безопасности операционной системы.

• 16 февраля 2023 г.

  • Теперь пользователи могут читать и записывать определенные таблицы Delta, требующие чтения версии 3 и записи версии 7, с помощью Databricks Runtime 9.1 или более поздней версии. Для успешного выполнения функции таблиц, перечисленные в протоколе таблиц, должны поддерживаться текущей версией Databricks Runtime.
  • Команда SYNC поддерживает синхронизацию повторно созданной таблицы хранилища метаданных Hive. Если таблица HMS ранее была синхронизирована в каталог Unity, но затем удалена и воссоздана, последующий повторной синхронизации будет работать вместо создания кода состояния TABLE_ALREADY_EXISTS.
  • [SPARK-36173][CORE] Поддержка получения номера ЦП в TaskContext
  • [SPARK-42286][SQL] Резервный путь к предыдущему пути кода codegen для сложного экспра с помощью CAST
  • [SPARK-41848][CORE] Исправление задачи с превышением расписания с помощью TaskResourceProfile
  • [SPARK-41219][SQL] Целочисленная идентификатора использует десятичную (1, 0) для представления 0

• 25 января 2023 г.

  • [SPARK-41660][SQL] Распространение столбцов метаданных только в том случае, если они используются
  • [SPARK-41379][SS] [PYTHON] Предоставление клонированного сеанса Spark в DataFrame в пользовательской функции для приемника foreachBatch в PySpark
  • [SPARK-41669][SQL] Ранняя обрезка в canCollapseExpressions
  • Обновления системы безопасности операционной системы.

• 18 января 2023 г.

  • REFRESH FUNCTION Теперь команда SQL поддерживает функции SQL и функции таблицы SQL. Например, можно использовать команду для обновления постоянной функции SQL, которая была обновлена в другом сеансе SQL.
  • Источник данных Java Подключение ivity (JDBC) версии 1 теперь поддерживает pushdown предложения LIMIT для повышения производительности запросов. Эта функция включена по умолчанию и может быть отключена с заданным spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled значением false.
  • В устаревших кластерах списков управления доступом к таблицам для создания функций, ссылающихся на классы JVM, теперь требуется привилегия MODIFY_CLASSPATH .
  • Источник данных Java Подключение ivity (JDBC) версии 1 теперь поддерживает pushdown предложения LIMIT для повышения производительности запросов. Эта функция включена по умолчанию и может быть отключена с помощью spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled значение false.
  • Соединитель Azure Synapse теперь возвращает более описательное сообщение об ошибке, если имя столбца содержит недопустимые символы, такие как пробелы или точки с запятой. В таких случаях будет возвращено следующее сообщение: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace
  • Структурированная потоковая передача Spark теперь работает с форматом ("deltasharing") в таблице разностного общего доступа в качестве источника.
  • [SPARK-38277][SS] Очистка пакета записи после фиксации хранилища состояний RocksDB
  • [SPARK-41733][SQL] [SS] Применение обрезки на основе дерева для правила ResolveWindowTime
  • [SPARK-39591][SS] Асинхронное отслеживание хода выполнения
  • [SPARK-41339][SQL] Закрытие и повторное создание пакета записи RocksDB вместо простой очистки
  • [SPARK-41198][SS] Исправление метрик в потоковом запросе с источником потоковой передачи CTE и DSv1
  • [SPARK-41539][SQL] Remap stats and constraints against output in logical plan for LogicalRDD
  • [SPARK-41732][SQL] [SS] Применение обрезки на основе дерева для сеанса правила
  • [SPARK-41862][SQL] Исправлена ошибка правильности, связанная со значениями DEFAULT в средстве чтения Orc
  • [SPARK-41199][SS] Исправлена проблема с метриками при совместном использовании источника потоковой передачи DSv1 и источника потоковой передачи DSv2.
  • [SPARK-41261][PYTHON] [SS] Исправлена проблема для applyInPandasWithState, если столбцы ключей группировки не помещаются в порядок с самого раннего времени.
  • Обновления системы безопасности операционной системы.

• 17 мая 2023 г.

  • Теперь сканирование Parquet обеспечивает надежную защиту от OOM при сканировании исключительно структурированных файлов путем динамической настройки размера пакета. Метаданные файлов анализируются для предварительного уменьшения размера пакета и снова снижаются при повторных попытках задачи в качестве окончательной сетки безопасности.
  • Исправлена регрессия, из-за которой задания Azure Databricks сохранялись после сбоя подключения к хранилищу метаданных во время инициализации кластера.
  • [SPARK-41520][SQL] Разделение AND_OR шаблона дерева для разделения и ORразделенияAND.
  • [SPARK-43190][SQL] ListQuery.childOutput теперь согласуется со вторичными выходными данными.
  • Обновления системы безопасности операционной системы.

• 25 апреля 2023 г.

  • Если файл Parquet был считан только failOnUnknownFields с параметром или автоматическим загрузчиком в режиме failOnNewColumns эволюции схемы, столбцы с различными типами данных будут считываться, как null вместо того, чтобы вызвать ошибку, указывающую, что файл не может быть прочитан. Теперь эти операции чтения завершаются ошибкой и рекомендуют пользователям использовать этот rescuedDataColumn параметр.
  • Автоматический загрузчик теперь правильно считывает и больше не спасает Integer, Shortтипы, Byte если предоставляется один из этих типов данных. Файл Parquet предлагает один из двух других типов. Когда ранее был включен сохраненный столбец данных, несоответствие типа данных приведет к спасению столбцов, даже если они доступны для чтения.
  • [SPARK-42937][SQL] PlanSubqueries теперь задает InSubqueryExec#shouldBroadcast значение true.
  • Обновления системы безопасности операционной системы.

• 11 апреля 2023 г.

  • Поддержка устаревших форматов источников данных в команде SYNC.
  • Исправлена ошибка в поведении %autoreload в записных книжках, которые находятся за пределами репозитория.
  • Исправлена ошибка, из-за которой эволюция схемы автозагрузчика может перейти в бесконечный цикл сбоя, когда новый столбец обнаруживается в схеме вложенного объекта JSON.
  • [SPARK-42928][SQL] Выполните синхронизацию resolvePersistentFunction.
  • [SPARK-42967][CORE] Исправление SparkListenerTaskStart.stageAttemptId при запуске задачи после отмены этапа.

• 29 марта 2023 г.

  • [SPARK-42794][SS] Увеличьте блокировкуAcquireTimeoutMs до 2 минут для получения хранилища состояний RocksDB в службе "Потоковая передача структуры"
  • [SPARK-42403][CORE] JsonProtocol должен обрабатывать строки JSON NULL
  • [SPARK-42668][SS] Перехват исключения при попытке закрыть сжатый поток в HDFSStateStoreProvider
  • Обновления системы безопасности операционной системы.

• 14 марта 2023 г.

  • [SPARK-42635][SQL] Исправлено выражение TimestampAdd.
  • [SPARK-41793][SQL] Неправильный результат для кадров окна, определенных предложением диапазона для больших десятичных разрядов
  • [SPARK-42484] [SQL] Лучшее сообщение об ошибке unsafeRowUtils
  • [SPARK-42534][SQL] Исправление предложения DB2Dialect Limit
  • [SPARK-41162][SQL] Исправление анти- и полусоединения для самостоятельного объединения с помощью агрегатов
  • [SPARK-42516][SQL] Всегда захватывать конфигурацию часового пояса сеанса при создании представлений
  • Прочие исправления ошибок.

• 28 февраля 2023 г.

  • Стандартные параметры Подключение ion для федерации запросов

    Теперь можно использовать единый набор параметров (, port, database, user) passwordдля подключения к источникам данных, поддерживаемым в федерации запросов (hostPostgreSQL, MySQL, Synapse, Snowflake, Redshift, SQL Server). Обратите внимание, что port это необязательно и использует номер порта по умолчанию для каждого источника данных, если он не указан.

    Пример конфигурации подключения PostgreSQL

    CREATE TABLE postgresql_table
    USING postgresql
    OPTIONS (
      dbtable '<table-name>',
      host '<host-name>',
      database '<database-name>',
      user '<user>',
      password secret('scope', 'key')
    );
    

    Пример конфигурации подключения Snowflake

    CREATE TABLE snowflake_table
    USING snowflake
    OPTIONS (
      dbtable '<table-name>',
      host '<host-name>',
      port '<port-number>',
      database '<database-name>',
      user secret('snowflake_creds', 'my_username'),
      password secret('snowflake_creds', 'my_password'),
      schema '<schema-name>',
      sfWarehouse '<warehouse-name>'
    );
    

  • [SPARK-42286][SQL] Резервный путь к предыдущему пути кода codegen для сложного экспра с помощью CAST

  • [SPARK-41989][PYTHON] Избегайте критической конфигурации ведения журнала из pyspark.pandas

  • [SPARK-42346][SQL] Перезапись отдельных статистических выражений после слияния вложенного запроса

  • [SPARK-41360][CORE] Избегайте повторной регистрации BlockManager, если исполнитель был потерян

  • [SPARK-42162] Введение выражения MultiCommutativeOp в качестве оптимизации памяти для канонизации больших деревьев коммутативных выражений

  • [SPARK-41990][SQL] apply Вместо FieldReference.column преобразования фильтра версии 1 в версию 2

  • Обновления системы безопасности операционной системы.

• 16 февраля 2023 г.

  • Теперь пользователи могут читать и записывать определенные таблицы Delta, требующие чтения версии 3 и записи версии 7, с помощью Databricks Runtime 9.1 или более поздней версии. Для успешного выполнения функции таблиц, перечисленные в протоколе таблиц, должны поддерживаться текущей версией Databricks Runtime.
  • Команда SYNC поддерживает синхронизацию повторно созданной таблицы хранилища метаданных Hive. Если таблица HMS ранее была синхронизирована в каталог Unity, но затем удалена и воссоздана, последующий повторной синхронизации будет работать вместо создания кода состояния TABLE_ALREADY_EXISTS.
  • [SPARK-41219][SQL] Целочисленная идентификатора использует десятичную (1, 0) для представления 0
  • [SPARK-40382][SQL] Группировать отдельные статистические выражения по семантически эквивалентным дочерним элементам RewriteDistinctAggregates
  • Обновления системы безопасности операционной системы.

• 25 января 2023 г.

  • [SPARK-41379][SS] [PYTHON] Предоставление клонированного сеанса Spark в DataFrame в пользовательской функции для приемника foreachBatch в PySpark
  • [SPARK-41660][SQL] Распространение столбцов метаданных только в том случае, если они используются
  • [SPARK-41669][SQL] Ранняя обрезка в canCollapseExpressions
  • Прочие исправления ошибок.

• 18 января 2023 г.

  • REFRESH FUNCTION Теперь команда SQL поддерживает функции SQL и функции таблицы SQL. Например, можно использовать команду для обновления постоянной функции SQL, которая была обновлена в другом сеансе SQL.
  • Источник данных Java Подключение ivity (JDBC) версии 1 теперь поддерживает pushdown предложения LIMIT для повышения производительности запросов. Эта функция включена по умолчанию и может быть отключена с заданным spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled значением false.
  • Источник данных Java Подключение ivity (JDBC) версии 1 теперь поддерживает pushdown предложения LIMIT для повышения производительности запросов. Эта функция включена по умолчанию и может быть отключена с помощью spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled значение false.
  • Соединитель Azure Synapse теперь возвращает более описательное сообщение об ошибке, если имя столбца содержит недопустимые символы, такие как пробелы или точки с запятой. В таких случаях будет возвращено следующее сообщение: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace
  • [SPARK-41198][SS] Исправление метрик в потоковом запросе с источником потоковой передачи CTE и DSv1
  • [SPARK-41862][SQL] Исправлена ошибка правильности, связанная со значениями DEFAULT в средстве чтения Orc
  • [SPARK-41539][SQL] Remap stats and constraints against output in logical plan for LogicalRDD
  • [SPARK-39591][SS] Асинхронное отслеживание хода выполнения
  • [SPARK-41199][SS] Исправлена проблема с метриками при совместном использовании источника потоковой передачи DSv1 и источника потоковой передачи DSv2.
  • [SPARK-41261][PYTHON] [SS] Исправлена проблема для applyInPandasWithState, если столбцы ключей группировки не помещаются в порядок с самого раннего времени.
  • [SPARK-41339][SQL] Закрытие и повторное создание пакета записи RocksDB вместо простой очистки
  • [SPARK-41732][SQL] [SS] Применение обрезки на основе дерева для сеанса правила
  • [SPARK-38277][SS] Очистка пакета записи после фиксации хранилища состояний RocksDB
  • Обновления системы безопасности операционной системы.

• 29 ноября 2022 г.

  • Пользователи могут настроить поведение ведущих и конечных пробелов при записи данных с помощью соединителя Redshift. Добавлены следующие параметры для управления обработкой пробелов:
    • csvignoreleadingwhitespace, если задано значение true, удаляет ведущие пробелы из значений во время записи, когда tempformat задано CSV значение или CSV GZIP. Пробелы сохраняются при установке конфигурации false. Значение по умолчанию — true.
    • csvignoretrailingwhitespace, если задано значение true, удаляет конечные пробелы из значений во время записи, когда tempformat задано CSV значение или CSV GZIP. Пробелы сохраняются при установке конфигурации false. Значение по умолчанию — true.
  • Исправлена ошибка при синтаксическом анализе JSON в автозагрузчике, когда все столбцы были оставлены как строки (cloudFiles.inferColumnTypes не заданы или falseне заданы) и JSON содержал вложенные объекты.
  • Обновление snowflake-jdbc зависимости до версии 3.13.22.
  • По умолчанию типы таблиц JDBC являются внешними.
  • [SPARK-40906][SQL] Mode следует копировать ключи перед вставками в карту
  • Обновления системы безопасности операционной системы.

• 15 ноября 2022 г.

  • Списки управления доступом к таблицам и общие кластеры UC теперь позволяют методу Dataset.toJSON из Python.
  • [SPARK-40646] Синтаксический анализ JSON для структур, карт и массивов был исправлен таким образом, если часть записи не соответствует схеме, остальная часть записи по-прежнему может быть правильно проанализирована, а не возвращать значения NULL. Чтобы выбрать улучшенный набор spark.sql.json.enablePartialResultstrueповедения. Флаг отключен по умолчанию, чтобы сохранить исходное поведение.
  • [SPARK-40903][SQL] Избегайте переупорядочения десятичного добавления для канонизации, если тип данных изменен
  • [SPARK-40618][SQL] Исправлена ошибка в правиле MergeScalarSubqueries с вложенными запросами с помощью отслеживания ссылок
  • [SPARK-40697][SQL] Добавление заполнения на стороне чтения для покрытия внешних файлов данных
  • Обновления системы безопасности операционной системы.

• 1 ноября 2022 г.

  • Структурированная потоковая передача в каталоге Unity теперь поддерживает обновление временных маркеров доступа. Потоковая передача рабочих нагрузок, выполняемых с каталогом Unity, все назначения или кластеры заданий больше не завершаются сбоем после истечения срока действия начального маркера.
  • Исправлена проблема, из-за которой в таблице Delta существовал определяемый пользователем столбец _change_type, но веб-канал изменений был отключен в этой таблице, данные в этом столбце неправильно заполняются значениями NULL при выполнении MERGE.
  • Исправлена проблема, из-за которой выполнение MERGE и использование точно 99 столбцов из источника в условии может привести к java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowвозникновению ошибки.
  • Исправлена проблема с автозагрузчиком, из-за которой файл можно дублировать в одном микропакете при allowOverwrites включении.
  • Обновление Apache commons-text до версии 1.10.0.
  • [SPARK-38881][DSTREAMS] [KINESIS] [PYSPARK] Добавлена поддержка конфигурации CloudWatch MetricsLevel
  • [SPARK-40596][CORE] Заполнение объекта ExecutorDecommission сообщениями в ExecutorDecommissionInfo
  • [SPARK-40670][SS] [PYTHON] Исправление NPE в applyInPandasWithState, если входная схема имеет столбцы, не допускающие значения NULL.
  • Обновления системы безопасности операционной системы.

Databricks Runtime 11.2 (неподдерживаемый)

См. раздел Databricks Runtime 11.2 (неподдерживаемый).

• 28 февраля 2023 г.
  • [SPARK-42286][SQL] Резервный путь к предыдущему пути кода codegen для сложного экспра с помощью CAST
  • [SPARK-42346][SQL] Перезапись отдельных статистических выражений после слияния вложенного запроса
  • Обновления системы безопасности операционной системы.
• 16 февраля 2023 г.
  • Теперь пользователи могут читать и записывать определенные таблицы Delta, требующие чтения версии 3 и записи версии 7, с помощью Databricks Runtime 9.1 или более поздней версии. Для успешного выполнения функции таблиц, перечисленные в протоколе таблиц, должны поддерживаться текущей версией Databricks Runtime.
  • Команда SYNC поддерживает синхронизацию повторно созданной таблицы хранилища метаданных Hive. Если таблица HMS ранее была синхронизирована в каталог Unity, но затем удалена и воссоздана, последующий повторной синхронизации будет работать вместо создания кода состояния TABLE_ALREADY_EXISTS.
  • [SPARK-41219][SQL] Целочисленная идентификатора использует десятичную (1, 0) для представления 0
  • Обновления системы безопасности операционной системы.
• 31 января 2023 г.
  • По умолчанию типы таблиц JDBC являются внешними.
  • [SPARK-41379][SS] [PYTHON] Предоставление клонированного сеанса Spark в DataFrame в пользовательской функции для приемника foreachBatch в PySpark
• 18 января 2023 г.
  • Соединитель Azure Synapse теперь возвращает более описательное сообщение об ошибке, если имя столбца содержит недопустимые символы, такие как пробелы или точки с запятой. В таких случаях будет возвращено следующее сообщение: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace
  • [SPARK-41198][SS] Исправление метрик в потоковом запросе с источником потоковой передачи CTE и DSv1
  • [SPARK-41862][SQL] Исправлена ошибка правильности, связанная со значениями DEFAULT в средстве чтения Orc
  • [SPARK-41539][SQL] Remap stats and constraints against output in logical plan for LogicalRDD
  • [SPARK-41199][SS] Исправлена проблема с метриками при совместном использовании источника потоковой передачи DSv1 и источника потоковой передачи DSv2.
  • [SPARK-41339][SQL] Закрытие и повторное создание пакета записи RocksDB вместо простой очистки
  • [SPARK-41732][SQL] [SS] Применение обрезки на основе дерева для сеанса правила
  • [SPARK-38277][SS] Очистка пакета записи после фиксации хранилища состояний RocksDB
  • Обновления системы безопасности операционной системы.
• 29 ноября 2022 г.
  • Пользователи могут настроить поведение ведущих и конечных пробелов при записи данных с помощью соединителя Redshift. Добавлены следующие параметры для управления обработкой пробелов:
    • csvignoreleadingwhitespace, если задано значение true, удаляет ведущие пробелы из значений во время записи, когда tempformat задано CSV значение или CSV GZIP. Пробелы сохраняются при установке конфигурации false. Значение по умолчанию — true.
    • csvignoretrailingwhitespace, если задано значение true, удаляет конечные пробелы из значений во время записи, когда tempformat задано CSV значение или CSV GZIP. Пробелы сохраняются при установке конфигурации false. Значение по умолчанию — true.
  • Исправлена ошибка при синтаксическом анализе JSON в автозагрузчике, когда все столбцы были оставлены как строки (cloudFiles.inferColumnTypes не заданы или falseне заданы) и JSON содержал вложенные объекты.
  • [SPARK-40906][SQL] Mode следует копировать ключи перед вставками в карту
  • Обновления системы безопасности операционной системы.
• 15 ноября 2022 г.
  • [SPARK-40646] Синтаксический анализ JSON для структур, карт и массивов был исправлен таким образом, если часть записи не соответствует схеме, остальная часть записи по-прежнему может быть правильно проанализирована, а не возвращать значения NULL. Чтобы принять участие в улучшенном поведении, задайте для spark.sql.json.enablePartialResultstrueпараметра . Флаг отключен по умолчанию, чтобы сохранить исходное поведение.
  • [SPARK-40618][SQL] Исправлена ошибка в правиле MergeScalarSubqueries с вложенными запросами с помощью отслеживания ссылок
  • [SPARK-40697][SQL] Добавление заполнения на стороне чтения для покрытия внешних файлов данных
  • Обновления системы безопасности операционной системы.
• 1 ноября 2022 г.
  • Обновление Apache commons-text до версии 1.10.0.
  • Исправлена проблема, из-за которой в таблице Delta существовал определяемый пользователем столбец _change_type, но веб-канал изменений был отключен в этой таблице, данные в этом столбце неправильно заполняются значениями NULL при выполнении MERGE.
  • Исправлена проблема, из-за которой выполнение MERGE и использование точно 99 столбцов из источника в условии может привести к java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowвозникновению ошибки.
  • Исправлена проблема с автозагрузчиком, из-за которой файл можно дублировать в одном микропакете при allowOverwrites включении
  • [SPARK-40596][CORE] Заполнение объекта ExecutorDecommission сообщениями в ExecutorDecommissionInfo
  • Обновления системы безопасности операционной системы.
• 19 октября 2022 г.
  • Исправлена проблема с использованием COPY INTO с временными учетными данными в кластерах или хранилищах с поддержкой каталога Unity.
  • [SPARK-40213][SQL] Поддержка преобразования значений ASCII для символов Latin-1
  • Обновления системы безопасности операционной системы.
• 5 октября 2022 г.
  • Пользователи могут задать spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") для повторного включения собственного описания для автозагрузчика в ADLS 2-го поколения. Собственный листинг ранее был отключен из-за проблем с производительностью, но, возможно, привел к увеличению затрат на хранение для клиентов. Это изменение было развернуто в DBR 10.4 и 9.1 в предыдущем обновлении обслуживания.
  • [SPARK-40315][SQL] Поддержка кодирования и декодирования URL-адресов в виде встроенной функции и функции, связанные с URL-адресом
  • [SPARK-40156][SQL]url_decode() Значение , если возвращается класс ошибок
  • [SPARK-40169] Не нажимайте фильтры Parquet без ссылки на схему данных
  • [SPARK-40460][SS] Исправление метрик потоковой передачи при выборе _metadata
  • [SPARK-40468][SQL] Исправление обрезки столбцов в CSV при выборе _corrupt_record
  • [SPARK-40055][SQL] listCatalogs также должен возвращать spark_catalog даже если реализация spark_catalog используется по умолчаниюSessionCatalog
  • Обновления системы безопасности операционной системы.
• 22 сентября 2022 г.
  • [SPARK-40315][SQL] Добавление hashCode() для литерала ArrayBasedMapData
  • [SPARK-40389][SQL] Десятичные знаки не могут переадресироваться как целочисленные типы, если приведение может переполнение
  • [SPARK-40380][SQL] Исправление константного свертывания InvokeLike, чтобы избежать несериализируемых литерала, внедренных в план
  • [SPARK-40066][SQL] [ОТСЛЕЖИВАНИЕ] Проверьте, разрешен ли ЭлементAt перед получением типа данных
  • [SPARK-40109][SQL] Новая функция SQL: get()
  • [SPARK-40066][SQL] Режим ANSI: всегда возвращает значение NULL при недопустимом доступе к столбцу сопоставления
  • [SPARK-40089][SQL] Исправление сортировки для некоторых десятичных типов
  • [SPARK-39887][SQL] RemoveRedundantAliases должен сохранять псевдонимы, которые делают выходные данные узлов проекции уникальными
  • [SPARK-40152][SQL] Исправлена проблема компиляции кодегена split_part
  • [SPARK-40235][CORE] Использование прерываемой блокировки вместо синхронизированной в Executor.updateDependencies()
  • [SPARK-40212][SQL] SparkSQL castPartValue неправильно обрабатывает байт, короткий или с плавающей точкой
  • [SPARK-40218][SQL] GROUPING SETS должен сохранять столбцы группирования
  • [SPARK-35542][ML] Исправление: Контейнеризатор, созданный для нескольких столбцов с параметрами
  • [SPARK-40079] Добавление проверки ввода Imputer InputCols для пустого регистра ввода
  • [SPARK-39912]SPARK-39828[SQL] Уточнение catalogImpl

Databricks Runtime 11.1 (неподдерживаемый)

См. раздел Databricks Runtime 11.1 (неподдерживаемый).

• 31 января 2023 г.

  • [SPARK-41379][SS] [PYTHON] Предоставление клонированного сеанса Spark в DataFrame в пользовательской функции для приемника foreachBatch в PySpark
  • Прочие исправления ошибок.

• 18 января 2023 г.

  • Соединитель Azure Synapse теперь возвращает более описательное сообщение об ошибке, если имя столбца содержит недопустимые символы, такие как пробелы или точки с запятой. В таких случаях будет возвращено следующее сообщение: Azure Synapse Analytics failed to execute the JDBC query produced by the connector. Make sure column names do not include any invalid characters such as ';' or whitespace
  • [SPARK-41198][SS] Исправление метрик в потоковом запросе с источником потоковой передачи CTE и DSv1
  • [SPARK-41862][SQL] Исправлена ошибка правильности, связанная со значениями DEFAULT в средстве чтения Orc
  • [SPARK-41199][SS] Исправлена проблема с метриками при совместном использовании источника потоковой передачи DSv1 и источника потоковой передачи DSv2.
  • [SPARK-41339][SQL] Закрытие и повторное создание пакета записи RocksDB вместо простой очистки
  • [SPARK-41732][SQL] [SS] Применение обрезки на основе дерева для сеанса правила
  • [SPARK-38277][SS] Очистка пакета записи после фиксации хранилища состояний RocksDB
  • Обновления системы безопасности операционной системы.

• 29 ноября 2022 г.

  • Пользователи могут настроить поведение ведущих и конечных пробелов при записи данных с помощью соединителя Redshift. Добавлены следующие параметры для управления обработкой пробелов:
    • csvignoreleadingwhitespace, если задано значение true, удаляет ведущие пробелы из значений во время записи, когда tempformat задано CSV значение или CSV GZIP. Пробелы сохраняются при установке конфигурации false. Значение по умолчанию — true.
    • csvignoretrailingwhitespace, если задано значение true, удаляет конечные пробелы из значений во время записи, когда tempformat задано CSV значение или CSV GZIP. Пробелы сохраняются при установке конфигурации false. Значение по умолчанию — true.
  • Исправлена ошибка при синтаксическом анализе JSON в автозагрузчике, когда все столбцы были оставлены как строки (cloudFiles.inferColumnTypes не заданы или falseне заданы) и JSON содержал вложенные объекты.
  • [SPARK-39650][SS] Исправлена неправильная схема значений в дедупликации потоковой передачи с обратной совместимостью
  • Обновления системы безопасности операционной системы.

• 15 ноября 2022 г.

  • [SPARK-40646] Синтаксический анализ JSON для структур, карт и массивов был исправлен таким образом, когда часть записи не соответствует схеме, остальная часть записи по-прежнему может быть правильно проанализирована, а не возвращать значения NULL. Чтобы принять участие в улучшенном поведении, задайте для spark.sql.json.enablePartialResultstrueпараметра . Флаг отключен по умолчанию, чтобы сохранить исходное поведение.
  • Обновления системы безопасности операционной системы.

• 1 ноября 2022 г.

  • Обновление Apache commons-text до версии 1.10.0.
  • Исправлена проблема, из-за которой в таблице Delta существовал определяемый пользователем столбец _change_type, но веб-канал изменений был отключен в этой таблице, данные в этом столбце неправильно заполняются значениями NULL при выполнении MERGE.
  • Исправлена проблема, из-за которой выполнение MERGE и использование точно 99 столбцов из источника в условии может привести к java.lang.ClassCastException: org.apache.spark.sql.vectorized.ColumnarBatch cannot be cast to org.apache.spark.sql.catalyst.InternalRowвозникновению ошибки.
  • Исправлена проблема с автозагрузчиком, из-за которой файл можно дублировать в одном микропакете при allowOverwrites включении
  • [SPARK-40697][SQL] Добавление заполнения на стороне чтения для покрытия внешних файлов данных
  • [SPARK-40596][CORE] Заполнение объекта ExecutorDecommission сообщениями в ExecutorDecommissionInfo
  • Обновления системы безопасности операционной системы.

• 18 октября 2022 г.

  • Исправлена проблема с использованием COPY INTO с временными учетными данными в кластерах или хранилищах с поддержкой каталога Unity.
  • [SPARK-40213][SQL] Поддержка преобразования значений ASCII для символов Latin-1
  • Обновления системы безопасности операционной системы.

• 5 октября 2022 г.

  • Пользователи могут задать spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") для повторного включения собственного описания для автозагрузчика в ADLS 2-го поколения. Собственный листинг ранее был отключен из-за проблем с производительностью, но, возможно, привел к увеличению затрат на хранение для клиентов. Это изменение было развернуто в DBR 10.4 и 9.1 в предыдущем обновлении обслуживания.
  • [SPARK-40169] Не нажимайте фильтры Parquet без ссылки на схему данных
  • [SPARK-40460][SS] Исправление метрик потоковой передачи при выборе _metadata
  • [SPARK-40468][SQL] Исправление обрезки столбцов в CSV при выборе _corrupt_record
  • [SPARK-40055][SQL] listCatalogs также должен возвращать spark_catalog даже если реализация spark_catalog используется по умолчаниюSessionCatalog
  • Обновления системы безопасности операционной системы.

• 22 сентября 2022 г.

  • [SPARK-40315][SQL] Добавление hashCode() для литерала ArrayBasedMapData
  • [SPARK-40380][SQL] Исправление константного свертывания InvokeLike, чтобы избежать несериализируемых литерала, внедренных в план
  • [SPARK-40089][SQL] Исправление сортировки для некоторых десятичных типов
  • [SPARK-39887][SQL] RemoveRedundantAliases должен сохранять псевдонимы, которые делают выходные данные узлов проекции уникальными
  • [SPARK-40152][SQL] Исправлена проблема компиляции кодегена split_part

• 6 сентября 2022 г.

  • Мы обновили модель разрешений в управлениях доступом к таблицам (списки ACL к таблицам), чтобы для изменения схемы таблицы или свойств таблицы с ALTER TABLE нужны были только разрешения MODIFY. Ранее эти операции требовали, чтобы пользователь владел таблицей. Владение по-прежнему требуется, чтобы предоставить разрешения на таблицу, изменить владельца, изменить ее расположение или переименовать ее. Это изменение делает модель разрешений для списков ACL к таблицам более согласованной с каталогом Unity.
  • [SPARK-40235][CORE] Использование прерываемой блокировки вместо синхронизированной в Executor.updateDependencies()
  • [SPARK-40212][SQL] SparkSQL castPartValue неправильно обрабатывает байт, короткий или с плавающей точкой
  • [SPARK-40218][SQL] GROUPING SETS должен сохранять столбцы группирования
  • [SPARK-39976][SQL] ArrayIntersect должен правильно обрабатывать значение NULL в левом выражении
  • [SPARK-40053][CORE][SQL][TESTS] Добавление assume в динамические случаи отмены, для которых требуется среда выполнения Python
  • [SPARK-35542][CORE][ML] Исправление: Bucketizer, созданный для нескольких столбцов с параметрами splitsArray, inputCols и outputCols, не удается загрузить после сохранения
  • [SPARK-40079][CORE] Добавление проверки Imputer inputCols для пустого варианта ввода

• 24 августа 2022 г.

  • Общие папки, поставщики и получатели теперь поддерживают команды SQL для изменения владельцев, комментариев и имен
  • [SPARK-39983][CORE][SQL] Не следует кэшировать несериализированные отношения широковещательной рассылки в драйвере
  • [SPARK-39912][SPARK-39828][SQL] Уточнение CatalogImpl
  • [SPARK-39775][CORE][AVRO] Отключение проверки значений по умолчанию при анализе схем Avro
  • [SPARK-39806] Исправлена проблема со сбоем запросов на доступ к структуре METADATA для секционированных таблиц
  • [SPARK-39867][SQL] Глобальное ограничение не должно наследовать OrderPreservingUnaryNode
  • [SPARK-39962][PYTHON][SQL] Применение проекции, если атрибуты группы пустые
  • [SPARK-39839][SQL] Обработка особого случая нулевого десятичного числа переменной длины с ненулевым значением offsetAndSize в проверке структурной целостности UnsafeRow
  • [SPARK-39713][SQL] Режим ANSI: добавление предложения использования try_element_at для исправления ошибки INVALID_ARRAY_INDEX
  • [SPARK-39847][SS] Исправление состояния гонки в RocksDBLoader.loadLibrary(), если вызывающий поток прерван
  • [SPARK-39731][SQL] Исправлена проблема в источниках данных CSV и JSON при синтаксическом анализе дат в формате "yyyyMdd" с помощью исправленной политики синтаксического анализа времени
  • Обновления системы безопасности операционной системы.

• 10 августа 2022 г.

  • Для таблиц Delta с управлением доступа к таблицам автоматическое развитие схемы с помощью таких операторов DML, как INSERT и MERGE, теперь доступно для всех пользователей, имеющих разрешения MODIFY на такие таблицы. Кроме того, разрешения, необходимые для выполнения развития схемы с помощью COPY INTO, теперь снижены с OWNER до MODIFY для согласованности с другими командами. Эти изменения делают модель безопасности ACL к таблице более согласованной с моделью безопасности каталога Unity, а также с другими операциями, такими как замена таблицы.
  • [SPARK-39889] Улучшение сообщения об ошибке при делении на 0
  • [SPARK-39795] [SQL] Новая функция SQL: try_to_timestamp
  • [SPARK-39749] Всегда используйте простое строковое представление при преобразовании десятичного числа в строку в режиме ANSI
  • [SPARK-39625] Переименование df.as в df.to
  • [SPARK-39787] [SQL] Используйте класс error при ошибке синтаксического анализа функции to_timestamp
  • [SPARK-39625] [SQL] Добавление Dataset.as(StructType)
  • [SPARK-39689] Поддержка двухсимвольных конструкций lineSep в источнике данных CSV
  • [SPARK-39579] [SQL][PYTHON][R] Обеспечение совместимости ListFunctions/getFunction/functionExists с пространством имен уровня 3
  • [SPARK-39702] [CORE] Сокращение объема памяти, требуемого TransportCipher$EncryptedMessage, за счет использования общего byteRawChannel
  • [SPARK-39575] [AVRO] Добавление ByteBuffer#rewind после ByteBuffer#get в AvroDeserializer
  • [SPARK-39265] [SQL] Исправление в случае сбоя теста при включении SPARK_ANSI_SQL_MODE
  • [SPARK-39441] [SQL] Ускорение DeduplicateRelations
  • [SPARK-39497] [SQL] Улучшение обработки исключений при анализе при отсутствующем ключевом столбце сопоставления
  • [SPARK-39476] [SQL] Отключение оптимизации приведения типов Unwrap при приведении типов от Long к Float/ Double или от Integer к Float
  • [SPARK-39434] [SQL] Предоставление контекста запроса для ошибки среды выполнения при выходе индекса за границы массива

Databricks Runtime 11.0 (неподдерживаемый)

См. раздел Databricks Runtime 11.0 (неподдерживаемый).

• 29 ноября 2022 г.
  • Пользователи могут настроить поведение ведущих и конечных пробелов при записи данных с помощью соединителя Redshift. Добавлены следующие параметры для управления обработкой пробелов:
    • csvignoreleadingwhitespace, если задано значение true, удаляет ведущие пробелы из значений во время записи, когда tempformat задано CSV значение или CSV GZIP. Пробелы сохраняются при установке конфигурации false. Значение по умолчанию — true.
    • csvignoretrailingwhitespace, если задано значение true, удаляет конечные пробелы из значений во время записи, когда tempformat задано CSV значение или CSV GZIP. Пробелы сохраняются при установке конфигурации false. Значение по умолчанию — true.
  • Исправлена ошибка при синтаксическом анализе JSON в автозагрузчике, когда все столбцы были оставлены как строки (cloudFiles.inferColumnTypes не заданы или falseне заданы) и JSON содержал вложенные объекты.
  • [SPARK-39650][SS] Исправлена неправильная схема значений в дедупликации потоковой передачи с обратной совместимостью
  • Обновления системы безопасности операционной системы.
• 15 ноября 2022 г.
  • [SPARK-40646] Синтаксический анализ JSON для структур, карт и массивов был исправлен таким образом, если часть записи не соответствует схеме, остальная часть записи по-прежнему может быть правильно проанализирована, а не возвращать значения NULL. Чтобы принять участие в улучшенном поведении, задайте для spark.sql.json.enablePartialResultstrueпараметра . Флаг отключен по умолчанию, чтобы сохранить исходное поведение.
• 1 ноября 2022 г.
  • Обновление Apache commons-text до версии 1.10.0.
  • Исправлена проблема, из-за которой в таблице Delta существовал определяемый пользователем столбец _change_type, но веб-канал изменений был отключен в этой таблице, данные в этом столбце неправильно заполняются значениями NULL при выполнении MERGE.
  • Исправлена проблема с автозагрузчиком, из-за которой файл можно дублировать в одном микропакете при allowOverwrites включении
  • [SPARK-40697][SQL] Добавление заполнения на стороне чтения для покрытия внешних файлов данных
  • [SPARK-40596][CORE] Заполнение объекта ExecutorDecommission сообщениями в ExecutorDecommissionInfo
  • Обновления системы безопасности операционной системы.
• 18 октября 2022 г.
  • [SPARK-40213][SQL] Поддержка преобразования значений ASCII для символов Latin-1
  • Обновления системы безопасности операционной системы.
• 5 октября 2022 г.
  • Пользователи могут задать spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") для повторного включения собственного описания для автозагрузчика в ADLS 2-го поколения. Собственный листинг ранее был отключен из-за проблем с производительностью, но, возможно, привел к увеличению затрат на хранение для клиентов. Это изменение было развернуто в DBR 10.4 и 9.1 в предыдущем обновлении обслуживания.
  • [SPARK-40169] Не нажимайте фильтры Parquet без ссылки на схему данных
  • [SPARK-40460][SS] Исправление метрик потоковой передачи при выборе _metadata
  • [SPARK-40468][SQL] Исправление обрезки столбцов в CSV при выборе _corrupt_record
  • Обновления системы безопасности операционной системы.
• 22 сентября 2022 г.
  • [SPARK-40315][SQL] Добавление hashCode() для литерала ArrayBasedMapData
  • [SPARK-40380][SQL] Исправление константного свертывания InvokeLike, чтобы избежать несериализируемых литерала, внедренных в план
  • [SPARK-40089][SQL] Исправление сортировки для некоторых десятичных типов
  • [SPARK-39887][SQL] RemoveRedundantAliases должен сохранять псевдонимы, которые делают выходные данные узлов проекции уникальными
  • [SPARK-40152][SQL] Исправлена проблема компиляции кодегена split_part
• 6 сентября 2022 г.
  • [SPARK-40235][CORE] Использование прерываемой блокировки вместо синхронизированной в Executor.updateDependencies()
  • [SPARK-40212][SQL] SparkSQL castPartValue неправильно обрабатывает байт, короткий или с плавающей точкой
  • [SPARK-40218][SQL] GROUPING SETS должен сохранять столбцы группирования
  • [SPARK-39976][SQL] ArrayIntersect должен правильно обрабатывать значение NULL в левом выражении
  • [SPARK-40053][CORE][SQL][TESTS] Добавление assume в динамические случаи отмены, для которых требуется среда выполнения Python
  • [SPARK-35542][CORE][ML] Исправление: Bucketizer, созданный для нескольких столбцов с параметрами splitsArray, inputCols и outputCols, не удается загрузить после сохранения
  • [SPARK-40079][CORE] Добавление проверки Imputer inputCols для пустого варианта ввода
• 24 августа 2022 г.
  • [SPARK-39983][CORE][SQL] Не следует кэшировать несериализированные отношения широковещательной рассылки в драйвере
  • [SPARK-39775][CORE][AVRO] Отключение проверки значений по умолчанию при анализе схем Avro
  • [SPARK-39806] Исправлена проблема со сбоем запросов на доступ к структуре METADATA для секционированных таблиц
  • [SPARK-39867][SQL] Глобальное ограничение не должно наследовать OrderPreservingUnaryNode
  • [SPARK-39962][PYTHON][SQL] Применение проекции, если атрибуты группы пустые
  • Обновления системы безопасности операционной системы.
• 9 августа 2022 г.
  • [SPARK-39713][SQL] Режим ANSI: добавление предложения использования try_element_at для исправления ошибки INVALID_ARRAY_INDEX
  • [SPARK-39847] Исправление состояния гонки в RocksDBLoader.loadLibrary(), если вызывающий поток прерван
  • [SPARK-39731][SQL] Исправлена проблема в источниках данных CSV и JSON при синтаксическом анализе дат в формате "yyyyMdd" с помощью исправленной политики синтаксического анализа времени
  • [SPARK-39889] Улучшение сообщения об ошибке при делении на 0
  • [SPARK-39795][SQL] Новая функция SQL: try_to_timestamp
  • [SPARK-39749] Всегда используйте простое строковое представление при преобразовании десятичного числа в строку в режиме ANSI
  • [SPARK-39625][SQL] Добавление Dataset.as(StructType)
  • [SPARK-39787][SQL] Использование класса error при ошибке синтаксического анализа функции to_timestamp
  • Обновления системы безопасности операционной системы.
• 27 июля 2022 г.
  • [SPARK-39689]Поддержка двухсимвольных конструкций lineSep в источнике данных CSV
  • [SPARK-39104][SQL] Потокобезопасность для InMemoryRelation#isCachedColumnBuffersLoaded
  • [SPARK-39702][CORE] Сокращение объема памяти, требуемого TransportCipher$EncryptedMessage, за счет использования общего byteRawChannel
  • [SPARK-39575][AVRO] Добавление ByteBuffer#rewind после ByteBuffer#get в AvroDeserializer
  • [SPARK-39497][SQL] Улучшение исключения, возникающего во время анализа из-за отсутствующих ключевых столбцов сопоставления
  • [SPARK-39441][SQL] Ускорение DeduplicateRelations
  • [SPARK-39476][SQL] Отключение оптимизации приведения типов Unwrap при приведении типов от Long к Float/ Double или от Integer к Float
  • [SPARK-39434][SQL] Предоставление контекста запроса для ошибки среды выполнения при выходе индекса за границы массива
  • [SPARK-39570][SQL] Встроенная таблица должна разрешать выражения с псевдонимом
  • Обновления системы безопасности операционной системы.
• 13 июля 2022 г.
  • Убедитесь, что результаты операции MERGE Delta согласованы, если источник является недетерминированным.
  • Исправлена проблема с TVF cloud_files_state при выполнении с использованием путей, отличных от DBFS.
  • Отключено использование автозагрузчика собственных облачных API для перечисления каталогов в Azure.
  • [SPARK-38796][SQL] Обновление функций to_number и try_to_number, чтобы разрешить запросы на вытягивание с положительными числами.
  • [SPARK-39272][SQL] Увеличение начальной позиции контекста запроса на 1.
  • [SPARK-39419][SQL] Исправление для ArraySort, чтобы возникало исключение когда блок сравнения возвращает значение NULL.
  • Обновления системы безопасности операционной системы.
• 5 июля 2022 г.
  • Улучшение сообщений об ошибках для различных классов ошибок.
  • [SPARK-39451][SQL] Поддержка интервалов приведения к интегралам в режиме ANSI.
  • [SPARK-39361] Не используйте расширенный шаблон Log4J2 преобразования объекта типа throwable в конфигурациях ведения журнала по умолчанию.
  • [SPARK-39354][SQL] Убедитесь, что отображается Table or view not found, даже при появлении ошибки dataTypeMismatchError, связанной с Filter, в это же время.
  • [SPARK-38675][CORE] Исправление ошибки гонки при разблокировке в BlockInfoManager.
  • [SPARK-39392][SQL] Уточнение сообщений об ошибках ANSI для указаний функций try_*.
  • [SPARK-39214][SQL][3.3] Улучшения в обработке ошибок, связанных с CAST.
  • [SPARK-37939][SQL] Классы ошибок теперь используются в ошибках анализа свойств.
  • [SPARK-39085][SQL] Перемещение сообщения об ошибке INCONSISTENT_BEHAVIOR_CROSS_VERSION в файл error-classes.json.
  • [SPARK-39376][SQL] Скрытие повторяющихся столбцов в расширении со знаком * для псевдонима подзапроса из NATURAL/USING JOIN.
  • [SPARK-39283][CORE] Исправлена взаимоблокировка между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator
  • [SPARK-39285][SQL] В Spark не должны проверяться имена полей при чтении файлов
  • Обновления системы безопасности операционной системы.

Databricks Runtime 10.5 (неподдерживаемый)

См. раздел Databricks Runtime 10.5 (неподдерживаемый).

• 1 ноября 2022 г.
  • Исправлена проблема, из-за которой в таблице Delta существовал определяемый пользователем столбец _change_type, но веб-канал изменений был отключен в этой таблице, данные в этом столбце неправильно заполняются значениями NULL при выполнении MERGE.
  • [SPARK-40697][SQL] Добавление заполнения на стороне чтения для покрытия внешних файлов данных
  • [SPARK-40596][CORE] Заполнение объекта ExecutorDecommission сообщениями в ExecutorDecommissionInfo
  • Обновления системы безопасности операционной системы.
• 18 октября 2022 г.
  • Обновления системы безопасности операционной системы.
• 5 октября 2022 г.
  • Пользователи могут задать spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") для повторного включения собственного описания для автозагрузчика в ADLS 2-го поколения. Собственный листинг ранее был отключен из-за проблем с производительностью, но, возможно, привел к увеличению затрат на хранение для клиентов. Это изменение было развернуто в DBR 10.4 и 9.1 в предыдущем обновлении обслуживания.
  • Reload4j обновлен до версии 1.2.19, чтобы устранить уязвимости.
  • [SPARK-40460][SS] Исправление метрик потоковой передачи при выборе _metadata
  • [SPARK-40468][SQL] Исправление обрезки столбцов в CSV при выборе _corrupt_record
  • Обновления системы безопасности операционной системы.
• 22 сентября 2022 г.
  • [SPARK-40315][SQL] Добавление hashCode() для литерала ArrayBasedMapData
  • [SPARK-40213][SQL] Поддержка преобразования значений ASCII для символов Latin-1
  • [SPARK-40380][SQL] Исправление константного свертывания InvokeLike, чтобы избежать несериализируемых литерала, внедренных в план
  • [SPARK-38404][SQL] Улучшение разрешения CTE, когда вложенный CTE ссылается на внешний CTE
  • [SPARK-40089][SQL] Исправление сортировки для некоторых десятичных типов
  • [SPARK-39887][SQL] RemoveRedundantAliases должен сохранять псевдонимы, которые делают выходные данные узлов проекции уникальными
  • Обновления системы безопасности операционной системы.
• 6 сентября 2022 г.
  • [SPARK-40235][CORE] Использование прерываемой блокировки вместо синхронизированной в Executor.updateDependencies()
  • [SPARK-39976][SQL] ArrayIntersect должен правильно обрабатывать значение NULL в левом выражении
  • [SPARK-40053][CORE][SQL][TESTS] Добавление assume в динамические случаи отмены, для которых требуется среда выполнения Python
  • [SPARK-35542][CORE][ML] Исправление: Bucketizer, созданный для нескольких столбцов с параметрами splitsArray, inputCols и outputCols, не удается загрузить после сохранения
  • [SPARK-40079][CORE] Добавление проверки Imputer inputCols для пустого варианта ввода
• 24 августа 2022 г.
  • [SPARK-39983][CORE][SQL] Не следует кэшировать несериализированные отношения широковещательной рассылки в драйвере
  • [SPARK-39775][CORE][AVRO] Отключение проверки значений по умолчанию при анализе схем Avro
  • [SPARK-39806] Исправлена проблема со сбоем запросов на доступ к структуре METADATA для секционированных таблиц
  • [SPARK-39962][PYTHON][SQL] Применение проекции, если атрибуты группы пустые
  • [SPARK-37643][SQL] Когда charVarcharAsString имеет значение true, для запроса предиката типа данных char следует пропустить правило rpadding
  • Обновления системы безопасности операционной системы.
• 9 августа 2022 г.
  • [SPARK-39847] Исправление состояния гонки в RocksDBLoader.loadLibrary(), если вызывающий поток прерван
  • [SPARK-39731][SQL] Исправлена проблема в источниках данных CSV и JSON при синтаксическом анализе дат в формате "yyyyMdd" с помощью исправленной политики синтаксического анализа времени
  • Обновления системы безопасности операционной системы.
• 27 июля 2022 г.
  • [SPARK-39625][SQL] Добавление Dataset.as(StructType)
  • [SPARK-39689]Поддержка двухсимвольных конструкций lineSep в источнике данных CSV
  • [SPARK-39104][SQL] Потокобезопасность для InMemoryRelation#isCachedColumnBuffersLoaded
  • [SPARK-39570][SQL] Встроенная таблица должна разрешать выражения с псевдонимом
  • [SPARK-39702][CORE] Сокращение объема памяти, требуемого TransportCipher$EncryptedMessage, за счет использования общего byteRawChannel
  • [SPARK-39575][AVRO] Добавление ByteBuffer#rewind после ByteBuffer#get в AvroDeserializer
  • [SPARK-39476][SQL] Отключение оптимизации приведения типов Unwrap при приведении типов от Long к Float/ Double или от Integer к Float
  • Обновления системы безопасности операционной системы.
• 13 июля 2022 г.
  • Убедитесь, что результаты операции MERGE Delta согласованы, если источник является недетерминированным.
  • [SPARK-39355][SQL] Один столбец использует кавычки для создания UnresolvedAttribute.
  • [SPARK-39548][SQL] Возникла ошибка поиска определения окна для команды CreateView с запросом предложения окна.
  • [SPARK-39419][SQL] Исправление для ArraySort, чтобы возникало исключение когда блок сравнения возвращает значение NULL.
  • Отключено использование автозагрузчика собственных облачных API для перечисления каталогов в Azure.
  • Обновления системы безопасности операционной системы.
• 5 июля 2022 г.
  • [SPARK-39376][SQL] Скрытие повторяющихся столбцов в расширении со знаком * для псевдонима подзапроса из NATURAL/USING JOIN.
  • Обновления системы безопасности операционной системы.
• 15 июня 2022 г.
  • [SPARK-39283][CORE] Исправлена взаимоблокировка между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator
  • [SPARK-39285][SQL] В Spark не должны проверяться имена полей при чтении файлов
  • [SPARK-34096][SQL] Повышена производительность игнорирования значений NULL в nth_value в окне смещения
  • [SPARK-36718][SQL][FOLLOWUP] Исправлена проверка isExtractOnly в CollapseProject
• 2 июня 2022 г.
  • [SPARK-39166][SQL] Теперь возвращается ошибка времени выполнения с предупреждением о контексте запроса для двоичной арифметики при отключенном WSCG
  • [SPARK-39093][SQL] Устранена ошибка компиляции при создании кода для деления интервалов типа "год и месяц" или "день и время дня" на целое число
  • [SPARK-38990][SQL] Устранено исключение NullPointerException при оценке формата date_trunc/trunc в качестве привязанной ссылки
  • Обновления системы безопасности операционной системы.
• 18 мая 2022 г.
  • Устранена потенциальная собственная утечка памяти в Автозагрузчике.
  • [SPARK-38868][SQL]Больше не выполняется распространение исключений из предиката фильтра при оптимизации внешних соединений.
  • [SPARK-38796][SQL] Реализованы функции SQL to_number и try_to_number в соответствии с новой спецификацией.
  • [SPARK-38918][SQL] При удалении вложенных столбцов будет выполняться отфильтровка атрибутов, которые не принадлежат к текущему отношению.
  • [SPARK-38929][SQL] Улучшены сообщения об ошибках для сбоев приведений в ANSI.
  • [SPARK-38926][SQL] Выходные типы в сообщениях об ошибках реализованы в стиле SQL.
  • [SPARK-39084][PYSPARK] Исправлена df.rdd.isEmpty() с использованием TaskContext для остановки итератора при завершении задачи.
  • [SPARK-32268][SQL] Добавлено ColumnPruning в injectBloomFilter.
  • [SPARK-38908][SQL] Предоставлен контекст запроса в ошибке выполнения при приведении из String в Number/Date/Timestamp/Boolean.
  • [SPARK-39046][SQL] Теперь возвращается пустая строка контекста, если неправильно задано TreeNode.origin.
  • [SPARK-38974][SQL] Теперь можно выполнять фильтрацию зарегистрированных функций с заданным именем базы данных в функциях вывода.
  • [SPARK-38762][SQL] Предоставлен контекст запроса в ошибках переполнения десятичных значений.
  • [SPARK-38931][SS] Создан корневой каталог dfs для RocksDBFileManager с неизвестным числом ключей на первой контрольной точке.
  • [SPARK-38992][CORE] Теперь следует избегать использования bash -c в ShellBasedGroupsMappingProvider.
  • [SPARK-38716][SQL] Предоставлен контекст запроса в ошибке "Ключ сопоставления не существует".
  • [SPARK-38889][SQL] Фильтры столбцов логических данных компилируются для использования битового типа для источника данных MSSQL.
  • [SPARK-38698][SQL] Предоставлен контекст запроса в ошибке выполнения Divide/Div/Reminder/Pmod.
  • [SPARK-38823][SQL] NewInstance больше не свертывается, чтобы исправить проблему с повреждением буфера агрегирования.
  • [SPARK-38809][SS] Реализован параметр для пропуска значений NULL в реализации симметрического хэша объединений типа "поток — поток".
  • [SPARK-38676][SQL] Предоставлен контекст запроса SQL в сообщении ошибки выполнения Add/Subtract/Multiply.
  • [SPARK-38677][PYSPARK] Python MonitorThread должен обнаруживать взаимоблокировку из-за блокировки ввода-вывода.
  • Обновления системы безопасности операционной системы.

Databricks Runtime 10.3 (не поддерживается)

См. раздел Databricks Runtime 10.3 (неподдерживаемый).

• 27 июля 2022 г.
  • [SPARK-39689]Поддержка двухсимвольных конструкций lineSep в источнике данных CSV
  • [SPARK-39104][SQL] Потокобезопасность для InMemoryRelation#isCachedColumnBuffersLoaded
  • [SPARK-39702][CORE] Сокращение объема памяти, требуемого TransportCipher$EncryptedMessage, за счет использования общего byteRawChannel
  • Обновления системы безопасности операционной системы.
• 20 июля 2022 г.
  • Убедитесь, что результаты операции MERGE Delta согласованы, если источник является недетерминированным.
  • [SPARK-39476][SQL] Отключение оптимизации приведения типов Unwrap при приведении типов от Long к Float/ Double или от Integer к Float
  • [SPARK-39548][SQL] Возникла ошибка поиска определения окна для команды CreateView с запросом предложения окна.
  • [SPARK-39419][SQL] Исправление для ArraySort, чтобы возникало исключение когда блок сравнения возвращает значение NULL.
  • Обновления системы безопасности операционной системы.
• 5 июля 2022 г.
  • [SPARK-39376][SQL] Скрытие повторяющихся столбцов в расширении со знаком * для псевдонима подзапроса из NATURAL/USING JOIN.
  • Обновления системы безопасности операционной системы.
• 15 июня 2022 г.
  • [SPARK-39283][CORE] Исправлена взаимоблокировка между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator
  • [SPARK-39285][SQL] В Spark не должны проверяться имена полей при чтении файлов
  • [SPARK-34096][SQL] Повышена производительность игнорирования значений NULL в nth_value в окне смещения
  • [SPARK-36718][SQL][FOLLOWUP] Исправлена проверка isExtractOnly в CollapseProject
• 2 июня 2022 г.
  • [SPARK-38990][SQL] Устранено исключение NullPointerException при оценке формата date_trunc/trunc в качестве привязанной ссылки
  • Обновления системы безопасности операционной системы.
• 18 мая 2022 г.
  • Устранена потенциальная собственная утечка памяти в Автозагрузчике.
  • [SPARK-38918][SQL] При удалении вложенных столбцов будет выполняться отфильтровка атрибутов, которые не принадлежат к текущему отношению.
  • [SPARK-37593][CORE] Уменьшен размер страницы по умолчанию на LONG_ARRAY_OFFSET, если используются G1GC и ON_HEAP.
  • [SPARK-39084][PYSPARK] Исправлена df.rdd.isEmpty() с использованием TaskContext для остановки итератора при завершении задачи.
  • [SPARK-32268][SQL] Добавлено ColumnPruning в injectBloomFilter.
  • [SPARK-38974][SQL] Теперь можно выполнять фильтрацию зарегистрированных функций с заданным именем базы данных в функциях вывода.
  • [SPARK-38889][SQL] Фильтры столбцов логических данных компилируются для использования битового типа для источника данных MSSQL.
  • Обновления системы безопасности операционной системы.
• 4 мая 2022 г.
  • Пакет SDK AWS для Java обновлен с версии 1.11.655 до версии 1.12.1899.
• 19 апреля 2022 г.
  • [SPARK-38616] [SQL] Отслеживание текста запроса SQL в Catalyst TreeNode.
  • Обновления системы безопасности операционной системы.
• 6 апреля 2022 г.
  • [SPARK-38631][CORE]: использование реализации на основе Java для распаковки файлов .tar в Utils.unpack.
  • Обновления системы безопасности операционной системы.
• 22 марта 2022 г.
  • В кластерах с высоким уровнем параллелизма с включенным управлением доступом к таблицам или сквозной передачей учетных данных текущий рабочий каталог записных книжек теперь является домашним каталогом пользователя. Ранее рабочим каталогом был /databricks/driver.
  • [SPARK-38437][SQL]: гибкая сериализация даты и времени из источника данных.
  • [SPARK-38180][SQL]: разрешение безопасных приведенных выражений в скоррелированных предикатах равенства.
  • [SPARK-38155][SQL]: запрет на явное объединение во вторичных вложенных запросах с неподдерживаемыми предикатами.
  • [SPARK-38325][SQL] режим ANSI: предотвращение потенциальной ошибки среды выполнения в HashJoin.extractKeyExprAt().
• 14 марта 2022 г.
  • Улучшено обнаружение конфликтов транзакций для пустых транзакций в Delta Lake.
  • [SPARK-38185][SQL] Исправление некорректных данных, если агрегатная функция пуста
  • [SPARK-38318][SQL] Регрессия при замене представления набора данных
  • [SPARK-38236][SQL] Абсолютные пути к файлам, указанные в таблице "create/alter" (создать/изменить), обрабатываются как относительные.
  • [SPARK-35937][SQL] Извлечение поля даты из метки времени должно работать в режиме ANSI
  • [SPARK-34069][SQL] Задачи барьера заверения должны соответствовать SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-37707][SQL] Разрешение назначения хранилища между TimestampNTZ и Date/Timestamp
• 23 февраля 2022 г.
  • [SPARK-27442][SQL] Удаление имени проверочного поля при чтении или записи данных в parquet

Databricks Runtime 10.2 (неподдерживаемый)

См. раздел Databricks Runtime 10.2 (неподдерживаемый).

• 15 июня 2022 г.
  • [SPARK-39283][CORE] Исправлена взаимоблокировка между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator
  • [SPARK-39285][SQL] В Spark не должны проверяться имена полей при чтении файлов
  • [SPARK-34096][SQL] Повышена производительность игнорирования значений NULL в nth_value в окне смещения
• 2 июня 2022 г.
  • [SPARK-38918][SQL] При удалении вложенных столбцов будет выполняться отфильтровка атрибутов, которые не принадлежат к текущему отношению.
  • [SPARK-38990][SQL] Устранено исключение NullPointerException при оценке формата date_trunc/trunc в качестве привязанной ссылки
  • Обновления системы безопасности операционной системы.
• 18 мая 2022 г.
  • Устранена потенциальная собственная утечка памяти в Автозагрузчике.
  • [SPARK-39084][PYSPARK] Исправлена df.rdd.isEmpty() с использованием TaskContext для остановки итератора при завершении задачи.
  • [SPARK-38889][SQL] Фильтры столбцов логических данных компилируются для использования битового типа для источника данных MSSQL.
  • [SPARK-38931][SS] Создан корневой каталог dfs для RocksDBFileManager с неизвестным числом ключей на первой контрольной точке.
  • Обновления системы безопасности операционной системы.
• 4 мая 2022 г.
  • Пакет SDK AWS для Java обновлен с версии 1.11.655 до версии 1.12.1899.
• 19 апреля 2022 г.
  • Обновления системы безопасности операционной системы.
  • Прочие исправления ошибок.
• 6 апреля 2022 г.
  • [SPARK-38631][CORE]: использование реализации на основе Java для распаковки файлов .tar в Utils.unpack.
  • Обновления системы безопасности операционной системы.
• 22 марта 2022 г.
  • В кластерах с высоким уровнем параллелизма с включенным управлением доступом к таблицам или сквозной передачей учетных данных текущий рабочий каталог записных книжек теперь является домашним каталогом пользователя. Ранее рабочим каталогом был /databricks/driver.
  • [SPARK-38437][SQL]: гибкая сериализация даты и времени из источника данных.
  • [SPARK-38180][SQL]: разрешение безопасных приведенных выражений в скоррелированных предикатах равенства.
  • [SPARK-38155][SQL]: запрет на явное объединение во вторичных вложенных запросах с неподдерживаемыми предикатами.
  • [SPARK-38325][SQL] режим ANSI: предотвращение потенциальной ошибки среды выполнения в HashJoin.extractKeyExprAt().
• 14 марта 2022 г.
  • Улучшено обнаружение конфликтов транзакций для пустых транзакций в Delta Lake.
  • [SPARK-38185][SQL] Исправление некорректных данных, если агрегатная функция пуста
  • [SPARK-38318][SQL] Регрессия при замене представления набора данных
  • [SPARK-38236][SQL] Абсолютные пути к файлам, указанные в таблице "create/alter" (создать/изменить), обрабатываются как относительные.
  • [SPARK-35937][SQL] Извлечение поля даты из метки времени должно работать в режиме ANSI
  • [SPARK-34069][SQL] Задачи барьера заверения должны соответствовать SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-37707][SQL] Разрешение назначения хранилища между TimestampNTZ и Date/Timestamp
• 23 февраля 2022 г.
  • [SPARK-37577][SQL] Исправление ClassCastException: ArrayType не может быть приведен к StructType для Generate Pruning
• 8 февраля 2022 г.
  • [SPARK-27442][SQL] Удаление имени проверочного поля при чтении или записи данных в parquet.
  • Обновления системы безопасности операционной системы.
• 1 февраля 2022 г.
  • Обновления системы безопасности операционной системы.
• 26 января 2022 г.
  • Исправлена ошибка, при которой параллельные транзакции в разностных таблицах могут фиксироваться в несериализуемых заказах при определенных редких условиях.
  • Исправлена ошибка, из-за которой команда OPTIMIZE могла завершиться ошибкой при включении диалекта SQL ANSI.
• 19 января 2022 г.
  • Добавлена поддержка встраивания временных учетных данных в COPY INTO для загрузки исходных данных без необходимости разрешений SQL ANY_FILE
  • Исправления ошибок и доработки средств безопасности.
• 20 декабря 2021 г.
  • Исправлена редкая ошибка с фильтрацией на основе индекса столбцов Parquet.

Databricks Runtime 10.1 (неподдерживаемый)

См. раздел Databricks Runtime 10.1 (неподдерживаемый).

• 15 июня 2022 г.
  • [SPARK-39283][CORE] Исправлена взаимоблокировка между TaskMemoryManager и UnsafeExternalSorter.SpillableIterator
  • [SPARK-39285][SQL] В Spark не должны проверяться имена полей при чтении файлов
  • [SPARK-34096][SQL] Повышена производительность игнорирования значений NULL в nth_value в окне смещения
• 2 июня 2022 г.
  • Обновления системы безопасности операционной системы.
• 18 мая 2022 г.
  • Устранена потенциальная собственная утечка памяти в Автозагрузчике.
  • [SPARK-39084][PYSPARK] Исправлена df.rdd.isEmpty() с использованием TaskContext для остановки итератора при завершении задачи.
  • [SPARK-38889][SQL] Фильтры столбцов логических данных компилируются для использования битового типа для источника данных MSSQL.
  • Обновления системы безопасности операционной системы.
• 19 апреля 2022 г.
  • [SPARK-37270] [SQL] Исправление отправки свертываемых выражений в ветви CaseWhen, если elseValue является пустым.
  • Обновления системы безопасности операционной системы.
• 6 апреля 2022 г.
  • [SPARK-38631][CORE]: использование реализации на основе Java для распаковки файлов .tar в Utils.unpack.
  • Обновления системы безопасности операционной системы.
• 22 марта 2022 г.
  • [SPARK-38437][SQL]: гибкая сериализация даты и времени из источника данных.
  • [SPARK-38180][SQL]: разрешение безопасных приведенных выражений в скоррелированных предикатах равенства.
  • [SPARK-38155][SQL]: запрет на явное объединение во вторичных вложенных запросах с неподдерживаемыми предикатами.
  • [SPARK-38325][SQL] режим ANSI: предотвращение потенциальной ошибки среды выполнения в HashJoin.extractKeyExprAt().
• 14 марта 2022 г.
  • Улучшено обнаружение конфликтов транзакций для пустых транзакций в Delta Lake.
  • [SPARK-38185][SQL] Исправление некорректных данных, если агрегатная функция пуста
  • [SPARK-38318][SQL] Регрессия при замене представления набора данных
  • [SPARK-38236][SQL] Абсолютные пути к файлам, указанные в таблице "create/alter" (создать/изменить), обрабатываются как относительные.
  • [SPARK-35937][SQL] Извлечение поля даты из метки времени должно работать в режиме ANSI
  • [SPARK-34069][SQL] Задачи барьера заверения должны соответствовать SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-37707][SQL] Разрешение назначения хранилища между TimestampNTZ и Date/Timestamp
• 23 февраля 2022 г.
  • [SPARK-37577][SQL] Исправление ClassCastException: ArrayType не может быть приведен к StructType для Generate Pruning
• 8 февраля 2022 г.
  • [SPARK-27442][SQL] Удаление имени проверочного поля при чтении или записи данных в parquet.
  • Обновления системы безопасности операционной системы.
• 1 февраля 2022 г.
  • Обновления системы безопасности операционной системы.
• 26 января 2022 г.
  • Исправлена ошибка, при которой параллельные транзакции в разностных таблицах могут фиксироваться в несериализуемых заказах при определенных редких условиях.
  • Исправлена ошибка, из-за которой команда OPTIMIZE могла завершиться ошибкой при включении диалекта SQL ANSI.
• 19 января 2022 г.
  • Добавлена поддержка встраивания временных учетных данных в COPY INTO для загрузки исходных данных без необходимости разрешений SQL ANY_FILE
  • Исправлена проблема нехватки памяти при кэшировании результатов запроса при определенных условиях.
  • Исправлена проблема с USE DATABASE, когда пользователь переключает текущий каталог в каталог, отличный от каталога по умолчанию.
  • Исправления ошибок и доработки средств безопасности.
  • Обновления системы безопасности операционной системы.
• 20 декабря 2021 г.
  • Исправлена редкая ошибка с фильтрацией на основе индекса столбцов Parquet.

Databricks Runtime 10.0 (неподдерживаемый)

См. раздел Databricks Runtime 10.0 (неподдерживаемый).

• 19 апреля 2022 г.
  • [SPARK-37270] [SQL] Исправление отправки свертываемых выражений в ветви CaseWhen, если elseValue является пустым.
  • Обновления системы безопасности операционной системы.
• 6 апреля 2022 г.
  • [SPARK-38631][CORE]: использование реализации на основе Java для распаковки файлов .tar в Utils.unpack.
  • Обновления системы безопасности операционной системы.
• 22 марта 2022 г.
  • [SPARK-38437][SQL]: гибкая сериализация даты и времени из источника данных.
  • [SPARK-38180][SQL]: разрешение безопасных приведенных выражений в скоррелированных предикатах равенства.
  • [SPARK-38155][SQL]: запрет на явное объединение во вторичных вложенных запросах с неподдерживаемыми предикатами.
  • [SPARK-38325][SQL] режим ANSI: предотвращение потенциальной ошибки среды выполнения в HashJoin.extractKeyExprAt().
• 14 марта 2022 г.
  • Улучшено обнаружение конфликтов транзакций для пустых транзакций в Delta Lake.
  • [SPARK-38185][SQL] Исправление некорректных данных, если агрегатная функция пуста
  • [SPARK-38318][SQL] Регрессия при замене представления набора данных
  • [SPARK-38236][SQL] Абсолютные пути к файлам, указанные в таблице "create/alter" (создать/изменить), обрабатываются как относительные.
  • [SPARK-35937][SQL] Извлечение поля даты из метки времени должно работать в режиме ANSI
  • [SPARK-34069][SQL] Задачи барьера заверения должны соответствовать SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-37707][SQL] Разрешение назначения хранилища между TimestampNTZ и Date/Timestamp
• 23 февраля 2022 г.
  • [SPARK-37577][SQL] Исправление ClassCastException: ArrayType не может быть приведен к StructType для Generate Pruning
• 8 февраля 2022 г.
  • [SPARK-27442][SQL] Удаление имени проверочного поля при чтении или записи данных в parquet.
  • [SPARK-36905][SQL] Исправление чтения представлений hive без явных имен столбцов
  • [SPARK-37859][SQL] Устранение проблемы, при которой таблицы SQL, созданные с помощью JDBC в SPARK 3.1, недоступны для чтения с версией 3.2
  • Обновления системы безопасности операционной системы.
• 1 февраля 2022 г.
  • Обновления системы безопасности операционной системы.
• 26 января 2022 г.
  • Исправлена ошибка, при которой параллельные транзакции в разностных таблицах могут фиксироваться в несериализуемых заказах при определенных редких условиях.
  • Исправлена ошибка, из-за которой команда OPTIMIZE могла завершиться ошибкой при включении диалекта SQL ANSI.
• 19 января 2022 г.
  • Исправления ошибок и доработки средств безопасности.
  • Обновления системы безопасности операционной системы.
• 20 декабря 2021 г.
  • Исправлена редкая ошибка с фильтрацией на основе индекса столбцов Parquet.
• 9 ноября 2021 г.
  • Появились дополнительные флаги конфигурации для обеспечения точного детального контроля над расширениями функциональности ANSI.
• 4 ноября 2021 г.
  • Исправлена ошибка, которая могла привести к сбою структурированных потоков передачи с использованием ArrayIndexOutOfBoundsException
  • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: No FileSystem for scheme, или привести к тому, что изменения в sparkContext.hadoopConfiguration не вступят в силу в запросах.
  • Соединитель Apache Spark для разностного доступа был обновлен до 0.2.0.
• 30 ноября 2021 г.
  • Исправлена проблема с синтаксическим анализом метки времени, где строка часового пояса без двоеточия считалась недопустимой.
  • Исправлена проблема нехватки памяти при кэшировании результатов запроса при определенных условиях.
  • Исправлена проблема с USE DATABASE, когда пользователь переключает текущий каталог в каталог, отличный от каталога по умолчанию.

Databricks Runtime 9.0 (неподдерживаемый)

См. раздел Databricks Runtime 9.0 (неподдерживаемый).

• 8 февраля 2022 г.
  • Обновления системы безопасности операционной системы.
• 1 февраля 2022 г.
  • Обновления системы безопасности операционной системы.
• 26 января 2022 г.
  • Исправлена ошибка, из-за которой команда OPTIMIZE могла завершиться ошибкой при включении диалекта SQL ANSI.
• 19 января 2022 г.
  • Исправления ошибок и доработки средств безопасности.
  • Обновления системы безопасности операционной системы.
• 4 ноября 2021 г.
  • Исправлена ошибка, которая могла привести к сбою структурированных потоков передачи с использованием ArrayIndexOutOfBoundsException
  • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: No FileSystem for scheme, или привести к тому, что изменения в sparkContext.hadoopConfiguration не вступят в силу в запросах.
  • Соединитель Apache Spark для разностного доступа был обновлен до 0.2.0.
• 22 сентября 2021 г.
  • Исправлена ошибка в массиве cast Spark со значением null для строки
• 15 сентября 2021 г.
  • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
• 8 сентября 2021 г.
  • Добавлена поддержка имени схемы (формат databaseName.schemaName.tableName) в качестве имени целевой таблицы для Соединителя Azure Synapse.
  • Добавлена поддержка геометрических и географических типов JDBC, для SQL Spark.
  • [SPARK-33527][SQL] Расширена функция декодирования, которая будет соответствовать широко используемым базам данных.
  • [SPARK-36532][CORE] [3.1] Исправлена взаимоблокировка в CoarseGrainedExecutorBackend.onDisconnected во избежание executorsconnected для предотвращения зависания завершения работы исполнителя.
• 25 августа 2021 г.
  • Библиотека драйверов SQL Server обновлена до версии 9.2.1.jre8.
  • Соединитель Snowflake обновлен до версии 2.9.0.
  • Исправлена неработающая ссылка на лучшую пробную версию записной книжки на странице эксперимента AutoML.

Databricks Runtime 8.4 (неподдерживаемый)

См. раздел Databricks Runtime 8.4 (неподдерживаемый).

• 19 января 2022 г.
  • Обновления системы безопасности операционной системы.
• 4 ноября 2021 г.
  • Исправлена ошибка, которая могла привести к сбою структурированных потоков передачи с использованием ArrayIndexOutOfBoundsException
  • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: No FileSystem for scheme, или привести к тому, что изменения в sparkContext.hadoopConfiguration не вступят в силу в запросах.
  • Соединитель Apache Spark для разностного доступа был обновлен до 0.2.0.
• 22 сентября 2021 г.
  • Драйвер JDBC для Spark обновлен до версии 2.6.19.1030
  • [SPARK-36734][SQL] Обновление ORC до версии 1.5.1
• 15 сентября 2021 г.
  • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • Обновления системы безопасности операционной системы.
• 8 сентября 2021 г.
  • [SPARK-36532][CORE] [3.1] Исправлена взаимоблокировка в CoarseGrainedExecutorBackend.onDisconnected во избежание executorsconnected для предотвращения зависания завершения работы исполнителя.
• 25 августа 2021 г.
  • Библиотека драйверов SQL Server обновлена до версии 9.2.1.jre8.
  • Соединитель Snowflake обновлен до версии 2.9.0.
  • Устраняет ошибку, связанную с транзитом учетных данных, которая вызвана новой оптимизацией предварительного извлечения Parquet, при которой транзитные учетные данные пользователя могут быть не найдены во время доступа к файлу.
• 11 августа 2021 г.
  • Устранена проблема несовместимости RocksDB, которая не позволяет выполнять операции более старой версии Databricks Runtime 8.4. Это исправляет прямую совместимость для Auto Loader, COPY INTO, с приложениями потоковой передачи с отслеживанием состояния.
  • Устранена ошибка при использовании Auto Loader для чтения CSV-файлов с несовпадающими заголовками файлов. Если имена столбцов не совпадают, столбец будет заполнен значениями null. Теперь, если схема предоставлена, предполагается, что схема такая же и будет сохранять несоответствия столбцов только в том случае, если включены столбцы восстановленных данных.
  • Добавлен новый параметр, вызываемый externalDataSource в соединитель Azure Synapse, для удаления требования к разрешениям CONTROL в базе данных для чтения PolyBase.
• 29 июля 2021 г.
  • [SPARK-36034][BUILD] Перемещение даты и времени в помещенных в стек фильтрах на Parquet
  • [SPARK-36163][BUILD] Распространение правильных свойств JDBC в поставщике соединителя JDBC и добавление параметра connectionProvider

Databricks Runtime 8.3 (неподдерживаемый)

См. раздел Databricks Runtime 8.3 (неподдерживаемый).

• 19 января 2022 г.
  • Обновления системы безопасности операционной системы.
• 4 ноября 2021 г.
  • Исправлена ошибка, которая могла привести к сбою структурированных потоков передачи с использованием ArrayIndexOutOfBoundsException
  • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: No FileSystem for scheme, или привести к тому, что изменения в sparkContext.hadoopConfiguration не вступят в силу в запросах.
• 22 сентября 2021 г.
  • Драйвер JDBC для Spark обновлен до версии 2.6.19.1030
• 15 сентября 2021 г.
  • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • Обновления системы безопасности операционной системы.
• 8 сентября 2021 г.
  • [SPARK-35700] [SQL] Чтение таблицы char/varchar orc при создании и записи внешними системами.
  • [SPARK-36532][CORE] [3.1] Исправлена взаимоблокировка в CoarseGrainedExecutorBackend.onDisconnected во избежание executorsconnected для предотвращения зависания завершения работы исполнителя.
• 25 августа 2021 г.
  • Библиотека драйверов SQL Server обновлена до версии 9.2.1.jre8.
  • Соединитель Snowflake обновлен до версии 2.9.0.
  • Устраняет ошибку, связанную с транзитом учетных данных, которая вызвана новой оптимизацией предварительного извлечения Parquet, при которой транзитные учетные данные пользователя могут быть не найдены во время доступа к файлу.
• 11 августа 2021 г.
  • Устранена ошибка при использовании Auto Loader для чтения CSV-файлов с несовпадающими заголовками файлов. Если имена столбцов не совпадают, столбец будет заполнен значениями null. Теперь, если схема предоставлена, предполагается, что схема такая же и будет сохранять несоответствия столбцов только в том случае, если включены столбцы восстановленных данных.
• 29 июля 2021 г.
  • Обновление соединителя Databricks Snowflake Spark до версии 2.9.0-spark-3.1
  • [SPARK-36034][BUILD] Перемещение даты и времени в помещенных в стек фильтрах на Parquet
  • [SPARK-36163][BUILD] Распространение правильных свойств JDBC в поставщике соединителя JDBC и добавление параметра connectionProvider
• 14 июля 2021 г.
  • Исправлена проблема с использованием имен столбцов с точками в соединителе Azure Synapse.
  • Представлен формат database.schema.table для соединителя Synapse.
  • Добавлена поддержка для предоставления формата databaseName.schemaName.tableName в качестве целевой таблицы, а не только schemaName.tableName или tableName.
• 15 июня 2021 г.
  • Исправлена ошибка NoSuchElementException в оптимизированных операциях записи Delta Lake, которые могут произойти при записи больших объемов данных и при возникновении потерь исполнителя
  • Добавляет команды SQL CREATE GROUP, DROP GROUP, ALTER GROUP, SHOW GROUPS, и SHOW USERS. Дополнительные сведения см. в разделах Инструкции по безопасности и Инструкции отображения.

Databricks Runtime 8.2 (неподдерживаемый)

См. раздел Databricks Runtime 8.2 (неподдерживаемый).

• 22 сентября 2021 г.

  • Обновления системы безопасности операционной системы.

• 15 сентября 2021 г.

  • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

• 8 сентября 2021 г.

  • [SPARK-35700] [SQL] Чтение таблицы char/varchar orc при создании и записи внешними системами.
  • [SPARK-36532][CORE] [3.1] Исправлена взаимоблокировка в CoarseGrainedExecutorBackend.onDisconnected во избежание executorsconnected для предотвращения зависания завершения работы исполнителя.

• 25 августа 2021 г.

  • Соединитель Snowflake обновлен до версии 2.9.0.

• 11 августа 2021 г.

  • [SPARK-36034][SQL] Перемещение даты и времени в помещенных в стек фильтрах на Parquet.

• 29 июля 2021 г.

  • Обновление соединителя Databricks Snowflake Spark до версии 2.9.0-spark-3.1
  • [SPARK-36163][BUILD] Распространение правильных свойств JDBC в поставщике соединителя JDBC и добавление параметра connectionProvider

• 14 июля 2021 г.

  • Исправлена проблема с использованием имен столбцов с точками в соединителе Azure Synapse.
  • Представлен формат database.schema.table для соединителя Synapse.
  • Добавлена поддержка для предоставления формата databaseName.schemaName.tableName в качестве целевой таблицы, а не только schemaName.tableName или tableName.
  • Исправлена ошибка, которая не позволяет пользователям переключаться между старыми доступными версиями с разностными таблицами.

• 15 июня 2021 г.

  • Исправляет ошибку NoSuchElementException в оптимизированных операциях записи Delta Lake, которые могут произойти при записи больших объемов данных и при возникновении потерь исполнителя

• 26 мая 2021 г.

  • Обновлен Python с обновлением для системы безопасности для устранения уязвимости системы безопасности Python (CVE-2021-3177).

• 30 апреля 2021 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-35227][BUILD] Обновление механизма распознавания для пакетов Spark в SparkSubmit
  • [SPARK-34245][CORE] Обеспечение при помощи Master удаления исполнителей, которым не удалось отправить завершенное состояние
  • Устранена проблема нехватки памяти, когда Auto Loader передает метрики хода выполнения структурированной потоковой передачи.

Databricks Runtime 8.1 (неподдерживаемый)

См. раздел Databricks Runtime 8.1 (неподдерживаемый).

• 22 сентября 2021 г.

  • Обновления системы безопасности операционной системы.

• 15 сентября 2021 г.

  • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

• 8 сентября 2021 г.

  • [SPARK-35700] [SQL] Чтение таблицы char/varchar orc при создании и записи внешними системами.
  • [SPARK-36532][CORE] [3.1] Исправлена взаимоблокировка в CoarseGrainedExecutorBackend.onDisconnected во избежание executorsconnected для предотвращения зависания завершения работы исполнителя.

• 25 августа 2021 г.

  • Соединитель Snowflake обновлен до версии 2.9.0.

• 11 августа 2021 г.

  • [SPARK-36034][SQL] Перемещение даты и времени в помещенных в стек фильтрах на Parquet.

• 29 июля 2021 г.

  • Обновление соединителя Databricks Snowflake Spark до версии 2.9.0-spark-3.1
  • [SPARK-36163][BUILD] Распространение правильных свойств JDBC в поставщике соединителя JDBC и добавление параметра connectionProvider

• 14 июля 2021 г.

  • Исправлена проблема с использованием имен столбцов с точками в соединителе Azure Synapse.
  • Исправлена ошибка, которая не позволяет пользователям переключаться между старыми доступными версиями с разностными таблицами.

• 15 июня 2021 г.

  • Исправляет ошибку NoSuchElementException в оптимизированных операциях записи Delta Lake, которые могут произойти при записи больших объемов данных и при возникновении потерь исполнителя

• 26 мая 2021 г.

  • Обновлен Python с обновлением для системы безопасности для устранения уязвимости системы безопасности Python (CVE-2021-3177).

• 30 апреля 2021 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-35227][BUILD] Обновление механизма распознавания для пакетов Spark в SparkSubmit
  • Устранена проблема нехватки памяти, когда Auto Loader передает метрики хода выполнения структурированной потоковой передачи.

• 27 апреля 2021 г.

  • [SPARK-34245][CORE] Обеспечение при помощи Master удаления исполнителей, которым не удалось отправить завершенное состояние
  • [SPARK-34856][SQL] режим ANSI: разрешить приведение сложных типов в качестве строкового типа
  • [SPARK-35014] Исправлен шаблон PhysicalAggregation, чтобы он не переписывал свертываемые выражения
  • [SPARK-34769][SQL] AnsiTypeCoercion: возвращение самого узкого преобразуемого типа среди TypeCollection
  • [SPARK-34614][SQL] Режим ANSI: приведение строки к логическому типу вызовет создание исключения при ошибке синтаксического анализа
  • [SPARK-33794][SQL] Режим ANSI: исправление выражения NextDay для создания среды выполнения IllegalArgumentException при получении недопустимых входных данных

Databricks Runtime 8.0 (неподдерживаемый)

См. раздел Databricks Runtime 8.0 (неподдерживаемый).

• 15 сентября 2021 г.

  • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.

• 25 августа 2021 г.

  • Соединитель Snowflake обновлен до версии 2.9.0.

• 11 августа 2021 г.

  • [SPARK-36034][SQL] Перемещение даты и времени в помещенных в стек фильтрах на Parquet.

• 29 июля 2021 г.

  • [SPARK-36163][BUILD] Распространение правильных свойств JDBC в поставщике соединителя JDBC и добавление параметра connectionProvider

• 14 июля 2021 г.

  • Исправлена проблема с использованием имен столбцов с точками в соединителе Azure Synapse.
  • Исправлена ошибка, которая не позволяет пользователям переключаться между старыми доступными версиями с разностными таблицами.

• 26 мая 2021 г.

  • Обновлен Python с обновлением для системы безопасности для устранения уязвимости системы безопасности Python (CVE-2021-3177).

• 30 апреля 2021 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-35227][BUILD] Обновление механизма распознавания для пакетов Spark в SparkSubmit
  • [SPARK-34245][CORE] Обеспечение при помощи Master удаления исполнителей, которым не удалось отправить завершенное состояние

• 24 марта 2021 г.

  • [SPARK-34681][SQL] Исправлена ошибка для полного внешнего перемешанного хэш-соединения при построении левой части с условием неравенства
  • [SPARK-34534] Исправлен порядок blockId при использовании FetchShuffleBlocks для получения блоков
  • [SPARK-34613][SQL] Исправлена ошибка, при которой представление на соответствует настройке отключении подсказки

• 9 марта 2021 г.

  • [SPARK-34543] [SQL] Теперь конфигурация spark.sql.caseSensitive учитывается при разрешении спецификации секции в v1 SET LOCATION
  • [SPARK-34392][SQL] Поддержка ZoneOffset +ч:мм в DateTimeUtils. getZoneId
  • [пользовательский интерфейс] Исправление ссылки href визуализации Spark DAG
  • [SPARK-34436][SQL] DPP поддерживает выражение LIKE ANY/ALL

Databricks Runtime 7.6 (неподдерживаемый)

См. раздел Databricks Runtime 7.6 (неподдерживаемый).

• 11 августа 2021 г.
  • [SPARK-36034][SQL] Перемещение даты и времени в помещенных в стек фильтрах на Parquet.
• 29 июля 2021 г.
  • [SPARK-32998][BUILD] Добавьте возможность переопределения удаленных репозиториев по умолчанию только внутренними репозиториями
• 14 июля 2021 г.
  • Исправлена ошибка, которая не позволяет пользователям переключаться между старыми доступными версиями с разностными таблицами.
• 26 мая 2021 г.
  • Обновлен Python с обновлением для системы безопасности для устранения уязвимости системы безопасности Python (CVE-2021-3177).
• 30 апреля 2021 г.
  • Обновления системы безопасности операционной системы.
  • [SPARK-35227][BUILD] Обновление механизма распознавания для пакетов Spark в SparkSubmit
  • [SPARK-34245][CORE] Обеспечение при помощи Master удаления исполнителей, которым не удалось отправить завершенное состояние
• 24 марта 2021 г.
  • [SPARK-34768][SQL] Соблюдение размера входного буфера по умолчанию в Univocity
  • [SPARK-34534] Исправлен порядок blockId при использовании FetchShuffleBlocks для получения блоков
• 9 марта 2021 г.
  • (Только для Azure) Исправлена ошибка автозагрузчика, которая может вызвать NullPointerException при использовании Databricks Runtime 7.6 для запуска старого потока автозагрузчика, созданного в Databricks Runtime 7.2
  • [пользовательский интерфейс] Исправление ссылки href визуализации Spark DAG
  • Неизвестный листовой узел SparkPlan неверно обрабатывается в SizeInBytesOnlyStatsSparkPlanVisitor
  • Восстановление выходной схемы SHOW DATABASES
  • [Delta][8.0, 7.6] Исправлена ошибка вычислений в логике автоматической настройки размера файла
  • Отключение проверки устаревания для файлов таблиц Delta в кэше диска
  • [SQL] Использование правильного ключа сборки динамической очистки при наличии указания по соединению с диапазоном
  • Отключение поддержки типа char в пути кода, отличного от SQL
  • Избежание NPE в DataFrameReader.schema
  • Исправление NPE, если в ответе EventGridClient нет объекта
  • Устранение ошибки чтения закрытого потока чтения в автозагрузчике Azure
  • [SQL] Не создавать уведомление о количестве разделов в случайном порядке при включенном сервере AOS
• 24 февраля 2021 г.
  • Обновлен соединитель Spark BigQuery до версии v0.18, в которой введены различные исправления ошибок, а также поддержка итераторов Arrow и Avro.
  • Исправлена проблема с корректностью, из-за которой Spark возвращает неверные результаты, если десятичная точность и масштаб файла Parquet отличаются от схемы Spark.
  • Исправлена ошибка чтения в таблицах Microsoft SQL Server, содержащих пространственные типы данных, путем добавления поддержки геометрических и географических типов JDBC для SQL Spark.
  • Введена новая конфигурация spark.databricks.hive.metastore.init.reloadFunctions.enabled. Эта конфигурация управляет встроенной инициализацией Hive. Если задано значение true, Azure Databricks перезагружает все функции из всех баз данных, которые имеются у пользователей, в FunctionRegistry. Это — действия по умолчанию в хранилище метаданных Hive. Если задано значение false, Azure Databricks отключает этот процесс для оптимизации.
  • [SPARK-34212] Исправлены проблемы, связанные с чтением десятичных данных из файлов Parquet.
  • [SPARK-34260][SQL] Исправлено UnresolvedException при создании временного представления дважды.

Databricks Runtime 7.5 (неподдерживаемый)

См. раздел Databricks Runtime 7.5 (неподдерживаемый).

• 26 мая 2021 г.
  • Обновлен Python с обновлением для системы безопасности для устранения уязвимости системы безопасности Python (CVE-2021-3177).
• 30 апреля 2021 г.
  • Обновления системы безопасности операционной системы.
  • [SPARK-35227][BUILD] Обновление механизма распознавания для пакетов Spark в SparkSubmit
  • [SPARK-34245][CORE] Обеспечение при помощи Master удаления исполнителей, которым не удалось отправить завершенное состояние
• 24 марта 2021 г.
  • [SPARK-34768][SQL] Соблюдение размера входного буфера по умолчанию в Univocity
  • [SPARK-34534] Исправлен порядок blockId при использовании FetchShuffleBlocks для получения блоков
• 9 марта 2021 г.
  • (Только для Azure) Исправлена ошибка автозагрузчика, которая может вызвать NullPointerException при использовании Databricks Runtime 7.5 для запуска старого потока автозагрузчика, созданного в Databricks Runtime 7.2.
  • [пользовательский интерфейс] Исправление ссылки href визуализации Spark DAG
  • Неизвестный листовой узел SparkPlan неверно обрабатывается в SizeInBytesOnlyStatsSparkPlanVisitor
  • Восстановление выходной схемы SHOW DATABASES
  • Отключение проверки устаревания для файлов таблиц Delta в кэше диска
  • [SQL] Использование правильного ключа сборки динамической очистки при наличии указания по соединению с диапазоном
  • Отключение поддержки типа char в пути кода, отличного от SQL
  • Избежание NPE в DataFrameReader.schema
  • Исправление NPE, если в ответе EventGridClient нет объекта
  • Устранение ошибки чтения закрытого потока чтения в автозагрузчике Azure
• 24 февраля 2021 г.
  • Обновлен соединитель Spark BigQuery до версии v0.18, в которой введены различные исправления ошибок, а также поддержка итераторов Arrow и Avro.
  • Исправлена проблема с корректностью, из-за которой Spark возвращает неверные результаты, если десятичная точность и масштаб файла Parquet отличаются от схемы Spark.
  • Исправлена ошибка чтения в таблицах Microsoft SQL Server, содержащих пространственные типы данных, путем добавления поддержки геометрических и географических типов JDBC для SQL Spark.
  • Введена новая конфигурация spark.databricks.hive.metastore.init.reloadFunctions.enabled. Эта конфигурация управляет встроенной инициализацией Hive. Если задано значение true, Azure Databricks перезагружает все функции из всех баз данных, которые имеются у пользователей, в FunctionRegistry. Это — действия по умолчанию в хранилище метаданных Hive. Если задано значение false, Azure Databricks отключает этот процесс для оптимизации.
  • [SPARK-34212] Исправлены проблемы, связанные с чтением десятичных данных из файлов Parquet.
  • [SPARK-34260][SQL] Исправлено UnresolvedException при создании временного представления дважды.
• 4 февраля 2021 г.
  • Исправлена регрессия, которая предотвращает добавочное выполнение запроса, который задает глобальное ограничение, например, SELECT * FROM table LIMIT nrows. Эта регрессия была вызвана тем, что пользователи, выполняющие запросы через ODBC/JDBC, поддерживают сериализацию с помощью Arrow.
  • Добавлены проверки времени записи для клиента Hive, чтобы предотвратить повреждение метаданных в хранилище метаданных Hive для разностных таблиц.
  • Исправлена регрессия, из-за которой DBFS FUSE не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.
• 20 января 2021 г.
  • Исправлена регрессия в выпуске обслуживания от 12 января 2021 г., которая может вызвать неверное выполнение AnalysisException и указать, что столбец неоднозначен в самосоединении. Эта регрессия происходит, когда пользователь присоединяется к кадру данных с производным кадром данных (так называемым самостоятельным присоединением) со следующими условиями:
    • Эти два кадра данных имеют общие столбцы, но выходные данные самосоединения не имеют общих столбцов. Например: df.join(df.select($"col" as "new_col"), cond)
    • Производный кадр данных исключает некоторые столбцы с помощью команд select, groupBy, или window.
    • Условие соединения или следующее преобразование после соединяемого кадра данных ссылаются на столбцы, не являющиеся общими. Например: df.join(df.drop("a"), df("a") === 1)
• 12 января 2021 г.
  • Обновление Azure Storage SDK с версии 2.3.8 до версии 2.3.9.
  • [SPARK-33593] [SQL] Средство чтения векторов теперь получает корректные данные со значением двоичной секции
  • [SPARK-33480][SQL] Обновляет сообщение об ошибке проверки длины вставки таблицы char/varchar

Databricks Runtime 7.3 LTS (неподдерживаемый)

См. раздел Databricks Runtime 7.3 LTS (неподдерживаемый).

• 10 сентября 2023 г.

  • Прочие исправления ошибок.

• 30 августа 2023 г.

  • Обновления системы безопасности операционной системы.

• 15 августа 2023 г.

  • Обновления системы безопасности операционной системы.

• 23 июня 2023 г.

  • Библиотека Snowflake-jdbc обновляется до версии 3.13.29, чтобы устранить проблему безопасности.
  • Обновления системы безопасности операционной системы.

• 15 июня 2023 г.

  • [SPARK-43413][SQL] Исправление IN допустимости вложенного запроса ListQuery null.
  • Обновления системы безопасности операционной системы.

• 2 июня 2023 г.

  • Исправлена проблема в автозагрузчике, в которой разные форматы исходных файлов были несогласованы, когда указанная схема не включала выводные секции. Эта проблема может привести к непредвиденным сбоям при чтении файлов с отсутствующими столбцами в схеме выводимой секции.

• 17 мая 2023 г.

  • Обновления системы безопасности операционной системы.

• 25 апреля 2023 г.

  • Обновления системы безопасности операционной системы.

• 11 апреля 2023 г.

  • [SPARK-42967][CORE] Исправление SparkListenerTaskStart.stageAttemptId при запуске задачи после отмены этапа.
  • Прочие исправления ошибок.

• 29 марта 2023 г.

  • Обновления системы безопасности операционной системы.

• 14 марта 2023 г.

  • Прочие исправления ошибок.

• 28 февраля 2023 г.

  • Обновления системы безопасности операционной системы.

• 16 февраля 2023 г.

  • Обновления системы безопасности операционной системы.

• 31 января 2023 г.

  • По умолчанию типы таблиц JDBC являются внешними.

• 18 января 2023 г.

  • Обновления системы безопасности операционной системы.

• 29 ноября 2022 г.

  • Прочие исправления ошибок.

• 15 ноября 2022 г.

  • Обновление Apache commons-text до версии 1.10.0.
  • Обновления системы безопасности операционной системы.
  • Прочие исправления ошибок.

• 1 ноября 2022 г.

  • [SPARK-38542][SQL] UnsafeHashedRelation должен сериализовать numKeys out

• 18 октября 2022 г.

  • Обновления системы безопасности операционной системы.

• 5 октября 2022 г.

  • Прочие исправления ошибок.
  • Обновления системы безопасности операционной системы.

• 22 сентября 2022 г.

  • [SPARK-40089][SQL] Исправление сортировки для некоторых десятичных типов

• 6 сентября 2022 г.

  • [SPARK-35542][CORE][ML] Исправление: Bucketizer, созданный для нескольких столбцов с параметрами splitsArray, inputCols и outputCols, не удается загрузить после сохранения
  • [SPARK-40079][CORE] Добавление проверки Imputer inputCols для пустого варианта ввода

• 24 августа 2022 г.

  • [SPARK-39962][PYTHON][SQL] Применение проекции, если атрибуты группы пустые
  • Обновления системы безопасности операционной системы.

• 9 августа 2022 г.

  • Обновления системы безопасности операционной системы.

• 27 июля 2022 г.

  • Убедитесь, что результаты операции MERGE Delta согласованы, если источник является недетерминированным.
  • Обновления системы безопасности операционной системы.
  • Прочие исправления ошибок.

• 13 июля 2022 г.

  • [SPARK-32680][SQL] Предварительная обработка V2 CTAS с неразрешенным запросом не выполняется.
  • Отключено использование автозагрузчика собственных облачных API для перечисления каталогов в Azure.
  • Обновления системы безопасности операционной системы.

• 5 июля 2022 г.

  • Обновления системы безопасности операционной системы.
  • Прочие исправления ошибок.

• 2 июня 2022 г.

  • [SPARK-38918][SQL] При удалении вложенных столбцов будет выполняться отфильтровка атрибутов, которые не принадлежат к текущему отношению.
  • Обновления системы безопасности операционной системы.

• 18 мая 2022 г.

  • Версия пакета SDK AWS обновлена с 1.11.655 до 1.11.678.
  • Обновления системы безопасности операционной системы.
  • Прочие исправления ошибок.

• 19 апреля 2022 г.

  • Обновления системы безопасности операционной системы.
  • Прочие исправления ошибок.

• 6 апреля 2022 г.

  • Обновления системы безопасности операционной системы.
  • Прочие исправления ошибок.

• 14 марта 2022 г.

  • Удаление уязвимых классов из JAR-файла log4j версии 1.2.17
  • Прочие исправления ошибок.

• 23 февраля 2022 г.

  • [SPARK-37859][SQL] Не проверять метаданные во время сравнения схем

• 8 февраля 2022 г.

  • Обновление Ubuntu JDK до 1.8.0.312.
  • Обновления системы безопасности операционной системы.

• 1 февраля 2022 г.

  • Обновления системы безопасности операционной системы.

• 26 января 2022 г.

  • Исправлена ошибка, из-за которой команда OPTIMIZE могла завершиться ошибкой при включении диалекта SQL ANSI.

• 19 января 2022 г.

  • Канал Conda по умолчанию удален из версии ML LTS 7.3
  • Обновления системы безопасности операционной системы.

• 7 декабря 2021 г.

  • Обновления системы безопасности операционной системы.

• 4 ноября 2021 г.

  • Исправлена ошибка, которая могла привести к сбою структурированных потоков передачи с использованием ArrayIndexOutOfBoundsException
  • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: No FileSystem for scheme, или привести к тому, что изменения в sparkContext.hadoopConfiguration не вступят в силу в запросах.

• 15 сентября 2021 г.

  • Исправлено состояние гонки, которое могло привести к сбою запроса с использованием IOException, как, например, java.io.IOException: org.apache.spark.SparkException: Failed to get broadcast_x_piecey of broadcast_x.
  • Обновления системы безопасности операционной системы.

• 8 сентября 2021 г.

  • [SPARK-35700] [SQL] Чтение таблицы char/varchar orc при создании и записи внешними системами.
  • [SPARK-36532][CORE] [3.1] Исправлена взаимоблокировка в CoarseGrainedExecutorBackend.onDisconnected во избежание executorsconnected для предотвращения зависания завершения работы исполнителя.

• 25 августа 2021 г.

  • Соединитель Snowflake обновлен до версии 2.9.0.

• 29 июля 2021 г.

  • [SPARK-36034][BUILD] Перемещение даты и времени в помещенных в стек фильтрах на Parquet
  • [SPARK-34508][BUILD] Пропустить HiveExternalCatalogVersionsSuite, если сеть не работает

• 14 июля 2021 г.

  • Представлен формат database.schema.table для соединителя Azure Synapse.
  • Добавлена поддержка для предоставления формата databaseName.schemaName.tableName в качестве целевой таблицы, а не только schemaName.tableName или tableName.
  • Исправлена ошибка, которая не позволяет пользователям переключаться между старыми доступными версиями с разностными таблицами.

• 15 июня 2021 г.

  • Исправляет ошибку NoSuchElementException в оптимизированных операциях записи Delta Lake, которые могут произойти при записи больших объемов данных и при возникновении потерь исполнителя
  • Обновлен Python с обновлением для системы безопасности для устранения уязвимости системы безопасности Python (CVE-2021-3177).

• 30 апреля 2021 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-35227][BUILD] Обновление механизма распознавания для пакетов Spark в SparkSubmit
  • [SPARK-34245][CORE] Обеспечение при помощи Master удаления исполнителей, которым не удалось отправить завершенное состояние
  • [SPARK-35045][SQL] Добавлен внутренний параметр для управления входным буфером однозначным образом

• 24 марта 2021 г.

  • [SPARK-34768][SQL] Соблюдение размера входного буфера по умолчанию в Univocity
  • [SPARK-34534] Исправлен порядок blockId при использовании FetchShuffleBlocks для получения блоков
  • [SPARK-33118][SQL] СОЗДАТЬ ВРЕМЕННУЮ ТАБЛИЦУ не работает с местоположением

• 9 марта 2021 г.

  • Обновленный драйвер файловой системы Blob-объектов Azure для Azure Data Lake Storage 2-го поколения теперь включен по умолчанию. Он обеспечивает несколько улучшений стабильности.
  • Исправлен разделитель пути в Windows для databricks-connect get-jar-dir
  • [пользовательский интерфейс] Исправление ссылки href визуализации Spark DAG
  • [DBCONNECT] Добавлена поддержка FlatMapCoGroupsInPandas в Databricks Connect 7.3
  • Восстановление выходной схемы SHOW DATABASES
  • [SQL] Использование правильного ключа сборки динамической очистки при наличии указания по соединению с диапазоном
  • Отключение проверки устаревания для файлов таблиц Delta в кэше диска
  • [SQL] Не создавать уведомление о количестве разделов в случайном порядке, если включен сервер AOS

• 24 февраля 2021 г.

  • Обновлен соединитель Spark BigQuery до версии v0.18, в которой введены различные исправления ошибок, а также поддержка итераторов Arrow и Avro.
  • Исправлена проблема с корректностью, из-за которой Spark возвращает неверные результаты, если десятичная точность и масштаб файла Parquet отличаются от схемы Spark.
  • Исправлена ошибка чтения в таблицах Microsoft SQL Server, содержащих пространственные типы данных, путем добавления поддержки геометрических и географических типов JDBC для SQL Spark.
  • Введена новая конфигурация spark.databricks.hive.metastore.init.reloadFunctions.enabled. Эта конфигурация управляет встроенной инициализацией Hive. Если задано значение true, Azure Databricks перезагружает все функции из всех баз данных, которые имеются у пользователей, в FunctionRegistry. Это — действия по умолчанию в хранилище метаданных Hive. Если задано значение false, Azure Databricks отключает этот процесс для оптимизации.
  • [SPARK-34212] Исправлены проблемы, связанные с чтением десятичных данных из файлов Parquet.
  • [SPARK-33579][UI] Исправлена пустая страница исполнителя вслед за прокси-сервером.
  • [SPARK-20044][UI] Добавлена поддержка пользовательского интерфейса Spark вслед за внешним обратным прокси-сервером с использованием префикса пути.
  • [SPARK-33277][PYSPARK][SQL] ContextAwareIterator используется для прекращения потребления после выполнения задачи.

• 4 февраля 2021 г.

  • Исправлена регрессия, которая предотвращает добавочное выполнение запроса, который задает глобальное ограничение, например, SELECT * FROM table LIMIT nrows. Эта регрессия была вызвана тем, что пользователи, выполняющие запросы через ODBC/JDBC, поддерживают сериализацию с помощью Arrow.
  • Исправлена регрессия, из-за которой DBFS FUSE не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.

• 20 января 2021 г.

  • Исправлена регрессия в выпуске обслуживания от 12 января 2021 г., которая может вызвать неверное выполнение AnalysisException и указать, что столбец неоднозначен в самосоединении. Эта регрессия происходит, когда пользователь присоединяется к кадру данных с производным кадром данных (так называемым самостоятельным присоединением) со следующими условиями:
    • Эти два кадра данных имеют общие столбцы, но выходные данные самосоединения не имеют общих столбцов. Например: df.join(df.select($"col" as "new_col"), cond)
    • Производный кадр данных исключает некоторые столбцы с помощью команд select, groupBy, или window.
    • Условие соединения или следующее преобразование после соединяемого кадра данных ссылаются на столбцы, не являющиеся общими. Например: df.join(df.drop("a"), df("a") === 1)

• 12 января 2021 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-33593] [SQL] Средство чтения векторов теперь получает корректные данные со значением двоичной секции
  • [SPARK-33677][SQL] Правило LikeSimplification пропускается, если шаблон содержит какие-либо escape-символы (escapeChar)
  • [SPARK-33592][ML][PYTHON] Параметры Pyspark ML Validator в estimatorParamMaps могут быть утеряны после сохранения и перезагрузки
  • [SPARK-33071][SPARK-33536][SQL] Теперь не допускается изменение dataset_id для LogicalPlan в join(), чтобы не вызвать сбой DetectAmbiguousSelfJoin

• 8 декабря 2020 г.

  • [SPARK-33587] [CORE] Исполнитель теперь завершает работу при вложенных неустранимых ошибках
  • [SPARK-27421][SQL] Исправлен фильтр для столбца int и класс значений java.lang.String при удалении столбца секции
  • [SPARK-33316][SQL] Добавлена поддержка предоставляемой пользователей схемы Avro, допускающей значение NULL, для схемы Catalyst, не допускающей значение NULL, в формате Avro
  • Здания Spark, запущенные с помощью Databricks Connect, могут зависнуть в течение неограниченного времени с Executor$TaskRunner.$anonfun$copySessionState трассировки стека исполнителя
  • Обновления системы безопасности операционной системы.

• 1 декабря 2020 г.

  • [SPARK-33404][SQL] [3.0] Исправлены неверные результаты в выражении date_trunc
  • [SPARK-33339][PYTHON] Приложение Pyspark теперь не зависает из-за ошибки, не связанной с исключением
  • [SPARK-33183][SQL][HOTFIX] Исправлено правило оптимизатора EliminateSorts и добавлено физическое правило для удаления избыточных сортировок
  • [SPARK-33371][PYTHON][3.0] Обновлен setup.py и тесты для Python 3.9
  • [SPARK-33391][SQL] element_at с CreateArray не учитывает индекс на основе единицы.
  • [SPARK-33306][SQL]Требуется указать часовой пояс при приведении данных к строке
  • [SPARK-33260][SQL] Исправлены неверные результаты из SortExec, если sortOrder имеет значение Stream

• 5 ноября 2020 г.

  • Исправление блокировки ABFS и WASB в отношении UserGroupInformation.getCurrentUser().
  • Устранение ошибки бесконечного цикла, когда читатель Avro считывает МАГИЧЕСКИЕ байты.
  • Добавлена поддержка для привилегий ИСПОЛЬЗОВАНИЯ.
  • Улучшение производительности при проверке привилегий в управлении доступом к таблицам.

• 13 октября 2020 г.

  • Обновления системы безопасности операционной системы.
  • Вы можете читать и записывать данные из DBFS с помощью подключения FUSE в /dbfs/, если используется кластер с поддержкой транзитных учетных данных с высоким уровнем параллелизма. Поддерживаются обычные подключения, но подключения, требующие транзитных учетных данных, пока не поддерживаются.
  • [SPARK-32999][SQL] используется Utils.getSimpleName, чтобы избежать попадания на неправильное имя класса в TreeNode
  • [SPARK-32585][SQL] Поддержка перечисления scala в ScalaReflection
  • Исправлены каталоги списков в подсоединении FUSE, содержащие имена файлов с недопустимыми XML-символами
  • Для соединения FUSE больше не используется ListMultipartUploads

• 29 сентября 2020 г.

  • [SPARK-32718][SQL] Удаление ненужных ключевых слов для единиц интервала
  • [SPARK-32635][SQL] Исправление свертываемого распространения
  • Добавлен новый файл конфигурации spark.shuffle.io.decoder.consolidateThreshold. Задайте для параметра config значение в Long.MAX_VALUE, чтобы пропустить консолидацию netty FrameBuffers, что не позволяет java.lang.IndexOutOfBoundsException в тупиковых ситуациях.

• 25 апреля 2023 г.

  • Обновления системы безопасности операционной системы.

• 11 апреля 2023 г.

  • Прочие исправления ошибок.

• 29 марта 2023 г.

  • Прочие исправления ошибок.

• 14 марта 2023 г.

  • Обновления системы безопасности операционной системы.

• 28 февраля 2023 г.

  • Обновления системы безопасности операционной системы.

• 16 февраля 2023 г.

  • Обновления системы безопасности операционной системы.

• 31 января 2023 г.

  • Прочие исправления ошибок.

• 18 января 2023 г.

  • Обновления системы безопасности операционной системы.

• 29 ноября 2022 г.

  • Обновления системы безопасности операционной системы.

• 15 ноября 2022 г.

  • Обновления системы безопасности операционной системы.
  • Прочие исправления ошибок.

• 1 ноября 2022 г.

  • Обновления системы безопасности операционной системы.

• 18 октября 2022 г.

  • Обновления системы безопасности операционной системы.
  • 5 октября 2022 г.
    • Обновления системы безопасности операционной системы.
  • 24 августа 2022 г.
    • Обновления системы безопасности операционной системы.
  • 9 августа 2022 г.
    • Обновления системы безопасности операционной системы.
  • 27 июля 2022 г.
    • Обновления системы безопасности операционной системы.
  • 5 июля 2022 г.
    • Обновления системы безопасности операционной системы.
  • 2 июня 2022 г.
    • Обновления системы безопасности операционной системы.
  • 18 мая 2022 г.
    • Обновления системы безопасности операционной системы.
  • 19 апреля 2022 г.
    • Обновления системы безопасности операционной системы.
    • Прочие исправления ошибок.
  • 6 апреля 2022 г.
    • Обновления системы безопасности операционной системы.
    • Прочие исправления ошибок.
  • 14 марта 2022 г.
    • Прочие исправления ошибок.
  • 23 февраля 2022 г.
    • Прочие исправления ошибок.
  • 8 февраля 2022 г.
    • Обновление Ubuntu JDK до 1.8.0.312.
    • Обновления системы безопасности операционной системы.
  • 1 февраля 2022 г.
    • Обновления системы безопасности операционной системы.
  • 19 января 2022 г.
    • Обновления системы безопасности операционной системы.
  • 22 сентября 2021 г.
    • Обновления системы безопасности операционной системы.
  • 30 апреля 2021 г.
    • Обновления системы безопасности операционной системы.
    • [SPARK-35227][BUILD] Обновление механизма распознавания для пакетов Spark в SparkSubmit
  • 12 января 2021 г.
    • Обновления системы безопасности операционной системы.
  • 8 декабря 2020 г.
    • [SPARK-27421][SQL] Исправлен фильтр для столбца int и класс значений java.lang.String при удалении столбца секции
    • Обновления системы безопасности операционной системы.
  • 1 декабря 2020 г.
  • [SPARK-33260][SQL] Исправлены неверные результаты из SortExec, если sortOrder имеет значение Stream
  • 3 ноября 2020 г.
    • Обновлена версия Java с версии 1.8.0 _252 до версии 1.8.0 _265.
    • Исправление блокировки АБФС и WASB в отношении UserGroupInformation.getCurrentUser()
  • 13 октября 2020 г.
    • Обновления системы безопасности операционной системы.

Расширенная поддержка Databricks Runtime 6.4 (неподдерживаемая)

См. статью Databricks Runtime 6.4 (неподдерживаемая) и Databricks Runtime 6.4 (неподдерживаемая).

• 5 июля 2022 г.

  • Обновления системы безопасности операционной системы.
  • Прочие исправления ошибок.

• 2 июня 2022 г.

  • Обновления системы безопасности операционной системы.

• 18 мая 2022 г.

  • Обновления системы безопасности операционной системы.

• 19 апреля 2022 г.

  • Обновления системы безопасности операционной системы.
  • Прочие исправления ошибок.

• 6 апреля 2022 г.

  • Обновления системы безопасности операционной системы.
  • Прочие исправления ошибок.

• 14 марта 2022 г.

  • Удаление уязвимых классов из JAR-файла log4j версии 1.2.17
  • Прочие исправления ошибок.

• 23 февраля 2022 г.

  • Прочие исправления ошибок.

• 8 февраля 2022 г.

  • Обновление Ubuntu JDK до 1.8.0.312.
  • Обновления системы безопасности операционной системы.

• 1 февраля 2022 г.

  • Обновления системы безопасности операционной системы.

• 26 января 2022 г.

  • Исправлена ошибка, из-за которой команда OPTIMIZE могла завершиться ошибкой при включении диалекта SQL ANSI.

• 19 января 2022 г.

  • Обновления системы безопасности операционной системы.

• 8 декабря 2021 г.

  • Обновления системы безопасности операционной системы.

• 22 сентября 2021 г.

  • Обновления системы безопасности операционной системы.

• 15 июня 2021 г.

  • [SPARK-35576][SQL] Скрыты конфиденциальные данные в результате выполнения команды Set

• 7 июня 2021 г.

  • Добавьте новый файл конфигурации под названием spark.sql.maven.additionalRemoteRepositories, разделенный запятыми строкой конфигурации дополнительного удаленного зеркала maven. По умолчанию это значение равно https://maven-central.storage-download.googleapis.com/maven2/.

• 30 апреля 2021 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-35227][BUILD] Обновление механизма распознавания для пакетов Spark в SparkSubmit

• 9 марта 2021 г.

  • Порт HADOOP-17215 для драйвера файловой системы BLOB-объектов Azure (поддержка условной перезаписи).
  • Исправлен разделитель пути в Windows для databricks-connect get-jar-dir
  • Добавлена поддержка хранилища метаданных Hive версий 2.3.5, 2.3.6 и 2.3.7
  • Указатель "totalResultsCollected" выводится ошибочно после сброса.

• 24 февраля 2021 г.

  • Введена новая конфигурация spark.databricks.hive.metastore.init.reloadFunctions.enabled. Эта конфигурация управляет встроенной инициализацией Hive. Если задано значение true, Azure Databricks перезагружает все функции из всех баз данных, которые имеются у пользователей, в FunctionRegistry. Это — действия по умолчанию в хранилище метаданных Hive. Если задано значение false, Azure Databricks отключает этот процесс для оптимизации.

• 4 февраля 2021 г.

  • Исправлена регрессия, которая предотвращает добавочное выполнение запроса, который задает глобальное ограничение, например, SELECT * FROM table LIMIT nrows. Эта регрессия была вызвана тем, что пользователи, выполняющие запросы через ODBC/JDBC, поддерживают сериализацию с помощью Arrow.
  • Исправлена регрессия, из-за которой DBFS FUSE не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.

• 12 января 2021 г.

  • Обновления системы безопасности операционной системы.

• 8 декабря 2020 г.

  • [SPARK-27421][SQL] Исправлен фильтр для столбца int и класс значений java.lang.String при удалении столбца секции
  • [SPARK-33183][SQL] Исправлено правило оптимизатора EliminateSorts и добавлено физическое правило для удаления избыточных сортировок
  • [Runtime 6.4 ML GPU] Ранее нами была установлена неправильная версия (2.7.8-1 + cuda 11.1) NCCL. В этом выпуске исправления проведены до версии 2.4.8-1 + cuda 10.0, что совместимо с CUDA 10.0.
  • Обновления системы безопасности операционной системы.

• 1 декабря 2020 г.

  • [SPARK-33260][SQL] Исправлены неверные результаты из SortExec, если sortOrder имеет значение Stream
  • [SPARK-32635][SQL] Исправление свертываемого распространения

• 3 ноября 2020 г.

  • Обновлена версия Java с версии 1.8.0 _252 до версии 1.8.0 _265.
  • Исправление блокировки АБФС и WASB в отношении UserGroupInformation.getCurrentUser()
  • Устранение ошибки бесконечного цикла чтения Avro при чтении МАГИЧЕСКИХ байтов.

• 13 октября 2020 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-32999][SQL][2.4] используется Utils.getSimpleName, чтобы избежать попадания на неправильное имя класса в TreeNode
  • Исправлены каталоги списков в подсоединении FUSE, содержащие имена файлов с недопустимыми XML-символами
  • Для соединения FUSE больше не используется ListMultipartUploads

• 24 сентября 2020 г.

  • Исправлено предыдущее ограничение, при котором пересылка в стандартном кластере по-прежнему ограничивало использование пользователем файловой системы. Теперь пользователи смогут получать доступ к локальной файловой системе без ограничений.
  • Обновления системы безопасности операционной системы.

• 8 сентября 2020 г.

  • Для Azure Synapse Analytics был создан новый параметр maxbinlength. Этот параметр используется для управления длиной столбцов BinaryType и преобразуется в VARBINARY(maxbinlength). Его можно задать с помощью .option("maxbinlength", n), где 0 < n < = 8 000.
  • Обновление пакета SDK службы хранилища Azure 8.6.4 и включение поддержки протокола TCP для соединений, установленных драйвером WASB

• 25 августа 2020 г.

  • Исправлено неоднозначное разрешение атрибутов в самослиянии

• 18 августа 2020 г.

  • [SPARK-32431][SQL] Проверка дублирования вложенных столбцов при чтении из встроенных источников данных
  • Исправлено состояние гонки в соединителе АКС при использовании Trigger.Once.

• 11 августа 2020 г.

  • [SPARK-28676][CORE] Избежание чрезмерного ведения журнала из ContextCleaner

• 3 августа 2020 г.

  • Теперь можно использовать функцию преобразования LDA в кластере с транзитным включением.
  • Обновления системы безопасности операционной системы.

• 7 июля 2020 г.

  • Обновлена версия Java с версии 1.8.0_232 до версии 1.8.0_252.

• 21 апреля 2020 г.

  • [SPARK-31312][SQL] Экземпляр класса кэша для экземпляра UDF в HiveFunctionWrapper

• 7 апреля 2020 г.

  • Чтобы устранить проблему с Pandas UDF, которая не работает с PyArrow 0.15.0 и выше, мы добавили переменную среды (ARROW_PRE_0_15_IPC_FORMAT=1), чтобы обеспечить поддержку этих версий PyArrow. См. инструкции в [SPARK-29367].

• 10 марта 2020 г.

  • Оптимизированное автомасштабирование теперь используется по умолчанию в интерактивных кластерах в плане безопасности.
  • Соединитель Snowflake (spark-snowflake_2.11), включенный в Databricks Runtime, обновляется до версии 2.5.9. snowflake-jdbc обновлен до версии 3.12.0.

Databricks Runtime 5.5 LTS (неподдерживаемый)

См. статью Databricks Runtime 5.5 LTS (неподдерживаемая) и Databricks Runtime 5.5 Extended Support (неподдерживаемая).

• 8 декабря 2021 г.

  • Обновления системы безопасности операционной системы.

• 22 сентября 2021 г.

  • Обновления системы безопасности операционной системы.

• 25 августа 2021 г.

  • Произведен переход на использование более ранней версии некоторых ранее обновленных пакетов Python в 5.5 ML (расширенная поддержка) для поддержания лучшего паритета с версией 5.5 ML LTS (в настоящее время устарела). Обновленные различия между двумя версиями см. в [_]/Release-Notes/Runtime/5.5xml.md).

• 15 июня 2021 г.

  • [SPARK-35576][SQL] Скрыты конфиденциальные данные в результате выполнения команды Set

• 7 июня 2021 г.

  • Добавьте новый файл конфигурации под названием spark.sql.maven.additionalRemoteRepositories, разделенный запятыми строкой конфигурации дополнительного удаленного зеркала maven. По умолчанию это значение равно https://maven-central.storage-download.googleapis.com/maven2/.

• 30 апреля 2021 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-35227][BUILD] Обновление механизма распознавания для пакетов Spark в SparkSubmit

• 9 марта 2021 г.

  • Порт HADOOP-17215 для драйвера файловой системы BLOB-объектов Azure (поддержка условной перезаписи).

• 24 февраля 2021 г.

  • Введена новая конфигурация spark.databricks.hive.metastore.init.reloadFunctions.enabled. Эта конфигурация управляет встроенной инициализацией Hive. Если задано значение true, Azure Databricks перезагружает все функции из всех баз данных, которые имеются у пользователей, в FunctionRegistry. Это — действия по умолчанию в хранилище метаданных Hive. Если задано значение false, Azure Databricks отключает этот процесс для оптимизации.

• 12 января 2021 г.

  • Обновления системы безопасности операционной системы.
  • Исправление для [HADOOP-17130].

• 8 декабря 2020 г.

  • [SPARK-27421][SQL] Исправлен фильтр для столбца int и класс значений java.lang.String при удалении столбца секции
  • Обновления системы безопасности операционной системы.

• 1 декабря 2020 г.

  • [SPARK-33260][SQL] Исправлены неверные результаты из SortExec, если sortOrder имеет значение Stream
  • [SPARK-32635][SQL] Исправление свертываемого распространения

• 29 октября 2020 г.

  • Обновлена версия Java с версии 1.8.0 _252 до версии 1.8.0 _265.
  • Исправление блокировки АБФС и WASB в отношении UserGroupInformation.getCurrentUser()
  • Устранение ошибки бесконечного цикла чтения Avro при чтении МАГИЧЕСКИХ байтов.

• 13 октября 2020 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-32999][SQL][2.4] используется Utils.getSimpleName, чтобы избежать попадания на неправильное имя класса в TreeNode

• 24 сентября 2020 г.

  • Обновления системы безопасности операционной системы.

• 8 сентября 2020 г.

  • Для Azure Synapse Analytics был создан новый параметр maxbinlength. Этот параметр используется для управления длиной столбцов BinaryType и преобразуется в VARBINARY(maxbinlength). Его можно задать с помощью .option("maxbinlength", n), где 0 < n < = 8 000.

• 18 августа 2020 г.

  • [SPARK-32431][SQL] Проверка дублирования вложенных столбцов при чтении из встроенных источников данных
  • Исправлено состояние гонки в соединителе АКС при использовании Trigger.Once.

• 11 августа 2020 г.

  • [SPARK-28676][CORE] Избежание чрезмерного ведения журнала из ContextCleaner

• 3 августа 2020 г.

  • Обновления системы безопасности операционной системы

• 7 июля 2020 г.

  • Обновлена версия Java с версии 1.8.0_232 до версии 1.8.0_252.

• 21 апреля 2020 г.

  • [SPARK-31312][SQL] Экземпляр класса кэша для экземпляра UDF в HiveFunctionWrapper

• 7 апреля 2020 г.

  • Чтобы устранить проблему с Pandas UDF, которая не работает с PyArrow 0.15.0 и выше, мы добавили переменную среды (ARROW_PRE_0_15_IPC_FORMAT=1), чтобы обеспечить поддержку этих версий PyArrow. См. инструкции в [SPARK-29367].

• 25 марта 2020 г.

  • Соединитель Snowflake (spark-snowflake_2.11), включенный в Databricks Runtime, обновляется до версии 2.5.9. snowflake-jdbc обновлен до версии 3.12.0.

• 10 марта 2020 г.

  • Для выходных данных задания, таких как выходные данные журнала, передаваемые в stdout, применяется ограничение размера 20 МБ. Если общий объем выходных данных имеет больший размер, выполнение будет отменено и помечено как неудавшееся. Чтобы избежать этого ограничения, можно запретить возврат stdout из драйвера, установив spark.databricks.driver.disableScalaOutput для конфигурации Spark со значением true. По умолчанию флаг имеет значение false. Флаг контролирует выходные данные ячейки для заданий JAR Scala и записных книжек Scala. Если флаг включен, Spark не возвращает клиенту результаты выполнения задания. Флаг не влияет на данные, записываемые в файлы журналов кластера. Установка этого флага рекомендуется только для автоматических кластеров для заданий JAR, так как это приведет к отключению результатов записной книжки.

• 18 февраля 2020 г.

  • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 должно вызывать исключение
  • Транзитная передача учетных данных с ADLS 2-го поколения имеет снижение производительности из-за неправильной локальной обработки цепочки, когда включена предварительная выборка клиентов ADLS. В этом выпуске отключена предварительная выборка ADLS 2-го поколения при включенной транзитной учетной записи, пока не будет установлено надлежащее исправление.

• 28 января 2020 г.

  • [SPARK-30447][SQL] Постоянная проблема обнуляемости распространения.

• 14 января 2020 г.

  • Обновлена версия Java с 1.8.0 _222 до 1.8.0 _232.

• 19 ноября 2019 г.

  • [SPARK-29743] [SQL] По образцу для needCopyResult должно быть установлено значение true, если needCopyResult его дочернего элемента имеет значение true
  • Версия R была непредвиденно обновлена до версии 3.6.1 с версии 3.6.0. Мы перешли на использование более ранней версии 3.6.0.

• 5 ноября 2019 г.

  • Обновлена версия Java с 1.8.0 _212 до 1.8.0 _222.

• 23 октября 2019 г.

  • [SPARK-29244][CORE] Предотвращение повторного освобождения страницы в BytesToBytesMap

• 8 октября 2019 г.

  • Изменения на стороне сервера, позволяющие драйверу Simba Apache Spark ODBC повторно подключаться и продолжать работу после сбоя подключения во время получения результатов (требуется драйвер Simba Apache Spark ODBC версии 2.6.10).
  • Исправлена проблема, влияющая на использование команды Optimize с кластерами с включенными таблицами ACL.
  • Исправлена проблема, когда библиотеки pyspark.ml неудачно выполняли задания вследствие того, что в таблице ACL таблицы и кластерах с поддержкой транзита учетных данных произошла ошибка Scala.
  • Добавлены в список разрешений методы SerDe и SerDeUtil для передачи учетных данных.
  • Внесены исправления в NullPointerException при проверке кода ошибки в клиенте WASB.

• 24 сентября 2019 г.

  • Улучшена стабильность модуля записи Parquet.
  • Исправлена проблема, из-за которой запрос Thrift, отмененный до начала его выполнения, мог зависнуть в состоянии STARTED.

• 10 сентября 2019 г.

  • Добавить потокобезопасный итератор в BytesToBytesMap
  • [SPARK-27992][SPARK-28881]Python теперь может выполнять объединение с потоком подключения для передачи ошибок
  • Исправлена ошибка, влияющая на определенные глобальные запросы на агрегирование.
  • Улучшено исправление учетных данных.
  • [SPARK-27330][SS] Поддержка прерывания задачи в средстве записи foreach
  • [SPARK-28642]Учетные данные теперь скрываются в SHOW CREATE TABLE
  • [SPARK-28699][SQL] Отключение использования сортировки системы счисления для ShuffleExchangeExec в случае повторного секционирования

• 27 августа 2019 г.

  • [SPARK-20906][SQL] Разрешение указанной пользователем схемы в API to_avro с помощью реестра схемы
  • [SPARK-27838][SQL] Поддержка предоставленной пользователем ненулевой схемы avro для схемы катализатора, допускающей значение null, без какой-либо нулевой записи
  • Доработка перехода по времени на Delta Lake
  • Исправлена проблема, влияющая на определенное выражение transform
  • Поддерживает широковещательные переменные при включенной изоляции процессов

• 13 августа 2019 г.

  • Источник разностной потоковой передачи должен проводить проверку последнего протокола таблицы
  • [SPARK-28260] Добавление состояние CLOSED в ExecutionState
  • [SPARK-28489][SS]Исправлена ошибка, при которой KafkaOffsetRangeCalculator.getRanges мог не учитывать смещения

• 30 июля 2019 г.

  • [SPARK-28015][SQL] Проверка stringToDate() использует все входные данные для форматов гггг и гггг-[м]м.
  • [SPARK-28308][CORE] Часть CalendarInterval менее секунды должна быть увеличена перед анализом
  • [SPARK-27485]EnsureRequirements.reorder теперь корректно обрабатывает дубликаты выражений
  • [SPARK-28355][CORE] [PYTHON] Использование конфигурации Spark для порога, при котором UDF сжимается с помощью трансляции

Databricks Light 2.4 (расширенная поддержка)

См. раздел Databricks Light 2.4 (неподдерживаемый) и Databricks Light 2.4 (неподдерживаемая).

Databricks Runtime 7.4 (неподдерживаемый)

См. раздел Databricks Runtime 7.4 (неподдерживаемый).

• 30 апреля 2021 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-35227][BUILD] Обновление механизма распознавания для пакетов Spark в SparkSubmit
  • [SPARK-34245][CORE] Обеспечение при помощи Master удаления исполнителей, которым не удалось отправить завершенное состояние
  • [SPARK-35045][SQL] Добавление внутреннего параметра для управления входным буфером в univocity и конфигурацией для размера входного буфера CSV

• 24 марта 2021 г.

  • [SPARK-34768][SQL] Соблюдение размера входного буфера по умолчанию в Univocity
  • [SPARK-34534] Исправлен порядок blockId при использовании FetchShuffleBlocks для получения блоков

• 9 марта 2021 г.

  • Обновленный драйвер файловой системы Blob-объектов Azure для Azure Data Lake Storage 2-го поколения теперь включен по умолчанию. Он обеспечивает несколько улучшений стабильности.
  • [ES-67926][UI] Исправление ссылки href визуализации Spark DAG
  • [ES-65064] Восстановление выходной схемы SHOW DATABASES
  • [SC-70522][SQL] Использование правильного ключа сборки динамической очистки при наличии указания по соединению с диапазоном
  • [SC-35081] Отключение проверки устаревания для файлов таблиц Delta в кэше диска
  • [SC-70640] Исправление NPE, если в ответе EventGridClient нет объекта
  • [SC-70220][SQL] Не создавать уведомление о количестве разделов в случайном порядке при включенном сервере AOS

• 24 февраля 2021 г.

  • Обновлен соединитель Spark BigQuery до версии v0.18, в которой введены различные исправления ошибок, а также поддержка итераторов Arrow и Avro.
  • Исправлена проблема с корректностью, из-за которой Spark возвращает неверные результаты, если десятичная точность и масштаб файла Parquet отличаются от схемы Spark.
  • Исправлена ошибка чтения в таблицах Microsoft SQL Server, содержащих пространственные типы данных, путем добавления поддержки геометрических и географических типов JDBC для SQL Spark.
  • Введена новая конфигурация spark.databricks.hive.metastore.init.reloadFunctions.enabled. Эта конфигурация управляет встроенной инициализацией Hive. Если задано значение true, Azure Databricks перезагружает все функции из всех баз данных, которые имеются у пользователей, в FunctionRegistry. Это — действия по умолчанию в хранилище метаданных Hive. Если задано значение false, Azure Databricks отключает этот процесс для оптимизации.
  • [SPARK-34212] Исправлены проблемы, связанные с чтением десятичных данных из файлов Parquet.
  • [SPARK-33579][UI] Исправлена пустая страница исполнителя вслед за прокси-сервером.
  • [SPARK-20044][UI] Добавлена поддержка пользовательского интерфейса Spark вслед за внешним обратным прокси-сервером с использованием префикса пути.
  • [SPARK-33277][PYSPARK][SQL] ContextAwareIterator используется для прекращения потребления после выполнения задачи.

• 4 февраля 2021 г.

  • Исправлена регрессия, которая предотвращает добавочное выполнение запроса, который задает глобальное ограничение, например, SELECT * FROM table LIMIT nrows. Эта регрессия была вызвана тем, что пользователи, выполняющие запросы через ODBC/JDBC, поддерживают сериализацию с помощью Arrow.
  • Исправлена регрессия, из-за которой DBFS FUSE не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.

• 20 января 2021 г.

  • Исправлена регрессия в выпуске обслуживания от 12 января 2021 г., которая может вызвать неверное выполнение AnalysisException и указать, что столбец неоднозначен в самосоединении. Эта регрессия происходит, когда пользователь присоединяется к кадру данных с производным кадром данных (так называемым самостоятельным присоединением) со следующими условиями:
    • Эти два кадра данных имеют общие столбцы, но выходные данные самосоединения не имеют общих столбцов. Например: df.join(df.select($"col" as "new_col"), cond)
    • Производный кадр данных исключает некоторые столбцы с помощью команд select, groupBy, или window.
    • Условие соединения или следующее преобразование после соединяемого кадра данных ссылаются на столбцы, не являющиеся общими. Например: df.join(df.drop("a"), df("a") === 1)

• 12 января 2021 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-33593] [SQL] Средство чтения векторов теперь получает корректные данные со значением двоичной секции
  • [SPARK-33677][SQL] Правило LikeSimplification пропускается, если шаблон содержит какие-либо escape-символы (escapeChar)
  • [SPARK-33071][SPARK-33536][SQL] Теперь не допускается изменение dataset_id для LogicalPlan в join(), чтобы не вызвать сбой DetectAmbiguousSelfJoin

• 8 декабря 2020 г.

  • [SPARK-33587] [CORE] Исполнитель теперь завершает работу при вложенных неустранимых ошибках
  • [SPARK-27421][SQL] Исправлен фильтр для столбца int и класс значений java.lang.String при удалении столбца секции
  • [SPARK-33316][SQL] Добавлена поддержка предоставляемой пользователей схемы Avro, допускающей значение NULL, для схемы Catalyst, не допускающей значение NULL, в формате Avro
  • Обновления системы безопасности операционной системы.

• 1 декабря 2020 г.

  • [SPARK-33404][SQL] [3.0] Исправлены неверные результаты в выражении date_trunc
  • [SPARK-33339][PYTHON] Приложение Pyspark теперь не зависает из-за ошибки, не связанной с исключением
  • [SPARK-33183][SQL][HOTFIX] Исправлено правило оптимизатора EliminateSorts и добавлено физическое правило для удаления избыточных сортировок
  • [SPARK-33371][PYTHON][3.0] Обновлен setup.py и тесты для Python 3.9
  • [SPARK-33391][SQL] element_at с CreateArray не учитывает индекс на основе единицы.
  • [SPARK-33306][SQL]Требуется указать часовой пояс при приведении данных к строке
  • [SPARK-33260][SQL] Исправлены неверные результаты из SortExec, если sortOrder имеет значение Stream
  • [SPARK-33272][SQL] Урезано сопоставление атрибутов в QueryPlan.transformUpWithNewOutput

Databricks Runtime 7.2 (неподдерживаемый)

См. раздел Databricks Runtime 7.2 (неподдерживаемый).

• 4 февраля 2021 г.

  • Исправлена регрессия, которая предотвращает добавочное выполнение запроса, который задает глобальное ограничение, например, SELECT * FROM table LIMIT nrows. Эта регрессия была вызвана тем, что пользователи, выполняющие запросы через ODBC/JDBC, поддерживают сериализацию с помощью Arrow.
  • Исправлена регрессия, из-за которой DBFS FUSE не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.

• 20 января 2021 г.

  • Исправлена регрессия в выпуске обслуживания от 12 января 2021 г., которая может вызвать неверное выполнение AnalysisException и указать, что столбец неоднозначен в самосоединении. Эта регрессия происходит, когда пользователь присоединяется к кадру данных с производным кадром данных (так называемым самостоятельным присоединением) со следующими условиями:
    • Эти два кадра данных имеют общие столбцы, но выходные данные самосоединения не имеют общих столбцов. Например: df.join(df.select($"col" as "new_col"), cond)
    • Производный кадр данных исключает некоторые столбцы с помощью команд select, groupBy, или window.
    • Условие соединения или следующее преобразование после соединяемого кадра данных ссылаются на столбцы, не являющиеся общими. Например: df.join(df.drop("a"), df("a") === 1)

• 12 января 2021 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-33593] [SQL] Средство чтения векторов теперь получает корректные данные со значением двоичной секции
  • [SPARK-33677][SQL] Правило LikeSimplification пропускается, если шаблон содержит какие-либо escape-символы (escapeChar)
  • [SPARK-33071][SPARK-33536][SQL] Теперь не допускается изменение dataset_id для LogicalPlan в join(), чтобы не вызвать сбой DetectAmbiguousSelfJoin

• 8 декабря 2020 г.

  • [SPARK-27421][SQL] Исправлен фильтр для столбца int и класс значений java.lang.String при удалении столбца секции
  • [SPARK-33404][SQL] Исправлены неверные результаты в выражении date_trunc
  • [SPARK-33339][PYTHON] Приложение Pyspark теперь не зависает из-за ошибки, не связанной с исключением
  • [SPARK-33183][SQL] Исправлено правило оптимизатора EliminateSorts и добавлено физическое правило для удаления избыточных сортировок
  • [SPARK-33391][SQL] element_at с CreateArray не учитывает индекс на основе единицы.
  • Обновления системы безопасности операционной системы.

• 1 декабря 2020 г.

  • [SPARK-33306][SQL]Требуется указать часовой пояс при приведении данных к строке
  • [SPARK-33260][SQL] Исправлены неверные результаты из SortExec, если sortOrder имеет значение Stream

• 3 ноября 2020 г.

  • Обновлена версия Java с версии 1.8.0 _252 до версии 1.8.0 _265.
  • Исправление блокировки АБФС и WASB в отношении UserGroupInformation.getCurrentUser()
  • Устранение ошибки бесконечного цикла чтения Avro при чтении МАГИЧЕСКИХ байтов.

• 13 октября 2020 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-32999][SQL] используется Utils.getSimpleName, чтобы избежать попадания на неправильное имя класса в TreeNode
  • Исправлены каталоги списков в подсоединении FUSE, содержащие имена файлов с недопустимыми XML-символами
  • Для соединения FUSE больше не используется ListMultipartUploads

• 29 сентября 2020 г.

  • [SPARK-28863][SQL][WARMFIX] Внедрение AlreadyOptimized, чтобы предотвратить повторный анализ V1FallbackWriters
  • [SPARK-32635][SQL] Исправление свертываемого распространения
  • Добавлен новый файл конфигурации spark.shuffle.io.decoder.consolidateThreshold. Задайте для параметра config значение в Long.MAX_VALUE, чтобы пропустить консолидацию netty FrameBuffers, что не позволяет java.lang.IndexOutOfBoundsException в тупиковых ситуациях.

• 24 сентября 2020 г.

  • [SPARK-32764][SQL] -0,0 должен быть равен 0,0
  • [SPARK-32753][SQL] Копирование только тегов в узел без тегов при преобразовании планов
  • [SPARK-32659][SQL] Исправление ошибки данных вставленного динамического удаления секций на тип, не являющийся атомарным
  • Обновления системы безопасности операционной системы.

• 8 сентября 2020 г.

  • Для Azure Synapse Analytics был создан новый параметр maxbinlength. Этот параметр используется для управления длиной столбцов BinaryType и преобразуется в VARBINARY(maxbinlength). Его можно задать с помощью .option("maxbinlength", n), где 0 < n < = 8 000.

Databricks Runtime 7.1 (неподдерживаемый)

См. раздел Databricks Runtime 7.1 (неподдерживаемый).

• 4 февраля 2021 г.

  • Исправлена регрессия, из-за которой DBFS FUSE не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.

• 20 января 2021 г.

  • Исправлена регрессия в выпуске обслуживания от 12 января 2021 г., которая может вызвать неверное выполнение AnalysisException и указать, что столбец неоднозначен в самосоединении. Эта регрессия происходит, когда пользователь присоединяется к кадру данных с производным кадром данных (так называемым самостоятельным присоединением) со следующими условиями:
    • Эти два кадра данных имеют общие столбцы, но выходные данные самосоединения не имеют общих столбцов. Например: df.join(df.select($"col" as "new_col"), cond)
    • Производный кадр данных исключает некоторые столбцы с помощью команд select, groupBy, или window.
    • Условие соединения или следующее преобразование после соединяемого кадра данных ссылаются на столбцы, не являющиеся общими. Например: df.join(df.drop("a"), df("a") === 1)

• 12 января 2021 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-33593] [SQL] Средство чтения векторов теперь получает корректные данные со значением двоичной секции
  • [SPARK-33677][SQL] Правило LikeSimplification пропускается, если шаблон содержит какие-либо escape-символы (escapeChar)
  • [SPARK-33071][SPARK-33536][SQL] Теперь не допускается изменение dataset_id для LogicalPlan в join(), чтобы не вызвать сбой DetectAmbiguousSelfJoin

• 8 декабря 2020 г.

  • [SPARK-27421][SQL] Исправлен фильтр для столбца int и класс значений java.lang.String при удалении столбца секции
  • Здания Spark, запущенные с помощью Databricks Connect, могут зависнуть в течение неограниченного времени с Executor$TaskRunner.$anonfun$copySessionState трассировки стека исполнителя
  • Обновления системы безопасности операционной системы.

• 1 декабря 2020 г.

  • [SPARK-33404][SQL] [3.0] Исправлены неверные результаты в выражении date_trunc
  • [SPARK-33339][PYTHON] Приложение Pyspark теперь не зависает из-за ошибки, не связанной с исключением
  • [SPARK-33183][SQL][HOTFIX] Исправлено правило оптимизатора EliminateSorts и добавлено физическое правило для удаления избыточных сортировок
  • [SPARK-33371][PYTHON][3.0] Обновлен setup.py и тесты для Python 3.9
  • [SPARK-33391][SQL] element_at с CreateArray не учитывает индекс на основе единицы.
  • [SPARK-33306][SQL]Требуется указать часовой пояс при приведении данных к строке

• 3 ноября 2020 г.

  • Обновлена версия Java с версии 1.8.0 _252 до версии 1.8.0 _265.
  • Исправление блокировки АБФС и WASB в отношении UserGroupInformation.getCurrentUser()
  • Устранение ошибки бесконечного цикла чтения Avro при чтении МАГИЧЕСКИХ байтов.

• 13 октября 2020 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-32999][SQL] используется Utils.getSimpleName, чтобы избежать попадания на неправильное имя класса в TreeNode
  • Исправлены каталоги списков в подсоединении FUSE, содержащие имена файлов с недопустимыми XML-символами
  • Для соединения FUSE больше не используется ListMultipartUploads

• 29 сентября 2020 г.

  • [SPARK-28863][SQL][WARMFIX] Внедрение AlreadyOptimized, чтобы предотвратить повторный анализ V1FallbackWriters
  • [SPARK-32635][SQL] Исправление свертываемого распространения
  • Добавлен новый файл конфигурации spark.shuffle.io.decoder.consolidateThreshold. Задайте для параметра config значение в Long.MAX_VALUE, чтобы пропустить консолидацию netty FrameBuffers, что не позволяет java.lang.IndexOutOfBoundsException в тупиковых ситуациях.

• 24 сентября 2020 г.

  • [SPARK-32764][SQL] -0,0 должен быть равен 0,0
  • [SPARK-32753][SQL] Копирование только тегов в узел без тегов при преобразовании планов
  • [SPARK-32659][SQL] Исправление ошибки данных вставленного динамического удаления секций на тип, не являющийся атомарным
  • Обновления системы безопасности операционной системы.

• 8 сентября 2020 г.

  • Для Azure Synapse Analytics был создан новый параметр maxbinlength. Этот параметр используется для управления длиной столбцов BinaryType и преобразуется в VARBINARY(maxbinlength). Его можно задать с помощью .option("maxbinlength", n), где 0 < n < = 8 000.

• 25 августа 2020 г.

  • [SPARK-32159][SQL] Исправление интеграции между Aggregator[Array[_], _, _] и UnresolvedMapObjects
  • [SPARK-32559][SQL] Исправление логики обрезки в UTF8String.toInt/toLong, которая неправильно обрабатывала символы, отличные от ASCII
  • [SPARK-32543][R] Удаление сведений об использовании arrow::as_tibble в SparkR
  • [SPARK-32091][CORE] Игнорирование ошибки времени ожидания при удалении блоков в потерянном исполнителе
  • Исправлена проблема, влияющая на соединитель Azure Synapse с учетными данными MSI
  • Исправлено неоднозначное разрешение атрибутов в самослиянии

• 18 августа 2020 г.

  • [SPARK-32594][SQL] Исправление сериализации дат, вставленных в таблицы Hive
  • [SPARK-32237][SQL] Разрешение указания в CTE
  • [SPARK-32431][SQL] Проверка дублирования вложенных столбцов при чтении из встроенных источников данных
  • [SPARK-32467][UI] Избежание кодирования URL-адреса дважды при перенаправлении https
  • Исправлено состояние гонки в соединителе АКС при использовании Trigger.Once.

• 11 августа 2020 г.

  • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight должен перезаписывать атрибуты только для узлов-предков плана конфликтов
  • [SPARK-32234][SQL] С помощью команды Spark SQL не удалось выбрать таблицы ORC

• 3 августа 2020 г.

  • Теперь можно использовать функцию преобразования LDA в кластере с транзитным включением.

Databricks Runtime 7.0 (неподдерживаемый)

См. раздел Databricks Runtime 7.0 (неподдерживаемый).

• 4 февраля 2021 г.

  • Исправлена регрессия, из-за которой DBFS FUSE не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.

• 20 января 2021 г.

  • Исправлена регрессия в выпуске обслуживания от 12 января 2021 г., которая может вызвать неверное выполнение AnalysisException и указать, что столбец неоднозначен в самосоединении. Эта регрессия происходит, когда пользователь присоединяется к кадру данных с производным кадром данных (так называемым самостоятельным присоединением) со следующими условиями:
    • Эти два кадра данных имеют общие столбцы, но выходные данные самосоединения не имеют общих столбцов. Например: df.join(df.select($"col" as "new_col"), cond)
    • Производный кадр данных исключает некоторые столбцы с помощью команд select, groupBy, или window.
    • Условие соединения или следующее преобразование после соединяемого кадра данных ссылаются на столбцы, не являющиеся общими. Например: df.join(df.drop("a"), df("a") === 1)

• 12 января 2021 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-33593] [SQL] Средство чтения векторов теперь получает корректные данные со значением двоичной секции
  • [SPARK-33677][SQL] Правило LikeSimplification пропускается, если шаблон содержит какие-либо escape-символы (escapeChar)
  • [SPARK-33071][SPARK-33536][SQL] Теперь не допускается изменение dataset_id для LogicalPlan в join(), чтобы не вызвать сбой DetectAmbiguousSelfJoin

• 8 декабря 2020 г.

  • [SPARK-27421][SQL] Исправлен фильтр для столбца int и класс значений java.lang.String при удалении столбца секции
  • [SPARK-33404][SQL] Исправлены неверные результаты в выражении date_trunc
  • [SPARK-33339][PYTHON] Приложение Pyspark теперь не зависает из-за ошибки, не связанной с исключением
  • [SPARK-33183][SQL] Исправлено правило оптимизатора EliminateSorts и добавлено физическое правило для удаления избыточных сортировок
  • [SPARK-33391][SQL] element_at с CreateArray не учитывает индекс на основе единицы.
  • Обновления системы безопасности операционной системы.

• 1 декабря 2020 г.

  • [SPARK-33306][SQL]Требуется указать часовой пояс при приведении данных к строке

• 3 ноября 2020 г.

  • Обновлена версия Java с версии 1.8.0 _252 до версии 1.8.0 _265.
  • Исправление блокировки АБФС и WASB в отношении UserGroupInformation.getCurrentUser()
  • Устранение ошибки бесконечного цикла чтения Avro при чтении МАГИЧЕСКИХ байтов.

• 13 октября 2020 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-32999][SQL] используется Utils.getSimpleName, чтобы избежать попадания на неправильное имя класса в TreeNode
  • Исправлены каталоги списков в подсоединении FUSE, содержащие имена файлов с недопустимыми XML-символами
  • Для соединения FUSE больше не используется ListMultipartUploads

• 29 сентября 2020 г.

  • [SPARK-28863][SQL][WARMFIX] Внедрение AlreadyOptimized, чтобы предотвратить повторный анализ V1FallbackWriters
  • [SPARK-32635][SQL] Исправление свертываемого распространения
  • Добавлен новый файл конфигурации spark.shuffle.io.decoder.consolidateThreshold. Задайте для параметра config значение в Long.MAX_VALUE, чтобы пропустить консолидацию netty FrameBuffers, что не позволяет java.lang.IndexOutOfBoundsException в тупиковых ситуациях.

• 24 сентября 2020 г.

  • [SPARK-32764][SQL] -0,0 должен быть равен 0,0
  • [SPARK-32753][SQL] Копирование только тегов в узел без тегов при преобразовании планов
  • [SPARK-32659][SQL] Исправление ошибки данных вставленного динамического удаления секций на тип, не являющийся атомарным
  • Обновления системы безопасности операционной системы.

• 8 сентября 2020 г.

  • Для Azure Synapse Analytics был создан новый параметр maxbinlength. Этот параметр используется для управления длиной столбцов BinaryType и преобразуется в VARBINARY(maxbinlength). Его можно задать с помощью .option("maxbinlength", n), где 0 < n < = 8 000.

• 25 августа 2020 г.

  • [SPARK-32159][SQL] Исправление интеграции между Aggregator[Array[_], _, _] и UnresolvedMapObjects
  • [SPARK-32559][SQL] Исправление логики обрезки в UTF8String.toInt/toLong, которая неправильно обрабатывала символы, отличные от ASCII
  • [SPARK-32543][R] Удаление сведений об использовании arrow::as_tibble в SparkR
  • [SPARK-32091][CORE] Игнорирование ошибки времени ожидания при удалении блоков в потерянном исполнителе
  • Исправлена проблема, влияющая на соединитель Azure Synapse с учетными данными MSI
  • Исправлено неоднозначное разрешение атрибутов в самослиянии

• 18 августа 2020 г.

  • [SPARK-32594][SQL] Исправление сериализации дат, вставленных в таблицы Hive
  • [SPARK-32237][SQL] Разрешение указания в CTE
  • [SPARK-32431][SQL] Проверка дублирования вложенных столбцов при чтении из встроенных источников данных
  • [SPARK-32467][UI] Избежание кодирования URL-адреса дважды при перенаправлении https
  • Исправлено состояние гонки в соединителе АКС при использовании Trigger.Once.

• 11 августа 2020 г.

  • [SPARK-32280][SPARK-32372][SQL] ResolveReferences.dedupRight должен перезаписывать атрибуты только для узлов-предков плана конфликтов
  • [SPARK-32234][SQL] С помощью команды Spark SQL не удалось выбрать таблицы ORC
  • Теперь можно использовать функцию преобразования LDA в кластере с транзитным включением.

Databricks Runtime 6.6 (неподдерживаемый)

См. раздел Databricks Runtime 6.6 (неподдерживаемый).

• 1 декабря 2020 г.

  • [SPARK-33260][SQL] Исправлены неверные результаты из SortExec, если sortOrder имеет значение Stream
  • [SPARK-32635][SQL] Исправление свертываемого распространения

• 3 ноября 2020 г.

  • Обновлена версия Java с версии 1.8.0 _252 до версии 1.8.0 _265.
  • Исправление блокировки АБФС и WASB в отношении UserGroupInformation.getCurrentUser()
  • Устранение ошибки бесконечного цикла чтения Avro при чтении МАГИЧЕСКИХ байтов.

• 13 октября 2020 г.

  • Обновления системы безопасности операционной системы.
  • [SPARK-32999][SQL][2.4] используется Utils.getSimpleName, чтобы избежать попадания на неправильное имя класса в TreeNode
  • Исправлены каталоги списков в подсоединении FUSE, содержащие имена файлов с недопустимыми XML-символами
  • Для соединения FUSE больше не используется ListMultipartUploads

• 24 сентября 2020 г.

  • Обновления системы безопасности операционной системы.

• 8 сентября 2020 г.

  • Для Azure Synapse Analytics был создан новый параметр maxbinlength. Этот параметр используется для управления длиной столбцов BinaryType и преобразуется в VARBINARY(maxbinlength). Его можно задать с помощью .option("maxbinlength", n), где 0 < n < = 8 000.
  • Обновление пакета SDK службы хранилища Azure 8.6.4 и включение поддержки протокола TCP для соединений, установленных драйвером WASB

• 25 августа 2020 г.

  • Исправлено неоднозначное разрешение атрибутов в самослиянии

• 18 августа 2020 г.

  • [SPARK-32431][SQL] Проверка дублирования вложенных столбцов при чтении из встроенных источников данных
  • Исправлено состояние гонки в соединителе АКС при использовании Trigger.Once.

• 11 августа 2020 г.

  • [SPARK-28676][CORE] Избежание чрезмерного ведения журнала из ContextCleaner
  • [SPARK-31967][UI] Переход к предыдущей версии vis.js 4.21.0 для исправления регрессии времени загрузки пользовательского интерфейса задания

• 3 августа 2020 г.

  • Теперь можно использовать функцию преобразования LDA в кластере с транзитным включением.
  • Обновления системы безопасности операционной системы.

Databricks Runtime 6.5 (неподдерживаемый)

См. раздел Databricks Runtime 6.5 (неподдерживаемый).

• 24 сентября 2020 г.
  • Исправлено предыдущее ограничение, при котором пересылка в стандартном кластере по-прежнему ограничивало использование пользователем файловой системы. Теперь пользователи смогут получать доступ к локальной файловой системе без ограничений.
  • Обновления системы безопасности операционной системы.
• 8 сентября 2020 г.
  • Для Azure Synapse Analytics был создан новый параметр maxbinlength. Этот параметр используется для управления длиной столбцов BinaryType и преобразуется в VARBINARY(maxbinlength). Его можно задать с помощью .option("maxbinlength", n), где 0 < n < = 8 000.
  • Обновление пакета SDK службы хранилища Azure 8.6.4 и включение поддержки протокола TCP для соединений, установленных драйвером WASB
• 25 августа 2020 г.
  • Исправлено неоднозначное разрешение атрибутов в самослиянии
• 18 августа 2020 г.
  • [SPARK-32431][SQL] Проверка дублирования вложенных столбцов при чтении из встроенных источников данных
  • Исправлено состояние гонки в соединителе АКС при использовании Trigger.Once.
• 11 августа 2020 г.
  • [SPARK-28676][CORE] Избежание чрезмерного ведения журнала из ContextCleaner
• 3 августа 2020 г.
  • Теперь можно использовать функцию преобразования LDA в кластере с транзитным включением.
  • Обновления системы безопасности операционной системы.
• 7 июля 2020 г.
  • Обновлена версия Java с 1.8.0 _242 до 1.8.0 _252.
• 21 апреля 2020 г.
  • [SPARK-31312][SQL] Экземпляр класса кэша для экземпляра UDF в HiveFunctionWrapper

Databricks Runtime 6.3 (неподдерживаемый)

См. раздел Databricks Runtime 6.3 (неподдерживаемый).

• 7 июля 2020 г.
  • Обновлена версия Java с версии 1.8.0_232 до версии 1.8.0_252.
• 21 апреля 2020 г.
  • [SPARK-31312][SQL] Экземпляр класса кэша для экземпляра UDF в HiveFunctionWrapper
• 7 апреля 2020 г.
  • Чтобы устранить проблему с Pandas UDF, которая не работает с PyArrow 0.15.0 и выше, мы добавили переменную среды (ARROW_PRE_0_15_IPC_FORMAT=1), чтобы обеспечить поддержку этих версий PyArrow. См. инструкции в [SPARK-29367].
• 10 марта 2020 г.
  • Соединитель Snowflake (spark-snowflake_2.11), включенный в Databricks Runtime, обновляется до версии 2.5.9. snowflake-jdbc обновлен до версии 3.12.0.
• 18 февраля 2020 г.
  • Транзитная передача учетных данных с ADLS 2-го поколения имеет снижение производительности из-за неправильной локальной обработки цепочки, когда включена предварительная выборка клиентов ADLS. В этом выпуске отключена предварительная выборка ADLS 2-го поколения при включенной транзитной учетной записи, пока не будет установлено надлежащее исправление.
• 11 февраля 2020 г.
  • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 должно вызывать исключение
  • [SPARK-30447][SQL] Ошибка при распространении констант, допускающих значения null
  • [SPARK-28152][SQL] Добавление устаревшего объекта conf для старого числового сопоставления MsSqlServerDialect
  • Добавлена в список разрешений функция перезаписи, чтобы имелась возможность вызвать эту функцию с помощью расширений MLModels MLWriter.

Databricks Runtime 6.2 (неподдерживаемый)

См. раздел Databricks Runtime 6.2 (неподдерживаемый).

• 21 апреля 2020 г.
  • [SPARK-31312][SQL] Экземпляр класса кэша для экземпляра UDF в HiveFunctionWrapper
• 7 апреля 2020 г.
  • Чтобы устранить проблему с Pandas UDF, которая не работает с PyArrow 0.15.0 и выше, мы добавили переменную среды (ARROW_PRE_0_15_IPC_FORMAT=1), чтобы обеспечить поддержку этих версий PyArrow. См. инструкции в [SPARK-29367].
• 25 марта 2020 г.
  • Для выходных данных задания, таких как выходные данные журнала, передаваемые в stdout, применяется ограничение размера 20 МБ. Если общий объем выходных данных имеет больший размер, выполнение будет отменено и помечено как неудавшееся. Чтобы избежать этого ограничения, можно запретить возврат stdout из драйвера, установив spark.databricks.driver.disableScalaOutput для конфигурации Spark со значением true. По умолчанию флаг имеет значение false. Флаг контролирует выходные данные ячейки для заданий JAR Scala и записных книжек Scala. Если флаг включен, Spark не возвращает клиенту результаты выполнения задания. Флаг не влияет на данные, записываемые в файлы журналов кластера. Установка этого флага рекомендуется только для автоматических кластеров для заданий JAR, так как это приведет к отключению результатов записной книжки.
• 10 марта 2020 г.
  • Соединитель Snowflake (spark-snowflake_2.11), включенный в Databricks Runtime, обновляется до версии 2.5.9. snowflake-jdbc обновлен до версии 3.12.0.
• 18 февраля 2020 г.
  • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 должно вызывать исключение
  • Транзитная передача учетных данных с ADLS 2-го поколения имеет снижение производительности из-за неправильной локальной обработки цепочки, когда включена предварительная выборка клиентов ADLS. В этом выпуске отключена предварительная выборка ADLS 2-го поколения при включенной транзитной учетной записи, пока не будет установлено надлежащее исправление.
• 28 января 2020 г.
  • Внесена в список разрешений функция перезаписи модулей записи моделей ML для кластеров, включенных для передачи учетных данных, чтобы при сохранение модели использовать режим перезаписи для кластеров передачи учетных данных.
  • [SPARK-30447][SQL] Постоянная проблема обнуляемости распространения.
  • [SPARK-28152][SQL] Добавить устаревший объект conf для старой версии числового сопоставления MsSqlServerDialect.
• 14 января 2020 г.
  • Обновлена версия Java с 1.8.0 _222 до 1.8.0 _232.
• 10 декабря 2019 г.
  • [SPARK-29904][SQL] Анализ меток времени с точностью до микросекунд по источникам данных JSON / CSV.

Databricks Runtime 6.1 (неподдерживаемый)

См. раздел Databricks Runtime 6.1 (неподдерживаемый).

• 7 апреля 2020 г.
  • Чтобы устранить проблему с Pandas UDF, которая не работает с PyArrow 0.15.0 и выше, мы добавили переменную среды (ARROW_PRE_0_15_IPC_FORMAT=1), чтобы обеспечить поддержку этих версий PyArrow. См. инструкции в [SPARK-29367].
• 25 марта 2020 г.
  • Для выходных данных задания, таких как выходные данные журнала, передаваемые в stdout, применяется ограничение размера 20 МБ. Если общий объем выходных данных имеет больший размер, выполнение будет отменено и помечено как неудавшееся. Чтобы избежать этого ограничения, можно запретить возврат stdout из драйвера, установив spark.databricks.driver.disableScalaOutput для конфигурации Spark со значением true. По умолчанию флаг имеет значение false. Флаг контролирует выходные данные ячейки для заданий JAR Scala и записных книжек Scala. Если флаг включен, Spark не возвращает клиенту результаты выполнения задания. Флаг не влияет на данные, записываемые в файлы журналов кластера. Установка этого флага рекомендуется только для автоматических кластеров для заданий JAR, так как это приведет к отключению результатов записной книжки.
• 10 марта 2020 г.
  • Соединитель Snowflake (spark-snowflake_2.11), включенный в Databricks Runtime, обновляется до версии 2.5.9. snowflake-jdbc обновлен до версии 3.12.0.
• 18 февраля 2020 г.
  • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 должно вызывать исключение
  • Транзитная передача учетных данных с ADLS 2-го поколения имеет снижение производительности из-за неправильной локальной обработки цепочки, когда включена предварительная выборка клиентов ADLS. В этом выпуске отключена предварительная выборка ADLS 2-го поколения при включенной транзитной учетной записи, пока не будет установлено надлежащее исправление.
• 28 января 2020 г.
  • [SPARK-30447][SQL] Постоянная проблема обнуляемости распространения.
  • [SPARK-28152][SQL] Добавить устаревший объект conf для старой версии числового сопоставления MsSqlServerDialect.
• 14 января 2020 г.
  • Обновлена версия Java с 1.8.0 _222 до 1.8.0 _232.
• 7 ноября 2019 г.
  • [SPARK-29743][SQL] По образцу для needCopyResult должно быть установлено значение true, если needCopyResult его дочернего элемента имеет значение true.
  • Секреты, на которые ссылаются свойства конфигурации и переменные среды Spark в общедоступной предварительной версии. Дополнительные сведения см. в статье Использование секретов в свойстве конфигурации Spark или переменной среды.
• 5 ноября 2019 г.
  • Исправлена ошибка в DBFS FUSE для обработки точек подключения, содержащи // в описании пути.
  • [SPARK-29081] Замена вызовов SerializationUtils.clone на свойства с более быстрой реализацией
  • [SPARK-29244][CORE] Предотвращение повторного освобождения страницы в BytesToBytesMap
  • (6.1 ML) Библиотека mkl версии 2019.4 была установлена непреднамеренно. Мы перешли на использование более ранней версии mkl 2019.3 для соответствия дистрибутиву Anaconda 2019.03.

Databricks Runtime 6.0 (неподдерживаемый)

См. раздел Databricks Runtime 6.0 (неподдерживаемый).

• 25 марта 2020 г.
  • Для выходных данных задания, таких как выходные данные журнала, передаваемые в stdout, применяется ограничение размера 20 МБ. Если общий объем выходных данных имеет больший размер, выполнение будет отменено и помечено как неудавшееся. Чтобы избежать этого ограничения, можно запретить возврат stdout из драйвера, установив spark.databricks.driver.disableScalaOutput для конфигурации Spark со значением true. По умолчанию флаг имеет значение false. Флаг контролирует выходные данные ячейки для заданий JAR Scala и записных книжек Scala. Если флаг включен, Spark не возвращает клиенту результаты выполнения задания. Флаг не влияет на данные, записываемые в файлы журналов кластера. Установка этого флага рекомендуется только для автоматических кластеров для заданий JAR, так как это приведет к отключению результатов записной книжки.
• 18 февраля 2020 г.
  • Транзитная передача учетных данных с ADLS 2-го поколения имеет снижение производительности из-за неправильной локальной обработки цепочки, когда включена предварительная выборка клиентов ADLS. В этом выпуске отключена предварительная выборка ADLS 2-го поколения при включенной транзитной учетной записи, пока не будет установлено надлежащее исправление.
• 11 февраля 2020 г.
  • [SPARK-24783][SQL] spark.sql.shuffle.partitions=0 должно вызывать исключение
• 28 января 2020 г.
  • [SPARK-30447][SQL] Постоянная проблема обнуляемости распространения.
  • [SPARK-28152][SQL] Добавить устаревший объект conf для старой версии числового сопоставления MsSqlServerDialect.
• 14 января 2020 г.
  • Обновлена версия Java с 1.8.0 _222 до 1.8.0 _232.
• 19 ноября 2019 г.
  • [SPARK-29743] [SQL] По образцу для needCopyResult должно быть установлено значение true, если needCopyResult его дочернего элемента имеет значение true
• 5 ноября 2019 г.
  • dbutils.tensorboard.start() теперь поддерживает TensorBoard 2.0 (если установлено вручную).
  • Исправлена ошибка в DBFS FUSE для обработки точек подключения, содержащи // в описании пути.
  • [SPARK-29081]Замена вызовов SerializationUtils.clone на свойства с более быстрой реализацией
• 23 октября 2019 г.
  • [SPARK-29244][CORE] Предотвращение повторного освобождения страницы в BytesToBytesMap
• 8 октября 2019 г.
  • Изменения на стороне сервера, позволяющие драйверу Simba Apache Spark ODBC повторно подключаться и продолжать работу после сбоя подключения во время получения результатов (требуется драйвер Simba Apache Spark ODBC версии 2.6.10).
  • Исправлена проблема, влияющая на использование команды Optimize с кластерами с включенными таблицами ACL.
  • Исправлена проблема, когда библиотеки pyspark.ml неудачно выполняли задания вследствие того, что в таблице ACL таблицы и кластерах с поддержкой транзита учетных данных произошла ошибка Scala.
  • Добавлены в список разрешений методы SerDe/SerDeUtil для транзитной передачи учетных данных.
  • Внесены исправления в NullPointerException при проверке кода ошибки в клиенте WASB.
  • Исправлена проблема, из-за которой учетные данные пользователя не были перенаправлены в задания, созданные dbutils.notebook.run().

Databricks Runtime 5.4 ML (неподдерживаемый)

См. раздел Databricks Runtime 5.4 для машинного обучения (неподдерживаемый).

• 18 июня 2019 г.
  • Улучшена обработка активных запусков MLflow в интеграции Hyperopt
  • Доработаны сообщения в Hyperopt
  • Обновлен пакет Marchkdown с версии 3.1 на версию 3.1.1

Databricks Runtime 5.4 (неподдерживаемый)

См. раздел Databricks Runtime 5.4 (неподдерживаемый).

• 19 ноября 2019 г.
  • [SPARK-29743] [SQL] По образцу для needCopyResult должно быть установлено значение true, если needCopyResult его дочернего элемента имеет значение true
• 8 октября 2019 г.
  • Изменения на стороне сервера, позволяющие драйверу Simba Apache Spark ODBC повторно подключаться и продолжать работу после сбоя подключения во время получения результатов (требуется обновление драйвера Simba Apache Spark ODBC до версии 2.6.10).
  • Внесены исправления в NullPointerException при проверке кода ошибки в клиенте WASB.
• 10 сентября 2019 г.
  • Добавить потокобезопасный итератор в BytesToBytesMap
  • Исправлена ошибка, влияющая на определенные глобальные запросы на агрегирование.
  • [SPARK-27330][SS] Поддержка прерывания задачи в средстве записи foreach
  • [SPARK-28642]Учетные данные теперь скрываются в SHOW CREATE TABLE
  • [SPARK-28699][SQL] Отключение использования сортировки системы счисления для ShuffleExchangeExec в случае повторного секционирования
  • [SPARK-28699][CORE] Исправлен пограничный случай для отмены промежуточного этапа.
• 27 августа 2019 г.
  • Исправлена проблема, влияющая на определенные выражения transform
• 13 августа 2019 г.
  • Источник разностной потоковой передачи должен проводить проверку последнего протокола таблицы
  • [SPARK-28489][SS]Исправлена ошибка, при которой KafkaOffsetRangeCalculator.getRanges мог не учитывать смещения
• 30 июля 2019 г.
  • [SPARK-28015][SQL] Проверка stringToDate() использует все входные данные для форматов гггг и гггг-[м]м.
  • [SPARK-28308][CORE] Часть CalendarInterval менее секунды должна быть увеличена перед анализом
  • [SPARK-27485]EnsureRequirements.reorder теперь корректно обрабатывает дубликаты выражений
• 2 июля 2019 г.
  • Обновленная привязка — Java с версии 1.1.7.1 до версии 1.1.7.3.
• 18 июня 2019 г.
  • Улучшена обработка активных запусков MLflow в интеграции MLlib
  • Улучшено сообщение помощника по Databricks, связанное с использованием кэша диска
  • Исправлена ошибка, влияющая на использование функций более высокого порядка
  • Исправлена ошибка, влияющая на запросы разностных метаданных

Databricks Runtime 5.3 (неподдерживаемый)

См. раздел Databricks Runtime 5.3 (неподдерживаемый).

• 7 ноября 2019 г.
  • [SPARK-29743][SQL] По образцу для needCopyResult должно быть установлено значение true, если needCopyResult его дочернего элемента имеет значение true
• 8 октября 2019 г.
  • Изменения на стороне сервера, позволяющие драйверу Simba Apache Spark ODBC повторно подключаться и продолжать работу после сбоя подключения во время получения результатов (требуется обновление драйвера Simba Apache Spark ODBC до версии 2.6.10).
  • Внесены исправления в NullPointerException при проверке кода ошибки в клиенте WASB.
• 10 сентября 2019 г.
  • Добавить потокобезопасный итератор в BytesToBytesMap
  • Исправлена ошибка, влияющая на определенные глобальные запросы на агрегирование.
  • [SPARK-27330][SS] Поддержка прерывания задачи в средстве записи foreach
  • [SPARK-28642]Учетные данные теперь скрываются в SHOW CREATE TABLE
  • [SPARK-28699][SQL] Отключение использования сортировки системы счисления для ShuffleExchangeExec в случае повторного секционирования
  • [SPARK-28699][CORE] Исправлен пограничный случай для отмены промежуточного этапа.
• 27 августа 2019 г.
  • Исправлена проблема, влияющая на определенные выражения transform
• 13 августа 2019 г.
  • Источник разностной потоковой передачи должен проводить проверку последнего протокола таблицы
  • [SPARK-28489][SS]Исправлена ошибка, при которой KafkaOffsetRangeCalculator.getRanges мог не учитывать смещения
• 30 июля 2019 г.
  • [SPARK-28015][SQL] Проверка stringToDate() использует все входные данные для форматов гггг и гггг-[м]м.
  • [SPARK-28308][CORE] Часть CalendarInterval менее секунды должна быть увеличена перед анализом
  • [SPARK-27485]EnsureRequirements.reorder теперь корректно обрабатывает дубликаты выражений
• 18 июня 2019 г.
  • Улучшено сообщение помощника по Databricks, связанное с использованием кэша диска
  • Исправлена ошибка, влияющая на использование функций более высокого порядка
  • Исправлена ошибка, влияющая на запросы разностных метаданных
• 28 мая 2019 г.
  • Повышена стабильность Delta
  • Допустимость операций ввода-вывода при чтении файла Delta LAST_CHECKPOINT
    • Добавлена возможность восстановления при сбое установки библиотеки
• 7 мая 2019 г.
  • Порт HADOOP-15778 (ABFS: исправление регулирования на стороне клиента для чтения) для соединителя Azure Data Lake Storage 2-го поколения
  • Порт HADOOP-16040 (ABFS: исправление ошибки конфигурации tolerateOobAppends) для соединителя Azure Data Lake Storage 2-го поколения
  • Исправлена ошибка, влияющая на ACL таблиц
  • Исправлено состояние гонки при загрузке разностного файла контрольной суммы журнала
  • Исправлена логика обнаружения дельта-конфликтов, которая не идентифицировала "вставка + перезапись" как чистую операцию "добавления".
  • Убедитесь, что кэш диска не отключен при включении ACL таблиц
  • [SPARK-27494][SS] Ключи / значения null не работают в источнике Kafka версии 2
  • [SPARK-27446][R] При доступности используется существующая конфигурация Spark.
  • [SPARK-27454] [SPARK-27454] [ML] [SQL] Сбой источника данных изображения Spark при обнаружении некоторых недопустимых образов
  • [SPARK-27160][SQL] Исправлен DecimalType при создании фильтров ORC
  • [SPARK-27338][CORE] Исправлена взаимоблокировка между UnsafeExternalSorter и TaskMemoryManager

Databricks Runtime 5.2 (неподдерживаемый)

См. раздел Databricks Runtime 5.2 (неподдерживаемый).

• 10 сентября 2019 г.
  • Добавить потокобезопасный итератор в BytesToBytesMap
  • Исправлена ошибка, влияющая на определенные глобальные запросы на агрегирование.
  • [SPARK-27330][SS] Поддержка прерывания задачи в средстве записи foreach
  • [SPARK-28642]Учетные данные теперь скрываются в SHOW CREATE TABLE
  • [SPARK-28699][SQL] Отключение использования сортировки системы счисления для ShuffleExchangeExec в случае повторного секционирования
  • [SPARK-28699][CORE] Исправлен пограничный случай для отмены промежуточного этапа.
• 27 августа 2019 г.
  • Исправлена проблема, влияющая на определенные выражения transform
• 13 августа 2019 г.
  • Источник разностной потоковой передачи должен проводить проверку последнего протокола таблицы
  • [SPARK-28489][SS]Исправлена ошибка, при которой KafkaOffsetRangeCalculator.getRanges мог не учитывать смещения
• 30 июля 2019 г.
  • [SPARK-28015][SQL] Проверка stringToDate() использует все входные данные для форматов гггг и гггг-[м]м.
  • [SPARK-28308][CORE] Часть CalendarInterval менее секунды должна быть увеличена перед анализом
  • [SPARK-27485]EnsureRequirements.reorder теперь корректно обрабатывает дубликаты выражений
• 2 июля 2019 г.
  • Допущение IOExceptions при чтении файла Delta LAST_CHECKPOINT
• 18 июня 2019 г.
  • Улучшено сообщение помощника по Databricks, связанное с использованием кэша диска
  • Исправлена ошибка, влияющая на использование функций более высокого порядка
  • Исправлена ошибка, влияющая на запросы разностных метаданных
• 28 мая 2019 г.
  • Добавлена возможность восстановления при сбое установки библиотеки
• 7 мая 2019 г.
  • Порт HADOOP-15778 (ABFS: исправление регулирования на стороне клиента для чтения) для соединителя Azure Data Lake Storage 2-го поколения
  • Порт HADOOP-16040 (ABFS: исправление ошибки конфигурации tolerateOobAppends) для соединителя Azure Data Lake Storage 2-го поколения
  • Исправлено состояние гонки при загрузке разностного файла контрольной суммы журнала
  • Исправлена логика обнаружения дельта-конфликтов, которая не идентифицировала "вставка + перезапись" как чистую операцию "добавления".
  • Убедитесь, что кэш диска не отключен при включении ACL таблиц
  • [SPARK-27494][SS] Ключи / значения null не работают в источнике Kafka версии 2
  • [SPARK-27454] [SPARK-27454] [ML] [SQL] Сбой источника данных изображения Spark при обнаружении некоторых недопустимых образов
  • [SPARK-27160][SQL] Исправлен DecimalType при создании фильтров ORC
  • [SPARK-27338][CORE] Исправлена взаимоблокировка между UnsafeExternalSorter и TaskMemoryManager
• 26 марта 2019 г.
  • Теперь не допускается встраивание зависящих от платформы смещений прямо в сгенерированный для целого этапа код
  • [SPARK-26665][CORE] Исправлена ошибка, которая могла приводить к постоянному зависанию BlockTransferService.fetchBlockSync.
  • [SPARK-27134][SQL] Функция array_distinct не работает правильно со столбцами, содержащими массив массивов.
  • [SPARK-24669][SQL] Теперь таблицы инвалидируются в случае использования DROP DATABASE CASCADE.
  • [SPARK-26572][SQL] Исправлена агрегированная оценка результатов создания кода.
  • Исправлена ошибка, влияющая на определенные PythonUDF.
• 26 февраля 2019 г.
  • [SPARK-26864][SQL] Запрос теперь возвращает правильный результат, если UDF Python используется в качестве условия левого полусоединения.
  • [SPARK-26887][PYTHON] Теперь создается datetime.date напрямую вместо создания datetime64 в виде промежуточных данных.
  • Исправлена ошибка, влияющая на сервер JDBC/ODBC.
  • Исправлена ошибка, влияющая на PySpark.
  • Исключены скрытые файлы при создании HadoopRDD.
  • Исправлена ошибка в Delta, которая привела к проблемам сериализации.
• 12 февраля 2019 г.
  • Исправлена проблема, влияющая на использование Delta с точками подключения Azure ADLS 2-го поколения.
  • Исправлена проблема, из-за которой сетевой протокол Spark низкого уровня может быть нарушен при отправке больших сообщений об ошибках RPC с включенным шифрованием (когда для spark.network.crypto.enabled установлено значение true).
• 30 января 2019 г.
  • Исправлена ошибка StackOverflowError при размещении подсказки об асимметричном соединении в кешированном отношении.
  • Исправлено несоответствие между кэшированным RDD кэша SQL и его физическим планом, который приводит к неправильному результату.
  • [SPARK-26706][SQL] Исправление illegalNumericPrecedence для ByteType.
  • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery теперь правильно обрабатывает пустые записи.
  • Источники данных CSV/JSON должны избегать подстановки путей при выведении схемы.
  • Исправлен вывод ограничения для оператора Window.
  • Исправлена проблема, влияющая на установку библиотек Egg с кластерами, в которых включен ACL таблиц.

Databricks Runtime 5.1 (неподдерживаемый)

См. раздел Databricks Runtime 5.1 (неподдерживаемый).

• 13 августа 2019 г.
  • Источник разностной потоковой передачи должен проводить проверку последнего протокола таблицы
  • [SPARK-28489][SS]Исправлена ошибка, при которой KafkaOffsetRangeCalculator.getRanges мог не учитывать смещения
• 30 июля 2019 г.
  • [SPARK-28015][SQL] Проверка stringToDate() использует все входные данные для форматов гггг и гггг-[м]м.
  • [SPARK-28308][CORE] Часть CalendarInterval менее секунды должна быть увеличена перед анализом
  • [SPARK-27485]EnsureRequirements.reorder теперь корректно обрабатывает дубликаты выражений
• 2 июля 2019 г.
  • Допущение IOExceptions при чтении файла Delta LAST_CHECKPOINT
• 18 июня 2019 г.
  • Исправлена ошибка, влияющая на использование функций более высокого порядка
  • Исправлена ошибка, влияющая на запросы разностных метаданных
• 28 мая 2019 г.
  • Добавлена возможность восстановления при сбое установки библиотеки
• 7 мая 2019 г.
  • Порт HADOOP-15778 (ABFS: исправление регулирования на стороне клиента для чтения) для соединителя Azure Data Lake Storage 2-го поколения
  • Порт HADOOP-16040 (ABFS: исправление ошибки конфигурации tolerateOobAppends) для соединителя Azure Data Lake Storage 2-го поколения
  • Исправлено состояние гонки при загрузке разностного файла контрольной суммы журнала
  • Исправлена логика обнаружения дельта-конфликтов, которая не идентифицировала "вставка + перезапись" как чистую операцию "добавления".
  • [SPARK-27494][SS] Ключи / значения null не работают в источнике Kafka версии 2
  • [SPARK-27454] [SPARK-27454] [ML] [SQL] Сбой источника данных изображения Spark при обнаружении некоторых недопустимых образов
  • [SPARK-27160][SQL] Исправлен DecimalType при создании фильтров ORC
  • [SPARK-27338][CORE] Исправлена взаимоблокировка между UnsafeExternalSorter и TaskMemoryManager
• 26 марта 2019 г.
  • Теперь не допускается встраивание зависящих от платформы смещений прямо в сгенерированный для целого этапа код
  • Исправлена ошибка, влияющая на определенные PythonUDF.
• 26 февраля 2019 г.
  • [SPARK-26864][SQL] Запрос теперь возвращает правильный результат, если UDF Python используется в качестве условия левого полусоединения.
  • Исправлена ошибка, влияющая на сервер JDBC/ODBC.
  • Исключены скрытые файлы при создании HadoopRDD.
• 12 февраля 2019 г.
  • Исправлена проблема, влияющая на установку библиотек Egg с кластерами, в которых включен ACL таблиц.
  • Исправлено несоответствие между кэшированным RDD кэша SQL и его физическим планом, который приводит к неправильному результату.
  • [SPARK-26706][SQL] Исправление illegalNumericPrecedence для ByteType.
  • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery теперь правильно обрабатывает пустые записи.
  • Исправлен вывод ограничения для оператора Window.
  • Исправлена проблема, из-за которой сетевой протокол Spark низкого уровня может быть нарушен при отправке больших сообщений об ошибках RPC с включенным шифрованием (когда для spark.network.crypto.enabled установлено значение true).
• 30 января 2019 г.
  • Исправлена проблема, которая может привести к df.rdd.count() с UDT, чтобы происходил возврат неверного ответа в некоторых случаях.
  • Исправлена проблема, влияющая на установку wheelhouses.
  • [SPARK-26267]Реализованы повторные попытки при обнаружении неверных смещений из Kafka.
  • Исправлена ошибка, влияющая на несколько источников файловых потоков в потоковой передаче.
  • Исправлена ошибка StackOverflowError при размещении подсказки об асимметричном соединении в кешированном отношении.
  • Исправлено несоответствие между кэшированным RDD кэша SQL и его физическим планом, который приводит к неправильному результату.
• 8 января 2019 г.
  • Исправлена проблема, которая вызывает ошибку org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
  • [SPARK-26352]Изменение порядка объединения не должно изменять порядок выходных атрибутов.
  • [SPARK-26366]В ReplaceExceptWithFilter NULL должно расцениваться как False.
  • Улучшение стабильности для Delta Lake.
  • Delta Lake включена.
  • Исправлена проблема, из-за которой произошел сбой Azure Data Lake Storage 2-го поколения доступа при включенном сквозном руководстве учетных данных Microsoft Entra ID для Azure Data Lake Storage 1-го поколения.
  • Кэш ввода-вывода Databricks теперь включен для типов рабочих экземпляров серии Ls для всех ценовых категорий.

Databricks Runtime 5.0 (неподдерживаемый)

См. раздел Databricks Runtime 5.0 (неподдерживаемый).

• 18 июня 2019 г.
  • Исправлена ошибка, влияющая на использование функций более высокого порядка
• 7 мая 2019 г.
  • Исправлено состояние гонки при загрузке разностного файла контрольной суммы журнала
  • Исправлена логика обнаружения дельта-конфликтов, которая не идентифицировала "вставка + перезапись" как чистую операцию "добавления".
  • [SPARK-27494][SS] Ключи / значения null не работают в источнике Kafka версии 2
  • [SPARK-27454] [SPARK-27454] [ML] [SQL] Сбой источника данных изображения Spark при обнаружении некоторых недопустимых образов
  • [SPARK-27160] [SQL] Исправление Десятичного типа при создании фильтров orc
    • [SPARK-27338][CORE] Исправлена взаимоблокировка между UnsafeExternalSorter и TaskMemoryManager
• 26 марта 2019 г.
  • Теперь не допускается встраивание зависящих от платформы смещений прямо в сгенерированный для целого этапа код
  • Исправлена ошибка, влияющая на определенные PythonUDF.
• 12 марта 2019 г.
  • [SPARK-26864][SQL] Запрос теперь возвращает правильный результат, если UDF Python используется в качестве условия левого полусоединения.
• 26 февраля 2019 г.
  • Исправлена ошибка, влияющая на сервер JDBC/ODBC.
  • Исключены скрытые файлы при создании HadoopRDD.
• 12 февраля 2019 г.
  • Исправлено несоответствие между кэшированным RDD кэша SQL и его физическим планом, который приводит к неправильному результату.
  • [SPARK-26706][SQL] Исправление illegalNumericPrecedence для ByteType.
  • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery теперь правильно обрабатывает пустые записи.
  • Исправлен вывод ограничения для оператора Window.
  • Исправлена проблема, из-за которой сетевой протокол Spark низкого уровня может быть нарушен при отправке больших сообщений об ошибках RPC с включенным шифрованием (когда для spark.network.crypto.enabled установлено значение true).
• 30 января 2019 г.
  • Исправлена проблема, которая может привести к df.rdd.count() с UDT, чтобы происходил возврат неверного ответа в некоторых случаях.
  • [SPARK-26267]Реализованы повторные попытки при обнаружении неверных смещений из Kafka.
  • Исправлена ошибка, влияющая на несколько источников файловых потоков в потоковой передаче.
  • Исправлена ошибка StackOverflowError при размещении подсказки об асимметричном соединении в кешированном отношении.
  • Исправлено несоответствие между кэшированным RDD кэша SQL и его физическим планом, который приводит к неправильному результату.
• 8 января 2019 г.
  • Исправлена проблема, которая привела к ошибке org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
  • [SPARK-26352]Изменение порядка объединения не должно изменять порядок выходных атрибутов.
  • [SPARK-26366]В ReplaceExceptWithFilter NULL должно расцениваться как False.
  • Улучшение стабильности для Delta Lake.
  • Delta Lake включена.
  • Кэш ввода-вывода Databricks теперь включен для типов рабочих экземпляров серии Ls для всех ценовых категорий.
• 18 декабря 2018 г.
  • [SPARK-26293] Приведение исключения при наличии Python UDF в подзапросе
  • Исправлена проблема, влияющая на определенные запросы с использованием соединений и ограничений.
  • Отредактированы учетные данные из имен RDD в пользовательском интерфейсе Spark
• 6 декабря 2018 г.
  • Исправлена проблема, которая вызывала неправильный результат запроса при использовании orderBy, за которым сразу же последовал groupBy с ключом group-by в качестве ведущей части ключа сортировки.
  • Обновлен соединитель Snowflake для Spark с 2.4.9.2-spark_2.4_pre_release to 2.4.10.
  • Игнорировать поврежденные файлы следует только после одной или нескольких повторных попыток, при включенном флаге spark.sql.files.ignoreCorruptFiles или spark.sql.files.ignoreMissingFiles.
  • Исправлена проблема, влияющая на некоторые запросы на самообъединение.
  • Исправлена ошибка на сервере Thrift, где при отмене сеанса иногда происходит утечка сеансов.
  • [SPARK-26307]Исправлен CTAS при ВСТАВКЕ секционированной таблицы с помощью Hive SerDe.
  • [SPARK-26147] Пользовательские функции Python в условиях соединения терпят неудачу даже при использовании столбцов только с одной стороны соединения
  • [SPARK-26211] Исправление InSet для двоичных файлов, а также структуры и массива с нулевым значением.
  • [SPARK-26181] метод hasMinMaxStats для ColumnStatsMap является неверным.
  • Исправлена проблема, связанная с установкой Python Wheels в средах без доступа к Интернету.
• 20 ноября 2018 г.
  • Исправлена проблема, из-за которой не удается использовать записную книжку после отмены потокового запроса.
  • Исправлена проблема, влияющая на определенные запросы с использованием оконных функций.
  • Исправлена проблема, влияющая на поток от разностного изменения с несколькими изменениями схемы.
  • Исправлена проблема, влияющая на некоторые запросы агрегации с соединениями Left Semi/Anti.

Databricks Runtime 4.3 (неподдерживаемый)

См. раздел Databricks Runtime 4.3 (неподдерживаемый).

• 9 апреля 2019 г.

  • [SPARK-26665][CORE] Исправлена ошибка, которая могла вызывать постоянное зависание BlockTransferService.fetchBlockSync.
  • [SPARK-24669][SQL] Теперь таблицы инвалидируются в случае использования DROP DATABASE CASCADE.

• 12 марта 2019 г.

  • Исправлена ошибка, влияющая на создание кода.
  • Исправлена ошибка, влияющая на Delta.

• 26 февраля 2019 г.

  • Исправлена ошибка, влияющая на сервер JDBC/ODBC.

• 12 февраля 2019 г.

  • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery теперь правильно обрабатывает пустые записи.
  • Исключение скрытых файлов при сборке HadoopRDD.
  • Исправлено преобразование фильтра Parquet для предиката IN, когда его значение пусто.
  • Исправлена проблема, из-за которой сетевой протокол Spark низкого уровня может быть нарушен при отправке больших сообщений об ошибках RPC с включенным шифрованием (когда для spark.network.crypto.enabled установлено значение true).

• 30 января 2019 г.

  • Исправлена проблема, которая может привести к df.rdd.count() с UDT, чтобы происходил возврат неверного ответа в некоторых случаях.
  • Исправлено несоответствие между кэшированным RDD кэша SQL и его физическим планом, который приводит к неправильному результату.

• 8 января 2019 г.

  • Исправлена проблема, которая вызывает ошибку org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
  • Отредактированы учетные данные из имен RDD в пользовательском интерфейсе Spark
  • [SPARK-26352]Изменение порядка объединения не должно изменять порядок выходных атрибутов.
  • [SPARK-26366]В ReplaceExceptWithFilter NULL должно расцениваться как False.
  • Delta Lake включена.
  • Кэш ввода-вывода Databricks теперь включен для типов рабочих экземпляров серии Ls для всех ценовых категорий.

• 18 декабря 2018 г.

  • [SPARK-25002] Avro: изменить пространство имен выходных записей.
  • Исправлена проблема, влияющая на определенные запросы с использованием соединений и ограничений.
  • [SPARK-26307]Исправлен CTAS при ВСТАВКЕ секционированной таблицы с помощью Hive SerDe.
  • Игнорировать поврежденные файлы следует только после одной или нескольких повторных попыток, при включенном флаге spark.sql.files.ignoreCorruptFiles или spark.sql.files.ignoreMissingFiles.
  • [SPARK-26181] метод hasMinMaxStats для ColumnStatsMap является неверным.
  • Исправлена проблема, связанная с установкой Python Wheels в средах без доступа к Интернету.
  • Исправлена проблема с производительностью в анализаторе запросов.
  • Исправлена проблема в PySpark, которая приводила к сбою действий DataFrame с ошибкой "отказ в подключении".
  • Исправлена проблема, влияющая на некоторые запросы на самообъединение.

• 20 ноября 2018 г.

  • [SPARK-17916][SPARK-25241]Исправлена пустая строка, анализируемая как null, если задано значение nullValue.
  • [SPARK-25387] Исправление для NPE вызвано неверными входными данными CSV.
  • Исправлена проблема, влияющая на некоторые запросы агрегации с соединениями Left Semi/Anti.

• 6 ноября 2018 г.

  • [SPARK-25741] Длинные URL-адреса не отображаются должным образом в веб-интерфейсе.
  • [SPARK-25714] Исправление обработки нулей в правиле оптимизатора BooleanSimplification.
  • Исправлена проблема, влияющая на очистку временных объектов в соединителе Synapse Analytics.
  • [SPARK-25816] Исправление разрешения атрибута во вложенных средствах извлечения.

• 16 октября 2018 г.

  • Исправлена ошибка, влияющая на выходные данные, выполняемые SHOW CREATE TABLE в разностных таблицах.
  • Исправлена ошибка, влияющая на работу Union.

• 25 сентября 2018 г.

  • [SPARK-25368][SQL] Неверный вывод ограничения возвращает неверный результат.
  • [SPARK-25402][SQL] Обработка значений Null в BooleanSimplification.
  • Исправлена NotSerializableException в источнике данных Avro.

• 11 сентября 2018 г.

  • [SPARK-25214][SS] Устранение проблемы, из-за которой источник Kafka v2 может возвращать повторяющиеся записи при failOnDataLoss=false.
  • [SPARK-24987][СС] Исправление утечки объекта-получателя Kafka, когда нет новых смещений для articlePartition.
  • При уменьшении фильтра должно правильно обрабатываться значение null.
  • Улучшена стабильность подсистемы выполнения.

• 28 августа 2018 г.

  • Исправлена ошибка в команде Delta Lake Delete, которая неправильно удаляла строки, в которых условие имеет значение null.
  • [SPARK-25142] Добавление сообщения об ошибках, когда рабочей роли Python не удалось открыть сокет в _load_from_socket.

• 23 августа 2018 г.

  • [SPARK-23935]mapEntry создает org.codehaus.commons.compiler.CompileException.
  • Исправлена проблема с картой, допускающей значение null, в модуле чтения Parquet.
  • [SPARK-25051][SQL] FixNullability не следует останавливаться на AnalysisBarrier.
  • [SPARK-25081] Исправлена ошибка, при которой ShuffleExternalSorter может получить доступ к свободной странице памяти, когда при сбросе не удается выделить память.
  • Исправлено взаимодействие между Databricks Delta и Pyspark, которое могло вызвать временные сбои чтения.
  • [SPARK-25084]"распространить по" в нескольких столбцах (заключить в скобки) может привести к проблемам с codegen.
  • [SPARK-25096] Ослабление допустимости значений NULL, если приведение является принудительным, допускающим значение null.
  • Уменьшите число потоков по умолчанию, используемых командой для оптимизации Delta Lake, уменьшая нагрузку на память и увеличивая скорость передачи данных.
  • [SPARK-25114] Исправление RecordBinaryComparator, если результат вычитания между двумя словами делится на значение Integer.MAX_VALUE.
  • Исправлено редактирование секретного менеджера при частично успешном завершении команды.

Databricks Runtime 4.2 (неподдерживаемый)

См. раздел Databricks Runtime 4.2 (неподдерживаемый).

• 26 февраля 2019 г.

  • Исправлена ошибка, влияющая на сервер JDBC/ODBC.

• 12 февраля 2019 г.

  • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery теперь правильно обрабатывает пустые записи.
  • Исключение скрытых файлов при сборке HadoopRDD.
  • Исправлено преобразование фильтра Parquet для предиката IN, когда его значение пусто.
  • Исправлена проблема, из-за которой сетевой протокол Spark низкого уровня может быть нарушен при отправке больших сообщений об ошибках RPC с включенным шифрованием (когда для spark.network.crypto.enabled установлено значение true).

• 30 января 2019 г.

  • Исправлена проблема, которая может привести к df.rdd.count() с UDT, чтобы происходил возврат неверного ответа в некоторых случаях.

• 8 января 2019 г.

  • Исправлена проблема, которая вызывает ошибку org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted.
  • Отредактированы учетные данные из имен RDD в пользовательском интерфейсе Spark
  • [SPARK-26352]Изменение порядка объединения не должно изменять порядок выходных атрибутов.
  • [SPARK-26366]В ReplaceExceptWithFilter NULL должно расцениваться как False.
  • Delta Lake включена.
  • Кэш ввода-вывода Databricks теперь включен для типов рабочих экземпляров серии Ls для всех ценовых категорий.

• 18 декабря 2018 г.

  • [SPARK-25002] Avro: изменить пространство имен выходных записей.
  • Исправлена проблема, влияющая на определенные запросы с использованием соединений и ограничений.
  • [SPARK-26307]Исправлен CTAS при ВСТАВКЕ секционированной таблицы с помощью Hive SerDe.
  • Игнорировать поврежденные файлы следует только после одной или нескольких повторных попыток, при включенном флаге spark.sql.files.ignoreCorruptFiles или spark.sql.files.ignoreMissingFiles.
  • [SPARK-26181] метод hasMinMaxStats для ColumnStatsMap является неверным.
  • Исправлена проблема, связанная с установкой Python Wheels в средах без доступа к Интернету.
  • Исправлена проблема с производительностью в анализаторе запросов.
  • Исправлена проблема в PySpark, которая приводила к сбою действий DataFrame с ошибкой "отказ в подключении".
  • Исправлена проблема, влияющая на некоторые запросы на самообъединение.

• 20 ноября 2018 г.

  • [SPARK-17916][SPARK-25241]Исправлена пустая строка, анализируемая как null, если задано значение nullValue.
  • Исправлена проблема, влияющая на некоторые запросы агрегации с соединениями Left Semi/Anti.

• 6 ноября 2018 г.

  • [SPARK-25741] Длинные URL-адреса не отображаются должным образом в веб-интерфейсе.
  • [SPARK-25714] Исправление обработки нулей в правиле оптимизатора BooleanSimplification.

• 16 октября 2018 г.

  • Исправлена ошибка, влияющая на выходные данные, выполняемые SHOW CREATE TABLE в разностных таблицах.
  • Исправлена ошибка, влияющая на работу Union.

• 25 сентября 2018 г.

  • [SPARK-25368][SQL] Неверный вывод ограничения возвращает неверный результат.
  • [SPARK-25402][SQL] Обработка значений Null в BooleanSimplification.
  • Исправлена NotSerializableException в источнике данных Avro.

• 11 сентября 2018 г.

  • [SPARK-25214][SS] Устранение проблемы, из-за которой источник Kafka v2 может возвращать повторяющиеся записи при failOnDataLoss=false.
  • [SPARK-24987][СС] Исправление утечки объекта-получателя Kafka, когда нет новых смещений для articlePartition.
  • При уменьшении фильтра должно правильно обрабатываться значение null.

• 28 августа 2018 г.

  • Исправлена ошибка в команде Delta Lake Delete, которая неправильно удаляла строки, в которых условие имеет значение null.

• 23 августа 2018 г.

  • Исправлена ошибка NoClassDefError для разностного моментального снимка
  • [SPARK-23935]mapEntry создает org.codehaus.commons.compiler.CompileException.
  • [SPARK-24957][SQL] Среднее с десятичным значением, за которым следует агрегирование, возвращает неверный результат. Могут возвращаться неверные результаты операции AVERAGE. CAST, добавленный в оператор Average, будет пропущен, если результат Divide будет того же типа, к которому он был приведен.
  • [SPARK-25081] Исправлена ошибка, при которой ShuffleExternalSorter может получить доступ к свободной странице памяти, когда при сбросе не удается выделить память.
  • Исправлено взаимодействие между Databricks Delta и Pyspark, которое могло вызвать временные сбои чтения.
  • [SPARK-25114] Исправление RecordBinaryComparator, если результат вычитания между двумя словами делится на значение Integer.MAX_VALUE.
  • [SPARK-25084]"распространить по" в нескольких столбцах (заключить в скобки) может привести к проблемам с codegen.
  • [SPARK-24934][SQL] Явно разрешенные поддерживаемые типы в верхней / нижней границах для очистки секций в памяти. При использовании сложных типов данных в фильтрах запросов к кэшированным данным Spark всегда возвращает пустой набор результатов. При выполнении очистки в памяти на основе статистики появляются неверные результаты, поскольку в сложных типах для верхних/нижних границ задано значение NULL. Исправление заключается в том, чтобы не использовать очистку в памяти на основе статистики для сложных типов.
  • Исправлено редактирование секретного менеджера при частично успешном завершении команды.
  • Исправлена проблема с картой, допускающей значение null, в модуле чтения Parquet.

• 2 августа, 2018 г.

  • Добавлен API writeStream.table в Python.
  • Исправлена проблема, затрагивающая разностные контрольные точки.
  • [SPARK-24867][SQL] Добавление AnalysisBarrier к DataFrameWriter. Кэш SQL не используется при использовании DataFrameWriter для записи кадра данных с помощью UDF. Это регрессия, вызванная изменениями, внесенными в AnalysisBarrier, так как не все правила анализатора идемпотентны.
  • Исправлена проблема, которая могла привести команду mergeInto к получению неверных результатов.
  • Улучшена стабильность при доступе к Azure Data Lake Storage 1-го поколения.
  • [Spark-24809] Сериализация LongHashedRelation в исполнителе может привести к ошибке данных.
  • [SPARK-24878][SQL] Исправление функции reverse для массива примитивного типа, содержащего значение null.

• 11 июля 2018 г.

  • Исправлена ошибка в выполнении запроса, которая привела бы к агрегированию десятичных столбцов с различной точностью для возврата неверных результатов в отдельных случаях.
  • Исправлена ошибка NullPointerException, возникающая во время сложных операций агрегирования, таких как группирование наборов.

Databricks Runtime 4.1 ML (неподдерживаемый)

См. раздел Databricks Runtime 4.1 ML (неподдерживаемый).

• 31 июля 2018 г.
  • Azure Synapse Analytics добавлена в ML Runtime 4.1
  • Исправлена ошибка, которая может привести к неверным результатам запроса, если имя столбца секционирования, используемого в предикате, отличается от имени столбца в схеме таблицы.
  • Исправлена ошибка, влияющая на подсистему выполнения Spark SQL.
  • Исправлена ошибка, влияющая на создание кода.
  • Исправлена ошибка (java.lang.NoClassDefFoundError), влияющая на Delta Lake.
  • Улучшена обработка ошибок в Delta Lake.
  • Исправлена ошибка, из-за которой для строковых столбцов длиной 32 символа и более собиралась некорректная статистика пропусков данных.

Databricks Runtime 4.1 (неподдерживаемый)

См. раздел Databricks Runtime 4.1 (неподдерживаемый).

• 8 января 2019 г.

  • [SPARK-26366]В ReplaceExceptWithFilter NULL должно расцениваться как False.
  • Delta Lake включена.

• 18 декабря 2018 г.

  • [SPARK-25002] Avro: изменить пространство имен выходных записей.
  • Исправлена проблема, влияющая на определенные запросы с использованием соединений и ограничений.
  • [SPARK-26307]Исправлен CTAS при ВСТАВКЕ секционированной таблицы с помощью Hive SerDe.
  • Игнорировать поврежденные файлы следует только после одной или нескольких повторных попыток, при включенном флаге spark.sql.files.ignoreCorruptFiles или spark.sql.files.ignoreMissingFiles.
  • Исправлена проблема, связанная с установкой Python Wheels в средах без доступа к Интернету.
  • Исправлена проблема в PySpark, которая приводила к сбою действий DataFrame с ошибкой "отказ в подключении".
  • Исправлена проблема, влияющая на некоторые запросы на самообъединение.

• 20 ноября 2018 г.

  • [SPARK-17916][SPARK-25241]Исправлена пустая строка, анализируемая как null, если задано значение nullValue.
  • Исправлена проблема, влияющая на некоторые запросы агрегации с соединениями Left Semi/Anti.

• 6 ноября 2018 г.

  • [SPARK-25741] Длинные URL-адреса не отображаются должным образом в веб-интерфейсе.
  • [SPARK-25714] Исправление обработки нулей в правиле оптимизатора BooleanSimplification.

• 16 октября 2018 г.

  • Исправлена ошибка, влияющая на выходные данные, выполняемые SHOW CREATE TABLE в разностных таблицах.
  • Исправлена ошибка, влияющая на работу Union.

• 25 сентября 2018 г.

  • [SPARK-25368][SQL] Неверный вывод ограничения возвращает неверный результат.
  • [SPARK-25402][SQL] Обработка значений Null в BooleanSimplification.
  • Исправлена NotSerializableException в источнике данных Avro.

• 11 сентября 2018 г.

  • [SPARK-25214][SS] Устранение проблемы, из-за которой источник Kafka v2 может возвращать повторяющиеся записи при failOnDataLoss=false.
  • [SPARK-24987][СС] Исправление утечки объекта-получателя Kafka, когда нет новых смещений для articlePartition.
  • При уменьшении фильтра должно правильно обрабатываться значение null.

• 28 августа 2018 г.

  • Исправлена ошибка в команде Delta Lake Delete, которая неправильно удаляла строки, в которых условие имеет значение null.
  • [SPARK-25084]"распространить по" в нескольких столбцах (заключить в скобки) может привести к проблемам с codegen.
  • [SPARK-25114] Исправление RecordBinaryComparator, если результат вычитания между двумя словами делится на значение Integer.MAX_VALUE.

• 23 августа 2018 г.

  • Исправлена ошибка NoClassDefError для разностного моментального снимка.
  • [SPARK-24957][SQL] Среднее с десятичным значением, за которым следует агрегирование, возвращает неверный результат. Могут возвращаться неверные результаты операции AVERAGE. CAST, добавленный в оператор Average, будет пропущен, если результат Divide будет того же типа, к которому он был приведен.
  • Исправлена проблема с картой, допускающей значение null, в модуле чтения Parquet.
  • [SPARK-24934][SQL] Явно разрешенные поддерживаемые типы в верхней / нижней границах для очистки секций в памяти. При использовании сложных типов данных в фильтрах запросов к кэшированным данным Spark всегда возвращает пустой набор результатов. При выполнении очистки в памяти на основе статистики появляются неверные результаты, поскольку в сложных типах для верхних/нижних границ задано значение NULL. Исправление заключается в том, чтобы не использовать очистку в памяти на основе статистики для сложных типов.
  • [SPARK-25081] Исправлена ошибка, при которой ShuffleExternalSorter может получить доступ к свободной странице памяти, когда при сбросе не удается выделить память.
  • Исправлено взаимодействие между Databricks Delta и Pyspark, которое могло вызвать временные сбои чтения.
  • Исправлено редактирование секретного менеджера при частично успешном завершении команды

• 2 августа, 2018 г.

  • [SPARK-24613][SQL] Кэш с UDF не может быть сопоставлен с последующими зависимыми кэшами. Создает оболочку логического плана с помощью AnalysisBarrier для компиляции плана выполнения в CacheManager, чтобы избежать повторного анализа плана. Это также является регрессией Spark 2.3.
  • Исправлена ошибка соединителя Synapse Analytics, которая влияет на преобразование TimeZone для записи данных DateType.
  • Исправлена проблема, затрагивающая разностные контрольные точки.
  • Исправлена проблема, которая могла привести команду mergeInto к получению неверных результатов.
  • [SPARK-24867][SQL] Добавление AnalysisBarrier к DataFrameWriter. Кэш SQL не используется при использовании DataFrameWriter для записи кадра данных с помощью UDF. Это регрессия, вызванная изменениями, внесенными в AnalysisBarrier, так как не все правила анализатора идемпотентны.
  • [Spark-24809] Сериализация LongHashedRelation в исполнителе может привести к ошибке данных.

• 11 июля 2018 г.

  • Исправлена ошибка в выполнении запроса, которая привела бы к агрегированию десятичных столбцов с различной точностью для возврата неверных результатов в отдельных случаях.
  • Исправлена ошибка NullPointerException, возникающая во время сложных операций агрегирования, таких как группирование наборов.

• 28 июня 2018 г.

  • Исправлена ошибка, которая может привести к неверным результатам запроса, если имя столбца секционирования, используемого в предикате, отличается от имени столбца в схеме таблицы.

• 7 июня 2018 г.

  • Исправлена ошибка, влияющая на подсистему выполнения Spark SQL.
  • Исправлена ошибка, влияющая на создание кода.
  • Исправлена ошибка (java.lang.NoClassDefFoundError), влияющая на Delta Lake.
  • Улучшена обработка ошибок в Delta Lake.

• 17 мая 2018 г.

  • Исправлена ошибка, из-за которой для строковых столбцов длиной 32 символа и более собиралась некорректная статистика пропусков данных.

Databricks Runtime 4.0 (неподдерживаемый)

См. раздел Databricks Runtime 4.0 (неподдерживаемый).

• 6 ноября 2018 г.

  • [SPARK-25714] Исправление обработки нулей в правиле оптимизатора BooleanSimplification.

• 16 октября 2018 г.

  • Исправлена ошибка, влияющая на работу Union.

• 25 сентября 2018 г.

  • [SPARK-25368][SQL] Неверный вывод ограничения возвращает неверный результат.
  • [SPARK-25402][SQL] Обработка значений Null в BooleanSimplification.
  • Исправлена NotSerializableException в источнике данных Avro.

• 11 сентября 2018 г.

  • При уменьшении фильтра должно правильно обрабатываться значение null.

• 28 августа 2018 г.

  • Исправлена ошибка в команде Delta Lake Delete, которая неправильно удаляла строки, в которых условие имеет значение null.

• 23 августа 2018 г.

  • Исправлена проблема с картой, допускающей значение null, в модуле чтения Parquet.
  • Исправлено редактирование секретного менеджера при частично успешном завершении команды
  • Исправлено взаимодействие между Databricks Delta и Pyspark, которое могло вызвать временные сбои чтения.
  • [SPARK-25081] Исправлена ошибка, при которой ShuffleExternalSorter может получить доступ к свободной странице памяти, когда при сбросе не удается выделить память.
  • [SPARK-25114] Исправление RecordBinaryComparator, если результат вычитания между двумя словами делится на значение Integer.MAX_VALUE.

• 2 августа, 2018 г.

  • [SPARK-24452] Избежание возможного переполнения в int add или multiple.
  • [SPARK-24588] Для потокового подключения требуется HashClusteredPartitioning от дочерних элементов.
  • Исправлена проблема, которая могла привести команду mergeInto к получению неверных результатов.
  • [SPARK-24867][SQL] Добавление AnalysisBarrier к DataFrameWriter. Кэш SQL не используется при использовании DataFrameWriter для записи кадра данных с помощью UDF. Это регрессия, вызванная изменениями, внесенными в AnalysisBarrier, так как не все правила анализатора идемпотентны.
  • [Spark-24809] Сериализация LongHashedRelation в исполнителе может привести к ошибке данных.

• 28 июня 2018 г.

  • Исправлена ошибка, которая может привести к неверным результатам запроса, если имя столбца секционирования, используемого в предикате, отличается от имени столбца в схеме таблицы.

• 7 июня 2018 г.

  • Исправлена ошибка, влияющая на подсистему выполнения Spark SQL.
  • Улучшена обработка ошибок в Delta Lake.

• 17 мая 2018 г.

  • Исправление ошибок для управления секретами Databricks.
  • Повышена стабильность при чтении данных, хранящихся в Azure Data Lake Store.
  • Исправлена ошибка, влияющая на кэширование RDD.
  • Исправлена ошибка, затрагивающая значение, равное Null, в SQL Spark.

• 24 апреля 2018 г.

  • Обновлен пакет SDK Azure Data Lake Store с версии 2.0.11 до версии 2.2.8 для повышения стабильности доступа к Azure Data Lake Store.
  • Исправлена ошибка, влияющая на вставку перезаписи в секционированные таблицы Hive, если spark.databricks.io.hive.fastwriter.enabled имеет значение false.
  • Исправлена проблема, при которой сериализация задачи не удавалась.
  • Улучшена стабильность Delta Lake.

• 14 марта 2018 г.

  • Предотвращение ненужных обновлений метаданных при записи в Delta Lake.
  • Исправлена проблема, вызванная состоянием гонки, которое могло в редких обстоятельствах привести к утрате некоторых выходных файлов.

Databricks Runtime 3.5 LTS (неподдерживаемый)

См. раздел Databricks Runtime 3.5 LTS (неподдерживаемый).

• 7 ноября 2019 г.

  • [SPARK-29743][SQL] По образцу для needCopyResult должно быть установлено значение true, если needCopyResult его дочернего элемента имеет значение true

• 8 октября 2019 г.

  • Изменения на стороне сервера, позволяющие драйверу Simba Apache Spark ODBC повторно подключаться и продолжать работу после сбоя подключения во время получения результатов (требуется обновление драйвера Simba Apache Spark ODBC до версии 2.6.10).

• 10 сентября 2019 г.

  • [SPARK-28699][SQL] Отключение использования сортировки системы счисления для ShuffleExchangeExec в случае повторного секционирования

• 9 апреля 2019 г.

  • [SPARK-26665][CORE] Исправлена ошибка, которая могла вызывать постоянное зависание BlockTransferService.fetchBlockSync.

• 12 февраля 2019 г.

  • Исправлена проблема, из-за которой сетевой протокол Spark низкого уровня может быть нарушен при отправке больших сообщений об ошибках RPC с включенным шифрованием (когда для spark.network.crypto.enabled установлено значение true).

• 30 января 2019 г.

  • Исправлена проблема, которая может привести к df.rdd.count() с UDT, чтобы происходил возврат неверного ответа в некоторых случаях.

• 18 декабря 2018 г.

  • Игнорировать поврежденные файлы следует только после одной или нескольких повторных попыток, при включенном флаге spark.sql.files.ignoreCorruptFiles или spark.sql.files.ignoreMissingFiles.
  • Исправлена проблема, влияющая на некоторые запросы на самообъединение.

• 20 ноября 2018 г.

  • [SPARK-25816] Исправлены разрешения атрибута во вложенных средствах извлечения.

• 6 ноября 2018 г.

  • [SPARK-25714] Исправление обработки нулей в правиле оптимизатора BooleanSimplification.

• 16 октября 2018 г.

  • Исправлена ошибка, влияющая на работу Union.

• 25 сентября 2018 г.

  • [SPARK-25402][SQL] Обработка значений Null в BooleanSimplification.
  • Исправлена NotSerializableException в источнике данных Avro.

• 11 сентября 2018 г.

  • При уменьшении фильтра должно правильно обрабатываться значение null.

• 28 августа 2018 г.

  • Исправлена ошибка в команде Delta Lake Delete, которая неправильно удаляла строки, в которых условие имеет значение null.
  • [SPARK-25114] Исправление RecordBinaryComparator, если результат вычитания между двумя словами делится на значение Integer.MAX_VALUE.

• 23 августа 2018 г.

  • [Spark-24809] Сериализация LongHashedRelation в исполнителе может привести к ошибке данных.
  • Исправлена проблема с картой, допускающей значение null, в модуле чтения Parquet.
  • [SPARK-25081] Исправлена ошибка, при которой ShuffleExternalSorter может получить доступ к свободной странице памяти, когда при сбросе не удается выделить память.
  • Исправлено взаимодействие между Databricks Delta и Pyspark, которое могло вызвать временные сбои чтения.

• 28 июня 2018 г.

  • Исправлена ошибка, которая может привести к неверным результатам запроса, если имя столбца секционирования, используемого в предикате, отличается от имени столбца в схеме таблицы.

• 28 июня 2018 г.

  • Исправлена ошибка, которая может привести к неверным результатам запроса, если имя столбца секционирования, используемого в предикате, отличается от имени столбца в схеме таблицы.

• 7 июня 2018 г.

  • Исправлена ошибка, влияющая на подсистему выполнения Spark SQL.
  • Улучшена обработка ошибок в Delta Lake.

• 17 мая 2018 г.

  • Повышена стабильность при чтении данных, хранящихся в Azure Data Lake Store.
  • Исправлена ошибка, влияющая на кэширование RDD.
  • Исправлена ошибка, затрагивающая значение, равное Null, в SQL Spark.
  • Исправлена ошибка, влияющая на определенные процессы агрегирования в потоковых запросах.

• 24 апреля 2018 г.

  • Обновлен пакет SDK Azure Data Lake Store с версии 2.0.11 до версии 2.2.8 для повышения стабильности доступа к Azure Data Lake Store.
  • Исправлена ошибка, влияющая на вставку перезаписи в секционированные таблицы Hive, если spark.databricks.io.hive.fastwriter.enabled имеет значение false.
  • Исправлена проблема, при которой сериализация задачи не удавалась.

• 9 марта 2018 г.

  • Исправлена проблема, вызванная состоянием гонки, которое могло в редких обстоятельствах привести к утрате некоторых выходных файлов.

• 1 марта 2018 г.

  • Повышение эффективности обработки потоков, которые могут занять длительное время до остановки.
  • Исправлена проблема, влияющая на автозаполнение Python.
  • Применены обновления для системы безопасности Ubuntu.
  • Исправлена проблема, влияющая на определенные запросы с использованием Python UDF и оконных функций.
  • Исправлена проблема, влияющая на использование UDF в кластере с включенным контролем доступа к таблицам.

• 29 января 2018 г.

  • Исправлена проблема, влияющая на управление таблицами, находящимися в хранилище BLOB-объектов Azure.
  • Исправлена агрегация после dropDuplicates в пустом DataFrame.

Databricks Runtime 3.4 (неподдерживаемый)

См. раздел Databricks Runtime 3.4 (неподдерживаемый).

• 7 июня 2018 г.

  • Исправлена ошибка, влияющая на подсистему выполнения Spark SQL.
  • Улучшена обработка ошибок в Delta Lake.

• 17 мая 2018 г.

  • Повышена стабильность при чтении данных, хранящихся в Azure Data Lake Store.
  • Исправлена ошибка, влияющая на кэширование RDD.
  • Исправлена ошибка, затрагивающая значение, равное Null, в SQL Spark.

• 24 апреля 2018 г.

  • Исправлена ошибка, влияющая на вставку перезаписи в секционированные таблицы Hive, если spark.databricks.io.hive.fastwriter.enabled имеет значение false.

• 9 марта 2018 г.

  • Исправлена проблема, вызванная состоянием гонки, которое могло в редких обстоятельствах привести к утрате некоторых выходных файлов.

• 13 декабря 2017 г.

  • Исправлена проблема, затрагивающая UDF в Scala.
  • Исправлена проблема, влияющая на использование индекса пропуска данных в таблицах источников данных, хранящихся в путях, отличных от DBFS.

• 7 декабря 2017 г.

  • Улучшена стабильность перемешивания.

Неподдерживаемые выпуски Databricks Runtime

Чтобы ознакомиться с исходными заметками о выпуске, перейдите по ссылке под подзаголовком.