Обновления Databricks Runtime в рамках обслуживания

На этой странице перечислены обновления для обслуживания, выпущенные для Databricks Runtime выпусков. Чтобы добавить обновление обслуживания в существующий кластер, перезапустите кластер.

Примечание

Эта статья содержит ссылки на термин список разрешений— термин, который Azure Databricks больше не используется. Когда этот термин будет удален из программного обеспечения, мы удалим его из статьи.

Поддерживаемые выпуски Databricks Runtime

Обновления поддержки для поддерживаемых Databricks Runtime выпусков:

Для исходных заметок о выпуске перейдите по ссылке под подзаголовок.

Databricks Runtime 8,3

См. Databricks Runtime 8,3.

  • 15 июня 2021 г.
    • Исправляет NoSuchElementException ошибку в разностных операциях записи, которые могут произойти при записи больших объемов данных и при возникновении потерь исполнителя.

Databricks Runtime 8,2

См. Databricks Runtime 8,2.

  • 15 июня 2021 г.

    • Исправляет NoSuchElementException ошибку в разностных операциях записи, которые могут произойти при записи больших объемов данных и при возникновении потерь исполнителя.
  • 26 мая, 2021

    • Обновлен Python с исправлением безопасности для исправления уязвимости системы безопасности Python (CVE-2021-3177).
  • 30 апреля, 2021

    • Обновления системы безопасности операционной системы.
    • [Spark-35227][сборка] обновление сопоставителя для пакетов Spark-Packages в спарксубмит
    • [Spark-34245][Core] Убедитесь, что мастер удаляет исполнители, которые не удалось отправить состояние "завершено"
    • Устранена проблема нехватки памяти, когда автозагрузчик сообщает метрики хода выполнения структурированной потоковой передачи.

Databricks Runtime 8,1

См. Databricks Runtime 8,1.

  • 15 июня 2021 г.

    • Исправляет NoSuchElementException ошибку в разностных операциях записи, которые могут произойти при записи больших объемов данных и при возникновении потерь исполнителя.
  • 26 мая, 2021

    • Обновлен Python с исправлением безопасности для исправления уязвимости системы безопасности Python (CVE-2021-3177).
  • 30 апреля, 2021

    • Обновления системы безопасности операционной системы.
    • [Spark-35227][сборка] обновление сопоставителя для пакетов Spark-Packages в спарксубмит
    • Устранена проблема нехватки памяти, когда автозагрузчик сообщает метрики хода выполнения структурированной потоковой передачи.
  • 27 апреля, 2021

    • [Spark-34245][Core] Убедитесь, что мастер удаляет исполнители, которые не удалось отправить состояние "завершено"
    • [Spark-34856][SQL] режим ANSI: разрешить приведение сложных типов в качестве строкового типа
    • [Spark-35014] Исправьте шаблон Фисикалаггрегатион, чтобы не переписывать выражения свертываемые
    • [Spark-34769][SQL] анситипекоерЦион: возвращать самый узкий преобразуемый тип между типеколлектион
    • [Spark-34614][SQL] режим ANSI: приведение строки к логическому типу приведет к возникновению исключения при ошибке синтаксического анализа
    • [Spark-33794][SQL] режим ANSI: Fix NextDay выражение для создания иллегаларгументексцептион среды выполнения при получении недопустимых входных данных в

Databricks Runtime 8,0

См. Databricks Runtime 8,0.

  • 26 мая, 2021
    • Обновлен Python с исправлением безопасности для исправления уязвимости системы безопасности Python (CVE-2021-3177).
  • 30 апреля, 2021
    • Обновления системы безопасности операционной системы.
    • [Spark-35227][сборка] обновление сопоставителя для пакетов Spark-Packages в спарксубмит
    • [Spark-34245][Core] Убедитесь, что мастер удаляет исполнители, которые не удалось отправить состояние "завершено"
  • 24 марта 2021 г.
    • [Spark-34681][SQL] исправьте ошибку для полного внешнего случайного перестороннего хэш-подключения при построении левой части с условием неравенства
    • [Spark-34534] Исправление порядка Блоккидс при использовании Фетчшуффлеблоккс для получения блоков
    • [Spark-34613][SQL] исправление представления не собирает сведения о отключении настройки подсказки
  • 9 марта 2021 г.
    • [Spark-34543][SQL] уважение spark.sql.caseSensitive конфигурации при разрешении спецификации секции в v1 SET LOCATION
    • [Spark-34392][SQL] поддерживает зонеоффсет + ч в датетимеутилс. жетзонеид
    • ИНТЕРФЕЙСА Исправление ссылки href в визуализации Spark DAG
    • [Spark-34436][SQL] DPP поддерживается как любое выражение/все

Databricks Runtime 7,6

См. Databricks Runtime 7,6.

  • 26 мая, 2021
    • Обновлен Python с исправлением безопасности для исправления уязвимости системы безопасности Python (CVE-2021-3177).
  • 30 апреля, 2021
    • Обновления системы безопасности операционной системы.
    • [Spark-35227][сборка] обновление сопоставителя для пакетов Spark-Packages в спарксубмит
    • [Spark-34245][Core] Убедитесь, что мастер удаляет исполнители, которые не удалось отправить состояние "завершено"
  • 24 марта 2021 г.
    • [Spark-34768][SQL] соблюдайте размер входного буфера по умолчанию в унивоЦити
    • [Spark-34534] Исправление порядка Блоккидс при использовании Фетчшуффлеблоккс для получения блоков
  • 9 марта 2021 г.
    • (Только Azure) Исправлена ошибка автоматического загрузчика, которая может вызвать Нуллпоинтерексцептион при использовании Databricks Runtime 7,6 для запуска старого потока автоматического загрузчика, созданного в Databricks Runtime 7,2
    • ИНТЕРФЕЙСА Исправление ссылки href в визуализации Spark DAG
    • Неизвестный конечный узел Спаркплан неверно обрабатывается в Сизеинбитесонлистатсспаркпланвиситор
    • Восстановите выходную схему SHOW DATABASES
    • Изменений [8,0, 7,6] Исправлена ошибка вычислений в логике автоматической настройки размера файла
    • Отключить проверку устаревания для файлов разностных таблиц в разностном кэше
    • SQL Использовать правильный ключ сборки динамического очистки при наличии указания по соединению с диапазоном
    • Отключение поддержки типа char в пути кода, отличном от SQL
    • Избегайте НПЕ в Датафрамереадер. Schema
    • Исправить НПЕ, если в ответе Евентгридклиент нет сущности
    • Устранение ошибки закрытого потока чтения в автоматическом загрузчике Azure
    • SQL Не создавать Совет по номеру раздела "случайный" при включенном сервере AOS
  • 24 февраля 2021 г.
    • Обновлен соединитель Spark BigQuery до v, в котором рассматриваются различные исправления ошибок, а также поддержка итераторов стрелок и Avro.
    • Исправлена проблема с корректностью, из-за которой Spark возвращает неверные результаты, если точность и масштаб десятичной точности файла Parquet отличаются от схемы Spark.
    • Исправлена ошибка чтения Microsoft SQL Server таблицах, содержащих пространственные типы данных, путем добавления геометрических и географических типов JDBC поддерживаются для Spark SQL.
    • Появилась новая конфигурация spark.databricks.hive.metastore.init.reloadFunctions.enabled . Эта конфигурация управляет встроенной инициализацией Hive. Если задано значение true, Azure Databricks перезагружает все функции из всех баз данных, в которых есть пользователи FunctionRegistry . Это поведение по умолчанию в Hive хранилище метаданных. Если задано значение false, Azure Databricks отключает этот процесс для оптимизации.
    • [Spark-34212] Исправлены проблемы, связанные с чтением десятичных данных из файлов Parquet.
    • [Spark-34260][SQL] исправьте унресолведексцептион при создании временного представления дважды.

Databricks Runtime 7,5

См. раздел Databricks Runtime 7,5 (не поддерживается).

  • 26 мая, 2021
    • Обновлен Python с исправлением безопасности для исправления уязвимости системы безопасности Python (CVE-2021-3177).
  • 30 апреля, 2021
    • Обновления системы безопасности операционной системы.
    • [Spark-35227][сборка] обновление сопоставителя для пакетов Spark-Packages в спарксубмит
    • [Spark-34245][Core] Убедитесь, что мастер удаляет исполнители, которые не удалось отправить состояние "завершено"
  • 24 марта 2021 г.
    • [Spark-34768][SQL] соблюдайте размер входного буфера по умолчанию в унивоЦити
    • [Spark-34534] Исправление порядка Блоккидс при использовании Фетчшуффлеблоккс для получения блоков
  • 9 марта 2021 г.
    • (Только Azure) Исправлена ошибка автоматического загрузчика, которая может вызвать Нуллпоинтерексцептион при использовании Databricks Runtime 7,5 для запуска старого потока автоматического загрузчика, созданного в Databricks Runtime 7,2.
    • ИНТЕРФЕЙСА Исправление ссылки href в визуализации Spark DAG
    • Неизвестный конечный узел Спаркплан неверно обрабатывается в Сизеинбитесонлистатсспаркпланвиситор
    • Восстановите выходную схему SHOW DATABASES
    • Отключить проверку устаревания для файлов разностных таблиц в разностном кэше
    • SQL Использовать правильный ключ сборки динамического очистки при наличии указания по соединению с диапазоном
    • Отключение поддержки типа char в пути кода, отличном от SQL
    • Избегайте НПЕ в Датафрамереадер. Schema
    • Исправить НПЕ, если в ответе Евентгридклиент нет сущности
    • Устранение ошибки закрытого потока чтения в автоматическом загрузчике Azure
  • 24 февраля 2021 г.
    • Обновлен соединитель Spark BigQuery до v, в котором рассматриваются различные исправления ошибок, а также поддержка итераторов стрелок и Avro.
    • Исправлена проблема с корректностью, из-за которой Spark возвращает неверные результаты, если точность и масштаб десятичной точности файла Parquet отличаются от схемы Spark.
    • Исправлена ошибка чтения Microsoft SQL Server таблицах, содержащих пространственные типы данных, путем добавления геометрических и географических типов JDBC поддерживаются для Spark SQL.
    • Появилась новая конфигурация spark.databricks.hive.metastore.init.reloadFunctions.enabled . Эта конфигурация управляет встроенной инициализацией Hive. Если задано значение true, Azure Databricks перезагружает все функции из всех баз данных, в которых есть пользователи FunctionRegistry . Это поведение по умолчанию в Hive хранилище метаданных. Если задано значение false, Azure Databricks отключает этот процесс для оптимизации.
    • [Spark-34212] Исправлены проблемы, связанные с чтением десятичных данных из файлов Parquet.
    • [Spark-34260][SQL] исправьте унресолведексцептион при создании временного представления дважды.
  • Фев 4, 2021
    • Исправлена регрессия, которая предотвращает добавочное выполнение запроса, который задает глобальное ограничение, например SELECT * FROM table LIMIT nrows . Эта регрессия была вызвана тем, что пользователи, выполняющие запросы через ODBC/JDBC, поддерживают сериализацию с помощью стрелок.
    • Добавлены проверки времени записи для клиента Hive, чтобы предотвратить повреждение метаданных в хранилище метаданных Hive для разностных таблиц.
    • Исправлена регрессия, из-за которой DBFS предохранитель не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.
  • 20 января 2021 г.
    • Исправлена регрессия в выпуске обслуживания 12 января 2021, которая может вызвать неверный Аналисисексцептион и сказать, что столбец неоднозначен в самосоединении. Такая регрессия возникает, когда пользователь присоединяет таблицу данных с производной таблицей данных (так называемое самосоединение) со следующими условиями:
      • Эти две таблицы данных имеют общие столбцы, но выходные данные самосоединения не имеют общих столбцов. Например df.join(df.select($"col" as "new_col"), cond).
      • Производная рамка данных исключает некоторые столбцы с помощью SELECT, groupBy или окна.
      • Условие соединения или следующее преобразование после соединяемой рамки данных ссылаются на столбцы, не являющиеся общими. Например df.join(df.drop("a"), df("a") === 1).
  • 12 января 2021 г.
    • Обновите пакет SDK для службы хранилища Azure с 2.3.8 на 2.3.9.
    • [Spark-33593][SQL] в модуле чтения векторов получены неверные данные с двоичным значением секции
    • [Spark-33480][SQL] обновляет сообщение об ошибке проверки длины вставки таблицы char/varchar

Databricks Runtime 7,3 LTS

См. статью Databricks Runtime 7,3 LTS.

  • 15 июня 2021 г.

    • Исправляет NoSuchElementException ошибку в разностных операциях записи, которые могут произойти при записи больших объемов данных и при возникновении потерь исполнителя.
    • Обновлен Python с исправлением безопасности для исправления уязвимости системы безопасности Python (CVE-2021-3177).
  • 30 апреля, 2021

    • Обновления системы безопасности операционной системы.
    • [Spark-35227][сборка] обновление сопоставителя для пакетов Spark-Packages в спарксубмит
    • [Spark-34245][Core] Убедитесь, что мастер удаляет исполнители, которые не удалось отправить состояние "завершено"
    • [Spark-35045][SQL] добавьте внутренний параметр для управления входным буфером в унивоЦити
  • 24 марта 2021 г.

    • [Spark-34768][SQL] соблюдайте размер входного буфера по умолчанию в унивоЦити
    • [Spark-34534] Исправление порядка Блоккидс при использовании Фетчшуффлеблоккс для получения блоков
    • [Spark-33118][SQL] ошибка при создании временной таблицы с расположением
  • 9 марта 2021 г.

    • Обновленный драйвер файловой системы BLOB-объектов Azure для Azure Data Lake Storage 2-го поколения теперь включен по умолчанию. Он обеспечивает несколько улучшений стабильности.
    • Исправление разделителя пути в Windows для databricks-connect get-jar-dir
    • ИНТЕРФЕЙСА Исправление ссылки href в визуализации Spark DAG
    • [ДБКОННЕКТ] Добавлена поддержка Флатмапкограупсинпандас в модулях "подключения" Connect 7,3
    • Восстановите выходную схему SHOW DATABASES
    • SQL Использовать правильный ключ сборки динамического очистки при наличии указания по соединению с диапазоном
    • Отключить проверку устаревания для файлов разностных таблиц в разностном кэше
    • SQL Не создавать Совет по номеру раздела "случайный" при включении AOS
  • 24 февраля 2021 г.

    • Обновлен соединитель Spark BigQuery до v, в котором рассматриваются различные исправления ошибок, а также поддержка итераторов стрелок и Avro.
    • Исправлена проблема с корректностью, из-за которой Spark возвращает неверные результаты, если точность и масштаб десятичной точности файла Parquet отличаются от схемы Spark.
    • Исправлена ошибка чтения Microsoft SQL Server таблицах, содержащих пространственные типы данных, путем добавления геометрических и географических типов JDBC поддерживаются для Spark SQL.
    • Появилась новая конфигурация spark.databricks.hive.metastore.init.reloadFunctions.enabled . Эта конфигурация управляет встроенной инициализацией Hive. Если задано значение true, Azure Databricks перезагружает все функции из всех баз данных, в которых есть пользователи FunctionRegistry . Это поведение по умолчанию в Hive хранилище метаданных. Если задано значение false, Azure Databricks отключает этот процесс для оптимизации.
    • [Spark-34212] Исправлены проблемы, связанные с чтением десятичных данных из файлов Parquet.
    • [Spark-33579][UI] исправьте пустую страницу исполнителя за прокси-сервер.
    • [Spark-20044][UI] Поддержка пользовательского интерфейса Spark за интерфейсным обратным прокси-сервером с использованием префикса пути.
    • [Spark-33277][PYSPARK] [SQL] используйте контекставареитератор для прекращения использования после завершения задачи.
  • Фев 4, 2021

    • Исправлена регрессия, которая предотвращает добавочное выполнение запроса, который задает глобальное ограничение, например SELECT * FROM table LIMIT nrows . Эта регрессия была вызвана тем, что пользователи, выполняющие запросы через ODBC/JDBC, поддерживают сериализацию с помощью стрелок.
    • Исправлена регрессия, из-за которой DBFS предохранитель не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.
  • 20 января 2021 г.

    • Исправлена регрессия в выпуске обслуживания 12 января 2021, которая может вызвать неверный Аналисисексцептион и сказать, что столбец неоднозначен в самосоединении. Такая регрессия возникает, когда пользователь присоединяет таблицу данных с производной таблицей данных (так называемое самосоединение) со следующими условиями:
      • Эти две таблицы данных имеют общие столбцы, но выходные данные самосоединения не имеют общих столбцов. Например df.join(df.select($"col" as "new_col"), cond).
      • Производная рамка данных исключает некоторые столбцы с помощью SELECT, groupBy или окна.
      • Условие соединения или следующее преобразование после соединяемой рамки данных ссылаются на столбцы, не являющиеся общими. Например df.join(df.drop("a"), df("a") === 1).
  • 12 января 2021 г.

    • Обновления системы безопасности операционной системы.
    • [Spark-33593][SQL] в модуле чтения векторов получены неверные данные с двоичным значением секции
    • [Spark-33677][SQL] пропустить правило ликесимплификатион, если шаблон содержит какие-либо escapeChar
    • [Spark-33592][ml] [Python] Параметры средства проверки Pyspark ML в естиматорпараммапс могут быть потеряны после сохранения и перезагрузки
    • [Spark-33071][Spark-33536] [SQL] избегайте изменения DataSet_ID логикалплан в соединении (), чтобы не прерывать детектамбигуаусселфжоин
  • 8 декабря 2020 г.

    • [Spark-33587][Core] прервать работу исполнителя во вложенных неустранимых ошибках
    • [Spark-27421][SQL] исправление фильтра для столбца int и класса значений Java. lang. String при очистке столбца секционирования
    • [Spark-33316][SQL] поддерживает пользовательскую схему Avro, допускающую значение null, для схемы Catalyst, не допускающей значения NULL, в записи Avro
    • Задания Spark, запущенные с помощью модуля "соединение блоков событий", могут зависнуть в течение неопределенного времени с помощью Executor$TaskRunner.$anonfun$copySessionState трассировки стек
    • Обновления системы безопасности операционной системы.
  • 1 декабря 2020 г.

    • [Spark-33404][SQL] [3.0] исправление неверных результатов в date_trunc выражении
    • [Spark-33339][Python] Pyspark приложение зависает из-за ошибки, отличной от исключения
    • [Spark-33183][SQL] [Hotfix] исправление правила оптимизатора елиминатесортс и добавление физического правила для удаления избыточных сортировок
    • [Spark-33371][Python] [3.0] обновление Setup.py и тесты для Python 3,9
    • [Spark-33391][SQL] Element_at с функцию CreateArray не учитывает один индекс на основе.
    • [Spark-33306][SQL] TimeZone требуется при приведении даты к строке
    • [Spark-33260][SQL] исправьте неправильные результаты из сортексек, когда SortOrder является потоком
  • 5 ноября 2020 г.

    • Исправьте блокировку АБФС и WASB в отношении UserGroupInformation.getCurrentUser() .
    • Устранение ошибки бесконечного цикла, когда читатель Avro считывает МАГИЧЕСКые байты.
    • Добавьте поддержку для привилегий использования.
    • Улучшение производительности при проверке привилегий в управлении доступом к таблицам.
  • 13 октября, 2020

    • Обновления системы безопасности операционной системы.
    • Вы можете читать и записывать данные из DBFS с помощью подключения ПРЕДОХРАНИТЕЛя at/дбфс/, если используется кластер с поддержкой транзитных учетных данных с высоким уровнем параллелизма. Поддерживаются обычные подключения, но подключения, требующие транзитных учетных данных, пока не поддерживаются.
    • [Spark-32999][SQL] используйте utils. жетсимпленаме, чтобы избежать попадания неправильного имени класса в TreeNode
    • [Spark-32585][SQL] поддерживает перечисление Scala в скаларефлектион
    • Исправлены каталоги списка в подсоединении ПРЕДОХРАНИТЕЛей, содержащие имена файлов с недопустимыми XML-символами
    • ПРЕДОХРАНИТЕЛЬ Mount больше не использует Листмултипартуплоадс
  • 29 сентября, 2020

    • [Spark-32718][SQL] удалите ненужные ключевые слова для единиц интервала
    • [Spark-32635][SQL] исправление распространения свертываемые
    • Добавьте новый файл конфигурации spark.shuffle.io.decoder.consolidateThreshold . Задайте для параметра config значение, Long.MAX_VALUE чтобы пропустить консолидацию NETTY фрамебуфферс, что не позволяет java.lang.IndexOutOfBoundsException в угловых случаях.

Databricks Runtime 6,4

См. раздел Databricks Runtime 6,4 (не поддерживается).

  • 15 июня 2021 г.

    • [Spark-35576][SQL] исправить конфиденциальные данные в результате выполнения команды Set
  • 7 июня 2021 г.

    • Добавьте новый файл конфигурации с именем spark.sql.maven.additionalRemoteRepositories , разделенный запятыми строкой конфигурации дополнительного удаленного зеркала Maven. Значение по умолчанию — https://maven-central.storage-download.googleapis.com/maven2/ .
  • 30 апреля, 2021

    • Обновления системы безопасности операционной системы.
    • [Spark-35227][сборка] обновление сопоставителя для пакетов Spark-Packages в спарксубмит
  • 9 марта 2021 г.

    • Порт HADOOP-17215 — драйвер файловой системы больших двоичных объектов Azure (поддерживается условная перезапись).
    • Исправление разделителя пути в Windows для databricks-connect get-jar-dir
    • Добавлена поддержка хранилище метаданных Hive версий 2.3.5, 2.3.6 и 2.3.7
    • Стрелка "Тоталресултсколлектед" ошибочно выведена после сброса
  • 24 февраля 2021 г.

    • Появилась новая конфигурация spark.databricks.hive.metastore.init.reloadFunctions.enabled . Эта конфигурация управляет встроенной инициализацией Hive. Если задано значение true, Azure Databricks перезагружает все функции из всех баз данных, в которых есть пользователи FunctionRegistry . Это поведение по умолчанию в Hive хранилище метаданных. Если задано значение false, Azure Databricks отключает этот процесс для оптимизации.
  • Фев 4, 2021

    • Исправлена регрессия, которая предотвращает добавочное выполнение запроса, который задает глобальное ограничение, например SELECT * FROM table LIMIT nrows . Эта регрессия была вызвана тем, что пользователи, выполняющие запросы через ODBC/JDBC, поддерживают сериализацию с помощью стрелок.
    • Исправлена регрессия, из-за которой DBFS предохранитель не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.
  • 12 января 2021 г.

    • Обновления системы безопасности операционной системы.
  • 8 декабря 2020 г.

    • [Spark-27421][SQL] исправление фильтра для столбца int и класса значений Java. lang. String при очистке столбца секционирования
    • [Spark-33183][SQL] исправьте правило оптимизатора елиминатесортс и добавьте физическое правило для удаления избыточных сортировок
    • [GPU среды выполнения 6,4 ML] Ранее была установлена неправильная версия (2.7.8-1 + CUDA 11.1) НККЛ. В этом выпуске он исправляется в 2.4.8-1 + CUDA 10.0, совместимый с CUDA 10,0.
    • Обновления системы безопасности операционной системы.
  • 1 декабря 2020 г.

    • [Spark-33260][SQL] исправьте неправильные результаты из сортексек, когда SortOrder является потоком
    • [Spark-32635][SQL] исправление распространения свертываемые
  • 3 ноября 2020 г.

    • Версия Java обновлена с 1.8.0 _252 до 1.8.0 _265.
    • Исправление блокировки АБФС и WASB в отношении Усерграупинформатион. Жеткуррентусер ()
    • Устранение ошибки бесконечного цикла чтения Avro при чтении МАГИЧЕСКых байтов.
  • 13 октября, 2020

    • Обновления системы безопасности операционной системы.
    • [Spark-32999][SQL] [2.4] используйте utils. жетсимпленаме, чтобы избежать попадания неправильного имени класса в TreeNode
    • Исправлены каталоги списка в подсоединении ПРЕДОХРАНИТЕЛей, содержащие имена файлов с недопустимыми XML-символами
    • ПРЕДОХРАНИТЕЛЬ Mount больше не использует Листмултипартуплоадс
  • Сен 24, 2020

    • Исправлено предыдущее ограничение, при котором пересылка в стандартном кластере по-прежнему будет ограничивать использование пользователем реализации файловой системы. Теперь пользователи смогут получать доступ к локальным файловой системе без ограничений.
    • Обновления системы безопасности операционной системы.
  • Сен 8, 2020

    • Для Azure синапсе Analytics был создан новый параметр maxbinlength . Этот параметр используется для управления длиной столбца Бинаритипе столбцов и преобразуется в VARBINARY(maxbinlength) . Его можно задать с помощью параметра .option("maxbinlength", n) , где 0 < n <= 8000.
    • Обновление пакета SDK для службы хранилища Azure до 8.6.4 и включение проверки активности TCP для подключений, устанавливаемых драйвером WASB
  • 25 августа 2020 г.

    • Исправлена неоднозначное разрешение атрибута в самослиянии
  • 18 августа 2020 г.

    • [Spark-32431][SQL] Проверка дублирования вложенных столбцов при чтении из встроенных источников данных
    • Исправлено состояние гонки в соединителе АКС при использовании триггера. Once.
  • 11 августа 2020 г.

    • [Spark-28676][Core] Избегайте чрезмерного ведения журнала из контекстклеанер
  • 3 августа 2020 г.

    • Теперь можно использовать функцию преобразования LDA в кластере с транзитным включением.
    • Обновления системы безопасности операционной системы.
  • 7 июля 2020 г.

    • Версия Java обновлена с 1.8.0 _232 до 1.8.0 _252.
  • 21 апреля, 2020

    • [Spark-31312][SQL] экземпляр класса кэша для экземпляра UDF в хивефунктионвраппер
  • 7 апреля, 2020

    • Чтобы устранить проблему с Pandas UDF, которая не работает с PyArrow 0.15.0 и выше, мы добавили переменную среды ( ARROW_PRE_0_15_IPC_FORMAT=1 ), чтобы обеспечить поддержку этих версий PyArrow. См. инструкции в [Spark-29367].
  • 10 марта 2020 г.

    • Оптимизированное Автомасштабирование теперь используется по умолчанию для кластеров всех целей в плане Azure Databricks (цен. Категория "Премиум").
    • Соединитель снежинки ( spark-snowflake_2.11 ), включенный в Databricks Runtime, обновляется до версии 2.5.9. snowflake-jdbc обновляется до версии 3.12.0.

Databricks Runtime 5,5 LTS

См. статью Databricks Runtime 5,5 LTS.

  • 15 июня 2021 г.

    • [Spark-35576][SQL] исправить конфиденциальные данные в результате выполнения команды Set
  • 7 июня 2021 г.

    • Добавьте новый файл конфигурации с именем spark.sql.maven.additionalRemoteRepositories , разделенный запятыми строкой конфигурации дополнительного удаленного зеркала Maven. Значение по умолчанию — https://maven-central.storage-download.googleapis.com/maven2/ .
  • 30 апреля, 2021

    • Обновления системы безопасности операционной системы.
    • [Spark-35227][сборка] обновление сопоставителя для пакетов Spark-Packages в спарксубмит
  • 9 марта 2021 г.

    • Порт HADOOP-17215 — драйвер файловой системы больших двоичных объектов Azure (поддерживается условная перезапись).
  • 24 февраля 2021 г.

    • Появилась новая конфигурация spark.databricks.hive.metastore.init.reloadFunctions.enabled . Эта конфигурация управляет встроенной инициализацией Hive. Если задано значение true, Azure Databricks перезагружает все функции из всех баз данных, в которых есть пользователи FunctionRegistry . Это поведение по умолчанию в Hive хранилище метаданных. Если задано значение false, Azure Databricks отключает этот процесс для оптимизации.
  • 12 января 2021 г.

    • Обновления системы безопасности операционной системы.
    • Исправление для [Hadoop-17130].
  • 8 декабря 2020 г.

    • [Spark-27421][SQL] исправление фильтра для столбца int и класса значений Java. lang. String при очистке столбца секционирования
    • Обновления системы безопасности операционной системы.
  • 1 декабря 2020 г.

    • [Spark-33260][SQL] исправьте неправильные результаты из сортексек, когда SortOrder является потоком
    • [Spark-32635][SQL] исправление распространения свертываемые
  • 29 октября, 2020

    • Версия Java обновлена с 1.8.0 _252 до 1.8.0 _265.
    • Исправление блокировки АБФС и WASB в отношении Усерграупинформатион. Жеткуррентусер ()
    • Устранение ошибки бесконечного цикла чтения Avro при чтении МАГИЧЕСКых байтов.
  • 13 октября, 2020

    • Обновления системы безопасности операционной системы.
    • [Spark-32999][SQL] [2.4] используйте utils. жетсимпленаме, чтобы избежать попадания неправильного имени класса в TreeNode
  • Сен 24, 2020

    • Обновления системы безопасности операционной системы.
  • Сен 8, 2020

    • Для Azure синапсе Analytics был создан новый параметр maxbinlength . Этот параметр используется для управления длиной столбца Бинаритипе столбцов и преобразуется в VARBINARY(maxbinlength) . Его можно задать с помощью параметра .option("maxbinlength", n) , где 0 < n <= 8000.
  • 18 августа 2020 г.

    • [Spark-32431][SQL] Проверка дублирования вложенных столбцов при чтении из встроенных источников данных
    • Исправлено состояние гонки в соединителе АКС при использовании триггера. Once.
  • 11 августа 2020 г.

    • [Spark-28676][Core] Избегайте чрезмерного ведения журнала из контекстклеанер
  • 3 августа 2020 г.

    • Обновления системы безопасности операционной системы
  • 7 июля 2020 г.

    • Версия Java обновлена с 1.8.0 _232 до 1.8.0 _252.
  • 21 апреля, 2020

    • [Spark-31312][SQL] экземпляр класса кэша для экземпляра UDF в хивефунктионвраппер
  • 7 апреля, 2020

    • Чтобы устранить проблему с Pandas UDF, которая не работает с PyArrow 0.15.0 и выше, мы добавили переменную среды ( ARROW_PRE_0_15_IPC_FORMAT=1 ), чтобы обеспечить поддержку этих версий PyArrow. См. инструкции в [Spark-29367].
  • 25 марта 2020 г.

    • Соединитель снежинки ( spark-snowflake_2.11 ), включенный в Databricks Runtime, обновляется до версии 2.5.9. snowflake-jdbc обновляется до версии 3.12.0.
  • 10 марта 2020 г.

    • Для выходных данных задания, таких как выходные данные журнала, передаваемые в stdout, применяется ограничение размера 20 МБ. Если общий объем выходных данных превышает размер, выполнение будет отменено и пометить как неудачное. Чтобы избежать этого ограничения, можно запретить возвратить stdout из драйвера в, задав для spark.databricks.driver.disableScalaOutput конфигурации Spark значение true . По умолчанию флаг имеет значение false . Флаг контролирует выходные данные ячейки для заданий JAR Scala и записных книжек Scala. Если флаг включен, Spark не возвращает клиенту результаты выполнения задания. Флаг не влияет на данные, записываемые в файлы журналов кластера. Установка этого флага рекомендуется только для автоматических кластеров для заданий JAR, так как это приведет к отключению результатов записной книжки.
  • 18 февраля 2020 г.

    • [Spark-24783][SQL] Spark. SQL. в случайном порядке. секции = 0 должны вызывать исключение
    • Транзитная передача учетных данных с ADLS 2-го поколения имеет снижение производительности из-за неправильной локальной обработки потока, когда включена ADLSная выборка клиентов. Этот выпуск отключает ADLS 2-го поколения предварительную выборку при включенной транзитной учетной записи, пока не будет установлено правильное исправление.
  • 28 января 2020 г.

    • [Spark-30447][SQL] ошибка при распространении константы распространения.
  • 14 января 2020 г.

    • Версия Java обновлена с 1.8.0 _222 до 1.8.0 _232.
  • 19 ноября 2019 г.

    • [Spark-29743] [SQL] в примере необходимо задать для нидкопиресулт значение true, если нидкопиресулт его дочернего элемента имеет значение true
    • Версия R была непредвиденно обновлена до 3.6.1 от 3.6.0. Мы вернемся к 3.6.0.
  • 5 ноября 2019 г.

    • Версия Java обновлена с 1.8.0 _212 до 1.8.0 _222.
  • 23 октября 2019 г.

    • [Spark-29244][Core] Повторное отключение свободной страницы в битестобитесмап
  • 8 октября 2019 г.

    • Изменения на стороне сервера, позволяющие драйверу Simba Apache Spark ODBC повторно подключаться и продолжать работу после сбоя подключения во время выборки результатов (требуется Apache Spark Simba драйвер ODBC версии 2.6.10).
    • Исправлена проблема, влияющая на использование Optimize команды с кластерами с включенными таблицами ACL.
    • Исправлена проблема, pyspark.ml из-за которой не удалось выполнить сбои библиотек, так как в таблице ACL таблицы и кластерах с поддержкой транзитных учетных данных произошла ошибка Scala
    • Методы алловлистед SerDe и Сердеутил для транзитной учетной записи.
    • Исправлена Нуллпоинтерексцептион при проверке кода ошибки в клиенте WASB.
  • Сен 24, 2019

    • Улучшенная стабильность модуля записи Parquet.
    • Исправлена проблема, из Thrift запрос отменена до начала выполнения, может зависнуть в состоянии запуска.
  • 10 сентября, 2019

    • Добавить потокобезопасный итератор в Битестобитесмап
    • [Spark-27992][Spark-28881]разрешить соединение Python с потоком подключения для распространения ошибок
    • Исправлена ошибка, влияющая на определенные глобальные запросы на агрегирование.
    • Улучшенное исправление учетных данных.
    • [Spark-27330][СС] Поддержка прерывания задач в модуле записи foreach
    • [Spark-28642] Скрыть учетные данные в окне "Показать CREATE TABLE"
    • [Spark-28699][SQL] отключить использование сортировки системы счисления для шуффликсчанжеексек в случае повторного секционирования
  • 27 августа 2019 г.

    • [Spark-20906][SQL] разрешить заданную пользователем схему в API to_avro с помощью реестра схемы
    • [Spark-27838][SQL] поддерживает пользовательскую схему Avro, не допускающую значение null, для схемы Catalyst, допускающей значение null, без какой-либо нулевой записи
    • Улучшение в командировке с учетом времени Дельта Lake
    • Исправлена проблема, влияющая на определенное transform выражение
    • Поддерживает широковещательные переменные при включенной изоляции процессов
  • 13 августа 2019 г.

    • Источник разностной потоковой передачи должен проверять последний протокол таблицы
    • [Spark-28260] Добавить ЗАКРЫТое состояние в Ексекутионстате
    • [Spark-28489][СС] исправьте ошибку, которая может удалять смещения кафкаоффсетранжекалкулатор.
  • 30 июля 2019 г.

    • [Spark-28015][SQL] Check стрингтодате () потребляет все входные данные для форматов гггг и гггг-[m] m
    • [Spark-28308][Core] календаринтервал часть части должна быть дополнена перед синтаксическим анализом
    • [Spark-27485] Енсуререкуирементс. Переупорядочение должно правильно обработать дублирующиеся выражения
    • [Spark-28355][Core] [Python] используйте Spark conf для порога, при котором UDF сжимается с помощью вещания

Кирпичи "светло- 2,4"

См. раздел кирпичи 2,4.

  • 30 апреля, 2021

    • Обновления системы безопасности операционной системы.
    • [Spark-35227][сборка] обновление сопоставителя для пакетов Spark-Packages в спарксубмит
  • 12 января 2021 г.

    • Обновления системы безопасности операционной системы.
  • 8 декабря 2020 г.

    • [Spark-27421][SQL] исправление фильтра для столбца int и класса значений Java. lang. String при очистке столбца секционирования
    • Обновления системы безопасности операционной системы.
  • 1 декабря 2020 г.

  • [Spark-33260][SQL] исправьте неправильные результаты из сортексек, когда SortOrder является потоком

  • 3 ноября 2020 г.

    • Версия Java обновлена с 1.8.0 _252 до 1.8.0 _265.
    • Исправление блокировки АБФС и WASB в отношении Усерграупинформатион. Жеткуррентусер ()
  • 13 октября, 2020

    • Обновления системы безопасности операционной системы.

Неподдерживаемые выпуски Databricks Runtime

Обновления обслуживания для неподдерживаемых выпусков Databricks Runtime:

Для исходных заметок о выпуске перейдите по ссылке под подзаголовок.

Databricks Runtime 7,4 (не поддерживается)

См. раздел Databricks Runtime 7,4 (не поддерживается).

  • 30 апреля, 2021

    • Обновления системы безопасности операционной системы.
    • [Spark-35227][сборка] обновление сопоставителя для пакетов Spark-Packages в спарксубмит
    • [Spark-34245][Core] Убедитесь, что мастер удаляет исполнители, которые не удалось отправить состояние "завершено"
    • [Spark-35045][SQL] добавьте внутренний параметр для управления входным буфером в унивоЦити и конфигурацией для размера входного буфера CSV.
  • 24 марта 2021 г.

    • [Spark-34768][SQL] соблюдайте размер входного буфера по умолчанию в унивоЦити
    • [Spark-34534] Исправление порядка Блоккидс при использовании Фетчшуффлеблоккс для получения блоков
  • 9 марта 2021 г.

    • Обновленный драйвер файловой системы BLOB-объектов Azure для Azure Data Lake Storage 2-го поколения теперь включен по умолчанию. Он обеспечивает несколько улучшений стабильности.
    • [ES-67926] ИНТЕРФЕЙСА Исправление ссылки href в визуализации Spark DAG
    • [ES-65064] Восстановите выходную схему SHOW DATABASES
    • [SC-70522] SQL Использовать правильный ключ сборки динамического очистки при наличии указания по соединению с диапазоном
    • [SC-35081] Отключить проверку устаревания для файлов разностных таблиц в разностном кэше
    • [SC-70640] Исправить НПЕ, если в ответе Евентгридклиент нет сущности
    • [SC-70220] SQL Не создавать Совет по номеру раздела "случайный" при включенном сервере AOS
  • 24 февраля 2021 г.

    • Обновлен соединитель Spark BigQuery до v, в котором рассматриваются различные исправления ошибок, а также поддержка итераторов стрелок и Avro.
    • Исправлена проблема с корректностью, из-за которой Spark возвращает неверные результаты, если точность и масштаб десятичной точности файла Parquet отличаются от схемы Spark.
    • Исправлена ошибка чтения Microsoft SQL Server таблицах, содержащих пространственные типы данных, путем добавления геометрических и географических типов JDBC поддерживаются для Spark SQL.
    • Появилась новая конфигурация spark.databricks.hive.metastore.init.reloadFunctions.enabled . Эта конфигурация управляет встроенной инициализацией Hive. Если задано значение true, Azure Databricks перезагружает все функции из всех баз данных, в которых есть пользователи FunctionRegistry . Это поведение по умолчанию в Hive хранилище метаданных. Если задано значение false, Azure Databricks отключает этот процесс для оптимизации.
    • [Spark-34212] Исправлены проблемы, связанные с чтением десятичных данных из файлов Parquet.
    • [Spark-33579][UI] исправьте пустую страницу исполнителя за прокси-сервер.
    • [Spark-20044][UI] Поддержка пользовательского интерфейса Spark за интерфейсным обратным прокси-сервером с использованием префикса пути.
    • [Spark-33277][PYSPARK] [SQL] используйте контекставареитератор для прекращения использования после завершения задачи.
  • Фев 4, 2021

    • Исправлена регрессия, которая предотвращает добавочное выполнение запроса, который задает глобальное ограничение, например SELECT * FROM table LIMIT nrows . Эта регрессия была вызвана тем, что пользователи, выполняющие запросы через ODBC/JDBC, поддерживают сериализацию с помощью стрелок.
    • Исправлена регрессия, из-за которой DBFS предохранитель не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.
  • 20 января 2021 г.

    • Исправлена регрессия в выпуске обслуживания 12 января 2021, которая может вызвать неверный Аналисисексцептион и сказать, что столбец неоднозначен в самосоединении. Такая регрессия возникает, когда пользователь присоединяет таблицу данных с производной таблицей данных (так называемое самосоединение) со следующими условиями:
      • Эти две таблицы данных имеют общие столбцы, но выходные данные самосоединения не имеют общих столбцов. Например df.join(df.select($"col" as "new_col"), cond).
      • Производная рамка данных исключает некоторые столбцы с помощью SELECT, groupBy или окна.
      • Условие соединения или следующее преобразование после соединяемой рамки данных ссылаются на столбцы, не являющиеся общими. Например df.join(df.drop("a"), df("a") === 1).
  • 12 января 2021 г.

    • Обновления системы безопасности операционной системы.
    • [Spark-33593][SQL] в модуле чтения векторов получены неверные данные с двоичным значением секции
    • [Spark-33677][SQL] пропустить правило ликесимплификатион, если шаблон содержит какие-либо escapeChar
    • [Spark-33071][Spark-33536] [SQL] избегайте изменения DataSet_ID логикалплан в соединении (), чтобы не прерывать детектамбигуаусселфжоин
  • 8 декабря 2020 г.

    • [Spark-33587][Core] прервать работу исполнителя во вложенных неустранимых ошибках
    • [Spark-27421][SQL] исправление фильтра для столбца int и класса значений Java. lang. String при очистке столбца секционирования
    • [Spark-33316][SQL] поддерживает пользовательскую схему Avro, допускающую значение null, для схемы Catalyst, не допускающей значения NULL, в записи Avro
    • Обновления системы безопасности операционной системы.
  • 1 декабря 2020 г.

    • [Spark-33404][SQL] [3.0] исправление неверных результатов в date_trunc выражении
    • [Spark-33339][Python] Pyspark приложение зависает из-за ошибки, отличной от исключения
    • [Spark-33183][SQL] [Hotfix] исправление правила оптимизатора елиминатесортс и добавление физического правила для удаления избыточных сортировок
    • [Spark-33371][Python] [3.0] обновление Setup.py и тесты для Python 3,9
    • [Spark-33391][SQL] Element_at с функцию CreateArray не учитывает один индекс на основе.
    • [Spark-33306][SQL] TimeZone требуется при приведении даты к строке
    • [Spark-33260][SQL] исправьте неправильные результаты из сортексек, когда SortOrder является потоком
    • [Spark-33272][SQL] Удаление сопоставления атрибутов в Куериплан. трансформупвисневаутпут

Databricks Runtime 7,2 (не поддерживается)

См. раздел Databricks Runtime 7,2 (не поддерживается).

  • Фев 4, 2021

    • Исправлена регрессия, которая предотвращает добавочное выполнение запроса, который задает глобальное ограничение, например SELECT * FROM table LIMIT nrows . Эта регрессия была вызвана тем, что пользователи, выполняющие запросы через ODBC/JDBC, поддерживают сериализацию с помощью стрелок.
    • Исправлена регрессия, из-за которой DBFS предохранитель не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.
  • 20 января 2021 г.

    • Исправлена регрессия в выпуске обслуживания 12 января 2021, которая может вызвать неверный Аналисисексцептион и сказать, что столбец неоднозначен в самосоединении. Такая регрессия возникает, когда пользователь присоединяет таблицу данных с производной таблицей данных (так называемое самосоединение) со следующими условиями:
      • Эти две таблицы данных имеют общие столбцы, но выходные данные самосоединения не имеют общих столбцов. Например df.join(df.select($"col" as "new_col"), cond).
      • Производная рамка данных исключает некоторые столбцы с помощью SELECT, groupBy или окна.
      • Условие соединения или следующее преобразование после соединяемой рамки данных ссылаются на столбцы, не являющиеся общими. Например df.join(df.drop("a"), df("a") === 1).
  • 12 января 2021 г.

    • Обновления системы безопасности операционной системы.
    • [Spark-33593][SQL] в модуле чтения векторов получены неверные данные с двоичным значением секции
    • [Spark-33677][SQL] пропустить правило ликесимплификатион, если шаблон содержит какие-либо escapeChar
    • [Spark-33071][Spark-33536] [SQL] избегайте изменения DataSet_ID логикалплан в соединении (), чтобы не прерывать детектамбигуаусселфжоин
  • 8 декабря 2020 г.

    • [Spark-27421][SQL] исправление фильтра для столбца int и класса значений Java. lang. String при очистке столбца секционирования
    • [Spark-33404][SQL] исправление неверных результатов в date_trunc выражении
    • [Spark-33339][Python] Pyspark приложение зависает из-за ошибки, отличной от исключения
    • [Spark-33183][SQL] исправьте правило оптимизатора елиминатесортс и добавьте физическое правило для удаления избыточных сортировок
    • [Spark-33391][SQL] Element_at с функцию CreateArray не учитывает один индекс на основе.
    • Обновления системы безопасности операционной системы.
  • 1 декабря 2020 г.

    • [Spark-33306][SQL] TimeZone требуется при приведении даты к строке
    • [Spark-33260][SQL] исправьте неправильные результаты из сортексек, когда SortOrder является потоком
  • 3 ноября 2020 г.

    • Версия Java обновлена с 1.8.0 _252 до 1.8.0 _265.
    • Исправление блокировки АБФС и WASB в отношении Усерграупинформатион. Жеткуррентусер ()
    • Устранение ошибки бесконечного цикла чтения Avro при чтении МАГИЧЕСКых байтов.
  • 13 октября, 2020

    • Обновления системы безопасности операционной системы.
    • [Spark-32999][SQL] используйте utils. жетсимпленаме, чтобы избежать попадания неправильного имени класса в TreeNode
    • Исправлены каталоги списка в подсоединении ПРЕДОХРАНИТЕЛей, содержащие имена файлов с недопустимыми XML-символами
    • ПРЕДОХРАНИТЕЛЬ Mount больше не использует Листмултипартуплоадс
  • 29 сентября, 2020

    • [Spark-28863][SQL] [Вармфикс] представляем алреадйоптимизед для предотвращения повторного анализа V1FallbackWriters
    • [Spark-32635][SQL] исправление распространения свертываемые
    • Добавьте новый файл конфигурации spark.shuffle.io.decoder.consolidateThreshold . Задайте для параметра config значение, Long.MAX_VALUE чтобы пропустить консолидацию NETTY фрамебуфферс, что не позволяет java.lang.IndexOutOfBoundsException в угловых случаях.
  • Сен 24, 2020

    • [Spark-32764][SQL]-0,0 должен быть равен 0,0
    • [Spark-32753][SQL] копировать только теги в узел без тегов при преобразовании планов
    • [Spark-32659][SQL] исправьте ошибку данных вставленного динамического удаления секций для типа, не являющегося атомарным.
    • Обновления системы безопасности операционной системы.
  • Сен 8, 2020

    • Для Azure синапсе Analytics был создан новый параметр maxbinlength . Этот параметр используется для управления длиной столбца Бинаритипе столбцов и преобразуется в VARBINARY(maxbinlength) . Его можно задать с помощью параметра .option("maxbinlength", n) , где 0 < n <= 8000.

Databricks Runtime 7,1 (не поддерживается)

См. раздел Databricks Runtime 7,1 (не поддерживается).

  • Фев 4, 2021

    • Исправлена регрессия, из-за которой DBFS предохранитель не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.
  • 20 января 2021 г.

    • Исправлена регрессия в выпуске обслуживания 12 января 2021, которая может вызвать неверный Аналисисексцептион и сказать, что столбец неоднозначен в самосоединении. Такая регрессия возникает, когда пользователь присоединяет таблицу данных с производной таблицей данных (так называемое самосоединение) со следующими условиями:
      • Эти две таблицы данных имеют общие столбцы, но выходные данные самосоединения не имеют общих столбцов. Например df.join(df.select($"col" as "new_col"), cond).
      • Производная рамка данных исключает некоторые столбцы с помощью SELECT, groupBy или окна.
      • Условие соединения или следующее преобразование после соединяемой рамки данных ссылаются на столбцы, не являющиеся общими. Например df.join(df.drop("a"), df("a") === 1).
  • 12 января 2021 г.

    • Обновления системы безопасности операционной системы.
    • [Spark-33593][SQL] в модуле чтения векторов получены неверные данные с двоичным значением секции
    • [Spark-33677][SQL] пропустить правило ликесимплификатион, если шаблон содержит какие-либо escapeChar
    • [Spark-33071][Spark-33536] [SQL] избегайте изменения DataSet_ID логикалплан в соединении (), чтобы не прерывать детектамбигуаусселфжоин
  • 8 декабря 2020 г.

    • [Spark-27421][SQL] исправление фильтра для столбца int и класса значений Java. lang. String при очистке столбца секционирования
    • Задания Spark, запущенные с помощью модуля "соединение блоков событий", могут зависнуть в течение неопределенного времени с помощью Executor$TaskRunner.$anonfun$copySessionState трассировки стек
    • Обновления системы безопасности операционной системы.
  • 1 декабря 2020 г.

    • [Spark-33404][SQL] [3.0] исправление неверных результатов в date_trunc выражении
    • [Spark-33339][Python] Pyspark приложение зависает из-за ошибки, отличной от исключения
    • [Spark-33183][SQL] [Hotfix] исправление правила оптимизатора елиминатесортс и добавление физического правила для удаления избыточных сортировок
    • [Spark-33371][Python] [3.0] обновление Setup.py и тесты для Python 3,9
    • [Spark-33391][SQL] Element_at с функцию CreateArray не учитывает один индекс на основе.
    • [Spark-33306][SQL] TimeZone требуется при приведении даты к строке
  • 3 ноября 2020 г.

    • Версия Java обновлена с 1.8.0 _252 до 1.8.0 _265.
    • Исправление блокировки АБФС и WASB в отношении Усерграупинформатион. Жеткуррентусер ()
    • Устранение ошибки бесконечного цикла чтения Avro при чтении МАГИЧЕСКых байтов.
  • 13 октября, 2020

    • Обновления системы безопасности операционной системы.
    • [Spark-32999][SQL] используйте utils. жетсимпленаме, чтобы избежать попадания неправильного имени класса в TreeNode
    • Исправлены каталоги списка в подсоединении ПРЕДОХРАНИТЕЛей, содержащие имена файлов с недопустимыми XML-символами
    • ПРЕДОХРАНИТЕЛЬ Mount больше не использует Листмултипартуплоадс
  • 29 сентября, 2020

    • [Spark-28863][SQL] [Вармфикс] представляем алреадйоптимизед для предотвращения повторного анализа V1FallbackWriters
    • [Spark-32635][SQL] исправление распространения свертываемые
    • Добавьте новый файл конфигурации spark.shuffle.io.decoder.consolidateThreshold . Задайте для параметра config значение, Long.MAX_VALUE чтобы пропустить консолидацию NETTY фрамебуфферс, что не позволяет java.lang.IndexOutOfBoundsException в угловых случаях.
  • Сен 24, 2020

    • [Spark-32764][SQL]-0,0 должен быть равен 0,0
    • [Spark-32753][SQL] копировать только теги в узел без тегов при преобразовании планов
    • [Spark-32659][SQL] исправьте ошибку данных вставленного динамического удаления секций для типа, не являющегося атомарным.
    • Обновления системы безопасности операционной системы.
  • Сен 8, 2020

    • Для Azure синапсе Analytics был создан новый параметр maxbinlength . Этот параметр используется для управления длиной столбца Бинаритипе столбцов и преобразуется в VARBINARY(maxbinlength) . Его можно задать с помощью параметра .option("maxbinlength", n) , где 0 < n <= 8000.
  • 25 августа 2020 г.

    • [Spark-32159][SQL] исправление интеграции между Aggregator[Array[_], _, _] и UnresolvedMapObjects
    • [Spark-32559][SQL] исправьте логику обрезки в UTF8String.toInt/toLong , которая неправильно обрабатывает символы, не входящие в набор ASCII
    • [Spark-32543][R] удаление arrow::as_tibble сведений об использовании в Spark
    • [Spark-32091][Core] пропуск ошибки времени ожидания при удалении блоков в потерянном исполнителе
    • Исправлена проблема, влияющая на соединитель Azure синапсе с учетными данными MSI.
    • Исправлена неоднозначное разрешение атрибута в самослиянии
  • 18 августа 2020 г.

    • [Spark-32594][SQL] исправьте сериализацию дат, вставленных в таблицы Hive
    • [Spark-32237][SQL] подсказка Resolve в CTE
    • [Spark-32431][SQL] Проверка дублирования вложенных столбцов при чтении из встроенных источников данных
    • [Spark-32467][UI] Избегайте кодирования URL-адреса дважды при перенаправлении HTTPS
    • Исправлено состояние гонки в соединителе АКС при использовании триггера. Once.
  • 11 августа 2020 г.

    • [Spark-32280][Spark-32372][SQL] ресолвереференцес. дедупригхт должен перезаписывать атрибуты только для узлов-предков плана конфликтов
    • [Spark-32234][SQL] сбой команд SQL Spark при выборе таблиц ORC
  • 3 августа 2020 г.

    • Теперь можно использовать функцию преобразования LDA в кластере с транзитным включением.

Databricks Runtime 7,0 (не поддерживается)

См. раздел Databricks Runtime 7,0 (не поддерживается).

  • Фев 4, 2021

    • Исправлена регрессия, из-за которой DBFS предохранитель не запускается, если конфигурации переменных среды кластера содержат недопустимый синтаксис bash.
  • 20 января 2021 г.

    • Исправлена регрессия в выпуске обслуживания 12 января 2021, которая может вызвать неверный Аналисисексцептион и сказать, что столбец неоднозначен в самосоединении. Такая регрессия возникает, когда пользователь присоединяет таблицу данных с производной таблицей данных (так называемое самосоединение) со следующими условиями:
      • Эти две таблицы данных имеют общие столбцы, но выходные данные самосоединения не имеют общих столбцов. Например df.join(df.select($"col" as "new_col"), cond).
      • Производная рамка данных исключает некоторые столбцы с помощью SELECT, groupBy или окна.
      • Условие соединения или следующее преобразование после соединяемой рамки данных ссылаются на столбцы, не являющиеся общими. Например df.join(df.drop("a"), df("a") === 1).
  • 12 января 2021 г.

    • Обновления системы безопасности операционной системы.
    • [Spark-33593][SQL] в модуле чтения векторов получены неверные данные с двоичным значением секции
    • [Spark-33677][SQL] пропустить правило ликесимплификатион, если шаблон содержит какие-либо escapeChar
    • [Spark-33071][Spark-33536] [SQL] избегайте изменения DataSet_ID логикалплан в соединении (), чтобы не прерывать детектамбигуаусселфжоин
  • 8 декабря 2020 г.

    • [Spark-27421][SQL] исправление фильтра для столбца int и класса значений Java. lang. String при очистке столбца секционирования
    • [Spark-33404][SQL] исправление неверных результатов в date_trunc выражении
    • [Spark-33339][Python] Pyspark приложение зависает из-за ошибки, отличной от исключения
    • [Spark-33183][SQL] исправьте правило оптимизатора елиминатесортс и добавьте физическое правило для удаления избыточных сортировок
    • [Spark-33391][SQL] Element_at с функцию CreateArray не учитывает один индекс на основе.
    • Обновления системы безопасности операционной системы.
  • 1 декабря 2020 г.

    • [Spark-33306][SQL] TimeZone требуется при приведении даты к строке
  • 3 ноября 2020 г.

    • Версия Java обновлена с 1.8.0 _252 до 1.8.0 _265.
    • Исправление блокировки АБФС и WASB в отношении Усерграупинформатион. Жеткуррентусер ()
    • Устранение ошибки бесконечного цикла чтения Avro при чтении МАГИЧЕСКых байтов.
  • 13 октября, 2020

    • Обновления системы безопасности операционной системы.
    • [Spark-32999][SQL] используйте utils. жетсимпленаме, чтобы избежать попадания неправильного имени класса в TreeNode
    • Исправлены каталоги списка в подсоединении ПРЕДОХРАНИТЕЛей, содержащие имена файлов с недопустимыми XML-символами
    • ПРЕДОХРАНИТЕЛЬ Mount больше не использует Листмултипартуплоадс
  • 29 сентября, 2020

    • [Spark-28863][SQL] [Вармфикс] представляем алреадйоптимизед для предотвращения повторного анализа V1FallbackWriters
    • [Spark-32635][SQL] исправление распространения свертываемые
    • Добавьте новый файл конфигурации spark.shuffle.io.decoder.consolidateThreshold . Задайте для параметра config значение, Long.MAX_VALUE чтобы пропустить консолидацию NETTY фрамебуфферс, что не позволяет java.lang.IndexOutOfBoundsException в угловых случаях.
  • Сен 24, 2020

    • [Spark-32764][SQL]-0,0 должен быть равен 0,0
    • [Spark-32753][SQL] копировать только теги в узел без тегов при преобразовании планов
    • [Spark-32659][SQL] исправьте ошибку данных вставленного динамического удаления секций для типа, не являющегося атомарным.
    • Обновления системы безопасности операционной системы.
  • Сен 8, 2020

    • Для Azure синапсе Analytics был создан новый параметр maxbinlength . Этот параметр используется для управления длиной столбца Бинаритипе столбцов и преобразуется в VARBINARY(maxbinlength) . Его можно задать с помощью параметра .option("maxbinlength", n) , где 0 < n <= 8000.
  • 25 августа 2020 г.

    • [Spark-32159][SQL] исправление интеграции между Aggregator[Array[_], _, _] и UnresolvedMapObjects
    • [Spark-32559][SQL] исправьте логику обрезки в UTF8String.toInt/toLong , которая неправильно обрабатывает символы, не входящие в набор ASCII
    • [Spark-32543][R] удаление arrow::as_tibble сведений об использовании в Spark
    • [Spark-32091][Core] пропуск ошибки времени ожидания при удалении блоков в потерянном исполнителе
    • Исправлена проблема, влияющая на соединитель Azure синапсе с учетными данными MSI.
    • Исправлена неоднозначное разрешение атрибута в самослиянии
  • 18 августа 2020 г.

    • [Spark-32594][SQL] исправьте сериализацию дат, вставленных в таблицы Hive
    • [Spark-32237][SQL] подсказка Resolve в CTE
    • [Spark-32431][SQL] Проверка дублирования вложенных столбцов при чтении из встроенных источников данных
    • [Spark-32467][UI] Избегайте кодирования URL-адреса дважды при перенаправлении HTTPS
    • Исправлено состояние гонки в соединителе АКС при использовании триггера. Once.
  • 11 августа 2020 г.

    • [Spark-32280][Spark-32372][SQL] ресолвереференцес. дедупригхт должен перезаписывать атрибуты только для узлов-предков плана конфликтов
    • [Spark-32234][SQL] сбой команд SQL Spark при выборе таблиц ORC
    • Теперь можно использовать функцию преобразования LDA в кластере с транзитным включением.

Databricks Runtime 6,6 (не поддерживается)

См. раздел Databricks Runtime 6,6 (не поддерживается).

  • 1 декабря 2020 г.

    • [Spark-33260][SQL] исправьте неправильные результаты из сортексек, когда SortOrder является потоком
    • [Spark-32635][SQL] исправление распространения свертываемые
  • 3 ноября 2020 г.

    • Версия Java обновлена с 1.8.0 _252 до 1.8.0 _265.
    • Исправление блокировки АБФС и WASB в отношении Усерграупинформатион. Жеткуррентусер ()
    • Устранение ошибки бесконечного цикла чтения Avro при чтении МАГИЧЕСКых байтов.
  • 13 октября, 2020

    • Обновления системы безопасности операционной системы.
    • [Spark-32999][SQL] [2.4] используйте utils. жетсимпленаме, чтобы избежать попадания неправильного имени класса в TreeNode
    • Исправлены каталоги списка в подсоединении ПРЕДОХРАНИТЕЛей, содержащие имена файлов с недопустимыми XML-символами
    • ПРЕДОХРАНИТЕЛЬ Mount больше не использует Листмултипартуплоадс
  • Сен 24, 2020

    • Обновления системы безопасности операционной системы.
  • Сен 8, 2020

    • Для Azure синапсе Analytics был создан новый параметр maxbinlength . Этот параметр используется для управления длиной столбца Бинаритипе столбцов и преобразуется в VARBINARY(maxbinlength) . Его можно задать с помощью параметра .option("maxbinlength", n) , где 0 < n <= 8000.
    • Обновление пакета SDK для службы хранилища Azure до 8.6.4 и включение проверки активности TCP для подключений, устанавливаемых драйвером WASB
  • 25 августа 2020 г.

    • Исправлена неоднозначное разрешение атрибута в самослиянии
  • 18 августа 2020 г.

    • [Spark-32431][SQL] Проверка дублирования вложенных столбцов при чтении из встроенных источников данных
    • Исправлено состояние гонки в соединителе АКС при использовании триггера. Once.
  • 11 августа 2020 г.

    • [Spark-28676][Core] Избегайте чрезмерного ведения журнала из контекстклеанер
    • [Spark-31967][UI] переход к предыдущей версии vis.js 4.21.0 для исправления времени загрузки пользовательского интерфейса задания
  • 3 августа 2020 г.

    • Теперь можно использовать функцию преобразования LDA в кластере с транзитным включением.
    • Обновления системы безопасности операционной системы.

Databricks Runtime 6,5 (не поддерживается)

См. раздел Databricks Runtime 6,5 (не поддерживается).

  • Сен 24, 2020
    • Исправлено предыдущее ограничение, при котором пересылка в стандартном кластере по-прежнему будет ограничивать использование пользователем реализации файловой системы. Теперь пользователи смогут получать доступ к локальным файловой системе без ограничений.
    • Обновления системы безопасности операционной системы.
  • Сен 8, 2020
    • Для Azure синапсе Analytics был создан новый параметр maxbinlength . Этот параметр используется для управления длиной столбца Бинаритипе столбцов и преобразуется в VARBINARY(maxbinlength) . Его можно задать с помощью параметра .option("maxbinlength", n) , где 0 < n <= 8000.
    • Обновление пакета SDK для службы хранилища Azure до 8.6.4 и включение проверки активности TCP для подключений, устанавливаемых драйвером WASB
  • 25 августа 2020 г.
    • Исправлена неоднозначное разрешение атрибута в самослиянии
  • 18 августа 2020 г.
    • [Spark-32431][SQL] Проверка дублирования вложенных столбцов при чтении из встроенных источников данных
    • Исправлено состояние гонки в соединителе АКС при использовании триггера. Once.
  • 11 августа 2020 г.
    • [Spark-28676][Core] Избегайте чрезмерного ведения журнала из контекстклеанер
  • 3 августа 2020 г.
    • Теперь можно использовать функцию преобразования LDA в кластере с транзитным включением.
    • Обновления системы безопасности операционной системы.
  • 7 июля 2020 г.
    • Версия Java обновлена с 1.8.0 _242 до 1.8.0 _252.
  • 21 апреля, 2020
    • [Spark-31312][SQL] экземпляр класса кэша для экземпляра UDF в хивефунктионвраппер

Databricks Runtime 6,3 (не поддерживается)

См. раздел Databricks Runtime 6,3 (не поддерживается).

  • 7 июля 2020 г.
    • Версия Java обновлена с 1.8.0 _232 до 1.8.0 _252.
  • 21 апреля, 2020
    • [Spark-31312][SQL] экземпляр класса кэша для экземпляра UDF в хивефунктионвраппер
  • 7 апреля, 2020
    • Чтобы устранить проблему с Pandas UDF, которая не работает с PyArrow 0.15.0 и выше, мы добавили переменную среды ( ARROW_PRE_0_15_IPC_FORMAT=1 ), чтобы обеспечить поддержку этих версий PyArrow. См. инструкции в [Spark-29367].
  • 10 марта 2020 г.
    • Соединитель снежинки ( spark-snowflake_2.11 ), включенный в Databricks Runtime, обновляется до версии 2.5.9. snowflake-jdbc обновляется до версии 3.12.0.
  • 18 февраля 2020 г.
    • Транзитная передача учетных данных с ADLS 2-го поколения имеет снижение производительности из-за неправильной локальной обработки потока, когда включена ADLSная выборка клиентов. Этот выпуск отключает ADLS 2-го поколения предварительную выборку при включенной транзитной учетной записи, пока не будет установлено правильное исправление.
  • 11 февраля 2020 г.
    • [Spark-24783][SQL] Spark. SQL. в случайном порядке. секции = 0 должны вызывать исключение
    • [Spark-30447][SQL] ошибка при распространении константы распространения
    • [Spark-28152][SQL] добавить устаревший объект conf для старого мссклсервердиалект числового сопоставления
    • Алловлистед функцию перезаписи, чтобы Млмоделс расширяет Млвритер, может вызвать функцию.

Databricks Runtime 6,2 (не поддерживается)

См. раздел Databricks Runtime 6,2 (не поддерживается).

  • 21 апреля, 2020
    • [Spark-31312][SQL] экземпляр класса кэша для экземпляра UDF в хивефунктионвраппер
  • 7 апреля, 2020
    • Чтобы устранить проблему с Pandas UDF, которая не работает с PyArrow 0.15.0 и выше, мы добавили переменную среды ( ARROW_PRE_0_15_IPC_FORMAT=1 ), чтобы обеспечить поддержку этих версий PyArrow. См. инструкции в [Spark-29367].
  • 25 марта 2020 г.
    • Для выходных данных задания, таких как выходные данные журнала, передаваемые в stdout, применяется ограничение размера 20 МБ. Если общий объем выходных данных превышает размер, выполнение будет отменено и пометить как неудачное. Чтобы избежать этого ограничения, можно запретить возвратить stdout из драйвера в, задав для spark.databricks.driver.disableScalaOutput конфигурации Spark значение true . По умолчанию флаг имеет значение false . Флаг контролирует выходные данные ячейки для заданий JAR Scala и записных книжек Scala. Если флаг включен, Spark не возвращает клиенту результаты выполнения задания. Флаг не влияет на данные, записываемые в файлы журналов кластера. Установка этого флага рекомендуется только для автоматических кластеров для заданий JAR, так как это приведет к отключению результатов записной книжки.
  • 10 марта 2020 г.
    • Соединитель снежинки ( spark-snowflake_2.11 ), включенный в Databricks Runtime, обновляется до версии 2.5.9. snowflake-jdbc обновляется до версии 3.12.0.
  • 18 февраля 2020 г.
    • [Spark-24783][SQL] Spark. SQL. в случайном порядке. секции = 0 должны вызывать исключение
    • Транзитная передача учетных данных с ADLS 2-го поколения имеет снижение производительности из-за неправильной локальной обработки потока, когда включена ADLSная выборка клиентов. Этот выпуск отключает ADLS 2-го поколения предварительную выборку при включенной транзитной учетной записи, пока не будет установлено правильное исправление.
  • 28 января 2020 г.
    • Функция алловлистед для записи модели ML поддерживает функцию перезаписи для кластеров, включенных для транзитных учетных данных. Таким образом, сохранение модели может использовать режим перезаписи для кластеров транзитного набора данных.
    • [Spark-30447][SQL] ошибка при распространении константы распространения.
    • [Spark-28152][SQL] добавьте устаревший объект conf для старого мссклсервердиалект числового сопоставления.
  • 14 января 2020 г.
    • Версия Java обновлена с 1.8.0 _222 до 1.8.0 _232.
  • 10 декабря 2019 г.
    • [Spark-29904][SQL] Проанализируйте метки времени с точностью в миллисекундах по источникам данных JSON/CSV.

Databricks Runtime 6,1 (не поддерживается)

См. раздел Databricks Runtime 6,1 (не поддерживается).

  • 7 апреля, 2020
    • Чтобы устранить проблему с Pandas UDF, которая не работает с PyArrow 0.15.0 и выше, мы добавили переменную среды ( ARROW_PRE_0_15_IPC_FORMAT=1 ), чтобы обеспечить поддержку этих версий PyArrow. См. инструкции в [Spark-29367].
  • 25 марта 2020 г.
    • Для выходных данных задания, таких как выходные данные журнала, передаваемые в stdout, применяется ограничение размера 20 МБ. Если общий объем выходных данных превышает размер, выполнение будет отменено и пометить как неудачное. Чтобы избежать этого ограничения, можно запретить возвратить stdout из драйвера в, задав для spark.databricks.driver.disableScalaOutput конфигурации Spark значение true . По умолчанию флаг имеет значение false . Флаг контролирует выходные данные ячейки для заданий JAR Scala и записных книжек Scala. Если флаг включен, Spark не возвращает клиенту результаты выполнения задания. Флаг не влияет на данные, записываемые в файлы журналов кластера. Установка этого флага рекомендуется только для автоматических кластеров для заданий JAR, так как это приведет к отключению результатов записной книжки.
  • 10 марта 2020 г.
    • Соединитель снежинки ( spark-snowflake_2.11 ), включенный в Databricks Runtime, обновляется до версии 2.5.9. snowflake-jdbc обновляется до версии 3.12.0.
  • 18 февраля 2020 г.
    • [Spark-24783][SQL] Spark. SQL. в случайном порядке. секции = 0 должны вызывать исключение
    • Транзитная передача учетных данных с ADLS 2-го поколения имеет снижение производительности из-за неправильной локальной обработки потока, когда включена ADLSная выборка клиентов. Этот выпуск отключает ADLS 2-го поколения предварительную выборку при включенной транзитной учетной записи, пока не будет установлено правильное исправление.
  • 28 января 2020 г.
    • [Spark-30447][SQL] ошибка при распространении константы распространения.
    • [Spark-28152][SQL] добавьте устаревший объект conf для старого мссклсервердиалект числового сопоставления.
  • 14 января 2020 г.
    • Версия Java обновлена с 1.8.0 _222 до 1.8.0 _232.
  • 7 ноября 2019 г.
  • 5 ноября 2019 г.
    • Исправлена ошибка в DBFS ПРЕДОХРАНИТЕЛя для обработки точек подключения, // содержащихся в пути.
    • [Spark-29081] Замените вызовы Сериализатионутилс. Clone на свойства более быстрой реализацией
    • [Spark-29244][Core] Повторное отключение свободной страницы в битестобитесмап
    • (6,1 ml) Библиотека MKL версии 2019,4 была установлена непреднамеренно. Мы переmkl его до версии 2019,3, чтобы сопоставить Anaconda Distribution 2019,03.

Databricks Runtime 6,0 (не поддерживается)

См. раздел Databricks Runtime 6,0 (не поддерживается).

  • 25 марта 2020 г.
    • Для выходных данных задания, таких как выходные данные журнала, передаваемые в stdout, применяется ограничение размера 20 МБ. Если общий объем выходных данных превышает размер, выполнение будет отменено и пометить как неудачное. Чтобы избежать этого ограничения, можно запретить возвратить stdout из драйвера в, задав для spark.databricks.driver.disableScalaOutput конфигурации Spark значение true . По умолчанию флаг имеет значение false . Флаг контролирует выходные данные ячейки для заданий JAR Scala и записных книжек Scala. Если флаг включен, Spark не возвращает клиенту результаты выполнения задания. Флаг не влияет на данные, записываемые в файлы журналов кластера. Установка этого флага рекомендуется только для автоматических кластеров для заданий JAR, так как это приведет к отключению результатов записной книжки.
  • 18 февраля 2020 г.
    • Транзитная передача учетных данных с ADLS 2-го поколения имеет снижение производительности из-за неправильной локальной обработки потока, когда включена ADLSная выборка клиентов. Этот выпуск отключает ADLS 2-го поколения предварительную выборку при включенной транзитной учетной записи, пока не будет установлено правильное исправление.
  • 11 февраля 2020 г.
    • [Spark-24783][SQL] Spark. SQL. в случайном порядке. секции = 0 должны вызывать исключение
  • 28 января 2020 г.
    • [Spark-30447][SQL] ошибка при распространении константы распространения.
    • [Spark-28152][SQL] добавьте устаревший объект conf для старого мссклсервердиалект числового сопоставления.
  • 14 января 2020 г.
    • Версия Java обновлена с 1.8.0 _222 до 1.8.0 _232.
  • 19 ноября 2019 г.
    • [Spark-29743] [SQL] в примере необходимо задать для нидкопиресулт значение true, если нидкопиресулт его дочернего элемента имеет значение true
  • 5 ноября 2019 г.
    • dbutils.tensorboard.start() Теперь поддерживает TensorBoard 2,0 (если установлено вручную).
    • Исправлена ошибка в DBFS ПРЕДОХРАНИТЕЛя для обработки точек подключения, // содержащихся в пути.
    • [Spark-29081] Замените вызовы Сериализатионутилс. Clone на свойства более быстрой реализацией
  • 23 октября 2019 г.
    • [Spark-29244][Core] Повторное отключение свободной страницы в битестобитесмап
  • 8 октября 2019 г.
    • Изменения на стороне сервера, позволяющие драйверу Simba Apache Spark ODBC повторно подключаться и продолжать работу после сбоя подключения во время выборки результатов (требуется Apache Spark Simba драйвер ODBC версии 2.6.10).
    • Исправлена проблема, влияющая на использование Optimize команды с кластерами с включенными таблицами ACL.
    • Исправлена проблема, pyspark.ml из-за которой не удалось выполнить сбои библиотек, так как в таблице ACL таблицы и кластерах с поддержкой транзитных учетных данных произошла ошибка Scala
    • Методы алловлистед SerDe/Сердеутил для транзитной учетной записи.
    • Исправлена Нуллпоинтерексцептион при проверке кода ошибки в клиенте WASB.
    • Исправлена проблема, из-за которой учетные данные пользователя не были перенаправлены в задания, созданные dbutils.notebook.run() .

Databricks Runtime 5,4 ml (не поддерживается)

См. статью Databricks Runtime 5,4 для машинное обучение (не поддерживается).

  • 18 июня 2019 г.
    • Улучшенная обработка активных запусков Млфлов в интеграции Хиперопт
    • Улучшенные сообщения в Хиперопт
    • Обновленный пакет markdown с 3,1 по 3.1.1

Databricks Runtime 5,4 (не поддерживается)

См. раздел Databricks Runtime 5,4 (не поддерживается).

  • 19 ноября 2019 г.
    • [Spark-29743] [SQL] в примере необходимо задать для нидкопиресулт значение true, если нидкопиресулт его дочернего элемента имеет значение true
  • 8 октября 2019 г.
    • Изменения на стороне сервера, позволяющие драйверу Simba Apache Spark ODBC повторно подключаться и продолжать работу после сбоя подключения во время выборки результатов (требуется обновление драйвера ODBC для Simba Apache Spark версии 2.6.10).
    • Исправлена Нуллпоинтерексцептион при проверке кода ошибки в клиенте WASB.
  • 10 сентября, 2019
    • Добавить потокобезопасный итератор в Битестобитесмап
    • Исправлена ошибка, влияющая на определенные глобальные запросы на агрегирование.
    • [Spark-27330][СС] Поддержка прерывания задач в модуле записи foreach
    • [Spark-28642] Скрыть учетные данные в окне "Показать CREATE TABLE"
    • [Spark-28699][SQL] отключить использование сортировки системы счисления для шуффликсчанжеексек в случае повторного секционирования
    • [Spark-28699][Core] исправьте угловой случай для прерывания неопределенного этапа
  • 27 августа 2019 г.
    • Исправлена проблема, влияющая на определенные transform выражения
  • 13 августа 2019 г.
    • Источник разностной потоковой передачи должен проверять последний протокол таблицы
    • [Spark-28489][СС] исправьте ошибку, которая может удалять смещения кафкаоффсетранжекалкулатор.
  • 30 июля 2019 г.
    • [Spark-28015][SQL] Check стрингтодате () потребляет все входные данные для форматов гггг и гггг-[m] m
    • [Spark-28308][Core] календаринтервал часть части должна быть дополнена перед синтаксическим анализом
    • [Spark-27485] Енсуререкуирементс. Переупорядочение должно правильно обработать дублирующиеся выражения
  • 2 июля 2019 г.
    • Обновленная привязка — Java от 1.1.7.1 к 1.1.7.3.
  • 18 июня 2019 г.
    • Улучшенная обработка активных запусков Млфлов в интеграции MLlib
    • Улучшено сообщение помощника по модулям, связанное с использованием разностного кэша
    • Исправлена ошибка, влияющая на использование функций большего порядка.
    • Исправлена ошибка, влияющая на запросы разностных метаданных.

Databricks Runtime 5,3 (не поддерживается)

См. раздел Databricks Runtime 5,3 (не поддерживается).

  • 7 ноября 2019 г.
    • [Spark-29743][SQL] в примере необходимо задать для нидкопиресулт значение true, если нидкопиресулт его дочернего элемента имеет значение true
  • 8 октября 2019 г.
    • Изменения на стороне сервера, позволяющие драйверу Simba Apache Spark ODBC повторно подключаться и продолжать работу после сбоя подключения во время выборки результатов (требуется обновление драйвера ODBC для Simba Apache Spark версии 2.6.10).
    • Исправлена Нуллпоинтерексцептион при проверке кода ошибки в клиенте WASB.
  • 10 сентября, 2019
    • Добавить потокобезопасный итератор в Битестобитесмап
    • Исправлена ошибка, влияющая на определенные глобальные запросы на агрегирование.
    • [Spark-27330][СС] Поддержка прерывания задач в модуле записи foreach
    • [Spark-28642] Скрыть учетные данные в окне "Показать CREATE TABLE"
    • [Spark-28699][SQL] отключить использование сортировки системы счисления для шуффликсчанжеексек в случае повторного секционирования
    • [Spark-28699][Core] исправьте угловой случай для прерывания неопределенного этапа
  • 27 августа 2019 г.
    • Исправлена проблема, влияющая на определенные transform выражения
  • 13 августа 2019 г.
    • Источник разностной потоковой передачи должен проверять последний протокол таблицы
    • [Spark-28489][СС] исправьте ошибку, которая может удалять смещения кафкаоффсетранжекалкулатор.
  • 30 июля 2019 г.
    • [Spark-28015][SQL] Check стрингтодате () потребляет все входные данные для форматов гггг и гггг-[m] m
    • [Spark-28308][Core] календаринтервал часть части должна быть дополнена перед синтаксическим анализом
    • [Spark-27485] Енсуререкуирементс. Переупорядочение должно правильно обработать дублирующиеся выражения
  • 18 июня 2019 г.
    • Улучшено сообщение помощника по модулям, связанное с использованием разностного кэша
    • Исправлена ошибка, влияющая на использование функций большего порядка.
    • Исправлена ошибка, влияющая на запросы разностных метаданных.
  • 28 мая 2019 г.
    • Повышение стабильности Дельта
    • Допускать Иоексцептионс при чтении файла Дельта LAST_CHECKPOINT
      • Добавлена возможность восстановления при сбое установки библиотеки.
  • 7 мая 2019 г.
    • Порт HADOOP-15778 (АБФС: исправление регулирования на стороне клиента для чтения) для соединителя Azure Data Lake Storage 2-го поколения
    • Порт HADOOP-16040 (АБФС: исправление ошибки для конфигурации Толератеубаппендс) на соединитель Azure Data Lake Storage 2-го поколения
    • Исправлена ошибка, влияющая на таблицы управления доступом.
    • Исправлено состояние гонки при загрузке разностного файла контрольной суммы журнала
    • Исправлена логика обнаружения конфликтов с разностью, чтобы не определять операцию "Insert + overwrite" в качестве чистой операции добавления
    • Убедитесь, что разностный кэш не отключен, если включены таблицы управления доступом
    • [SPARK-27494] НН Ключи или значения NULL не работают в источнике Kafka v2
    • [SPARK-27446] [R] используйте существующий conf для Spark, если он доступен.
    • [SPARK-27454] [SPARK-27454] СТУДИ SQL Сбой источника данных образа Spark при обнаружении недопустимых образов
    • [SPARK-27160] SQL Исправлять ДеЦималтипе при построении фильтров ORC
    • [SPARK-27338] Центральный Исправление взаимоблокировки между Унсафикстерналсортер и Таскмемориманажер

Databricks Runtime 5,2 (не поддерживается)

См. раздел Databricks Runtime 5,2 (не поддерживается).

  • 10 сентября, 2019
    • Добавить потокобезопасный итератор в Битестобитесмап
    • Исправлена ошибка, влияющая на определенные глобальные запросы на агрегирование.
    • [Spark-27330][СС] Поддержка прерывания задач в модуле записи foreach
    • [Spark-28642] Скрыть учетные данные в окне "Показать CREATE TABLE"
    • [Spark-28699][SQL] отключить использование сортировки системы счисления для шуффликсчанжеексек в случае повторного секционирования
    • [Spark-28699][Core] исправьте угловой случай для прерывания неопределенного этапа
  • 27 августа 2019 г.
    • Исправлена проблема, влияющая на определенные transform выражения
  • 13 августа 2019 г.
    • Источник разностной потоковой передачи должен проверять последний протокол таблицы
    • [Spark-28489][СС] исправьте ошибку, которая может удалять смещения кафкаоффсетранжекалкулатор.
  • 30 июля 2019 г.
    • [Spark-28015][SQL] Check стрингтодате () потребляет все входные данные для форматов гггг и гггг-[m] m
    • [Spark-28308][Core] календаринтервал часть части должна быть дополнена перед синтаксическим анализом
    • [Spark-27485] Енсуререкуирементс. Переупорядочение должно правильно обработать дублирующиеся выражения
  • 2 июля 2019 г.
    • Допускать Иоексцептионс при чтении файла Дельта LAST_CHECKPOINT
  • 18 июня 2019 г.
    • Улучшено сообщение помощника по модулям, связанное с использованием разностного кэша
    • Исправлена ошибка, влияющая на использование функций большего порядка.
    • Исправлена ошибка, влияющая на запросы разностных метаданных.
  • 28 мая 2019 г.
    • Добавлена возможность восстановления при сбое установки библиотеки.
  • 7 мая 2019 г.
    • Порт HADOOP-15778 (АБФС: исправление регулирования на стороне клиента для чтения) для соединителя Azure Data Lake Storage 2-го поколения
    • Порт HADOOP-16040 (АБФС: исправление ошибки для конфигурации Толератеубаппендс) на соединитель Azure Data Lake Storage 2-го поколения
    • Исправлено состояние гонки при загрузке разностного файла контрольной суммы журнала
    • Исправлена логика обнаружения конфликтов с разностью, чтобы не определять операцию "Insert + overwrite" в качестве чистой операции добавления
    • Убедитесь, что разностный кэш не отключен, если включены таблицы управления доступом
    • [SPARK-27494] НН Ключи или значения NULL не работают в источнике Kafka v2
    • [SPARK-27454] [SPARK-27454] СТУДИ SQL Сбой источника данных образа Spark при обнаружении недопустимых образов
    • [SPARK-27160] SQL Исправлять ДеЦималтипе при построении фильтров ORC
    • [SPARK-27338] Центральный Исправление взаимоблокировки между Унсафикстерналсортер и Таскмемориманажер
  • 26 марта 2019 г.
    • Избегайте внедрения смещений, зависящих от платформы, в коде, созданном с сохранением всего этапа
    • [Spark-26665][Core] исправьте ошибку, которую Блокктрансферсервице. фетчблокксинк может зависнуть в неограниченное время.
    • [Spark-27134][SQL] array_distinct функция не работает правильно со столбцами, содержащими массив массива.
    • [Spark-24669][SQL] делает недействительными таблицы в случае удаления КАСКАДНОЙ базы данных.
    • [Spark-26572][SQL] исправьте статистическую вычисление результатов CodeGen.
    • Исправлена ошибка, влияющая на определенные Писонудфс.
  • 26 февраля, 2019
    • [Spark-26864][SQL] запрос может возвращать неверный результат, если UDF Python используется в качестве условия левого объединения.
    • [Spark-26887][Python] непосредственное создание DateTime. Date вместо создания datetime64 в качестве промежуточных данных.
    • Исправлена ошибка, затрагивающая JDBC/ODBC-сервер.
    • Исправлена ошибка, влияющая на PySpark.
    • Исключите скрытые файлы при создании Хадупрдд.
    • Исправлена ошибка в Дельта, которая привела к проблемам сериализации.
  • 12 февраля 2019 г.
    • Исправлена проблема, влияющая на использование разностного использования с точками подключения Azure ADLS 2-го поколения.
    • Исправлена проблема, из-за которой сетевые протоколы Spark низкого уровня могут быть разорваны при отправке больших сообщений об ошибках RPC с включенным шифрованием (если параметр spark.network.crypto.enabled имеет значение true).
  • 30 января 2019 г.
    • Исправлена Стакковерфловеррор при размещении подсказки о соединении с помощью кэшированного отношения.
    • Исправлена несогласованность между кэшированным RDD кэша SQL и его физическим планом, что приводит к неправильному результату.
    • [Spark-26706][SQL] исправление illegalNumericPrecedence для битетипе.
    • [Spark-26709][SQL] оптимиземетадатаонликуери неправильно обрабатывает пустые записи.
    • Источники данных CSV/JSON не должны глобализации пути при выведение схемы.
    • Исправлено определение ограничения для оператора Window.
    • Исправлена проблема, влияющая на установку библиотек Egg с кластерами, в которых включен список ACL таблицы.

Databricks Runtime 5,1 (не поддерживается)

См. раздел Databricks Runtime 5,1 (не поддерживается).

  • 13 августа 2019 г.
    • Источник разностной потоковой передачи должен проверять последний протокол таблицы
    • [Spark-28489][СС] исправьте ошибку, которая может удалять смещения кафкаоффсетранжекалкулатор.
  • 30 июля 2019 г.
    • [Spark-28015][SQL] Check стрингтодате () потребляет все входные данные для форматов гггг и гггг-[m] m
    • [Spark-28308][Core] календаринтервал часть части должна быть дополнена перед синтаксическим анализом
    • [Spark-27485] Енсуререкуирементс. Переупорядочение должно правильно обработать дублирующиеся выражения
  • 2 июля 2019 г.
    • Допускать Иоексцептионс при чтении файла Дельта LAST_CHECKPOINT
  • 18 июня 2019 г.
    • Исправлена ошибка, влияющая на использование функций большего порядка.
    • Исправлена ошибка, влияющая на запросы разностных метаданных.
  • 28 мая 2019 г.
    • Добавлена возможность восстановления при сбое установки библиотеки.
  • 7 мая 2019 г.
    • Порт HADOOP-15778 (АБФС: исправление регулирования на стороне клиента для чтения) для соединителя Azure Data Lake Storage 2-го поколения
    • Порт HADOOP-16040 (АБФС: исправление ошибки для конфигурации Толератеубаппендс) на соединитель Azure Data Lake Storage 2-го поколения
    • Исправлено состояние гонки при загрузке разностного файла контрольной суммы журнала
    • Исправлена логика обнаружения конфликтов с разностью, чтобы не определять операцию "Insert + overwrite" в качестве чистой операции добавления
    • [SPARK-27494] НН Ключи или значения NULL не работают в источнике Kafka v2
    • [SPARK-27454] [SPARK-27454] СТУДИ SQL Сбой источника данных образа Spark при обнаружении недопустимых образов
    • [SPARK-27160] SQL Исправлять ДеЦималтипе при построении фильтров ORC
    • [SPARK-27338] Центральный Исправление взаимоблокировки между Унсафикстерналсортер и Таскмемориманажер
  • 26 марта 2019 г.
    • Избегайте внедрения смещений, зависящих от платформы, в коде, созданном с сохранением всего этапа
    • Исправлена ошибка, влияющая на определенные Писонудфс.
  • 26 февраля, 2019
    • [Spark-26864][SQL] запрос может возвращать неверный результат, если UDF Python используется в качестве условия левого объединения.
    • Исправлена ошибка, затрагивающая JDBC/ODBC-сервер.
    • Исключите скрытые файлы при создании Хадупрдд.
  • 12 февраля 2019 г.
    • Исправлена проблема, влияющая на установку библиотек Egg с кластерами, в которых включен список ACL таблицы.
    • Исправлена несогласованность между кэшированным RDD кэша SQL и его физическим планом, что приводит к неправильному результату.
    • [Spark-26706][SQL] исправление illegalNumericPrecedence для битетипе.
    • [Spark-26709][SQL] оптимиземетадатаонликуери неправильно обрабатывает пустые записи.
    • Исправлено определение ограничения для оператора Window.
    • Исправлена проблема, из-за которой сетевые протоколы Spark низкого уровня могут быть разорваны при отправке больших сообщений об ошибках RPC с включенным шифрованием (если параметр spark.network.crypto.enabled имеет значение true).
  • 30 января 2019 г.
    • Исправлена проблема, которая может привести к тому, что df.rdd.count() определяемый пользователем тип возвращал неверный ответ в некоторых случаях.
    • Исправлена проблема, влияющая на установку вхилхаусес.
    • [Spark-26267] Повторите попытку при обнаружении неверных смещений от Kafka.
    • Исправлена ошибка, влияющая на несколько источников файловых потоков в потоковой передаче.
    • Исправлена Стакковерфловеррор при размещении подсказки о соединении с помощью кэшированного отношения.
    • Исправлена несогласованность между кэшированным RDD кэша SQL и его физическим планом, что приводит к неправильному результату.
  • 8 января 2019 г.
    • Исправлена проблема, которая вызывает ошибку org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • [Spark-26352]изменение порядка соединений не должно изменять порядок выходных атрибутов.
    • [Spark-26366] Реплацеексцептвисфилтер должен считать значение NULL равным false.
    • Улучшение стабильности для Delta Lake.
    • Дельта Lake включена.
    • Исправлена проблема, которая привела к неудачному Azure Data Lake Storage 2-го поколения доступу, когда для Azure Data Lake Storage 1-го поколения включена передача учетных данных Azure AD.
    • Теперь для всех ценовых категорий в качестве типов экземпляров рабочих процессов серии LS включено кэширование операций ввода-вывода.

Databricks Runtime 5,0 (не поддерживается)

См. раздел Databricks Runtime 5,0 (не поддерживается).

  • 18 июня 2019 г.
    • Исправлена ошибка, влияющая на использование функций большего порядка.
  • 7 мая 2019 г.
    • Исправлено состояние гонки при загрузке разностного файла контрольной суммы журнала
    • Исправлена логика обнаружения конфликтов с разностью, чтобы не определять операцию "Insert + overwrite" в качестве чистой операции добавления
    • [SPARK-27494] НН Ключи или значения NULL не работают в источнике Kafka v2
    • [SPARK-27454] [SPARK-27454] СТУДИ SQL Сбой источника данных образа Spark при обнаружении недопустимых образов
    • [SPARK-27160] SQL Исправлять ДеЦималтипе при построении фильтров ORC
      • [SPARK-27338] Центральный Исправление взаимоблокировки между Унсафикстерналсортер и Таскмемориманажер
  • 26 марта 2019 г.
    • Избегайте внедрения смещений, зависящих от платформы, в коде, созданном с сохранением всего этапа
    • Исправлена ошибка, влияющая на определенные Писонудфс.
  • 12 марта 2019 г.
    • [Spark-26864][SQL] запрос может возвращать неверный результат, если UDF Python используется в качестве условия левого объединения.
  • 26 февраля, 2019
    • Исправлена ошибка, затрагивающая JDBC/ODBC-сервер.
    • Исключите скрытые файлы при создании Хадупрдд.
  • 12 февраля 2019 г.
    • Исправлена несогласованность между кэшированным RDD кэша SQL и его физическим планом, что приводит к неправильному результату.
    • [Spark-26706][SQL] исправление illegalNumericPrecedence для битетипе.
    • [Spark-26709][SQL] оптимиземетадатаонликуери неправильно обрабатывает пустые записи.
    • Исправлено определение ограничения для оператора Window.
    • Исправлена проблема, из-за которой сетевые протоколы Spark низкого уровня могут быть разорваны при отправке больших сообщений об ошибках RPC с включенным шифрованием (если параметр spark.network.crypto.enabled имеет значение true).
  • 30 января 2019 г.
    • Исправлена проблема, которая может привести к тому, что df.rdd.count() определяемый пользователем тип возвращал неверный ответ в некоторых случаях.
    • [Spark-26267] Повторите попытку при обнаружении неверных смещений от Kafka.
    • Исправлена ошибка, влияющая на несколько источников файловых потоков в потоковой передаче.
    • Исправлена Стакковерфловеррор при размещении подсказки о соединении с помощью кэшированного отношения.
    • Исправлена несогласованность между кэшированным RDD кэша SQL и его физическим планом, что приводит к неправильному результату.
  • 8 января 2019 г.
    • Исправлена проблема, которая привела к ошибке org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • [Spark-26352]изменение порядка соединений не должно изменять порядок выходных атрибутов.
    • [Spark-26366] Реплацеексцептвисфилтер должен считать значение NULL равным false.
    • Улучшение стабильности для Delta Lake.
    • Дельта Lake включена.
    • Теперь для всех ценовых категорий в качестве типов экземпляров рабочих процессов серии LS включено кэширование операций ввода-вывода.
  • 18 декабря 2018 г.
    • [Spark-26293] Исключение приведения при наличии определяемой пользователем функции Python во вложенном запросе
    • Исправлена проблема, влияющая на определенные запросы с использованием соединений и ограничений.
    • Показана исправленная версия учетные данные из имен RDD в пользовательском интерфейсе Spark
  • 6 декабря 2018 г.
    • Исправлена проблема, которая привела к неправильному результату запроса при использовании orderBy, за которым следует предложение группировать по ключу в качестве ведущей части ключа сортировки.
    • Обновлен соединитель снежинки для Spark с 2.4.9.2 — spark_2.4_pre_release до 2.4.10.
    • Игнорировать поврежденные файлы следует только после одной или нескольких повторных попыток при spark.sql.files.ignoreCorruptFiles spark.sql.files.ignoreMissingFiles включенном флаге или.
    • Исправлена проблема, влияющая на определенные запросы Self Union.
    • Исправлена ошибка на сервере Thrift, где при отмене сеанса иногда происходит утечка сеансов.
    • [Spark-26307] Исправлена CTAS при ВСТАВКе секционированной таблицы с помощью Hive SerDe.
    • [Spark-26147] Пользовательские функции Python в условии Join завершаются сбоем даже при использовании столбцов только с одной стороны Join
    • [Spark-26211] Исправление отступа для двоичного файла, структуры и массива с нулевым значением.
    • [Spark-26181] hasMinMaxStats ColumnStatsMap неверный метод.
    • Исправлена проблема, влияющая на установку колес Python в средах без доступа к Интернету.
  • 20 ноября 2018 г.
    • Исправлена проблема, из-за которой не удается использовать записную книжку после отмены потокового запроса.
    • Исправлена проблема, влияющая на определенные запросы с использованием оконных функций.
    • Исправлена проблема, затрагивающая поток от разностного изменения с несколькими изменениями схемы.
    • Исправлена проблема, влияющая на некоторые статистические запросы с левыми или бездействующими объединениями.

Databricks Runtime 4,3 (не поддерживается)

См. раздел Databricks Runtime 4,3 (не поддерживается).

  • 9 апреля, 2019

    • [Spark-26665][Core] исправьте ошибку, которая может привести к невозможности зависания Блокктрансферсервице. фетчблокксинк.
    • [Spark-24669][SQL] делает недействительными таблицы в случае удаления КАСКАДНОЙ базы данных.
  • 12 марта 2019 г.

    • Исправлена ошибка, влияющая на создание кода.
    • Исправлена ошибка, влияющая на разницу.
  • 26 февраля, 2019

    • Исправлена ошибка, затрагивающая JDBC/ODBC-сервер.
  • 12 февраля 2019 г.

    • [Spark-26709][SQL] оптимиземетадатаонликуери неправильно обрабатывает пустые записи.
    • Исключение скрытых файлов при сборке Хадупрдд.
    • Исправлено преобразование фильтра Parquet в предикате IN, если его значение пустое.
    • Исправлена проблема, из-за которой сетевые протоколы Spark низкого уровня могут быть разорваны при отправке больших сообщений об ошибках RPC с включенным шифрованием (если параметр spark.network.crypto.enabled имеет значение true).
  • 30 января 2019 г.

    • Исправлена проблема, которая может привести к тому, что df.rdd.count() определяемый пользователем тип возвращал неверный ответ в некоторых случаях.
    • Исправлена несогласованность между кэшированным RDD кэша SQL и его физическим планом, что приводит к неправильному результату.
  • 8 января 2019 г.

    • Исправлена проблема, которая вызывает ошибку org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • Показана исправленная версия учетные данные из имен RDD в пользовательском интерфейсе Spark
    • [Spark-26352]изменение порядка соединений не должно изменять порядок выходных атрибутов.
    • [Spark-26366] Реплацеексцептвисфилтер должен считать значение NULL равным false.
    • Дельта Lake включена.
    • Теперь для всех ценовых категорий в качестве типов экземпляров рабочих процессов серии LS включено кэширование операций ввода-вывода.
  • 18 декабря 2018 г.

    • [Spark-25002] Avro: Измените пространство имен выходных записей.
    • Исправлена проблема, влияющая на определенные запросы с использованием соединений и ограничений.
    • [Spark-26307] Исправлена CTAS при ВСТАВКе секционированной таблицы с помощью Hive SerDe.
    • Игнорировать поврежденные файлы следует только после одной или нескольких повторных попыток при spark.sql.files.ignoreCorruptFiles spark.sql.files.ignoreMissingFiles включенном флаге или.
    • [Spark-26181] hasMinMaxStats ColumnStatsMap неверный метод.
    • Исправлена проблема, влияющая на установку колес Python в средах без доступа к Интернету.
    • Исправлена проблема с производительностью в анализаторе запросов.
    • Исправлена проблема в PySpark, вызвавшая сбой выполнения действий с кадрами данных с ошибкой "подключение отклонено".
    • Исправлена проблема, влияющая на определенные запросы Self Union.
  • 20 ноября 2018 г.

    • [Spark-17916][Spark-25241]Исправлена пустая строка, анализируемая как null, если задан параметр NullValue.
    • [Spark-25387] Исправление для НПЕ вызвано неверными входными данными CSV.
    • Исправлена проблема, влияющая на некоторые статистические запросы с левыми или бездействующими объединениями.
  • 6 ноября 2018 г.

    • [Spark-25741] Длинные URL-адреса не отображаются правильно в пользовательском интерфейсе.
    • [Spark-25714] Исправьте обработку значений NULL в Булеансимплификатион правиле оптимизатора.
    • Исправлена проблема, влияющая на очистку временных объектов в соединителе синапсе Analytics.
    • [Spark-25816] Исправьте разрешение атрибута во вложенных средствах извлечения.
  • 16 октября 2018 г.

    • Исправлена ошибка, влияющая на выходные данные, выполняемые SHOW CREATE TABLE в разностных таблицах.
    • Исправлена ошибка, влияющая на Union работу.
  • 25 сентября 2018 г.

    • [Spark-25368][SQL] неправильное определение ограничения возвращает неверный результат.
    • [Spark-25402][SQL] обработка значений NULL в булеансимплификатион.
    • Исправлена NotSerializableException в источнике данных Avro.
  • Сен 11, 2018

    • [Spark-25214][СС] устраните проблему, которую источник Kafka v2 может вернуть дублирующиеся записи, когда failOnDataLoss=false .
    • [Spark-24987][СС] исправьте Kafka потребителя, если нет новых смещений для артиклепартитион.
    • При уменьшении фильтра должно быть правильно обработано значение null.
    • Улучшенная стабильность подсистемы выполнения.
  • 28 августа 2018 г.

    • Исправлена ошибка в команде Дельта Lake DELETE, которая неправильно удалила строки, в которых условие имеет значение null.
    • [Spark-25142] Добавьте сообщения об ошибках, когда рабочему процессу Python не удалось открыть сокет в _load_from_socket .
  • 23 августа 2018 г.

    • [Spark-23935]мапентри создает исключение org.codehaus.commons.compiler.CompileException .
    • Исправлена проблема с картой, допускающей значение null, в модуле чтения Parquet.
    • [Spark-25051][SQL] фикснуллабилити не должен останавливаться на аналисисбарриер.
    • [Spark-25081] Исправлена ошибка, из-за которой Шуффликстерналсортер может получить доступ к свободной странице памяти, когда при сбросе не удается выделить память.
    • Исправлена взаимосвязь между различными модулями Pyspark и, что может привести к временным ошибкам чтения.
    • [Spark-25084]"распространение по" для нескольких столбцов (переносится в квадратные скобки) может привести к возникновению проблемы CodeGen.
    • [Spark-25096] Ослабите допустимость значений NULL, если приведение является принудительным, допускающим значение null.
    • Уменьшите число потоков по умолчанию, используемых командой разностной оптимизации, уменьшая нагрузку на память и сокращая скорость передачи данных.
    • [Spark-25114] Исправьте Рекордбинарикомпаратор, если вычитание между двумя словами делится на Integer.MAX_VALUE.
    • Исправлено исправление диспетчера секретов при частичном завершении команды.

Databricks Runtime 4,2 (не поддерживается)

См. раздел Databricks Runtime 4,2 (не поддерживается).

  • 26 февраля, 2019

    • Исправлена ошибка, затрагивающая JDBC/ODBC-сервер.
  • 12 февраля 2019 г.

    • [Spark-26709][SQL] оптимиземетадатаонликуери неправильно обрабатывает пустые записи.
    • Исключение скрытых файлов при сборке Хадупрдд.
    • Исправлено преобразование фильтра Parquet в предикате IN, если его значение пустое.
    • Исправлена проблема, из-за которой сетевые протоколы Spark низкого уровня могут быть разорваны при отправке больших сообщений об ошибках RPC с включенным шифрованием (если параметр spark.network.crypto.enabled имеет значение true).
  • 30 января 2019 г.

    • Исправлена проблема, которая может привести к тому, что df.rdd.count() определяемый пользователем тип возвращал неверный ответ в некоторых случаях.
  • 8 января 2019 г.

    • Исправлена проблема, которая вызывает ошибку org.apache.spark.sql.expressions.Window.rangeBetween(long,long) is not whitelisted .
    • Показана исправленная версия учетные данные из имен RDD в пользовательском интерфейсе Spark
    • [Spark-26352]изменение порядка соединений не должно изменять порядок выходных атрибутов.
    • [Spark-26366] Реплацеексцептвисфилтер должен считать значение NULL равным false.
    • Дельта Lake включена.
    • Теперь для всех ценовых категорий в качестве типов экземпляров рабочих процессов серии LS включено кэширование операций ввода-вывода.
  • 18 декабря 2018 г.

    • [Spark-25002] Avro: Измените пространство имен выходных записей.
    • Исправлена проблема, влияющая на определенные запросы с использованием соединений и ограничений.
    • [Spark-26307] Исправлена CTAS при ВСТАВКе секционированной таблицы с помощью Hive SerDe.
    • Игнорировать поврежденные файлы следует только после одной или нескольких повторных попыток при spark.sql.files.ignoreCorruptFiles spark.sql.files.ignoreMissingFiles включенном флаге или.
    • [Spark-26181] hasMinMaxStats ColumnStatsMap неверный метод.
    • Исправлена проблема, влияющая на установку колес Python в средах без доступа к Интернету.
    • Исправлена проблема с производительностью в анализаторе запросов.
    • Исправлена проблема в PySpark, вызвавшая сбой выполнения действий с кадрами данных с ошибкой "подключение отклонено".
    • Исправлена проблема, влияющая на определенные запросы Self Union.
  • 20 ноября 2018 г.

    • [Spark-17916][Spark-25241]Исправлена пустая строка, анализируемая как null, если задан параметр NullValue.
    • Исправлена проблема, влияющая на некоторые статистические запросы с левыми или бездействующими объединениями.
  • 6 ноября 2018 г.

    • [Spark-25741] Длинные URL-адреса не отображаются правильно в пользовательском интерфейсе.
    • [Spark-25714] Исправьте обработку значений NULL в Булеансимплификатион правиле оптимизатора.
  • 16 октября 2018 г.

    • Исправлена ошибка, влияющая на выходные данные, выполняемые SHOW CREATE TABLE в разностных таблицах.
    • Исправлена ошибка, влияющая на Union работу.
  • 25 сентября 2018 г.

    • [Spark-25368][SQL] неправильное определение ограничения возвращает неверный результат.
    • [Spark-25402][SQL] обработка значений NULL в булеансимплификатион.
    • Исправлена NotSerializableException в источнике данных Avro.
  • Сен 11, 2018

    • [Spark-25214][СС] устраните проблему, которую источник Kafka v2 может вернуть дублирующиеся записи, когда failOnDataLoss=false .
    • [Spark-24987][СС] исправьте Kafka потребителя, если нет новых смещений для артиклепартитион.
    • При уменьшении фильтра должно быть правильно обработано значение null.
  • 28 августа 2018 г.

    • Исправлена ошибка в команде Дельта Lake DELETE, которая неправильно удалила строки, в которых условие имеет значение null.
  • 23 августа 2018 г.

    • Исправлена Ноклассдеферрор для разностного моментального снимка
    • [Spark-23935]мапентри создает исключение org.codehaus.commons.compiler.CompileException .
    • [Spark-24957][SQL] Average с десятичным значением, за которым следует агрегирование, возвращает неверный результат. Могут возвращаться неверные результаты среднего значения. Операция ПРИВЕДЕНия, добавленная в оператор Average, будет обходиться, если результат деления имеет тот же тип, к которому он приведен.
    • [Spark-25081] Исправлена ошибка, из-за которой Шуффликстерналсортер может получить доступ к свободной странице памяти, когда при сбросе не удается выделить память.
    • Исправлена взаимосвязь между различными модулями Pyspark и, что может привести к временным ошибкам чтения.
    • [Spark-25114] Исправьте Рекордбинарикомпаратор, если вычитание между двумя словами делится на Integer.MAX_VALUE.
    • [Spark-25084]"распространение по" для нескольких столбцов (переносится в квадратные скобки) может привести к возникновению проблемы CodeGen.
    • [Spark-24934][SQL] явно разрешенных Поддерживаемые типы в верхней и нижней границах для очистки секций в памяти. При использовании сложных типов данных в фильтрах запросов к кэшированным данным Spark всегда возвращает пустой результирующий набор. При очистке на основе статистики в памяти создаются неверные результаты, поскольку для сложных типов задано значение NULL для верхних и нижних границ. Исправление заключается в том, чтобы не использовать для сложных типов очистку на основе статистики в памяти.
    • Исправлено исправление диспетчера секретов при частичном завершении команды.
    • Исправлена проблема с картой, допускающей значение null, в модуле чтения Parquet.
  • 2 августа 2018 г.

    • Добавлен API Вритестреам. Table в Python.
    • Исправлена проблема, затрагивающая разностные контрольные точки.
    • [Spark-24867][SQL] добавьте Аналисисбарриер в датафрамевритер. Кэш SQL не используется при использовании Датафрамевритер для записи кадра данных с помощью UDF. Это регрессия, вызванная изменениями, внесенными в Аналисисбарриер, так как не все правила анализатора идемпотентными.
    • Исправлена проблема, которая могла привести к mergeInto получению неверных результатов команды.
    • Улучшенная стабильность при доступе к Azure Data Lake Storage 1-го поколения.
    • [Spark-24809] Сериализация Лонгхашедрелатион в исполнителе может привести к ошибке данных.
    • [Spark-24878][SQL] исправить обратную функцию для типа массива примитивного типа, содержащего значение null.
  • 11 июля 2018 г.

    • Исправлена ошибка в выполнении запроса, которая привела бы к агрегатам для десятичных столбцов с различной точностью возвращать неверные результаты в некоторых случаях.
    • Исправлена NullPointerException ошибка, возникающая во время сложных операций агрегирования, таких как группирование наборов.

Databricks Runtime 4,1 ml (не поддерживается)

См. раздел Databricks Runtime 4,1 ml (не поддерживается).

  • 31 июля 2018 г.
    • Azure синапсе Analytics добавлена в среду выполнения ML 4,1
    • Исправлена ошибка, которая может привести к неверным результатам запроса, если имя столбца секционирования, используемого в предикате, отличается от имени столбца в схеме таблицы.
    • Исправлена ошибка, влияющая на подсистему выполнения Spark SQL.
    • Исправлена ошибка, влияющая на создание кода.
    • Исправлена ошибка ( java.lang.NoClassDefFoundError ), влияющая на Дельта Lake.
    • Улучшенная обработка ошибок в Дельта Lake.
    • Исправлена ошибка, которая привела к тому, что статистика будет пропущена для строк столбцов 32 символов или выше.

Databricks Runtime 4,1 (не поддерживается)

См. раздел Databricks Runtime 4,1 (не поддерживается).

  • 8 января 2019 г.

    • [Spark-26366] Реплацеексцептвисфилтер должен считать значение NULL равным false.
    • Дельта Lake включена.
  • 18 декабря 2018 г.

    • [Spark-25002] Avro: Измените пространство имен выходных записей.
    • Исправлена проблема, влияющая на определенные запросы с использованием соединений и ограничений.
    • [Spark-26307] Исправлена CTAS при ВСТАВКе секционированной таблицы с помощью Hive SerDe.
    • Игнорировать поврежденные файлы следует только после одной или нескольких повторных попыток при spark.sql.files.ignoreCorruptFiles spark.sql.files.ignoreMissingFiles включенном флаге или.
    • Исправлена проблема, влияющая на установку колес Python в средах без доступа к Интернету.
    • Исправлена проблема в PySpark, вызвавшая сбой выполнения действий с кадрами данных с ошибкой "подключение отклонено".
    • Исправлена проблема, влияющая на определенные запросы Self Union.
  • 20 ноября 2018 г.

    • [Spark-17916][Spark-25241]Исправлена пустая строка, анализируемая как null, если задан параметр NullValue.
    • Исправлена проблема, влияющая на некоторые статистические запросы с левыми или бездействующими объединениями.
  • 6 ноября 2018 г.

    • [Spark-25741] Длинные URL-адреса не отображаются правильно в пользовательском интерфейсе.
    • [Spark-25714] Исправьте обработку значений NULL в Булеансимплификатион правиле оптимизатора.
  • 16 октября 2018 г.

    • Исправлена ошибка, влияющая на выходные данные, выполняемые SHOW CREATE TABLE в разностных таблицах.
    • Исправлена ошибка, влияющая на Union работу.
  • 25 сентября 2018 г.

    • [Spark-25368][SQL] неправильное определение ограничения возвращает неверный результат.
    • [Spark-25402][SQL] обработка значений NULL в булеансимплификатион.
    • Исправлена NotSerializableException в источнике данных Avro.
  • Сен 11, 2018

    • [Spark-25214][СС] устраните проблему, которую источник Kafka v2 может вернуть дублирующиеся записи, когда failOnDataLoss=false .
    • [Spark-24987][СС] исправьте Kafka потребителя, если нет новых смещений для артиклепартитион.
    • При уменьшении фильтра должно быть правильно обработано значение null.
  • 28 августа 2018 г.

    • Исправлена ошибка в команде Дельта Lake DELETE, которая неправильно удалила строки, в которых условие имеет значение null.
    • [Spark-25084]"распространение по" для нескольких столбцов (переносится в квадратные скобки) может привести к возникновению проблемы CodeGen.
    • [Spark-25114] Исправьте Рекордбинарикомпаратор, если вычитание между двумя словами делится на Integer.MAX_VALUE.
  • 23 августа 2018 г.

    • Исправлена Ноклассдеферрор для разностного моментального снимка.
    • [Spark-24957][SQL] Average с десятичным значением, за которым следует агрегирование, возвращает неверный результат. Могут возвращаться неверные результаты среднего значения. Операция ПРИВЕДЕНия, добавленная в оператор Average, будет обходиться, если результат деления имеет тот же тип, к которому он приведен.
    • Исправлена проблема с картой, допускающей значение null, в модуле чтения Parquet.
    • [Spark-24934][SQL] явно разрешенных Поддерживаемые типы в верхней и нижней границах для очистки секций в памяти. При использовании сложных типов данных в фильтрах запросов к кэшированным данным Spark всегда возвращает пустой результирующий набор. При очистке на основе статистики в памяти создаются неверные результаты, поскольку для сложных типов задано значение NULL для верхних и нижних границ. Исправление заключается в том, чтобы не использовать для сложных типов очистку на основе статистики в памяти.
    • [Spark-25081] Исправлена ошибка, из-за которой Шуффликстерналсортер может получить доступ к свободной странице памяти, когда при сбросе не удается выделить память.
    • Исправлена взаимосвязь между различными модулями Pyspark и, что может привести к временным ошибкам чтения.
    • Исправлено исправление диспетчера секретов при частичном завершении команды
  • 2 августа 2018 г.

    • [Spark-24613][SQL] кэш с UDF не может быть сопоставлен с последующими зависимыми кэшами. Создает оболочку логического плана с Аналисисбарриер для компиляции плана выполнения в Качеманажер, чтобы избежать повторного анализа плана. Это также является регрессией Spark 2,3.
    • Исправлена ошибка соединителя синапсе Analytics, которая влияет на преобразование TimeZone для записи Датетипе данных.
    • Исправлена проблема, затрагивающая разностные контрольные точки.
    • Исправлена проблема, которая могла привести к mergeInto получению неверных результатов команды.
    • [Spark-24867][SQL] добавьте Аналисисбарриер в датафрамевритер. Кэш SQL не используется при использовании Датафрамевритер для записи кадра данных с помощью UDF. Это регрессия, вызванная изменениями, внесенными в Аналисисбарриер, так как не все правила анализатора идемпотентными.
    • [Spark-24809] Сериализация Лонгхашедрелатион в исполнителе может привести к ошибке данных.
  • 11 июля 2018 г.

    • Исправлена ошибка в выполнении запроса, которая привела бы к агрегатам для десятичных столбцов с различной точностью возвращать неверные результаты в некоторых случаях.
    • Исправлена NullPointerException ошибка, возникающая во время сложных операций агрегирования, таких как группирование наборов.
  • 28 июня 2018 года

    • Исправлена ошибка, которая может привести к неверным результатам запроса, если имя столбца секционирования, используемого в предикате, отличается от имени столбца в схеме таблицы.
  • 7 июня 2018 г.

    • Исправлена ошибка, влияющая на подсистему выполнения Spark SQL.
    • Исправлена ошибка, влияющая на создание кода.
    • Исправлена ошибка ( java.lang.NoClassDefFoundError ), влияющая на Дельта Lake.
    • Улучшенная обработка ошибок в Дельта Lake.
  • 17 мая, 2018

    • Исправлена ошибка, которая привела к тому, что статистика будет пропущена для строк столбцов 32 символов или выше.

Databricks Runtime 4,0 (не поддерживается)

См. раздел Databricks Runtime 4,0 (не поддерживается).

  • 6 ноября 2018 г.

    • [Spark-25714] Исправьте обработку значений NULL в Булеансимплификатион правиле оптимизатора.
  • 16 октября 2018 г.

    • Исправлена ошибка, влияющая на Union работу.
  • 25 сентября 2018 г.

    • [Spark-25368][SQL] неправильное определение ограничения возвращает неверный результат.
    • [Spark-25402][SQL] обработка значений NULL в булеансимплификатион.
    • Исправлена NotSerializableException в источнике данных Avro.
  • Сен 11, 2018

    • При уменьшении фильтра должно быть правильно обработано значение null.
  • 28 августа 2018 г.

    • Исправлена ошибка в команде Дельта Lake DELETE, которая неправильно удалила строки, в которых условие имеет значение null.
  • 23 августа 2018 г.

    • Исправлена проблема с картой, допускающей значение null, в модуле чтения Parquet.
    • Исправлено исправление диспетчера секретов при частичном завершении команды
    • Исправлена взаимосвязь между различными модулями Pyspark и, что может привести к временным ошибкам чтения.
    • [Spark-25081] Исправлена ошибка, из-за которой Шуффликстерналсортер может получить доступ к свободной странице памяти, когда при сбросе не удается выделить память.
    • [Spark-25114] Исправьте Рекордбинарикомпаратор, если вычитание между двумя словами делится на Integer.MAX_VALUE.
  • 2 августа 2018 г.

    • [Spark-24452] Избегайте возможного переполнения в int Add или Multiple.
    • [Spark-24588] Для потокового подключения требуется Хашклустередпартитионинг от дочерних элементов.
    • Исправлена проблема, которая могла привести к mergeInto получению неверных результатов команды.
    • [Spark-24867][SQL] добавьте Аналисисбарриер в датафрамевритер. Кэш SQL не используется при использовании Датафрамевритер для записи кадра данных с помощью UDF. Это регрессия, вызванная изменениями, внесенными в Аналисисбарриер, так как не все правила анализатора идемпотентными.
    • [Spark-24809] Сериализация Лонгхашедрелатион в исполнителе может привести к ошибке данных.
  • 28 июня 2018 года

    • Исправлена ошибка, которая может привести к неверным результатам запроса, если имя столбца секционирования, используемого в предикате, отличается от имени столбца в схеме таблицы.
  • 7 июня 2018 г.

    • Исправлена ошибка, влияющая на подсистему выполнения Spark SQL.
    • Улучшенная обработка ошибок в Дельта Lake.
  • 17 мая, 2018

    • Исправления ошибок для управления секретами в модулях.
    • Повышенная стабильность при чтении данных, хранящихся в Azure Data Lake Store.
    • Исправлена ошибка, влияющая на кэширование RDD.
    • Исправлена ошибка, влияющая на значение null, равное значению в Spark SQL.
  • 24 апреля 2018 г.

    • Обновленный пакет SDK Azure Data Lake Store с 2.0.11 до 2.2.8 для повышения стабильности доступа к Azure Data Lake Store.
    • Исправлена ошибка, влияющая на вставку перезаписи в секционированные таблицы Hive, если spark.databricks.io.hive.fastwriter.enabled имеет значение false .
    • Исправлена проблема, при которой сериализация задачи не удалась.
    • Улучшена устойчивость к Дельта Lake.
  • 14 марта 2018 г.

    • Предотвращение ненужных обновлений метаданных при записи в разностную версию Lake.
    • Исправлена проблема, вызванная состоянием гонки, которое могло в редких обстоятельствах привести к утрате некоторых выходных файлов.

Databricks Runtime 3,5 LTS (не поддерживается)

См. раздел Databricks Runtime 3,5 LTS (не поддерживается).

  • 7 ноября 2019 г.

    • [Spark-29743][SQL] в примере необходимо задать для нидкопиресулт значение true, если нидкопиресулт его дочернего элемента имеет значение true
  • 8 октября 2019 г.

    • Изменения на стороне сервера, позволяющие драйверу Simba Apache Spark ODBC повторно подключаться и продолжать работу после сбоя подключения во время выборки результатов (требуется обновление драйвера ODBC для Simba Apache Spark версии 2.6.10).
  • 10 сентября, 2019

    • [Spark-28699][SQL] отключить использование сортировки системы счисления для шуффликсчанжеексек в случае повторного секционирования
  • 9 апреля, 2019

    • [Spark-26665][Core] исправьте ошибку, которая может привести к невозможности зависания Блокктрансферсервице. фетчблокксинк.
  • 12 февраля 2019 г.

    • Исправлена проблема, из-за которой сетевые протоколы Spark низкого уровня могут быть разорваны при отправке больших сообщений об ошибках RPC с включенным шифрованием (если параметр spark.network.crypto.enabled имеет значение true).
  • 30 января 2019 г.

    • Исправлена проблема, которая может привести к тому, что df.rdd.count() определяемый пользователем тип возвращал неверный ответ в некоторых случаях.
  • 18 декабря 2018 г.

    • Игнорировать поврежденные файлы следует только после одной или нескольких повторных попыток при spark.sql.files.ignoreCorruptFiles spark.sql.files.ignoreMissingFiles включенном флаге или.
    • Исправлена проблема, влияющая на определенные запросы Self Union.
  • 20 ноября 2018 г.

    • [Spark-25816] Исправлено разрешение атрибута во вложенных средствах извлечения.
  • 6 ноября 2018 г.

    • [Spark-25714] Исправьте обработку значений NULL в Булеансимплификатион правиле оптимизатора.
  • 16 октября 2018 г.

    • Исправлена ошибка, влияющая на Union работу.
  • 25 сентября 2018 г.

    • [Spark-25402][SQL] обработка значений NULL в булеансимплификатион.
    • Исправлена NotSerializableException в источнике данных Avro.
  • Сен 11, 2018

    • При уменьшении фильтра должно быть правильно обработано значение null.
  • 28 августа 2018 г.

    • Исправлена ошибка в команде Дельта Lake DELETE, которая неправильно удалила строки, в которых условие имеет значение null.
    • [Spark-25114] Исправьте Рекордбинарикомпаратор, если вычитание между двумя словами делится на Integer.MAX_VALUE.
  • 23 августа 2018 г.

    • [Spark-24809] Сериализация Лонгхашедрелатион в исполнителе может привести к ошибке данных.
    • Исправлена проблема с картой, допускающей значение null, в модуле чтения Parquet.
    • [Spark-25081] Исправлена ошибка, из-за которой Шуффликстерналсортер может получить доступ к свободной странице памяти, когда при сбросе не удается выделить память.
    • Исправлена взаимосвязь между различными модулями Pyspark и, что может привести к временным ошибкам чтения.
  • 28 июня 2018 года

    • Исправлена ошибка, которая может привести к неверным результатам запроса, если имя столбца секционирования, используемого в предикате, отличается от имени столбца в схеме таблицы.
  • 28 июня 2018 года

    • Исправлена ошибка, которая может привести к неверным результатам запроса, если имя столбца секционирования, используемого в предикате, отличается от имени столбца в схеме таблицы.
  • 7 июня 2018 г.

    • Исправлена ошибка, влияющая на подсистему выполнения Spark SQL.
    • Улучшенная обработка ошибок в Дельта Lake.
  • 17 мая, 2018

    • Повышенная стабильность при чтении данных, хранящихся в Azure Data Lake Store.
    • Исправлена ошибка, влияющая на кэширование RDD.
    • Исправлена ошибка, влияющая на значение null, равное значению в Spark SQL.
    • Исправлена ошибка, влияющая на определенные агрегаты в потоковых запросах.
  • 24 апреля 2018 г.

    • Обновленный пакет SDK Azure Data Lake Store с 2.0.11 до 2.2.8 для повышения стабильности доступа к Azure Data Lake Store.
    • Исправлена ошибка, влияющая на вставку перезаписи в секционированные таблицы Hive, если spark.databricks.io.hive.fastwriter.enabled имеет значение false .
    • Исправлена проблема, при которой сериализация задачи не удалась.
  • 09 марта 2018 г.

    • Исправлена проблема, вызванная состоянием гонки, которое могло в редких обстоятельствах привести к утрате некоторых выходных файлов.
  • 01 марта 2018 г.

    • Повышение эффективности обработки потоков, которые могут занять длительное время.
    • Исправлена проблема, влияющая на Автозаполнение Python.
    • Применены исправления безопасности Ubuntu.
    • Исправлена проблема, влияющая на определенные запросы с помощью пользовательских функций и оконные функции Python.
    • Исправлена проблема, влияющая на использование UDF в кластере с включенным контролем доступа к таблицам.
  • 29 января, 2018

    • Исправлена проблема, влияющая на управление таблицами, хранящимися в хранилище BLOB-объектов Azure.
    • Исправлена Статистическая обработка после Дропдупликатес для пустого фрейма данных.

Databricks Runtime 3,4 (не поддерживается)

См. раздел Databricks Runtime 3,4 (не поддерживается).

  • 7 июня 2018 г.

    • Исправлена ошибка, влияющая на подсистему выполнения Spark SQL.
    • Улучшенная обработка ошибок в Дельта Lake.
  • 17 мая, 2018

    • Повышенная стабильность при чтении данных, хранящихся в Azure Data Lake Store.
    • Исправлена ошибка, влияющая на кэширование RDD.
    • Исправлена ошибка, влияющая на значение null, равное значению в Spark SQL.
  • 24 апреля 2018 г.

    • Исправлена ошибка, влияющая на вставку перезаписи в секционированные таблицы Hive, если spark.databricks.io.hive.fastwriter.enabled имеет значение false .
  • 09 марта 2018 г.

    • Исправлена проблема, вызванная состоянием гонки, которое могло в редких обстоятельствах привести к утрате некоторых выходных файлов.
  • 13 декабря 2017 г.

    • Исправлена проблема, затрагивающая UDF в Scala.
    • Исправлена проблема, влияющая на использование пропущенных данных индекса в таблицах источников данных, хранящихся в DBFS путях.
  • 07 декабря, 2017

    • Улучшена стабильность в случайном порядке.