Поделиться через

Databricks Runtime 10.0 (неподдерживаемый)

  • Статья

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 10.0 и Databricks Runtime 10.0 Photon на базе Apache Spark 3.2.0. Эти образы были выпущены в октябре 2021 года. Photon сейчас находится в режиме общедоступной предварительной версии.

Новые функции и внесенные улучшения

Новая версия Apache Spark

Databricks Runtime 10.0 и Databricks Runtime 10.0 Photon включают Apache Spark 3.2.0. Более подробную информацию см. в разделе Apache Spark.

Инструкция SELECT теперь поддерживает предложение QUALIFY для фильтрации результатов функции окна.

Инструкция SELECT теперь поддерживает предложение QUALIFY. QUALIFY можно использовать для фильтрации результатов оконных функций. Одна или несколько оконных функций должны присутствовать в списке SELECT или в условии QUALIFY. Например:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Поддержка кластеров для JDK 11 (общедоступная предварительная версия)

Теперь Databricks предоставляет поддержку кластеров для Java Development Kit (JDK) 11.

При создании кластера можно указать, что кластер использует JDK 11 (как для драйвера, так и для исполнителя). Для этого добавьте следующую переменную среды в Advanced Options (Дополнительные параметры) > Spark > Environment Variables (Переменные среды):

JNAME=zulu11-ca-amd64

Автозагрузчик теперь обрабатывает схемы как допускающие значение NULL

Автозагрузчик теперь обрабатывает все выводимые и предоставленные пользователем схемы как допускающие значение NULL по умолчанию. Это позволяет избежать возможного повреждения данных в случаях, когда данные содержат поля со значением NULL для столбцов, не допускающих значения NULL. Для наблюдения за этим поведением введена новая конфигурация — spark.databricks.cloudFiles.schema.forceNullable. По умолчанию эта конфигурация содержит параметр spark.sql.streaming.fileSource.schema.forceNullable, который использует FileStreamSource в Apache Spark и который по умолчанию имеет значение true.

Критические изменения

Критические изменения для всех пользователей Spark SQL

  • Новая Конфигурация spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled: если задано значение true, разрешает подмножество коррелированных предикатов равенства при агрегировании вложенного запроса. Значение по умолчанию равно true.
  • Новая конфигурация spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled: если задано значение true, блокирует автоматическое создание псевдонимов при создании представлений. Значение по умолчанию равно true.
  • Новая конфигурация spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled: если задано значение true, запрещает CREATE TABLE AS SELECT использовать непустое расположение. Значение по умолчанию равно true. Обратите внимание, что если для spark.sql.legacy.allowNonEmptyLocationInCTAS также задано значение true, эта конфигурация не оказывает никакого влияния, и CREATE TABLE AS SELECT с непустым расположением всегда разрешается.

критические изменения для пользователей Spark SQL, которые включили режим ANSI

Сведения о режиме ANSI см. в разделе "Соответствие ANSI" в Databricks Runtime.

  • Новая конфигурация spark.databricks.behaviorChange.SC83587NextDayDOW.enabled: если задано значение true, недопустимый аргумент dayOfWeek в функции next_day вызывает IllegalArgumentException в режиме ANSI. В противном случае возвращается значение null. Значение по умолчанию равно true.
  • Новая конфигурация spark.databricks.behaviorChange.SC83796CanCast.enabled: если задано значение true, включает новые правила синтаксиса явного приведения в режиме ANSI. Значение по умолчанию равно true.
  • Новая конфигурация spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled: если задано значение true, при приведении строки в логический типа возникает исключение синтаксического анализа. В противном случае операция возвращает null. Значение по умолчанию равно true.
  • Новая конфигурация spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled: при значении true функция abs создает исключение, если входные данные выходят за пределы диапазона. Значение по умолчанию равно true.

Критические изменения для всех пользователей Python

  • Теперь delta.tables.DeltaTable.convertToDelta API Python возвращает правильный объект Python DeltaTable, который можно использовать для выполнения команд Delta Lake. Ранее он возвращал внутренний объект, который нельзя было вызывать напрямую.

Обновления библиотек

Обновление Apache Hadoop 3

  • Databricks Runtime 10.0 обновляет зависимость Hadoop с Hadoop 2.7.4 на Hadoop 3.3.1.

Изменения в работе

  • В Hadoop 3 используются библиотеки hadoop-client-api и hadoop-client-runtime, а не библиотека hadoop-common, которая позволяет затенить определенные сторонние зависимости, которые потенциально могут использоваться в общедоступных API или расширениях Hadoop.
  • Параметры конфигурации Hadoop 3 изменились по сравнению с Hadoop 2. Параметры для Hadoop 3.3.1 см. в core-default.xml.
  • Databricks обновил некоторые конфигурации по умолчанию для Hadoop 3 в соответствии с Hadoop 2, чтобы убедиться, что соединители хранилища имеют одинаковые параметры проверки подлинности и уровни производительности по умолчанию:
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • Соединитель Google Cloud Storage (GCS) обновлен с 2.1.6 до 2.2.2.
  • Соединитель Amazon RedShift теперь использует схему s3a://. Схема s3n:// является устаревшей.
  • Обрабатывает имена классов OSS для API MetadataStore Amazon S3 в дополнение к затененным классам. Это позволяет обрабатывать конфигурации OSS без использования затененных имен классов.
    • Например, можно указать класс org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore в конфигурации Hadoop.
  • Обеспечивает соответствие new Configuration() и sparkContext.hadoopConfiguration.
    • Теперь каждый раз, когда создается новая конфигурация Hadoop, она будет соответствовать предопределенной конфигурации Hadoop в sparkContext.hadoopConfiguration в Databricks Runtime, включая схемы файловой системы и их конфигурацию по умолчанию.
  • Хотя соединители хранилища Hadoop, входящие в Databricks Runtime, полностью совместимы с Hadoop 3.3.1, они не гарантированно синхронизированы с соединителями OSS Hadoop 3.3.1 и могут иметь разные реакции на события.
    • Соединитель Amazon S3 по-прежнему разрешает пользователю (хотя и с предупреждением) секретную проверку подлинности в URL-адресах S3, по сравнению с HADOOP-14833, которая удаляет ее.
  • globStatus теперь всегда возвращает отсортированные результаты (HADOOP-10798)
  • Добавлена fs.s3a.endpoint, если не задано и регион fs.s3a.endpoint имеет значение NULL(SPARK-35878)
    • Автоматическое разрешение региона Amazon S3, предоставленное Databricks, в некоторых случаях может не активироваться из-за задания глобальной конечной точки. Это не проблема, так как пакет SDK AWS будет правильно разрешать регион.
  • Добавлено fs.s3a.downgrade.syncable.exceptions, если не задано (SPARK-35868)
  • Кодеки LZ4 и Snappy не полагаются на собственную библиотеку Hadoop (HADOOP-17125)

Известные проблемы

  • SPARK-36681 Использование SnappyCodec для записи файла последовательности завершится с ошибкой UnsatisfiedLinkError из-за известной проблемы в Hadoop 3.3.1 (HADOOP-17891).

Apache Spark

Databricks Runtime 10.0 включает Apache Spark 3.2.0.

В этом разделе рассматриваются следующие вопросы.

Советы

  • Поддержка уровня API Pandas в PySpark (SPARK-34849)
  • Разделение на сеансы на основе EventTime (окно сеанса) (SPARK-10816)
  • Поддержка типов интервалов SQL ANSI (SPARK-27790)
  • Общая доступность режима ANSI (SPARK-35030)
  • Стандартизация сообщений об исключениях в Spark (SPARK-33539)

Ядро и Spark SQL

Улучшения совместимости с SQL ANSI

  • Поддержка типов интервалов SQL ANSI (SPARK-27790)
  • Новые правила синтаксиса приведения типов в режиме ANSI (SPARK-34246)

Улучшения в плане производительности

  • Оптимизация запросов
    • Удаление избыточных статистических выражений в оптимизаторе (SPARK-33122)
    • Ограничение pushdown через Project с помощью Join (SPARK-34622)
    • Оценка кратности оператора union, sort и range (SPARK-33411)
    • UnwrapCastInBinaryComparison поддерживает предикат In/InSet (SPARK-35316)
    • Сохранение необходимой статистики после удаления лишних секций (SPARK-34119)
  • Выполнение запроса
    • Включение буферного пула Zstandard по умолчанию (SPARK-34340, SPARK-34390)
    • Добавление code-gen для всех типов объединения путем слияния с сортировкой (SPARK-34705)
    • Улучшение вещания объединения вложенных циклов (SPARK-34706)
    • Поддержка двух уровней сопоставлений хэша для окончательного агрегата хэша (SPARK-35141)
    • Разрешение одновременных модулей записи для записи динамических секций и таблицы контейнеров (SPARK-26164)
    • Повышение производительности обработки FETCH_PRIOR в Thriftserver (SPARK-33655)

Улучшения соединителей

  • Паркетным
    • Обновление Parquet до 1.12.1 (SPARK-36726)
    • Считывание неподписанных типов Parquet, которые хранятся в виде физического типа int32 в Parquet (SPARK-34817)
    • Чтение логического типа Parquet без знака int64, который хранится как физический тип со знаком int64, в десятичный (20, 0) (SPARK-34786)
    • Улучшение Parquet в pushdown фильтра (SPARK-32792)
  • ОРК
    • Обновление ORC до версии 1.6.11 (SPARK-36482)
    • Поддержка принудительного позиционированного развития ORC (SPARK-32864)
    • Поддержка вложенного столбца в векторном модуле чтения ORC (SPARK-34862)
    • Поддержка сжатия ZSTD и LZ4 в источнике данных ORC (SPARK-33978, SPARK-35612)
  • Avro
    • Обновление Avro до версии 1.10.2 (SPARK-34778)
    • Поддержка эволюции схем Avro для секционированных таблиц Hive с помощью “avro.schema.literal”(SPARK-26836)
    • Добавление новых параметров источника данных Avro для управления пересозданием базового переноса даты и времени при чтении (SPARK-34404)
    • Добавление поддержки URL-адреса схемы, предоставленного пользователем, в Avro (SPARK-34416)
    • Добавление поддержки для позиционированного сопоставления схемы "Catalyst-to-Avro" (SPARK-34365)
  • JSON — .
    • Обновление Jackson до версии 2.12.3 (SPARK-35550)
    • Возможность разрешить источникам данных JSON записывать символы, не входящие в набор ASCII, как кодовые точки (SPARK-35047)
  • JDBC
    • Вычисление более точного шага секционирования в JDBCRelation (SPARK-34843)
  • Поддержка фильтра хранилище метаданных Hive от not-in (SPARK-34538)

Усовершенствования функций

  • Вложенный запрос
    • Улучшение коррелированных вложенных запросов (SPARK-35553)
  • Новые встроенные функции
  • Использование Apache Hadoop 3.3.1 по умолчанию (SPARK-29250)
  • Добавление контрольной суммы для блоков перемешивания (SPARK-35275)
  • Включение spark.storage.replication.proactive по умолчанию (SPARK-33870)
  • Поддержка очистки резервного хранилища во время остановки SparkContext (SPARK-34142)
  • Поддержка перечислений Java из API набора данных Scala (Spark-23862)
  • Добавление JAR-файла с координатами ivy должно быть совместимо с транзитивным поведением Hive (SPARK-34506)
  • Поддержка команды ADD ARCHIVE и LIST ARCHIVES (SPARK-34603)
  • Поддержка нескольких путей для команд ADD FILE/JAR/ARCHIVE (SPARK-35105)
  • Поддержка архивных файлов в качестве ресурсов для синтаксиса CREATE FUNCTION USING (SPARK-35236)
  • Загрузка SparkSessionExtensions из ServiceLoader (SPARK-35380)
  • Добавление функции предложений в functions.{scala,py} (SPARK-35418)
  • Применение spark.sql.hive.metastorePartitionPruning для таблиц, не относящихся к Hive, которые используют хранилище метаданных Hive для управления секциями (SPARK-36128).
  • Распространение причины потери выполнения в веб-интерфейсе (SPARK-34764)
  • Избежание встраивания недетерминированных With-CTE (SPARK-36447)
  • Поддержка анализа всех таблиц в определенной базе данных (SPARK-33687)
  • Стандартизация сообщений об исключениях в Spark (SPARK-33539)
  • Поддержка (IGNORE | RESPECT) NULLS для LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE (SPARK-30789)

Другие важные изменения

  • Монитор
    • Новые метрики для ExternalShuffleService (SPARK-35258)
    • Добавление новых REST API и параметров уровня подготовки (Spark-26399)
    • Поддержка распределений метрик задач и исполнителей в REST API (Spark-34488)
    • Добавление резервных метрик для хэш-агрегата (Spark-35529)
  • Добавление count_distinct в качестве параметра Dataset#summary (SPARK-34165)
  • Реализация ScriptTransform в sql/core (SPARK-31936)
  • Возможность настройки времени ожидания для пульса драйвера BlockManagerMaster (SPARK-34278)
  • Возможность настройки имени службы перемешивания на стороне клиента и разрешение переопределения конфигурации на основе пути класса на стороне сервера (Spark-34828)
  • ExecutorMetricsPoller должен сохранять запись этапа в stageTCMP до получения пакета пульса (SPARK-34779)
  • Замена if на предложение фильтра в RewriteDistinctAggregates (SPARK-34882)
  • Устранение ошибки при применении CostBasedJoinReorder к самосоединению (SPARK-34354)
  • Инструкция CREATE TABLE LIKE должна учитывать свойства зарезервированной таблицы (SPARK-34935)
  • Доставка файла ivySettings в драйвер в режиме кластера YARN (SPARK-34472)
  • Разрешение повторяющихся общих столбцов из USING/NATURAL JOIN (SPARK-34527)
  • Скрытие внутренних свойств представления для описания команды таблицы (SPARK-35318)
  • Поддержка разрешения отсутствующих атрибутов для указания распределения, кластеризации и повторного секционирования (SPARK-35331)
  • Игнорирование ошибку при проверке пути в FileStreamSink.hasMetadata (SPARK-34526)
  • Улучшение поддержки фиксатора s3a magic за счет получения отсутствующих конфигураций (SPARK-35383)
  • Разрешено опускать: в строке типа STRUCT (SPARK-35706)
  • Добавление нового оператора, чтобы определить, можно ли безопасно оптимизировать AQE (SPARK-35786)
  • Добавление новых вложенных полей структуры вместо сортировки по unionByName с заполнением значениями NULL (SPARK-35290)
  • ArraysZip должен хранить имена полей, чтобы избежать перезаписи анализатором/оптимизатором (SPARK-35876)
  • Использование Void в качестве имени типа NullType (SPARK-36224)
  • Добавление нового API в FileCommitProtocol обеспечивает возможность гибкого именования файлов (SPARK-33298)

Изменения в работе

Ознакомьтесь с руководствами по миграции для каждого компонента: Spark Core.

Структурированная потоковая передача

Основные возможности

  • Разделение на сеансы на основе EventTime (окно сеанса) (SPARK-10816)
  • Обновление клиента Kafka до 2.8.0 (SPARK-33913)
  • Trigger.AvailableNow для выполнения потоковых запросов, таких как Trigger.Once, в нескольких пакетах в Scala (SPARK-36533)

Другие важные изменения

  • Внедрение нового параметра в источнике Kafka, чтобы указать минимальное число записей для чтения на триггер (SPARK-35312)
  • Добавление последних смещений к исходному прогрессу (SPARK-33955)

PySpark

Проект Zen

  • API Pandas в Spark (SPARK-34849)
    • Включение mypy для Pandas-on-Spark (SPARK-34941)
    • Реализация поддержки CategoricalDtype (SPARK-35997, SPARK-36185)
    • Завершение базовых операций Series и Index(SPARK-36103, SPARK-36104, SPARK-36192)
    • Сопоставление поведения с 1.3 pandas (SPARK-36367)
    • Сопоставление поведения в серии с NaN на pandas'(SPARK-36031, SPARK-36310)
    • Реализация унарного оператора invert интегральных Series и Index (SPARK-36003)
    • Реализация CategoricalIndex.map и DatetimeIndex.map (Spark-36470)
    • Реализация index.map (SPARK-36469)
  • Сбой поддержки faulthanlder для рабочей роли Python (SPARK-36062)
  • Использование правила именования в API функций (SPARK-34306)
  • Включение spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled по умолчанию (SPARK-35419)
  • Поддержка определения вложенного dict в виде структуры при создании DataFrame (SPARK-35929)

Другие важные изменения

  • Включение режима закрепленного потока по умолчанию (SPARK-35303)
  • Добавление поддержки NullType для выполнения Arrow (SPARK-33489)
  • Добавление поддержки Arrow self_destruct в toPandas (SPARK-32953)
  • Добавление целевого API оболочки потока для режима потока закрепления pyspark (SPARK-35498)

Изменения в работе

См. руководство по миграции.

MLlib

Улучшения производительности

  • Оптимизация преобразования BucketedRandomProjectionLSH (SPARK-34220)
  • Оптимизация w2v findSynonyms (SPARK-34189)
  • Оптимизация разреженных GEMM за счет пропуска проверки привязки (Spark-35707)
  • Повышение производительности ML ALS recommendForAll от GEMV (SPARK-33518)

Усовершенствования обучения модели

  • Refactor Logistic Aggregator — поддержка виртуального центрирования (SPARK-34797)
  • Бинарная логистическая регрессия с центрированием поддержки перехвата (SPARK-34858, SPARK-34448)
  • Бинарная логистическая регрессия с центрированием поддержки перехвата (SPARK-34860)

Улучшения BLAS

  • Полная замена fully com.github.fommil.netlib на dev.ludovic.netlib:2.0(SPARK-35295)
  • Добавление векторной реализации BLAS (SPARK-33882)
  • Ускорение резервного BLAS с помощью dev.ludovic.netlib (SPARK-35150)

Другие важные изменения

  • Преобразование OVR для исправления потенциального конфликта столбцов (SPARK-34356)

Устаревшие и удаленные возможности

  • Не рекомендуется использовать spark.launcher.child Подключение ionTimeout(SPARK-33717)
  • GROUP BY больше не рекомендуется… GROUPING SETS (…) и использование GROUP BY GROUPING SETS (…)(SPARK-34932)
  • API ps.broadcast больше не рекомендуется (SPARK-35810)
  • Аргумент num_files больше не рекомендуется (SPARK-35807)
  • DataFrame.to_spark_io больше не рекомендуется(SPARK-35811)

Обновления в рамках обслуживания

См. Пакет обновления Databricks Runtime 10.0.

Системная среда

  • Операционная система: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14.
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.3
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2,10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 график 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 Сиборн 0.11.1
setuptools 52.0.0 six 1.15.0 ssh-import-id 5,10
statsmodels 0.12.2 tenacity 8.0.1 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 21.09.2021.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 большой двоичный объект 1.2.2 загрузка 1.3-28
Заваривать 1.0–6 brio 1.1.2 Метлу 0.7.9
bslib 0.3.0 cachem 1.0.6 вызывающий объект 3.7.0
крышка 6.0-88 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1,7 компилятор 4.1.1 config 0.3.1
cpp11 0.3.1 Карандаш 1.4.1 учетные данные 1.3.1
curl 4.3.2 data.table 1.14.0 наборы данных 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.3.0
средства разработки 2.4.2 diffobj 0.3.4 digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 многоточие 0.3.2
evaluate 0,14 вентиляторы 0.5.0 Farver 2.1.0
fastmap 1.1.0 forcats 0.5.1 foreach 1.5.1
Иностранных 0.8-81 forge 0.2.0 fs 1.5.0
будущее 1.22.1 future.apply 1.8.1 gargle 1.2.0
Универсальные шаблоны 0.1.0 gert 1.4.1 ggplot2 3.3.5
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
globals 0.14.0 Клей 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 Говер 0.2.2 графика 4.1.1
grDevices 4.1.1 grid 4.1.1 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.4.3
высокий 0,9 Hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Итераторы 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 трикотажный 1,34 Маркировки 0.4.2
later 1.3.0 Решетки 0.20-44 Lava 1.6.10
жизненный цикл 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 Markdown 1,1 МАССАЧУСЕТС 7.3-54
«Матрица» 1.3-4 memoise 2.0.0 оплаты 4.1.1
mgcv 1.8-37 Mime 0,11 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 parallelly 1.28.1 Столб 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 plyr 1.8.6 Похвалы 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.2
prodlim 2019.11.13 Ход выполнения 1.2.2 progressr 0.8.0
promises 1.2.0.1 proto 1.0.0 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 Рецепты 0.1.16 Реванш 1.0.1
rematch2 2.1.2 remotes 2.4.0 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.11 rmarkdown 2,11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.1
sass 0.4.0 Весы 1.1.1 селектор 0.4-2
sessioninfo 1.1.1 Формы 1.4.6 Блестящие 1.6.0
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
пространственный 7.3-11 Сплайны 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 статистика4 4.1.1
stringi 1.7.4 stringr 1.4.0 Выживания 3.2-13
sys 3,4 tcltk 4.1.1 ОбучениеDemos 2,10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 TimeDate 3043.102
tinytex 0,33 средства 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 служебные программы 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 виски 0,4
withr 2.4.2 xfun 0,26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 Yaml 2.2.1
zip 2.2.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h{_>2<_} 1.4.195
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,19
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0–2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4,8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1,6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Неиспользуемые 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1