Databricks Runtime 8.3 (неподдерживаемый)
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 8.3 и Databricks Runtime 8.3 Photon на базе Apache Spark 3.1.1. Эти образы были выпущены в июле 2021 года. Photon сейчас находится в режиме общедоступной предварительной версии.
Новые функции и внесенные улучшения
- Созданные столбцы в разностных таблицах (общедоступная предварительная версия)
- Функции и усовершенствования автозагрузчика
- Создание разностных таблиц с помощью новых программных API (общедоступная предварительная версия)
- Правильное вычисление размеров разностных таблиц в SQL
ANALYZE - Подробные метрики производительности RocksDB при использовании RocksDBStateStore
- Автоматически оптимизированные операции записи
- Включение сегментированных объединений, только если одна сторона объединения является сегментированной
- Повышена безопасность при определении пользовательских функций Spark (общедоступная предварительная версия)
- Уменьшено количество запросов к реестру схемы для запросов с
from_avro - Несколько результатов в R с ListResults (общедоступная предварительная версия)
Созданные столбцы в разностных таблицах (общедоступная предварительная версия)
Delta Lake теперь поддерживает созданные столбцы — специальный тип столбцов, значения которых создаются автоматически на основе определяемой пользователем функции для других столбцов в таблице Delta. Для создания значений созданных столбцов можно использовать большинство встроенных функций SQL. Например, можно автоматически создать столбец даты (для секционирования таблицы по дате) из столбца "Метка времени". Все операции записи в таблицу должны указывать только данные для столбца "Метка времени". Разностные таблицы с созданными столбцами можно создавать, используя API SQL, Scala, Java или Python.
Дополнительные сведения см. в разделе "Delta Lake", созданные столбцами.
Функции и усовершенствования автозагрузчика
- Вывод схемы для CSV-файлов в автоагрузчике
- Сокращено время запуска для потоков автозагрузчика
- Ускорено формирование списка каталогов в автозагрузчике
- Сокращены расходы на хранение контрольных точек автозагрузчика
- Автозагрузчик указывает путь к файлу восстановленных данных, если таковой имеется
- Автозагрузчик поддерживает переименование файлов в Azure Data Lake Storage 2-го поколения в режиме уведомления о файлах
Вывод схемы для CSV-файлов в автоагрузчике
Автозагрузчик теперь поддерживает вывод схемы и эволюцию в CSV-файлах. Автозагрузчик предоставляет следующие возможности сверх существующего средства синтаксического анализа CSV в Apache Spark:
- Слияние схем: автозагрузчик может принимать CSV-файлы с различными схемами (разным количеством и упорядочением столбцов) в разных файлах.
- Столбец восстановленных данных: столбец восстановленных данных можно использовать для восстановления непредвиденных данных, которые могут обнаружиться в CSV-файлах. Сюда входят данные, которые невозможно проанализировать в ожидаемом типе данных, столбцы с иными регистрами или с нулевыми значениями в заголовке и дополнительные столбцы, не входящие в ожидаемую схему.
Дополнительные сведения см. в статье о настройке вывода и эволюции схемы в автозагрузчике.
Сокращено время запуска для потоков автозагрузчика
Потоки автозагрузчика теперь при первом запуске выполняют начальное заполнение потока асинхронно, что позволило значительно ускорить запуск потока. Это позволяет быстро выполнять итерацию рабочих данных в коде, особенно если данные нужно принимать из каталогов, содержащих миллионы или миллиарды файлов.
Кроме того, сократилось время начальной загрузки перезапускаемых потоков, поскольку скачивание и загрузка файлов RocksDB, которые используются автозагрузчиком для предоставления семантики строго однократной доставки, теперь производятся параллельно.
Ускорено формирование списка каталогов в автозагрузчике
Эффективность формирования списка каталогов в автозагрузчике существенно возросла. Побочным эффектом повышенной производительности стало то, что поток может выдавать больше запросов списков к системе хранения в отсутствие новых данных для обработки, что может приводить к начислению оплаты за запросы списков. Как правило, Databricks рекомендует задавать разумный интервал запуска рабочих конвейеров потоковой передачи. Сведения о структурированной потоковой передаче см. в разделе "Рекомендации по рабочей среде".
Сокращены расходы на хранение контрольных точек автозагрузчика
Потоки автозагрузчика теперь автоматически удаляют устаревшие файлы в каталоге контрольных точек, чтобы не дать ему расти до бесконечности и сократить затраты на хранение.
Автозагрузчик указывает путь к файлу восстановленных данных, если таковой имеется
Столбец восстановленных данных автоматически указывает путь к файлу восстановленных данных, если таковой имеется, в столбце с именем _file_ path. Это поможет находить источники проблем с качеством данных. Столбец не отображается, если в схеме данных есть столбец с именем _file_path. При необходимости столбец можно переименовать, используя конфигурацию SQL spark.databricks.sql.rescuedDataColumn.filePath.name.
Автозагрузчик поддерживает переименование файлов в Azure Data Lake Storage 2-го поколения в режиме уведомления о файлах
Теперь автозагрузчик поддерживает события BlobRenamed в Azure Data Lake Storage 2-го при запуске в режиме уведомления о файлах. Для обработки файлов, передаваемых в контейнер Azure Data Lake Storage 2-го поколения посредством операции переименования с уведомлениями о файлах, запустите новый поток с автозагрузчиком, используя Databricks Runtime 8.3. Чтобы файл обрабатывался строго один раз, убедитесь в том, что исходный каталог, из которого выполняется переименование файла, не отслеживается автозагрузчиком.
Создание разностных таблиц с помощью новых программных API (общедоступная предварительная версия)
Теперь разностные таблицы можно создавать программными средствами (с помощью Scala, Java и Python) без использования API DataFrame. Новые API DeltaTableBuilder и DeltaColumnBuilder позволяют указать все сведения о таблице, которые можно указать с помощью SQL CREATE TABLE.
Дополнительные сведения см. в разделе Создание таблицы.
Правильное вычисление размеров разностных таблиц в SQL ANALYZE
Существующая логика анализа неверно рассчитывает размеры разностных таблиц и добавляет неверный размер в каталог. Теперь размер разностной таблицы берется из разностного журнала.
Подробные метрики производительности RocksDB при использовании RocksDBStateStore
Если вы настроили запрос структурированной потоковой передачи так, что в качестве хранилища состояний используется RocksDB, то теперь вы можете получить более наглядную информацию о производительности RocksDB, а также подробные метрики по задержкам get/put, задержкам сжатия, попаданиям в кэш и т. д. Эти метрики доступны через API StreamingQueryProgress и StreamingQueryListener для мониторинга запроса потоковой передачи.
Дополнительные сведения см. в статье Настройка хранилища состояний RocksDB в Azure Databricks.
Автоматически оптимизированные операции записи
Оптимизированные операции записи в секционированных разностных таблицах теперь включаются автоматически для запросов обновления и удаления с подзапросами.
Включение сегментированных объединений, только если одна сторона объединения является сегментированной
Новая конфигурация spark.databricks.sql.minBucketsForBucketedJoin включает сегментированное объединение, если только одна сторона объединения является сегментированной, а количество сегментов не меньше этого значения конфигурации. По умолчанию это значение конфигурации совпадает с количеством разделов перетасовки данных по умолчанию (200).
Повышена безопасность при определении пользовательских функций Spark (общедоступная предварительная версия)
Функции сведений о пользователе current_user и is_member больше не могут переопределяться временными функциями, включая Python spark.udf.register или SQL create or replace temp function.
Уменьшено количество запросов к реестру схемы для запросов с from_avro
Запросы с from_avro с поддержкой реестра схемы больше не создают столько запросов к службе реестра схемы, что позволяет сократить операционные расходы.
Несколько результатов в R с ListResults (общедоступная предварительная версия)
Теперь записные книжки Databricks R поддерживают несколько результатов в каждой ячейке. Ранее в каждой ячейки записной книжки отображался только один результат. В настоящее время результаты одной ячейки в записных книжках R отображаются в следующем порядке:
- URL-адрес RShiny
- Графическое представления
- результаты displayHTML
- Таблицы
- stdout
Обновления библиотек
- Обновленная библиотека Python:
- koalas — с версии 1.7.0 до версии 1.8.0;
- pandas — с версии 1.1.3 до версии 1.1.5;
- s3transfer — с версии 0.3.4 до версии 0.3.6.
- Обновленная библиотека R:
- SparkR — с версии 1.1.3 до версии 1.1.5.
- Обновленная библиотека Java:
- mariadb-java-client — с версии 2.1.2 до версии 2.2.5;
- parquet-column — с версии 1.10.1-databricks6 до версии 1.10.1-databricks9;
- parquet-common — с версии 1.10.1-databricks6 до версии 1.10.1-databricks9;
- parquet-encoding — с версии 1.10.1-databricks6 до версии 1.10.1-databricks9;
- parquet-hadoop — с версии 1.10.1-databricks6 до версии 1.10.1-databricks9;
- parquet-jackson — с версии 1.10.1-databricks6 до версии 1.10.1-databricks9.
Apache Spark
Databricks Runtime 8.3 включает Apache Spark 3.1.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 8.2 (неподдерживаемые), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
- [SPARK-34614] [SQL] Режим ANSI: приведение строки к логическому типу вызовет создание исключения при ошибке синтаксического анализа
- [SPARK-34246] [FOLLOWUP]: изменено определение findTightestCommonT…
- [SPARK-35213] [SQL] Сохранение правильного порядка вложенных структур в связанных операциях withField.
- [SPARK-35096] [SQL]: SchemaPruning соответствует конфигурации spark.sql.caseSensitive.
- [SPARK-35227][BUILD]: обновлен механизм распознавания для пакетов Spark в SparkSubmit.
- [SPARK-35224] [SQL]: устранена проблема переполнения буфера в
MutableProjectionSuite. - [SPARK-34245][CORE]: Master всегда удаляет исполнителей, которым не удалось отправить завершенное состояние.
- [SPARK-34856][SQL], режим ANSI: разрешего приведение сложных типов в виде строкового типа.
- [SPARK-34946] [SQL]: блокировка неподдерживаемого коррелированного скалярного вложенного запроса в агрегате.
- [SPARK-35014] Исправлен шаблон PhysicalAggregation, чтобы он не переписывал свертываемые выражения
- [SPARK-34769] [SQL], AnsiTypeCoercion: возвращается ближайш…
Системная среда
- Операционная система: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (сборка 1.8.0_282-b08)
- Scala: 2.12.10
- Python: 3.8.8
- R: R версии 4.0.4 (15.02.2021 г.)
- Delta Lake 1.0.0
Установленные библиотеки Python
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2020.12.5 | cffi | 1.14.3 | chardet | 3.0.4 |
| Криптографии | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| decorator | 4.4.2 | distlib | 0.3.1 | docutils | 0.15.2 |
| entrypoints | 0,3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2,10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | koalas | 1.8.0 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| pip | 20.2.4 | график | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.0 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| requests | 2.24.0 | retrying | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | Сиборн | 0.10.0 |
| setuptools | 50.3.1 | six | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| wheel | 0.35.1 |
Установленные библиотеки R
Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 02.11.2020.
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| askpass | 1,1 | assertthat | 0.2.1 | внутренние порты | 1.2.1 |
| base | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | большой двоичный объект | 1.2.1 |
| загрузка | 1.3-27 | Заваривать | 1.0–6 | brio | 1.1.0 |
| Метлу | 0.7.2 | вызывающий объект | 3.5.1 | крышка | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-18 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.1 |
| codetools | 0.2-18 | colorspace | 2.0-0 | commonmark | 1,7 |
| компилятор | 4.0.4 | config | 0,3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | Карандаш | 1.3.4 | учетные данные | 1.3.0 |
| перекрестныйtalk | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| наборы данных | 4.0.4 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | средства разработки | 2.3.2 | diffobj | 0.3.2 |
| digest | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| многоточие | 0.3.1 | evaluate | 0,14 | вентиляторы | 0.4.1 |
| Farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | Иностранных | 0.8-81 | forge | 0.2.0 |
| fs | 1.5.0 | будущее | 1.21.0 | Универсальные шаблоны | 0.1.0 |
| gert | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
| Клей | 1.4.2 | Говер | 0.2.2 | графика | 4.0.4 |
| grDevices | 4.0.4 | grid | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | haven | 2.3.1 |
| высокий | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | Итераторы | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-18 | трикотажный | 1,30 |
| Маркировки | 0.4.2 | later | 1.1.0.1 | Решетки | 0.20-41 |
| Lava | 1.6.8.1 | lazoval | 0.2.2 | жизненный цикл | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| Markdown | 1,1 | МАССАЧУСЕТС | 7.3-53.1 | «Матрица» | 1.3-2 |
| memoise | 1.1.0 | оплаты | 4.0.4 | mgcv | 1.8-33 |
| Mime | 0,9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-15 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.0.4 |
| parallelly | 1.22.0 | Столб | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | Похвалы | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Ход выполнения | 1.2.2 | promises | 1.1.1 | proto | 1.0.0 |
| ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | Рецепты | 0.1.15 |
| Реванш | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversions | 2.0.2 | rvest | 0.3.6 | Весы | 1.1.1 |
| селектор | 0.4-2 | sessioninfo | 1.1.1 | Формы | 1.4.5 |
| Блестящие | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | пространственный | 7.3-11 | Сплайны | 4.0.4 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | stats | 4.0.4 |
| статистика4 | 4.0.4 | stringi | 1.5.3 | stringr | 1.4.0 |
| Выживания | 3.2-7 | sys | 3,4 | tcltk | 4.0.4 |
| ОбучениеDemos | 2,10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| TimeDate | 3043.102 | tinytex | 0,28 | средства | 4.0.4 |
| usethis | 2.0.0 | utf8 | 1.1.4 | служебные программы | 4.0.4 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| waldo | 0.2.3 | виски | 0,4 | withr | 2.3.0 |
| xfun | 0,19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | Yaml | 2.2.1 | zip | 2.1.1 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.12)
| ИД группы | Идентификатор артефакта | Версия |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | потоковая передача | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1–0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h{_>2<_} | 1.4.195 |
| com.helger | профилировщик | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1,6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Коллектор | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0–2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1,6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0–M20 |
| org.apache.directory.api | api-util | 1.0.0–M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0–M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0–M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | скорость | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,30 |
| org.glassfish.jersey.core | jersey-client | 2,30 |
| org.glassfish.jersey.core | jersey-common | 2,30 |
| org.glassfish.jersey.core | jersey-server | 2,30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2,30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | shims | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | Неиспользуемые | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |