Databricks Runtime 5.5 LTS (неподдерживаемый)
Этот образ Databricks выпущен в июле 2019 г. В августе 2019 г. было объявлено о долгосрочной поддержке (LTS). Поддержка завершена 27 июля 2021 г. Databricks Runtime 5.5 Extended Support (неподдерживаемый) был выпущен 8 июля 2021 г. и расширяет поддержку 5.5 до декабря 2021 г. Эта версия построена на основе Ubuntu 18.04.5 LTS, а не устаревшего дистрибутива Ubuntu 16.04.6 LTS, который использовался в исходной версии Databricks Runtime 5.5 LTS. Поддержка Ubuntu 16.04.6 LTS была прекращена 1 апреля 2021 г.
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 5.5 на платформе Apache Spark.
Новые возможности
Delta Lake в Azure Databricks с автоматической оптимизацией
Сейчас при записи данных в облачное хранилище вам требуется сжать файлы для оптимальной производительности ввода-вывода. Вам нужно определить правильный размер файлов, как часто сжимать файлы, какого размера кластер использовать и т. д. Для решения этой категории проблем мы рады сообщить об общей доступности функции автоматической оптимизации в Delta Lake на Azure Databricks. При каждой записи в разностные таблицы мы автоматически определяем нужный размер файлов и сжимаем их, поэтому вам больше не придется беспокоиться об оптимизации структуры хранилища. Если в процессе записи параметр auto-optimize имеет значение true, Azure Databricks автоматически определяет необходимость оптимизации и оптимизирует небольшие файлы. Дополнительные сведения см. в разделе "Настройка Delta Lake" для управления размером файла данных.
Delta Lake в Azure Databricks повышает производительность запросов агрегатов min, max и count
Производительность запросов агрегатов min, max и count для Delta Lake в Azure Databricks значительно улучшилась за счет уменьшения объема считываемых данных. Теперь эти запросы выполняются с использованием статистических данных и значений секций в метаданных, а не путем сканирования данных.
Ускорение конвейеров вывода модели с улучшенным источником данных в виде двоичного файла и скалярным итератором pandas UDF (общедоступная предварительная версия)
Задачи машинного обучения, особенно в домене изображений и видео, часто должны выполняться с большим количеством файлов. В Databricks Runtime 5.4 мы уже сделали доступным источник данных в виде двоичного файла, чтобы упростить извлечение, преобразование и загрузку произвольных файлов, например изображений, в таблицы Spark. В Databricks Runtime 5.5 мы добавили параметр recursiveFileLookup, чтобы рекурсивно загружать файлы из вложенных входных каталогов. См. статью Двоичный файл.
Источник данных в виде двоичного файла позволяет выполнять задачи параллельного вывода модели из таблиц Spark с помощью скалярной определяемой пользователем функции pandas. Однако может потребоваться инициализировать модель для каждого пакета записей, что повлечет за собой возникновение издержек. В Databricks Runtime 5.5 мы обеспечиваем ретроподдержку нового типа UDF pandas "скалярный итератор" из основной версии Apache Spark. С его помощью можно только один раз инициализировать модель и применять ее к разным входным пакетам, что может помочь увеличить скорость обработки таких моделей, как ResNet50, в 2–3 раза. См. раздел Определяемая пользователем функция для преобразования из последовательных данных в скалярные.
API секретов в записных книжках R
API секретов позволяет внедрять секреты в записные книжки без жесткого кодирования. Этот API теперь доступен в записных книжках R в дополнение к существующей поддержке записных книжек Python и Scala. Для получения секретов можно использовать функцию dbutils.secrets.get. Перед печатью в ячейке записной книжки выполняется компоновка секретов.
Усовершенствования
- Поддержка выполнения SQL-операций в Delta Lake на Python
foreachBatch: мы устранили известное ограничение, связанное с невозможностью записи в разностные таблицы изforeachBatchзапроса структурированного потока, заданного на Python. Это поможет улучшить работу при общих рабочих нагрузках потоковой передачи на Python, например, Запись статистических выражений потоковой передачи в режиме обновления с помощью функций MERGE и foreachBatch. - Производительность разностных таблиц, хранящихся в Azure Data Lake 2-го поколения: проверка последней версии разностной таблицы на ADLS 2-го поколения теперь проверяет только конец журнала транзакций, а не список всех доступных версий. В результате этой оптимизации операция
UPDATEвыполняется за фиксированный период времени, что значительно улучшает показатель задержки. - Масштабируемость оптимизации
ZORDER BY: Z-упорядочение в очень больших разностных таблицах теперь использует уменьшенные единицы работы, для управления которыми используется расширенный контроль допуска. Эта функция повышает стабильность этой операции без ущерба для использования кластера. - Улучшена производительность DML-команд в таблицах с большим количеством столбцов: теперь мы лучше выполняем очистку столбцов при сканировании соответствующих данных в командах
UPDATE,DELETEиMERGE. - Поддержка настройки конечных точек виртуальной сети и поставщика в соединителе Spark — Synapse Analytics. Мы добавили пути ADL 2-го поколения в список разрешений в качестве мест хранения временных данных (
.option("tempDir", "abfss://...")) и добавили новый параметрuseAzureMSI, который будет использоваться вместоforward_spark_azure_storage_credentials, если в Synapse Analytics настроена проверка подлинности через управляемые удостоверения для доступа к вашей учетной записи хранения V2. - Автоматическое аннулирование для кэширования диска: кэширование диска теперь автоматически определяет файлы, которые были изменены или перезаписаны после кэширования. Все устаревшие записи автоматически признаются недействительными и удаляются из кэша. Дополнительные сведения см. в статье Оптимизация производительности с помощью кэширования в Azure Databricks.
- Обновленный формат wheel в библиотеках Python версий с 0.33.3 до 0.33.4.
- Обновленный формат nlme в библиотеках R версий с 3.1–139 до 3.1—140.
Исправления ошибок
- Исправлена отмена команд R, которые не запускают задания Spark. Ранее команды R, которые не запускали задания Spark, можно было отменить, но состояние записных книжек могло быть утрачено; теперь можно отменять команды без утраты состояния записной книжки.
- Теперь при удалении или перемещении управляемой таблицы кэшированные данные журнала Delta Lake признаются недействительными.
- Исправлена ошибка, когда запись контрольной точки Delta Lake может завершиться ошибкой из-за
FileAlreadyExistsException. - Теперь после выполнения REPL на Scala устанавливается правильный флаг
-target:jvm-1.8, который используется для вызова методов Java, использующих функции Java 8.
Apache Spark
Databricks Runtime 5.5 включает Apache Spark 2.4.3. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 5.4 (неподдерживаемые), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
- [SPARK-24695] Функциям UDF разрешено возвращать CalendarInterval
- [SPARK-28056] Добавление docstring/doctest для UDF в pandas с использованием SCALAR_ITER
- [SPARK-28185] Закрывает генератор при преждевременной остановке UDF на Python
- [SPARK-24703] Поддержка умножения интервалов
- [SPARK-27018][CORE] Исправление ошибочного удаления файла с контрольными точками в PeriodicCheckpointer
- [SPARK-28127][SQL] Микрооптимизация для метода mapChildren TreeNode
- [SPARK-26038] Decimal toScalaBigInt/toJavaBigInteger для десятичных чисел, не соответствующих заданной длине
- [SPARK-26555][SQL] Обеспечение безопасности проверки подтипа ScalaReflection в многопоточной среде
- [SPARK-28081][ML] Обработка счетчиков больших вокабуляров в word2vec
- [SPARK-21882][CORE] OutputMetrics неправильно подсчитывает записанные байты в функции saveAsHadoopDataset
- [SPARK-28030] Преобразование пути файла в URI в источнике данных в виде двоичного файла
- [SPARK-27803][SQL] [PYTHON] Исправление очистки столбцов для UDF на Python
- [SPARK-27917][SQL] Неверная каноническая форма объекта CaseWhen
- [SPARK-27798][SQL] from_avro не должно выдавать то же значение при преобразовании в локальное отношение
- [SPARK-27873][SQL] Не нужно проверять columnNameOfCorruptRecord с именами столбцов в заголовке CSV при отключении enforceSchema
- [SPARK-27907][SQL] HiveUDAF должна возвращать значение NULL, если количество строк равно 0
- [SPARK-27699][SQL] Частичное опускание разделительных элементов, которые являются предикатами в Parquet/ORC
- [SPARK-27868][CORE] Улучшенное значение по умолчанию и документация по невыполненной работе сервера на сокетах.
- [SPARK-27869][CORE] Компоновка конфиденциальной информации в свойствах системы из пользовательского интерфейса
- [SPARK-27863][SQL] [BACKPORT-2.4] Файлы метаданных и временные файлы не должны учитываться как файлы данных
- [SPARK-27657][ML] Исправление формата журнала ml.util.Instrumentation.logFai...
- [SPARK-27858][SQL] Исправление десериализации Avro для типов объединения с несколькими типами, отличными от нуля
- [SPARK-27711][CORE] Удаление InputFileBlockHolder после завершения задач
- [SPARK-27351][SQL] Исправлена неверная оценка outputRows после AggregateEstimation только со столбцом со значением NULL.
- [SPARK-27539][SQL] Исправлена неточная статистическая оценка outputRows при обработке столбцов, содержащих нулевые значения
- [SPARK-27800][SQL] Исправление неверного ответа в тестовых случаях с BitwiseXor
- [SPARK-27639][SQL] При использовании InMemoryTableScan в пользовательском интерфейсе отображается имя таблицы, если это возможно
- [SPARK-27726][CORE] Улучшение производительности операций удаления ElementTrackingStore при использовании InMemoryStore при высоких нагрузках
- [SPARK-27771][SQL] Добавление описания SQL для группирования функций (cube, rollup, grouping и grouping_id)
- [SPARK-27735][SS] При анализе строки интервала в SS не должен учитываться регистр
- [SPARK-26856][PYSPARK] Поддержка Python для интерфейсов API from_avro и to_avro
- [SPARK-26870][SQL] Перемещение to_avro/from_avro в объект функций из-за совместимости с Java
- [SPARK-26812][SQL] Отчет о допустимости значений NULL для сложных типов данных в Union
- [SPARK-27671][SQL] Исправление ошибки при приведении вложенного нулевого значения в структуру
- [SPARK-27673][SQL] Добавление сведений
sinceв случайные, регулярные, нулевые выражения - [SPARK-27672][SQL] Добавление сведений
sinceв строковые выражения - [SPARK-25139][SPARK-18406][CORE] Теперь ошибки NonFatal не приводят к завершению работы исполнителя в PythonRunner
- [SPARK-27624][CORE] Исправление CalenderInterval для правильного отображения пустого интервала
- [SPARK-27577][MLLIB] Корректная субдискретизация пороговых значений в BinaryClassificationMetrics
- [SPARK-27621][ML] Линейная регрессия — проверка параметров, связанных с обучением, таких как потери только на этапе поиска соответствий
- [SPARK-26048][SPARK-24530] Избирательное включение отсутствующих фиксаций в скрипт выпуска 2.4
- [SPARK-24935][SQL] Поддержка INIT –> UPDATE –> MERGE –> FINISH в адаптере функций UDAF Hive
Обновления в рамках обслуживания
См. Служебные обновления Databricks Runtime 5.5.
Системная среда
- Операционная система: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 2.7.12 для кластеров Python 2 и 3.5.2 для кластеров Python 3.
- R: R версии 3.6.0 (26.04.2019)
- Кластеры GPU: установлены следующие библиотеки GPU NVIDIA:
- Драйвер Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Примечание.
Scala 2.12 поддерживается в Apache Spark 2.4, но не поддерживается в Databricks Runtime 5.5.
В этом разделе рассматриваются следующие вопросы.
- Установленные библиотеки Python
- Установленные библиотеки R
- Установленные библиотеки Java и Scala (версия кластера Scala 2.11)
Установленные библиотеки Python
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| Криптографии | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | фьючерсы | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0,23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 19.1.1 | ply | 3,9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2,14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0,32 | Сиборн | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | six | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wheel | 0.33.4 |
| wsgiref | 0.1.2 |
Установленные библиотеки R
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1,1 | assertthat | 0.2.1 |
| внутренние порты | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1–14 | bit64 | 0.9-7 |
| bitops | 1.0–6 | большой двоичный объект | 1.1.1 | загрузка | 1.3-20 |
| Заваривать | 1.0–6 | вызывающий объект | 3.2.0 | автомобиль | 3.0-2 |
| carData | 3.0-2 | крышка | 6.0-82 | cellranger | 1.1.0 |
| chron | 2.3-53 | class | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.8 |
| codetools | 0.2-16 | colorspace | 1.4-1 | commonmark | 1,7 |
| компилятор | 3.6.0 | config | 0,3 | Карандаш | 1.3.4 |
| curl | 3,3 | data.table | 1.12.0 | наборы данных | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | desc | 1.2.0 |
| средства разработки | 2.0.1 | digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | многоточие | 0.1.0 | вентиляторы | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | Иностранных | 0.8-71 |
| forge | 0.2.0 | fs | 1.2.7 | Gbm | 2.1.5 |
| Универсальные шаблоны | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | Клей | 1.3.1 |
| Говер | 0.2.0 | графика | 3.6.0 | grDevices | 3.6.0 |
| grid | 3.6.0 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| Hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1,3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | Итераторы | 1.0.10 |
| jsonlite | 1,6 | KernSmooth | 2.23-15 | Маркировки | 0,3 |
| Решетки | 0.20-38 | Lava | 1.6.5 | lazoval | 0.2.2 |
| littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | maps | 3.3.0 |
| Maptools | 0.9-5 | МАССАЧУСЕТС | 7.3-51.1 | Матрица | 1.2-17 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | оплаты | 3.6.0 |
| mgcv | 1.8-28 | Mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-140 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1,3 | openxlsx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | Столб | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| Похвалы | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | Ход выполнения | 1.2.0 |
| proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5,38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr | 1.3.1 |
| readxl | 1.3.1 | Рецепты | 0.1.5 | Реванш | 1.0.1 |
| remotes | 2.0.2 | reshape2 | 1.4.3 | rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | Весы | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | SparseM | 1.77 | пространственный | 7.3-11 |
| Сплайны | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | stats | 3.6.0 | статистика4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | Выживания | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | ОбучениеDemos | 2,10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | TimeDate | 3043.102 | средства | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | служебные программы | 3.6.0 |
| viridisLite | 0.3.0 | виски | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | Yaml | 2.2.0 |
| zip | 2.0.1 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.11)
| ИД группы | Идентификатор артефакта | Версия |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | потоковая передача | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1–0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15–9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15–9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h{_>2<_} | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | служба хранилища Azure | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1,6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0–2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-trees | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3,4 |
| org.antlr | antlr4-runtime | 4,7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0–M20 |
| org.apache.directory.api | api-util | 1.0.0–M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0–M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0–M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4,8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | Неиспользуемые | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1,16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |