Databricks Runtime 4.1 (неподдерживаемый)
Этот образ Databricks выпущен в мае 2018 г.
Внимание
Этот выпуск устарел до 17 января 2019 г. Дополнительные сведения о политике и расписании нерекомендуемой среды выполнения Databricks см. в статье о жизненном цикле поддержки databricks.
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 4.1 на платформе Apache Spark.
Delta Lake
Databricks Runtime версии 4.1 включает значительные улучшения качества и функциональности Delta Lake. Databricks настоятельно рекомендует всем клиентам Delta Lake переход на новую среду выполнения. Этот выпуск останется в закрытой предварительной версии, но будет доступен до выхода предстоящего общедоступного выпуска.
Delta Lake теперь также доступен для пользователей Azure Databricks в закрытой предварительной версии. Обратитесь к своему менеджеру по работе с клиентами или зарегистрируйтесь по адресу https://databricks.com/product/databricks-delta.
Критические изменения
Databricks Runtime 4.1 включает изменения в протоколе транзакций, необходимые для работы новых функций, таких как проверка. Таблицы, создаваемые с помощью Databricks Runtime 4.1, автоматически используют новую версию и не поддерживают запись данных более ранними версиями Databricks Runtime. Чтобы использовать улучшения, необходимо обновить существующие таблицы. Перед обновлением существующей таблицы нужно обновить все задания, которые записывают данные в эту таблицу. Затем запустите:
com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")Дополнительные сведения см. в статье о том, как Azure Databricks управляет совместимостью функций Delta Lake?
Операции записи теперь проверяются на соответствие текущей схеме таблицы; автоматическое добавление столбцов, отсутствующих в целевой таблице, как это было раньше, больше не применяется. Чтобы вернуться к предыдущей модели поведения, задайте для параметра
mergeSchemaзначениеtrue. См . проверку схемы Delta Lake.Если вы используете более ранние версии Databricks Delta, то прежде, чем использовать Databricks Runtime 4.1, вам нужно обновить все задания. Если у вас возникает одна из этих ошибок, выполните обновление до Databricks Runtime 4.1:
java.lang.NumberFormatException: For input string: "00000000000000....crc" scala.MatchErrorТаблицы больше не могут содержать столбцы, отличающиеся только регистром.
Теперь в конфигурациях разностных таблиц необходимо использовать префикс
delta.
Новые возможности
Управление схемами: теперь Databricks Delta выполняет с существующими таблицами операции проверки, добавления и перезаписи с тем, чтобы записываемая схема соответствовала необходимой.
- Databricks Delta по-прежнему поддерживает автоматическую миграцию схем.
- Databricks Delta теперь поддерживает следующий DDL для явного изменения схемы:
ALTER TABLE ADD COLUMNдля добавления новых столбцов в таблицу;ALTER TABLE CHANGE COLUMNSдля изменения порядка столбцов.ALTER TABLE [SET|UNSET] TBLPROPERTIES
Дополнительные сведения см. в разделе "Проверка схемы Delta Lake".
Улучшенная поддержка команд DDL и таблиц
- Полная поддержка DDL для таблиц и команд
saveAsTable(). Командыsave()иsaveAsTable()теперь имеют одинаковую семантику. - Все команды DDL и DML поддерживают имя таблицы и
delta.`<path-to-table>`. SHOW PARTITIONSSHOW COLUMNSDESC TABLE- Подробные сведения о таблице: текущие версии модулей чтения и записи для таблицы можно узнать с помощью команды
DESCRIBE DETAIL. Узнайте, как Azure Databricks управляет совместимостью функций Delta Lake?. - Сведения о таблице: теперь в системе доступны сведения о происхождении каждой записи в таблицу. На боковой панели данных также отображаются подробные сведения о таблице и журнал для таблиц Databricks Delta. Ознакомьтесь с подробными сведениями о таблице Delta Lake.
- Потоковая передача таблиц: потоковую передачу кадров данных можно создать с помощью команды
spark.readStream.format("delta").table("<table-name>"). - Таблицы, предназначенные только для добавления: теперь Databricks Delta поддерживает базовое управление данными. Удаления и изменения в таблице можно блокировать, настраивая свойство таблицы
delta.appendOnly=true. - Источник
MERGE INTO: добавляет более комплексную поддержку в спецификацию исходного запросаMERGE. Например, можно указать в источникеLIMIT,ORDER BYиINLINE TABLE. - Полная поддержка ACL для таблиц.
- Полная поддержка DDL для таблиц и команд
Улучшения производительности
- Сокращение расхода ресурсов на сбор статистики: сбор статистики стал более эффективным. Теперь статистика собирается только для заданного количества столбцов — по умолчанию устанавливается значение 32. Прирост производительности операций записи Databricks Delta до 100 % за счет сокращения расхода ресурсов на сбор статистики. Для указания количества столбцов используйте свойство таблицы
delta.dataSkippingNumIndexedCols=<number-of-columns>. - Поддержка ограничение принудительной отправки: статистика используется для ограничения количества файлов, сканируемых для выполнения запросов, включающих
LIMITи предикаты для столбцов секционирования. Это относится к запросам в записных книжках из-за неявного ограниченияlimit=1000, применимого ко всем командам записной книжки. - Принудительная фильтрация потоковой передачи исходных данных: теперь при запуске нового потока потоковая передача запросов задействует секционирование, что позволяет пропускать несущественные данные.
- Улучшенный параллелизм для команды
OPTIMIZE: теперь командаOPTIMIZEвыполняется как одна задача Spark и будет использовать все возможности параллелизма, доступные в кластере (ранее действовало ограничение в 100 сжатых файлов за раз). - Пропуск данных в DML: теперь команды
UPDATE,DELETEиMERGEиспользуют статистику при поиске файлов, которые требуют перезаписи. - Уменьшение срока хранения контрольных точек: теперь контрольные точки хранятся два дня (журнал — по-прежнему 30), что позволяет сократить затраты на хранение журнала транзакций.
Поведение API
insertInto(<table-name>)в Databricks Delta ведет себя так же, как и другие источники данных.- Если режим не указан или параметр
modeимеет значениеErrorIfExists,IgnoreилиAppend, данные из DataFrame присоединяются к таблице Databricks Delta. - Если параметр
modeимеет значениеOverwrite, все данные в существующей таблице удаляются и данные из DataFrame вставляются в таблицу данных Databricks Delta.
- Если режим не указан или параметр
- При кэшировании целевую таблицу
MERGEнеобходимо кэшировать вручную.
Повышение удобства использования
- Проверка миграции рабочей нагрузки— распространенные ошибки при переносе рабочих нагрузок в Databricks Delta теперь вызывают исключение, а не сбой:
- использование
format("parquet")для чтения или записи таблицы; - чтение или запись непосредственно в секцию (т. е.
/path/to/delta/part=1); - очистка подкаталогов таблицы;
- использование Parquet в таблице командой
INSERT OVERWRITE DIRECTORY.
- использование
- Настройка конфигурации без учета регистра: параметры модулей чтения и записи DataFrame и свойства таблицы теперь не учитывают регистр (включая пути чтения и записи).
- Имена столбцов: теперь имена столбцов таблицы могут содержать точки.
Известные проблемы
- Вставки нескольких инструкций INSERT теперь относятся к разным частям работы, а не выполняются в рамках одной операции.
Исправления ошибок
- Устранена проблема возникновения бесконечного цикла при запуске нового потока в таблице с быстрым обновлением.
Устаревшие элементы
В структурированной потоковой передаче не обрабатываются входные данные, кроме дополнений, и создается исключение, если в таблице, используемой в качестве источника, происходят какие-либо изменения. Ранее это поведение можно было переопределить с помощью флага ignoreFileDeletion, но теперь это не рекомендуется. Используйте вместо этого ignoreDeletes или ignoreChanges. См. статью Таблица Delta в качестве источника.
Другие изменения и улучшения
- Добавлен модуль наблюдения за запросами для всех универсальных кластеров, созданных с помощью пользовательского интерфейса.
- На стороне драйвера улучшена производительность для кэша DBIO.
- Улучшена скорость декодирования Parquet за счет использования нового собственного декодера Parquet.
- Увеличена скорость исключения общих частей выражений.
- Увеличена скорость присоединения больших таблиц к маленьким (соединения таблиц фактов и измерений).
- Команда
display()теперь выводит на экран столбцы, которые содержат типы данных изображений, в виде форматированного HTML-текста. - Улучшения в моделях log, load, register и deploy MLflow
- DBML-local обновлен до последней версии 0.4.1;
- исправлена ошибка, при которой модели экспортировались с заданным параметром
threshold; - добавлена поддержка экспорта
OneVsRestModelиGBTClassificationModel.
- Обновлены некоторые установленные библиотеки Python:
- pip: с версии 9.0.1 до версии 10.0.0b2;
- setuptools: с версии 38.5.1 до версии 39.0.1;
- tornado: с версии 4.5.3 до версии 5.0.1;
- wheel: с версии 0.30.0 до версии 0.31.0.
- Обновлены несколько установленных библиотек R. См. Установленные библиотеки R.
- Пакет SDK для Azure Data Lake Store обновлен с версии 2.0.11 до версии 2.2.8.
- CUDA для кластеров GPU обновлен с версии 8.0 до версии 9.0, а CUDNN — с версии 6.0 до версии 7.0.
Apache Spark
Databricks Runtime 4.1 включает Apache Spark 2.3.0. Этот выпуск включает все исправления и улучшения, включенные в Databricks Runtime 4.0 (неподдерживаемый), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
- [SPARK-24007][SQL]: при использовании EqualNullSafe для FloatType и DoubleType команда codegen может выдавать неверный результат.
- [SPARK-23942][PYTHON] [SQL]: выполняет сбор данных в PySpark как действие для прослушивателя выполнений запросов.
- [Spark-23815][CORE]: режим перезаписи динамической секции модуля записи Spark может не записывать выходные данные в секцию с несколькими уровнями.
- [Spark-23748][СС]: устранена проблема с тем, что непрерывный процесс SS не поддерживает SubqueryAlias.
- [SPARK-23963][SQL]: Правильная обработка многочисленных столбцов в запросе в текстовой таблице Hive.
- [SPARK-23867][SCHEDULER]: использование droppedCount в logWarning.
- [SPARK-23816][CORE]: завершенные задачи должны игнорировать FetchFailures.
- [SPARK-23809][SQL]: активный сеанс SparkSession должен устанавливаться getOrCreate.
- [Spark-23966][SS]: рефакторинг всей логики записи файла контрольных точек в общем интерфейсе CheckpointFileManager.
- [SPARK-21351][SQL]: обновление допустимости значений NULL в зависимости от выходных данных дочерних элементов.
- [SPARK-23847][PYTHON] [SQL]: в PySpark добавлены asc_nulls_first, asc_nulls_last.
- [SPARK-23822][SQL]: оптимизировано сообщение об ошибке при несоответствиях схемы Parquet.
- SPARK-23823[SQL]: сохранение оригинала в transformExpression.
- SPARK-23838[WEBUI]: отображение запуска SQL-запроса как завершенного на вкладке SQL.
- SPARK-23802[SQL]: PropagateEmptyRelation может оставлять план запроса в неразрешенном состоянии.
- [SPARK-23727][SQL]: поддержка принудительной отправки фильтров для DateType в Parquet.
- [SPARK-23574][SQL]: отчет о SinglePartition в DataSourceV2ScanExec при наличии ровно 1 фабрики модулей чтения данных.
- [SPARK-23533][SS]: добавлена поддержка изменения параметра startOffset для ContinuousDataReader.
- [Spark-23491][СС]: из параметров перенастройки ContinuousExecution удалена опция отмены задания напрямую.
- SPARK-23040[CORE]: возвращает прерываемый итератор для модуля чтения в случайном порядке.
- SPARK-23827[SS]: команда StreamingJoinExec должна выполняться так, чтобы входные данные разделялись на определенное количество разделов.
- [SPARK-23639][SQL]: получение маркера до клиента хранилища метаданных инициализации в CLI SparkSQL.
- SPARK-23806: Broadcast.unpersist может вызвать фатальное исключение при использовании...
- SPARK-23599[SQL]: использование RandomUUIDGenerator в выражении Uuid.
- SPARK-23599[SQL]: добавлен генератор UUID из псевдослучайных чисел.
- SPARK-23759[UI]: невозможно связать пользовательский интерфейс Spark с конкретным именем узла или IP-адреса.
- SPARK-23769[CORE]: удалены комментарии, которые без необходимости отключают проверку Scalastyle.
- SPARK-23614[SQL]: исправлен неверный обмен повторного использования при использовании кэширования.
- SPARK-23760[SQL]: CodegenContext.withSubExprEliminationExprs должен правильно сохранять и восстанавливать состояние CSE.
- SPARK-23729[CORE]: учет фрагмента универсального кода ресурса (URI) при разрешении проблем пакетов glob.
- [SPARK-23550][CORE]: очистка служебных программ.
- SPARK-23288[SS]: с помощью приемника Parquet исправлены выходные показатели.
- SPARK-23264[SQL]: исправлена ошибка scala.MatchError в literals.sql.out.
- SPARK-23649[SQL]: пропуск символов, запрещенных в UTF-8.
- [SPARK-23691][PYTHON] Использование sql_conf util в тестах PySpark по возможности
- SPARK-23644[CORE][UI]: использование абсолютного пути для вызова REST в SHS.
- SPARK-23706[PYTHON]: команда spark.conf.get(value, default=None) должна формировать в PySpark значение None.
- SPARK-23623[SS]: избегание параллельного использования кэшированных потребителей в CachedKafkaConsumer.
- SPARK-23670[SQL]: устранена проблема утечки памяти в SparkPlanGraphWrapper.
- SPARK-23608[CORE][WEBUI]: добавлена синхронизация в SHS между функциями attachSparkUI и detachSparkUI во избежание проблемы параллельной модификации в обработчиках Jetty.
- SPARK-23671[CORE]: исправлено условия для включения пула потоков SHS.
- SPARK-23658[LAUNCHER]: InProcessAppHandle использует в getLogger неверный класс.
- SPARK-23642[DOCS]: подкласс AccumulatorV2 — исправление isZero scaladoc.
- SPARK-22915[MLLIB]: тесты потоковой передачи для spark.ml.feature от N до Z.
- SPARK-23598[SQL]: методы в BufferedRowIterator сделаны общедоступными, чтобы при выполнении большого запроса не возникала ошибка времени выполнения.
- [SPARK-23546][SQL]: рефакторинг методов и значений без отслеживания состояния в CodegenContext.
- [SPARK-23523][SQL]: исправлен неверный результат, выдаваемый правилом OptimizeMetadataOnlyQuery.
- [SPARK-23462][SQL] улучшено сообщение об ошибке поля в StructType
- SPARK-23624[SQL]: пересмотрен документ по методу pushFilters в Datasource версии 2.
- SPARK-23173[SQL]: исправлена проблема с созданием поврежденных файлов Parquet при загрузке данных из JSON.
- SPARK-23436[SQL]: секция вставляется как "Дата", только если она может быть отнесена к датам.
- [SPARK-23406][SS]: включены самосоединения типа поток-поток.
- SPARK-23490[SQL]: сравнение storage.locationUri с таблицей, существующей в CreateTable.
- SPARK-23524: большие локальные блоки в случайном порядке не должны проверяться на предмет ошибок.
- SPARK-23525[SQL]: добавлена поддержка ALTER TABLE CHANGE COLUMN COMMENT для внешней таблицы Hive.
- SPARK-23434[SQL]: Spark не должен предупреждать каталог метаданных о пути к файлу HDFS.
- SPARK-23457[SQL]: прослушиватели завершения задач сначала регистрируются в ParquetFileFormat.
- SPARK-23329[SQL]: исправлена документация по тригонометрическим функциям.
- SPARK-23569[PYTHON]: pandas_udf разрешено работать с аннотированными функциям стиля python3.
- SPARK-23570[SQL]: Spark 2.3.0 добавлен в HiveExternalCatalogVersionsSuite.
- [SPARK-23517][PYTHON]: если возникает _pyspark.util.exception_message, Py4JJavaError оставляет след на стороне Java.
- [SPARK-23508][CORE]: исправлен BlockmanagerId, когда blockManagerIdCache вызывает oom.
- [SPARK-23448][SQL]: в документе разъяснено поведение средства синтаксического анализа JSON и CSV.
- [Spark-23365][CORE]: число исполнителей при завершении простаивающих исполнителей больше не корректируется.
- [Spark-23438][DSTREAMS]: устранена проблема потери данных DStreams за счет использования WAL при сбоях драйвера.
- [Spark-23475][UI]: добавлено отображение пропущенных этапов.
- [SPARK-23518][SQL]: исключено предоставление доступа к хранилищу метаданных в случаях, когда пользователям нужно только читать и записывать кадры данных.
- [SPARK-23406][SS]: включены самосоединения типа поток-поток.
- [Spark-23541][SS]: источнику Kafka разрешено считывать данные с большей степенью параллелизма, чем количество секций статей.
- [SPARK-23097][SQL][SS]: перенос источника текстовых сокетов в версию 2.
- [SPARK-23362][SQL][SS]: перенос источника микропакетов Kafka в версию 2.
- [SPARK-23445]: выполнен рефакторинг ColumnStat.
- [SPARK-23092][SQL]: перенос MemoryStream в API DataSource версии 2.
- [SPARK-23447][SQL]: очистка шаблона codegen для Literal.
- [Spark-23366]: улучшение пути для оперативного чтения в ReadAheadInputStream.
- [Spark-22624][PYSPARK]: раскрыто секционирования диапазонов в случайном порядке.
Обновления в рамках обслуживания
См. Служебные обновления Databricks Runtime 4.1.
Системная среда
- Операционная система: Ubuntu 16.04.4 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: 2.7.12 для кластеров Python 2 и 3.5.2 для кластеров Python 3.
- R: R версии 3.4.4 (15.03.2018)
- Кластеры GPU: установлены следующие библиотеки GPU NVIDIA:
- Драйвер Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Установленные библиотеки Python
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| Криптографии | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | фьючерсы | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0,23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 10.0.0b2 | ply | 3,9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2,14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0,32 | Сиборн | 0.7.1 |
| setuptools | 39.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | six | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.0.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.31.0 |
| wsgiref | 0.1.2 |
Installed R Libraries
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | внутренние порты | 1.1.2 |
| base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | bit | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0–6 | большой двоичный объект | 1.1.1 | загрузка | 1.3-20 |
| Заваривать | 1.0–6 | Метлу | 0.4.4 | автомобиль | 3.0-0 |
| carData | 3.0-1 | крышка | 6.0-79 | cellranger | 1.1.0 |
| chron | 2.3-52 | class | 7.3-14 | cli | 1.0.0 |
| cluster | 2.0.7 | codetools | 0.2-15 | colorspace | 1.3-2 |
| commonmark | 1.4 | компилятор | 3.4.4 | Карандаш | 1.3.4 |
| curl | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
| наборы данных | 3.4.4 | DBI | 0,8 | ddalpha | 1.3.1.1 |
| DEoptimR | 1,0–8 | desc | 1.1.1 | средства разработки | 1.13.5 |
| дихромат | 2.0-0 | digest | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
| forcats | 0.3.0 | foreach | 1.4.4 | Иностранных | 0.8-69 |
| Gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | 2.0-16 | Клей | 1.2.0 | Говер | 0.1.2 |
| графика | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
| gsubfn | 0,7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
| haven | 1.1.1 | Hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| Итераторы | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | Маркировки | 0,3 | Решетки | 0.20-35 |
| Lava | 1.6.1 | lazoval | 0.2.1 | littler | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
| mapproj | 1.2.6 | maps | 3.3.0 | Maptools | 0.9-2 |
| МАССАЧУСЕТС | 7.3-49 | «Матрица» | 1.2-13 | MatrixModels | 0.4-1 |
| memoise | 1.1.0 | оплаты | 3.4.4 | mgcv | 1.8-23 |
| Mime | 0,5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | Столб | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr | 1.8.4 | Похвалы | 1.0.0 | prettyunits | 1.0.2 |
| Proc | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
| Псих | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5,35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
| Рецепты | 0.1.2 | Реванш | 1.0.1 | reshape2 | 1.4.3 |
| rio | 0.5.10 | rlang | 0.2.0 | надежная база | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0,7 | Весы | 0.5.0 | sfsmisc | 1.1-2 |
| sp | 1.2-7 | SparkR | 2.3.0 | SparseM | 1.77 |
| пространственный | 7.3-11 | Сплайны | 3.4.4 | sqldf | 0.4-11 |
| SQUAREM | 2017.10-1 | statmod | 1.4.30 | stats | 3.4.4 |
| статистика4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
| Выживания | 2.41-3 | tcltk | 3.4.4 | ОбучениеDemos | 2,10 |
| testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | TimeDate | 3043.102 | средства | 3.4.4 |
| utf8 | 1.1.3 | служебные программы | 3.4.4 | viridisLite | 0.3.0 |
| виски | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.11)
| ИД группы | Идентификатор артефакта | Версия |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | потоковая передача | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1–0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15–9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15–9 |
| com.esotericsoftware | kryo-shaded | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h{_>2<_} | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1,1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 2.4.1 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1,6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2,2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0,8 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | Коллектор | 0,7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0–2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2,11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3,4 |
| org.antlr | antlr4-runtime | 4,7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.8.0 |
| org.apache.arrow | arrow-memory | 0.8.0 |
| org.apache.arrow | arrow-vector | 0.8.0 |
| org.apache.avro | avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0–M20 |
| org.apache.directory.api | api-util | 1.0.0–M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0–M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0–M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.1 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.1 |
| org.apache.parquet | parquet-column | 1.8.2-databricks1 |
| org.apache.parquet | parquet-common | 1.8.2-databricks1 |
| org.apache.parquet | parquet-encoding | 1.8.2-databricks1 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.2-databricks1 |
| org.apache.parquet | parquet-jackson | 1.8.2-databricks1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4. |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1,58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | Неиспользуемые | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1,16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |