Databricks Runtime 10.1 (sin soporte técnico)

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 10.1 y Databricks Runtime 10.1 Photon, con tecnología de Apache Spark 3.2.0. Databricks publicó estas imágenes en noviembre de 2021. Photon se encuentra en versión preliminar pública.

Nuevas características y mejoras

Nueva configuración de tablas de Delta para compactar archivos pequeños

La propiedad delta.autoOptimize.autoCompact de las tablas de Delta ahora acepta los nuevos valores de auto y legacy, además de los valores actuales de true y false. Cuando se establece en auto (recomendado), la compactación automática usa mejores valores predeterminados, como el establecimiento de 32 MB como tamaño del archivo de destino (aunque los comportamientos predeterminados están sujetos a cambios en el futuro). Cuando se establece en legacy o true, la compactación automática usa 128 MB como tamaño del archivo de destino.

En lugar de establecer esta propiedad para una tabla individual, puede establecer la configuración de spark.databricks.delta.autoCompact.enabled en auto, legacy o true para habilitar la compactación automática para todas las tablas de Delta. Esta configuración tiene prioridad sobre la propiedad de tabla relacionada durante la sesión actual.

El tamaño del archivo de destino para la compactación automática se puede controlar con la configuración de spark.databricks.delta.autoCompact.maxFileSize.

Para más información sobre la compactación automática, consulte Compactación automática para Delta Lake en Azure Databricks.

Nuevas métricas de grupo de filas para exámenes de consultas de Parquet

Las consultas con exámenes de Parquet ahora presentan métricas de grupo de filas en la interfaz de usuario de Spark. Estas métricas de grupo de filas son:

  • Número total de grupos de filas de Parquet.
  • Número de grupos de filas de Parquet leídos.

Trigger.AvailableNow para consultas de streaming del origen Delta

Este cambio permite un nuevo tipo de desencadenador para las consultas de streaming del origen Delta en Scala: Trigger.AvailableNow. Es como Trigger.Once, que procesa todos los datos disponibles y, después, detiene la consulta. Sin embargo, Trigger.AvailableNow proporciona una mejor escalabilidad, porque los datos se pueden procesar en varios lotes en lugar de uno solo. Este cambio no introduce una nueva interfaz, sino que implementa una API actual de Spark. Este desencadenador también admite todas las opciones de limitación de frecuencia que ya son compatibles con Delta como origen.

Ejemplo:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Consulte cobertura de Trigger.AvailableNow en ¿Qué es el cargador automático?.

Trigger.AvailableNow para Auto Loader

Trigger.AvailableNow es un nuevo modo de desencadenador de streaming similar a Trigger.Once. Trigger.Once procesa todos los datos disponibles y, después, detiene la consulta. Trigger.AvailableNow proporciona una mejor escalabilidad, porque los datos se pueden procesar en varios lotes en lugar de uno solo. Auto Loader ahora admite Trigger.AvailableNow tanto en la lista de directorios como en los modos de notificación de archivos para Scala. Consulte cobertura de Trigger.AvailableNow en ¿Qué es el cargador automático?.

Compatibilidad de Delta con configuraciones de sistema de archivos de Hadoop que se pasan a través de las opciones de DataFrame

Al igual que Parquet, Delta ahora admite la lectura de configuraciones de sistema de archivos de Hadoop de las opciones DataFrameReader y DataFrameWriter cuando se lee o escribe una tabla, mediante DataFrameReader.load(path) o DataFrameWriter.save(path). Consulte Configuración de las credenciales de almacenamiento de Delta

Ahora se admiten puntos de control del estado asincrónicos en los trabajos de streaming con estado (versión preliminar pública)

Los puntos de control del estado asincrónicos son una nueva característica que puede reducir la latencia de los microlotes de un extremo a otro en los trabajos de streaming con estado con actualizaciones de estado de gran tamaño. Consulte Puntos de comprobación de estado asincrónico para consultas con estado.

Sparklyr con credenciales transferidas

Ahora puede usar las API de Sparklyr para leer y escribir datos en el almacenamiento en la nube usando credenciales transferidas. Esta funcionalidad está limitada a los clústeres estándar con acceso de usuario único. Consulte Acceso a Azure Data Lake Storage mediante el acceso directo a credenciales de Microsoft Entra ID (anteriormente Azure Active Directory) (heredado).

Control de precisión del resumen de datos de Databricks Utilities (versión preliminar pública)

El nuevo parámetro precise para dbutils.data.summarize controla la precisión de los resultados de resumen. Cuando precise está establecido en false (valor predeterminado), el resumen devuelve resultados aproximados para el recuento de valores únicos, el percentil y el recuento de elementos frecuentes. Cuando precise está establecido en true, los resúmenes ahora se calculan con valores exactos para el recuento de valores únicos y el recuento de elementos frecuentes, con estimaciones de percentil más precisas. Vea Comando summarize (dbutils.data.summarize).

Ahora se pueden usar los cuadernos de Azure Databricks con el kernel de IPython

Ahora se puede configurar un clúster de Azure Databricks para que use el kernel de IPython para ejecutar código de Python. El uso del kernel de IPython en Azure Databricks agrega compatibilidad con las herramientas de visualización y salida de IPython. Además, el kernel de IPython captura las salidas stdout y stderr de los procesos secundarios creados por un cuaderno, lo que permite que esa salida se incluya en los resultados del comando del cuaderno.

Para obtener más información, vea Kernel de IPython.

Nuevas funciones de Spark SQL

Se han agregado los siguientes objetos y comandos para trabajar con datos en Unity Catalog (versión preliminar):

Se han agregado los siguientes comandos para Delta Sharing (versión preliminar), que permite compartir datos de solo lectura con destinatarios ajenos a la organización:

Corrección de errores

  • Se ha corregido una condición de carrera que podía provocar un error de consulta con una excepción IOException, como No FileSystem for scheme, o modificar sparkContext.hadoopConfiguration para que no tuviera efecto en las consultas.

Actualizaciones de bibliotecas

  • Bibliotecas de Python actualizadas:
    • filelock: de 3.0.12 a 3.3.1
    • koalas: de 1.8.1 a 1.8.2
    • plotly: de 5.1.0 a 5.3.0
  • Bibliotecas de R actualizadas:
    • bslib: de 0.3.0 a 0.3.1
    • caret: de 6.0-88 a 6.0-90
    • cpp11: de 0.3.1 a 0.4.0
    • data.table: de 1.14.0 a 1.14.2
    • desc: de 1.3.0 a 1.4.0
    • diffobj: de 0.3.4 a 0.3.5
    • digest: de 0.6.27 a 0.6.28
    • generics: de 0.1.0 a 0.1.1
    • hms: de 1.1.0 a 1.1.1
    • knitr: de 1.34 a 1.36
    • lattice: de 0.20-44 a 0.20-45
    • lifecycle: de 1.0.0 a 1.0.1
    • lubridate: de 1.7.10 a 1.8.0
    • mgcv: de 1.8-37 a 1.8-38
    • mime: de 0.11 a 0.12
    • pkgload: de 1.2.2 a 1.2.3
    • progressr: de 0.8.0 a 0.9.0
    • rcmdcheck: de 1.3.3 a 1.4.0
    • readr: de 2.0.1 a 2.0.2
    • recipes: de 0.1.16 a 0.1.17
    • remotes: de 2.4.0 a 2.4.1
    • rlang: de 0.4.11 a 0.4.12
    • rvest: de 1.0.1 a 1.0.2
    • shiny: de 1.6.0 a 1.7.1
    • stringi: de 1.7.4 a 1.7.5
    • testthat: de 3.0.4 a 3.1.0
    • tidyr: de 1.1.3 a 1.1.4
    • tinytex: de 0.33 a 0.34
    • usethis: de 2.0.1 a 2.1.2
    • xfun: de 0.26 a 0.27
  • Bibliotecas de Java actualizadas:
    • com.zaxxer.HikariCP: de 3.1.0 a 4.0.3

Apache Spark

Databricks Runtime 10.1 incluye Apache Spark 3.2.0. Esta versión incluye todas las mejoras y correcciones de Spark incluidas en Databricks Runtime 10.0 (sin soporte técnico), junto con las siguientes mejoras y correcciones de errores adicionales que se han realizado en Spark:

  • [SPARK-37037] [SQL] Mejorar la ordenación de la matriz de bytes unificando la función compareTo de UTF8String y ByteArray
  • [SPARK-37091] [R] SystemRequirements para incluir Java < 18
  • [SPARK-37041] [SQL] Backport HIVE-15025: compatibilidad con Capa de sockets seguros (SSL) para HMS
  • [SPARK-37098] [SQL] La modificación de las propiedades de una tabla debería invalidar la caché
  • [SPARK-36992] [SQL] Mejorar el rendimiento de la ordenación de matriz de bytes unificando la función getPrefix de UTF8String y ByteArray
  • [SPARK-37047] [SQL] Agregar las funciones lpad y rpad para cadenas binarias
  • [SPARK-37076] [SQL] Implementar StructType.toString explícitamente para Scala 2.13
  • [SPARK-37075] [SQL] Mover la creación de expresiones UDAF de sql/catalyst a sql/core
  • [SPARK-37084] [SQL] Establecer spark.sql.files.openCostInBytes en bytesConf
  • [SPARK-37088] [PYSPARK][SQL] El subproceso de escritura no debe acceder a la entrada después de que el agente de escucha de finalización de tareas devuelva un valor
  • [SPARK-37069] [SQL] Ejecutar alternativa correctamente cuando Hive.getWithoutRegisterFns no está disponible
  • [SPARK-37050] [PYTHON] Actualizar las instrucciones de instalación de Conda
  • [SPARK-37067] [SQL] Usar ZoneId.of() para controlar la cadena de zona horaria en DatetimeUtils
  • [SPARK-35925] [SQL] Admitir DayTimeIntervalType en la función width-bucket
  • [SPARK-35926] [SQL] Agregar compatibilidad con YearMonthIntervalType para width_bucket
  • [SPARK-35973] [SQL] Agregar el comandoSHOW CATALOGS
  • [SPARK-36922] [SQL] Las funciones SIGN/SIGNUM deberían admitir intervalos ANSI
  • [SPARK-37078] [CORE] Admitir constructores Sink antiguos de 3 parámetros
  • [SPARK-37061] [SQL] Corregir CustomMetrics al usar clases internas
  • [SPARK-35918] [AVRO] Unificar el control de incoherencias de esquema de lectura/escritura y mejorar los mensajes de error
  • [SPARK-36871] [SQL]Migrar CreateViewStatement a la versión 2 del marco de comandos
  • [SPARK-36898] [SQL] Hacer configurable el factor de combinación hash aleatorio
  • [SPARK-36921] [SQL] Hacer que DIV admita intervalos ANSI
  • [SPARK-36794] [SQL] Omitir las claves de combinación duplicadas al crear una relación para la combinación hash aleatoria SEMI/ANTI
  • [SPARK-36867] [SQL] Corregir el mensaje de error con el alias GROUP BY
  • [SPARK-36914] [SQL] Implementar dropIndex y listIndexes en JDBC (dialecto MySQL)
  • [SPARK-35531] [SQL] Pasar directamente la tabla de Hive a HiveClient cuando se llame a getPartitions para evitar la conversión innecesaria de HiveTable -> CatalogTable -> HiveTable
  • [SPARK-36718] [SQL] Contraer los proyectos solo si no se duplican expresiones que consuman muchos recursos
  • [SPARK-37046] [SQL]: alter view no mantiene las mayúsculas y minúsculas de las columnas
  • [SPARK-36978] [SQL] La regla InferConstraints debería crear restricciones IsNotNull en el campo anidado al que se accede en lugar del tipo anidado raíz
  • [SPARK-37052] [CORE] Spark solo debería pasar el argumento –verbose a la clase principal cuando es el shell SQL
  • [SPARK-37017] [SQL] Reducir el ámbito de sincronización para evitar posibles interbloqueos
  • [SPARK-37032] [SQL] Corregir el vínculo roto de la sintaxis de SQL en la página de referencia de SQL
  • [SPARK-36905][SQL] Corregir la lectura de vistas de subárbol sin nombres de columna explícitos
  • [SPARK-36678] Migrar SHOW TABLES para usar la versión 2 del marco de comandos de forma predeterminada
  • [SPARK-36943] [SQL] Mejorar la redacción del mensaje de error de columna que falta
  • [SPARK-36980] [SQL] insert query para admitir CTE
  • [SPARK-37001] [SQL] Deshabilitar dos niveles de mapa para la agregación de hash final de forma predeterminada
  • [SPARK-36970] [SQL] Formato B de la función date_format deshabilitado manualmente para que Java 17 sea compatible con Java 8
  • [SPARK-36546] [SQL] Agregar compatibilidad con matrices a unionByName
  • [SPARK-36979] [SQL] Agregar regla RewriteLateralSubquery a nonExcludableRules
  • [SPARK-36949] [SQL] No permitir tablas del proveedor Hive con intervalos ANSI
  • [SPARK-36849] [SQL] Migrar CreateTableStatement a la versión 2 del marco de comandos
  • [SPARK-36868] [SQL] Migrar CreateTableStatement a la versión 2 del marco de comandos
  • [SPARK-36841] [SQL] Agregar la sintaxis ANSI set catalog xxx para cambiar el catálogo actual
  • [SPARK-36821] [SQL] Hacer que la clase ColumnarBatch sea ampliable (anexo)
  • [SPARK-36963] [SQL] Agregar max_by/min_by a sql.functions
  • [SPARK-36913] [SQL] Implementar createIndex e IndexExists en DS V2 JDBC (dialecto MySQL)
  • [SPARK-36848] [SQL] Migrar ShowCurrentNamespaceStatement a la versión 2 del marco de comandos
  • [SPARK-36526] [SQL] Compatibilidad con índices DSV2: agregar la interfaz supportsIndex
  • [SPARK-36960] [SQL] Delegar filtros con intervalos ANSI en ORC
  • [SPARK-36929] [SQL] Quitar el método EliminateSubqueryAliasesSuite#assertEquifirm, que no se utiliza
  • [SPARK-36931] [SQL] Admitir la lectura y escritura de intervalos ANSI en orígenes de datos ORC
  • [SPARK-34980] [SQL] Admitir fusión de particiones con Union en AQE
  • [SPARK-36809] [SQL] Quitar la variable de difusión de InSubqueryExec que se usa en DPP
  • [SPARK-36813] [SQL][PYTHON] Propuesta de una infraestructura para la combinación as-of e implementación de ps.merge_asof
  • [SPARK-36918] [SQL] Omitir tipos al comparar estructuras para unionByName
  • [SPARK-36891] [SQL] Refactorizar SpecificParquetRecordReaderBase y agregar más cobertura a la descodificación vectorizada de Parquet
  • [SPARK-36920] [SQL] Admitir intervalos ANSI en ABS()
  • [SPARK-36888] [SQL] Agregar casos de prueba para la función sha2
  • [SPARK-36889] [SQL] Respetar spark.sql.parquet.filterPushdown en ParquetScanBuilder v2
  • [SPARK-36830] [SQL] Admitir la lectura y escritura de intervalos ANSI en orígenes de datos JSON
  • [SPARK-36870] [SQL] Introducir la clase de error INTERNAL_ERROR
  • [SPARK-36831] [SQL] Admitir la lectura y escritura de intervalos ANSI en orígenes de datos CSV.
  • [SPARK-36550] [SQL] Causa de propagación cuando se produce un error en la reflexión de UDF
  • [SPARK-36866] [SQL] Delegar filtros con intervalos ANSI en Parquet
  • [SPARK-33832] [SQL] Forzar la simplificación y mejora del código de combinación de sesgo
  • [SPARK-36642] [SQL] Agregar la API df.withMetadata de pyspark
  • [SPARK-35765] [SQL] Las agregaciones de valores únicos no tienen en cuenta los duplicados
  • [SPARK-36825] [SQL] Leer/escribir dataframes con intervalos ANSI en archivos de Parquet
  • [SPARK-36829] [SQL] Refactorizar la comprobación de valores NULL para collectionOperators
  • [SPARK-32712] [SQL] Admitir la escritura de tablas en cubo de Hive (formatos de archivo de Hive con hash de Hive)
  • [SPARK-36797] [SQL] Union debería resolver las columnas anidadas como columnas de nivel superior
  • [SPARK-36838] [SQL] Mejorar el rendimiento del código generado por InSet
  • [SPARK-36683] [SQL] Agregar nuevas funciones de SQL integradas: SEC y CSC
  • [SPARK-36721] [SQL] Simplificar las igualdades booleanas si un lado es literal
  • [SPARK-36760] [SQL] Agregar la interfaz SupportsPushDownV2Filters
  • [SPARK-36652] [SQL] DynamicJoinSelection de AQE no debería aplicarse a NonEquiJoin
  • [SPARK-36745] [SQL] ExtractEquiJoinKeys debería devolver los predicados originales en las claves de combinación
  • [SPARK-36107] [SQL] Refactorizar el primer conjunto de 20 errores de ejecución de consultas para usar clases de error
  • [SPARK-32709] [SQL] Admitir la escritura de tablas en cubo de Hive (formato de Parquet/ORC con hash de Hive)
  • [SPARK-36735] [SQL] Ajustar la sobrecarga de la relación en caché para DPP
  • [SPARK-33832] [SQL] Admitir la optimización de la combinación sesgada incluso si introduce una ordenación aleatoria adicional
  • [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec debería usar todas las condiciones en lugar de la condición nonEquiCond
  • [SPARK-35221] [SQL] Agregar la comprobación de sugerencias de combinación admitidas
  • [SPARK-36814] [SQL] Hacer que la clase ColumnarBatch sea ampliable
  • [SPARK-36663] [SQL] Admitir nombres de columna solo numéricos en orígenes de datos ORC
  • [SPARK-36751] [SQL][PYTHON][R] Agregar las API bit/octet_length a Scala, Python y R
  • [SPARK-36733] [SQL] Corregir un problema de rendimiento en SchemaPruning cuando una estructura tiene muchos campos
  • [SPARK-36724] [SQL] Admitir timestamp_ntz como tipo de columna de tiempo para SessionWindow
  • [SPARK-36556] [SQL] Agregar filtros de DSV2
  • [SPARK-36687] [SQL][CORE] Cambiar el nombre de las clases de error con el sufijo _ERROR
  • [SPARK-35803] [SQL] Admitir DataSource V2 en CreateTempViewUsing
  • [SPARK-36642] [SQL] Agregar df.withMetadata, una sugerencia de sintaxis para actualizar los metadatos de un dataframe

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 10.1.

Entorno del sistema

  • Sistema operativo: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bleach 3.3.0 boto3 1.16.7 botocore 1.19.7
certifi 2020.12.5 cffi 1.14.5 chardet 4.0.0
cycler 0.10.0 Cython 0.29.23 dbus-python 1.2.16
decorator 5.0.6 defusedxml 0.7.1 distlib 0.3.3
distro-info 0.23ubuntu1 entrypoints 0,3 facets-overview 1.0.0
filelock 3.3.1 idna 2.10 ipykernel 5.3.4
ipython 7.22.0 ipython-genutils 0.2.0 ipywidgets 7.6.3
jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.7.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 koalas 1.8.2 MarkupSafe 2.0.1
matplotlib 3.4.2 mistune 0.8.4 nbclient 0.5.3
nbconvert 6.0.7 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.3.0 numpy 1.19.2 empaquetado 20.9
pandas 1.2.4 pandocfilters 1.4.3 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.3.0
prometheus-client 0.10.1 prompt-toolkit 3.0.17 protobuf 3.17.2
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pycparser 2,20 Pygments 2.8.1 PyGObject 3.36.0
pyparsing 2.4.7 pyrsistent 0.17.3 python-apt 2.0.0+ubuntu0.20.4.6
Python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
Solicitudes 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six (seis) 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 26-10-2021.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
clase 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.4.0 crayon 1.4.1 credentials 1.3.1
curl 4.3.2 data.table 1.14.2 conjuntos de datos 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.2 diffobj 0.3.5 digest 0.6.28
dplyr 1.0.7 dtplyr 1.1.0 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.14 fansi 0.5.0
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-81
forge 0.2.0 fs 1.5.0 future 1.22.1
future.apply 1.8.1 gargle 1.2.0 generics 0.1.1
gert 1.4.1 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-2 globals 0.14.0
glue 1.4.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 elementos gráficos 4.1.1 grDevices 4.1.1
grid 4.1.1 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 KernSmooth 2.23-20
knitr 1.36 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 ciclo de vida 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matriz 1.3-4
memoise 2.0.0 methods 4.1.1 mgcv 1.8-38
mime 0,12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 parallel 4.1.1
parallelly 1.28.1 pillar 1.6.4 pkgbuild 1.2.0
pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
progreso 1.2.2 progressr 0.9.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.2
readxl 1.3.1 recipes 0.1.17 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.1 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.12 rmarkdown 2,11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.2
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.7.1
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 stats4 4.1.1
stringi 1.7.5 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2,10
testthat 3.1.0 tibble 3.1.5 tidyr 1.1.4
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.34 tools 4.1.1 tzdb 0.1.2
usethis 2.1.2 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 whisker 0,4
withr 2.4.2 xfun 0,27 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,19
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1