Databricks Runtime 8.0 (sin soporte técnico)

  • Artículo

Databricks publicó esta imagen en marzo de 2021.

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 8.0, con tecnología Apache Spark 3.1.1.

Nuevas características

Databricks Runtime 8.0 incluye Apache Spark 3.1.1. Para más información, consulte Apache Spark.

Mejoras

Delta como formato predeterminado al dejarlo sin especificar

Databricks Runtime 8.0 cambia el formato predeterminado a delta para facilitar la creación de una tabla Delta. Cuando se crea una tabla mediante comandos SQL, o API {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream}, y no se especifica un formato, el formato predeterminado es delta.

Con Delta Lake, obtiene un mejor rendimiento sobre Parquet, una mejor confiabilidad de los datos con una validación de esquemas enriquecida, restricciones de calidad y garantías transaccionales. Con Delta Lake, puede simplificar las canalizaciones de datos con Structured Streaming unificado y procesamiento por lotes en un único origen de datos.

Aunque Databricks recomienda usar Delta Lake para almacenar los datos, es posible que tenga flujos de trabajo heredados que requieran la migración a Delta Lake. Para obtener información sobre la migración de flujos de trabajo existentes, vea ¿Qué es Delta Lake?.

Reducción de costos con el nuevo intervalo de desencadenador predeterminado de Structured Streaming

Si no establece un intervalo de desencadenador mediante Trigger.ProcessingTime en la consulta de streaming, el intervalo se establece en 500 ms. Anteriormente, el intervalo predeterminado era de 0 ms. Este cambio debe reducir el número de desencadenadores vacíos y reducir los costos del almacenamiento en la nube, como la enumeración.

Uso de la función de transformación LDA con el acceso directo mediante credenciales (versión preliminar pública)

Ahora puede usar la función de transformación LDA en un clúster configurado para usar el acceso directo mediante credenciales para la autenticación.

Eliminación del requisito de sistemas de archivos de confianza para clústeres de usuarios únicos configurados con acceso directo mediante credenciales (versión preliminar pública)

Ya no es necesario configurar sistemas de archivos locales como sistemas de archivos de confianza cuando se usa un clúster estándar o de trabajo configurado para acceso directo mediante credenciales con un solo usuario. Este cambio suprime las restricciones innecesarias del sistema de archivos al ejecutar trabajos en un clúster de un solo usuario.

Actualizaciones de bibliotecas

Apache Spark

Databricks Runtime 8.0 incluye Apache Spark 3.1.1.

En esta sección:

Core y Spark SQL

Resaltar

Mejoras de compatibilidad de SQL y ANSI

  • Compatibilidad con el tipo de datos char/varchar (SPARK-33480)
  • Modo ANSI: errores en el entorno de ejecución en lugar de devolver NULL (SPARK-33275)
  • Modo ANSI: nuevas reglas de sintaxis de conversión explícitas (SPARK-33354)
  • Adición de comando estándar de SQL SET TIME ZONE (SPARK-32272)
  • Unificación de la sintaxis SQL de creación de tablas (SPARK-31257)
  • Unificación de los comportamientos de vista temporal y vista permanente (SPARK-33138)
  • Compatibilidad con la lista de columnas en la declaración INSERT (SPARK-32976)
  • Compatibilidad con comentarios de ANSI anidados entre corchetes (SPARK-28880)

Mejoras de rendimiento

  • Lectura de datos aleatorios locales de host sin servicio de orden aleatorio (SPARK-32077)
  • Eliminación de las ordenaciones redundantes antes de repartir los nodos (SPARK-32276)
  • Inserción parcial de predicados (SPARK-32302, SPARK-32352)
  • Inserción de filtros mediante expansión (SPARK-33302)
  • Inserción de más predicados posibles a través de la combinación mediante la conversión de CNF (SPARK-31705)
  • Eliminación de orden aleatorio conservando la partición de salida de la combinación hash de difusión (SPARK-31869)
  • Eliminación de orden aleatorio mediante la mejora de la reordenación de las claves de combinación (SPARK-32282)
  • Eliminación de orden aleatorio mediante la normalización de la creación de particiones y SortOrder (SPARK-33399)
  • Mejora de la combinación hash aleatoria (SPARK-32461)
    • Conservación de la creación de particiones del lado de compilación de combinación hash aleatoria (SPARK-32330)
    • Conservación de la ordenación lateral de secuencias de combinación hash (HASHJ y SHJ) (SPARK-32383)
    • Fusión de tablas en cubos para la combinación de mezcla de ordenación (SPARK-32286)
    • Adición de code-gen para la combinación de hash aleatorio (SPARK-32421)
    • Compatibilidad con la combinación externa completa en combinación hash aleatoria (SPARK-32399)
  • Compatibilidad con la eliminación de subexpresiones en el proyecto con code-gen de fase completa (SPARK-33092)
  • Compatibilidad con la eliminación de subexpresiones en expresiones condicionales (SPARK-33337)
  • Compatibilidad con la eliminación de subexpresiones para la evaluación de expresiones interpretadas (SPARK-33427)
  • Compatibilidad con la eliminación de subexpresiones para predicado interpretado (SPARK-33540)
  • Otras reglas del optimizador
    • Regla ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Regla EliminateNullAwareAntiJoin (SPARK-32573)
    • Regla EliminateAggregateFilter (SPARK-32540)
    • Regla UnwrapCastInBinaryComparison (SPARK-32858)
    • Regla DisableUnnecessaryBucketedScan (SPARK-32859)
    • Regla CoalesceBucketsInJoin (SPARK-31350)
    • Eliminación de campos anidados innecesarios de generación sin proyecto (SPARK-29721)
    • Eliminación de campos anidados innecesarios de adición y expansión (SPARK-27217)
    • Eliminación de campos anidados innecesarios de repartición por expresión y combinación (SPARK-31736)
    • Eliminación de campos anidados innecesarios en variaciones cosméticas (SPARK-32163)
    • Eliminación de los campos anidados innecesarios de la ventana y la ordenación (SPARK-32059)
    • Optimización del tamaño de CreateArray/CreateMap para que sea el tamaño de sus secundarios (SPARK-33544)

Mejoras de extensibilidad

  • Adición de API SupportsPartitions en DataSourceV2 (SPARK-31694)
  • Adición de API SupportsMetadataColumns en DataSourceV2 (SPARK-31255)
  • Transformación en conectable de la serialización de caché de SQL (SPARK-32274)
  • Introducción de la opción purge en TableCatalog.dropTable para el catálogo v2 (SPARK-33364)

Mejoras del conector

  • Mejora de la aplicación de filtro de partición de metastore de Hive (SPARK-33537)
    • La compatibilidad contiene filtros e inicia y termina con ellos (SPARK-33458)
    • Compatibilidad con filtro por tipo de fecha (SPARK-33477)
    • Compatibilidad con filtro por no igual (SPARK-33582)
  • Parquet
    • Permitir el tipo complejo en el tipo de clave del mapa en Parquet (SPARK-32639)
    • Permitir guardar y cargar INT96 en Parquet sin cambiar de base (SPARK-33160)
  • ORC
    • Aplicación de predicado de columna anidada para ORC (SPARK-25557)
    • Actualización de Apache ORC a 1.5.12 (SPARK-33050)
  • CSV
    • Aprovechamiento del origen de datos de texto SQL durante la inferencia del esquema CSV (SPARK-32270)
  • JSON
    • Compatibilidad con la aplicación de filtros en el origen de datos JSON (SPARK-30648)
  • JDBC
  • Avro
    • Compatibilidad con aplicación de filtros en el origen de datos de Avro (SPARK-32346)

Mejoras de las características

  • Retirada de nodos (SPARK-20624)
    • Marco básico (SPARK-20628)
    • Migración de bloques RDD durante la retirada (SPARK-20732)
    • Retirada correcta como parte del escalado dinámico (SPARK-31198)
    • Migración de bloques aleatorios durante la retirada (SPARK-20629)
    • Salida del ejecutor solo cuando las tareas y la migración de bloques hayan terminado (SPARK-31197)
    • Compatibilidad con el almacenamiento de reserva durante la retirada (SPARK-33545)
  • Nuevas funciones integradas
  • Mejora del comando EXPLAIN (SPARK-32337, SPARK-31325)
  • Opción para deshabilitar las sugerencias proporcionadas por el usuario (SPARK-31875)
  • Compatibilidad con la sintaxis REPLACE COLUMNS de estilo Hive (SPARK-30613)
  • Compatibilidad con LIKE ANY y operadores LIKE ALL (SPARK-30724)
  • Compatibilidad ilimitada MATCHED y NOT MATCHED en MERGE INTO (SPARK-32030)
  • Compatibilidad con literales float con sufijo F (SPARK-32207)
  • Compatibilidad con la sintaxis RESET para restablecer una configuración única (SPARK-32406)
  • Compatibilidad con expresión de filtro para el uso simultáneo de DISTINCT (SPARK-30276)
  • Compatibilidad con el comando add/drop partition de alter table para DSv2 (SPARK-32512)
  • Compatibilidad con subconsultas NOT IN dentro de condiciones OR anidadas (SPARK-25154)
  • Compatibilidad con comando REFRESH FUNCTION (SPARK-31999)
  • Adición de métodossameSemantics y sementicHash en el conjunto de datos (SPARK-30791)
  • Compatibilidad con el tipo compuesto de clase case en UDF (SPARK-31826)
  • Compatibilidad con la enumeración en codificadores (SPARK-32585)
  • Compatibilidad con las API de campo anidado withField y dropFields (SPARK-31317, SPARK-32511)
  • Compatibilidad para rellenar valores NULL para las columnas que faltan en unionByName (SPARK-29358)
  • Compatibilidad con DataFrameReader.table para tomar las opciones especificadas (SPARK-32592, SPARK-32844)
  • Compatibilidad con la ubicación de HDFS en spark.sql.hive.metastore.jars (SPARK-32852)
  • Compatibilidad con la opción --archives de forma nativa (SPARK-33530, SPARK-33615)
  • Mejora de la API ExecutorPlugin para incluir métodos para eventos de inicio y finalización de tareas (SPARK-33088)

Otros cambios importantes

  • Función de búsqueda en el sitio de documentos de Spark (SPARK-33166)
  • Actualización de Apache Arrow a 2.0.0 (SPARK-33213)
  • Habilitación de la API de tiempo de Java 8 en el servidor Thrift (SPARK-31910)
  • Habilitación de la API de tiempo de Java 8 en UDF (SPARK-32154)
  • Comprobación de desbordamiento de suma agregada con decimales (SPARK-28067)
  • Corrección de la colisión de confirmación en el modo de sobrescritura de particiones dinámicas (SPARK-27194, SPARK-29302)
  • Eliminación de las referencias a "esclavo", "lista negra" y "lista blanca" (SPARK-32004, SPARK-32036, SPARK-32037)
  • Eliminación de la comprobación del tamaño del resultado de la tarea para la fase de asignación aleatoria (SPARK-32470)
  • Generalización de ExecutorSource para exponer esquemas de sistema de archivos determinados por el usuario (SPARK-33476)
  • Adición de StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Exposición de métricas de memoria del ejecutor en la interfaz de usuario web para ejecutores (SPARK-23432)
  • Exposición de métricas de memoria del ejecutor en el nivel de fase, en la pestaña Fases (SPARK-26341)
  • Corrección explícita del conjunto de spark.ui.port en modo de clúster YARN (SPARK-29465)
  • Adición de configuración spark.submit.waitForCompletion para controlar la salida de spark-submit en modo de clúster independiente (SPARK-31486)
  • Configuración de yarn.Client para imprimir vínculos directos al controlador stdout/stderr (SPARK-33185)
  • Corrección de la pérdida de memoria cuando no se pueden almacenar fragmentos de difusión (SPARK-32715)
  • Transformación en configurable del tiempo de espera de latido del controlador BlockManagerMaster (SPARK-34278)
  • Unificación y completado de comportamientos de caché (SPARK-33507)

Cambios de comportamiento

Consulte las guías de migración de cada componente: Spark Core y Spark SQL.

PySpark

Project Zen

  • Project Zen: Mejora de la facilidad de uso de Python (SPARK-32082)
  • Compatibilidad con sugerencias de tipo PySpark (SPARK-32681)
  • Rediseño de la documentación de PySpark (SPARK-31851)
  • Migración al estilo de documentación de NumPy (SPARK-32085)
  • Opción de instalación para usuarios de PyPI (SPARK-32017)
  • Desuso de la inferencia del esquema DataFrame de la lista de dict (SPARK-32686)
  • Simplificación d el mensaje de excepción de las UDF de Python (SPARK-33407)

Otros cambios importantes

  • Desduplicación de las llamadas PythonUDF deterministas (SPARK-33303)
  • Compatibilidad con funciones de orden superior en funciones de PySpark (SPARK-30681)
  • Compatibilidad con las API de escritura v2x del origen de datos (SPARK-29157)
  • Compatibilidad con percentile_approx en funciones de PySpark (SPARK-30569)
  • Compatibilidad con inputFiles en DataFrame de PySpark (SPARK-31763)
  • Compatibilidad con withField en la columna de PySpark (SPARK-32835)
  • Compatibilidad con dropFields en la columna de PySpark (SPARK-32511)
  • Compatibilidad con nth_value en funciones de PySpark (SPARK-33020)
  • Compatibilidad acosh, asinh y atanh (SPARK-33563)
  • Compatibilidad con método getCheckpointDir en SparkContext de PySpark (SPARK-33017)
  • Compatibilidad para rellenar valores NULL para las columnas que faltan en unionByName (SPARK-32798)
  • Actualización de cloudpickle a v1.5.0 (SPARK-32094)
  • Adición de compatibilidad con MapType para PySpark con Arrow (SPARK-24554)
  • DataStreamReader.table y DataStreamWriter.toTable (SPARK-33836)

Cambios de comportamiento

Consulte las guías de migración de [PySpark]https://spark.apache.org/docs/3.1.1/pyspark-migration-guide.html).

Structured Streaming

Mejoras de rendimiento

  • Lista capturada en caché de archivos más allá de maxFilesPerTrigger como archivo no leído (SPARK-30866)
  • Optimización de la lógica en el registro de metadatos del receptor y el origen de la secuencia de archivos (SPARK-30462)
  • Evitación de la lectura del registro de metadatos compactos dos veces si la consulta se reinicia desde un lote compacto (SPARK-30900)

Mejoras de las características

  • Adición de API DataStreamReader.table (SPARK-32885)
  • Adición de API DataStreamWriter.toTable (SPARK-32896)
  • Unión de secuencia-secuencia izquierda a la mitad (SPARK-32862)
  • Unión de secuencia-secuencia externa completa (SPARK-32863)
  • Nueva opción para tener retención en los archivos de salida (SPARK-27188)
  • Adición de compatibilidad con el servidor de historial de Structured Streaming de Spark (SPARK-31953)
  • Introducción de la validación del esquema de estado entre el reinicio de consultas (SPARK-27237)

Otros cambios importantes

  • Introducción de la validación del esquema para el almacén de estado de streaming (SPARK-31894)
  • Compatibilidad para usar un códec de compresión diferente en el almacén de estado (SPARK-33263)
  • Espera infinita del conector de Kafka porque los metadatos nunca se actualizaron (SPARK-28367)
  • Actualización de Kafka a la versión 2.6.0 (SPARK-32568)
  • Compatibilidad con paginación para páginas de interfaz de usuario de Structured Streaming (SPARK-31642, SPARK-30119)
  • Información de estado en la interfaz de usuario de Structured Streaming (SPARK-33223)
  • Información sobre la brecha de marca de agua en la interfaz de usuario de Structured Streaming (SPARK-33224)
  • Exposición de información de métricas personalizadas de estado en la interfaz de usuario de SS (SPARK-33287)
  • Adición de una nueva métrica relativa al número de filas posteriores a la marca de agua (SPARK-24634)

Cambios de comportamiento

Consulte las guías de migración de Structured Streaming.

MLlib

Aspectos destacados

  • Vectores de entrada de bloqueo de LinearSVC (SPARK-30642)
  • Vectores de entrada de bloqueo de LogisticRegression (SPARK-30659)
  • Vectores de entrada de bloqueo de LinearRegression (SPARK-30660)
  • Vectores de entrada de bloqueo de AFT (SPARK-31656)
  • Adición de compatibilidad para reglas de asociación de ML (SPARK-19939)
  • Adición de resumen de entrenamiento para LinearSVCModel (SPARK-20249)
  • Adición de resumen a RandomForestClassificationModel (SPARK-23631)
  • Adición de resumen de entrenamiento a FMClassificationModel (SPARK-32140)
  • Adición de resumen a MultilayerPerceptronClassificationModel (SPARK-32449)
  • Adición de FMClassifier a SparkR (SPARK-30820)
  • Adición del contenedor LinearRegression de SparkR (SPARK-30818)
  • Adición del contenedor FMRegressor a SparkR (SPARK-30819)
  • Adición del contenedor de SparkR para vector_to_array (SPARK-33040)
  • Bloqueo adaptable de instancias: LinearSVC (SPARK-32907)
  • Compatibilidad de CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer con el estimador/evaluador del back-end de Python (SPARK-33520)
  • Mejora del rendimiento de ML ALS recommendForAll de GEMV (SPARK-33518)
  • Adición de UnivariateFeatureSelector (SPARK-34080)

Otros cambios importantes

  • Resumen de proceso de GMM y distribuciones de actualización en un trabajo (SPARK-31032)
  • Eliminación de la dependencia de ChiSqSelector en mllib.ChiSqSelectorModel (SPARK-31077)
  • Aplanamiento de la trama de datos de resultados de las pruebas en testChiSquare (SPARK-31301)
  • Optimización de keyDistance de MinHash (SPARK-31436)
  • Optimización de KMeans basada en la desigualdad de triángulos (SPARK-31007)
  • Adición de compatibilidad con peso en ClusteringEvaluator (SPARK-31734)
  • Adición de getMetrics en evaluadores (SPARK-31768)
  • Adición de compatibilidad con el peso de instancia en LinearRegressionSummary (SPARK-31944)
  • Adición de una columna de plegado especificada por el usuario a CrossValidator (SPARK-31777)
  • Paridad de valores predeterminados de parámetros ML en características y ajuste (SPARK-32310)
  • Corrección del almacenamiento en caché doble en KMeans/BiKMeans (SPARK-32676)
  • Optimización de transformación aft (SPARK-33111)
  • Optimización de transformación FeatureHasher (SPARK-32974)
  • Adición de la función array_to_vector para la columna de trama de datos (SPARK-33556)
  • Paridad de valor predeterminado de parámetros de ML en clasificación, regresión, agrupación en clústeres y fpm (SPARK-32310)
  • Summary.totalIterations mayor que maxIters (SPARK-31925)
  • Optimización de predicción de modelos de árbol (SPARK-32298)

Cambios de comportamiento

Consulte las guías de migración de MLlib.

SparkR

  • Adición de la interfaz de SparkR para funciones de orden superior (SPARK-30682)
  • Compatibilidad para rellenar valores NULL para las columnas que faltan en unionByName (SPARK-32798)
  • Compatibilidad con WithColumn en funciones de SparkR (SPARK-32946)
  • Compatibilidad con timestamp_seconds en funciones de SparkR (SPARK-32949)
  • Compatibilidad de nth_value en funciones de SparkR (SPARK-33030)
  • La versión mínima de Arrow ha ascendido a 1.0.0 (SPARK-32452)
  • Compatibilidad con array_to_vector en funciones de SparkR (SPARK-33622)
  • Compatibilidad con acosh, asinh y atanh (SPARK-33563)
  • Compatibilidad con from_avro y to_avro (SPARK-33304)

Cambios de comportamiento

Consulte las guías de migración de SparkR (R en Spark).

GraphX

Guía de programación: Guía de programación de GraphX.

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 8.0.

Entorno del sistema

  • Sistema operativo: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (compilación 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.8.8 (actualizado desde 3.8.6 en la actualización de mantenimiento del 26 de mayo de 2021)
  • R: versión de R 4.0.3 (2020-10-10)
  • Delta Lake: 0.8.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
criptografía 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0,3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
Python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
Solicitudes 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
six (seis) 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wheel 0.35.1

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN del 02-11-2020.

Biblioteca Versión Biblioteca Versión Biblioteca Versión
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
boot 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 clase 7.3-17
cli 2.2.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.0.3 config 0,3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 credentials 1.3.0
diafonía 1.1.0.1 curl 4.3 data.table 1.13.4
conjuntos de datos 4.0.3 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-79 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 elementos gráficos 4.0.3
grDevices 4.0.3 grid 4.0.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 ciclo de vida 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53 Matriz 1.2-18
memoise 1.1.0 methods 4.0.3 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progreso 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spatial 7.3-11 splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.0.3
usethis 2.0.0 utf8 1.1.4 utils 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.12)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flujo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recopilador 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52