Databricks Runtime 5.0 (sin soporte técnico)

  • Artículo

Databricks publicó esta imagen en noviembre de 2018.

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 5.0, con tecnología de Apache Spark.

Nuevas características

  • Delta Lake

    • Ahora se admiten subconsultas en la cláusula WHERE para la compatibilidad con los comandos DELETE y UPDATE.
    • Nueva implementación escalable para comandos MERGE.
      • No hay límite para el número de inserciones y actualizaciones.
      • Se puede usar para consultas SCD de tipo 1 y tipo 2.
      • Se puede usar para realizar operaciones upsert a partir de consultas de streaming en modo de "actualización" (por ejemplo, escribir la salida de agregación de streaming en una tabla de Delta). Consulte el ejemplo de cuaderno Writing streaming aggregates into Databricks Delta Using MERGE and foreachBatch.

  • Structured Streaming

    • Origen de streaming basado en notificaciones de archivos de Azure Blob Storage. Esto puede reducir significativamente los costos de enumeración al ejecutar una consulta de Structured Streaming en archivos de Azure Blob Storage. En lugar de usar enumeraciones para buscar nuevos archivos para su procesamiento, este origen de streaming puede leer directamente las notificaciones de eventos de archivo para buscar nuevos archivos. Consulte Origen de archivos de Azure Blob Storage con Azure Queue Storage (heredado).

  • Se ha agregado compatibilidad con TensorBoard para supervisar trabajos de aprendizaje profundo. Consulte TensorBoard.

Mejoras

  • Delta Lake
    • Rendimiento y estabilidad de OPTIMIZE.
      • El comando OPTIMIZE confirma los lotes lo antes posible, en lugar de hacerlo al final.
      • Se ha reducido el número predeterminado de subprocesos que OPTIMIZE ejecuta en paralelo. Se trata de un aumento estricto del rendimiento para las tablas grandes.
      • Se han acelerado las escrituras de OPTIMIZE al evitar una ordenación innecesaria de los datos al escribir en una tabla con particiones.
      • Se ha acelerado OPTIMIZE ZORDER BY haciendo que sea incremental. Esto significa que el comando ahora evita reescribir archivos de datos que ya contaban con ordenación Z por las mismas columnas. Consulte Omisión de datos para Delta Lake.
    • Aislamiento de instantáneas al consultar tablas de Delta. Cualquier consulta con varias referencias a una tabla de Delta (por ejemplo, autocombinación) lee de la misma instantánea de tabla, incluso si hay actualizaciones simultáneas en la tabla.
    • Se ha mejorado la latencia de consulta al leer desde tablas de Delta pequeñas (< 2000 archivos) mediante el almacenamiento en caché de metadatos en el controlador.
  • Se ha mejorado el rendimiento de la regresión logística de MLlib.
  • Se ha mejorado el rendimiento del algoritmo de árbol de MLlib.
  • Se han actualizado varias bibliotecas de Java y Scala. Consulte Bibliotecas instaladas de Java y Scala (versión de clúster de Scala 2.11).
  • Se han actualizado algunas bibliotecas de Python instaladas:
    • pip: de 10.0.1 a 18.0
    • setuptools: de 39.2.0 a 40.4.1
    • tornado: de 5.0.2 a 5.1.1
  • Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.

Correcciones de errores

  • Delta Lake
    • Las configuraciones establecidas SQL conf ahora se aplican correctamente a las operaciones de Delta Lake que se cargaron por primera vez en un cuaderno diferente.
    • Se ha corregido un error en el comando DELETE por el que se eliminaban incorrectamente las filas en las que la condición se evaluaba como nula.
    • Las secuencias que tardan más de dos días en procesar el lote inicial (es decir, los datos que se encontraban en la tabla cuando se inició la secuencia) ya no producirán el error FileNotFoundException al intentar recuperarse de un punto de control.
    • Evita una condición de carrera que conduce a NoClassDefError al cargar una nueva tabla.
    • Corrección de VACUUM donde puede producirse un error en la operación con AssertionError que indica: "Shouldn’t have any absolute paths for deletion here" (No debe haber ninguna ruta de acceso absoluta para su eliminación aquí).
    • Se ha corregido el comando SHOW CREATE TABLE para no incluir propiedades de almacenamiento generadas por Hive.
  • Los ejecutores que producen muchos errores NoClassDefFoundError para las clases internas de Spark ahora se reinician automáticamente para corregir el problema.

Problemas conocidos

  • Los nombres de columna especificados en la opción replaceWhere para el modo overwrite en Delta Lake distinguen mayúsculas de minúsculas incluso si la distinción entre mayúsculas y minúsculas no está habilitada (que es el valor predeterminado).
  • El conector de Snowflake para Databricks Runtime 5.0 está en versión preliminar.
  • Si cancela una celda de streaming en ejecución en un cuaderno asociado a un clúster de Databricks Runtime 5.0, no podrá ejecutar ningún comando posterior en el cuaderno, a menos que borre el estado del cuaderno o reinicie el clúster. Para obtener una solución alternativa, consulte Knowledge Base.

Spark de Apache

Databricks Runtime 5.0 incluye Apache Spark 2.4.0.

Core y Spark SQL

Nota:

Este artículo contiene referencias al término esclavo, un término que Azure Databricks no utiliza. Cuando se quite el término del software, se quitará también del artículo.

Características principales

  • Modo de ejecución de barrera: [SPARK-24374] Admite el modo de ejecución de barrera en el programador para integrarse mejor en marcos de aprendizaje profundo.
  • Compatibilidad con Scala 2.12: [SPARK-14220] Agrega compatibilidad experimental con Scala 2.12. Ahora puede compilar Spark con Scala 2.12 y escribir aplicaciones de Spark en Scala 2.12.
  • Funciones de orden superior: [SPARK-23899] Agrega muchas funciones integradas nuevas, incluidas las funciones de orden superior, para facilitar el trabajo con tipos de datos complejos. Consulte Funciones integradas de Apache Spark.
  • Origen de datos integrado de Avro: [SPARK-24768] Paquete de Spark-Avro en línea con compatibilidad con tipos lógicos, mejor rendimiento y facilidad de uso.

API

  • [SPARK-24035] Sintaxis SQL dinámica para Pivot
  • [SPARK-24940] Sugerencia de uso de Coalesce y Repartition para consultas SQL
  • [SPARK-19602] Compatibilidad con la resolución de columnas de nombre de columna completo
  • [SPARK-21274] Implementación de EXCEPT ALL e INTERSECT ALL

Rendimiento y estabilidad

  • [SPARK-16406] La resolución de referencia para un gran número de columnas debe ser más rápida
  • [SPARK-23486] Almacenamiento en caché del nombre de la función del catálogo externo para lookupFunctions
  • [SPARK-23803] Compatibilidad con la eliminación de cubos
  • [SPARK-24802] Exclusión de reglas de optimización
  • [SPARK-4502] Eliminación de esquemas anidados para tablas de Parquet
  • [SPARK-24296] Compatibilidad con la replicación de bloques de más de 2 GB
  • [SPARK-24307] Compatibilidad con el envío de mensajes de más de 2 GB desde la memoria
  • [SPARK-23243] Shuffle+Repartition en un RDD podría dar lugar a respuestas incorrectas
  • [SPARK-25181] Se ha limitado el tamaño de los grupos de subprocesos principal y secundario de BlockManager, lo que reduce la sobrecarga de memoria cuando las redes son lentas.

Conectores

  • [SPARK-23972] Actualización de Parquet de 1.8.2 a 1.10.0
  • [SPARK-25419] Mejora del descenso de predicados de Parquet
  • [SPARK-23456] El lector ORC nativo está activado de manera predeterminada
  • [SPARK-22279] Uso del lector ORC nativo para leer tablas serd de Hive de manera predeterminada
  • [SPARK-21783] Activación del descenso de filtros ORC de manera predeterminada
  • [SPARK-24959] Aceleración de count() para JSON y CSV
  • [SPARK-24244] Análisis solo de las columnas necesarias en el analizador de CSV
  • [SPARK-23786] Validación del esquema CSV: no se comprueban los nombres de columna
  • [SPARK-24423] Consulta de opción para especificar la consulta que se leerá desde JDBC
  • [SPARK-22814] Compatibilidad con fecha y marca de tiempo en la columna de partición de JDBC
  • [SPARK-24771] Actualización de Avro de 1.7.7 a 1.8

PySpark

  • [SPARK-24215] Implementación de la evaluación diligente para las API de DataFrame
  • [SPARK-22274] - [SPARK-22239] Funciones de agregación definidas por el usuario con la UDF de Pandas
  • [SPARK-24396] Adición de ForeachWriter de Structured Streaming para Python
  • [SPARK-23874] Actualización de Apache Arrow a 0.10.0
  • [SPARK-25004] Adición del límite de spark.executor.pyspark.memory
  • [SPARK-23030] Uso del formato de secuencias de Arrow para crear y recopilar DataFrames de Pandas
  • [SPARK-24624] Compatibilidad con la combinación de UDF de Python y UDF de Pandas escalares

Otros cambios importantes

Guías de programación: Guía de programación RDD de Spark y Guía de DataFrames y conjuntos de datos de Spark SQL.

Structured Streaming

Características principales

  • [SPARK-24565] Se han expuesto las filas de salida de cada microlote como DataFrame mediante foreachBatch (Python, Scala y Java)
  • [SPARK-24396] Se ha agregado la API de Python para foreach y ForeachWriter
  • [SPARK-25005] Compatibilidad de "kafka.isolation.level" para leer solo los registros confirmados de los temas de Kafka que se escriben mediante un productor transaccional

Otros cambios importantes

  • [SPARK-24662] Compatibilidad con el operador LIMIT para secuencias en modo Append o Complete
  • [SPARK-24763] Eliminación de datos de clave redundantes del valor en la agregación de streaming
  • [SPARK-24156] Generación más rápida de resultados de salida o limpieza de estado con operaciones con estado (mapGroupsWithState, Stream-Stream Join, agregación de streaming, dropDuplicates de streaming) cuando no hay datos en el flujo de entrada
  • [SPARK-24730] Compatibilidad para elegir la marca de agua mínima o máxima cuando hay varios flujos de entrada en una consulta
  • [SPARK-25399] Corrección de un error que causaba un problema de corrección al volver a usar subprocesos de ejecución del procesamiento continuo para el streaming de microlotes
  • [SPARK-18057] Versión del cliente de Kafka actualizada de 0.10.0.1 a 2.0.0

Guía de programación: Guía de programación de streaming estructurado.

MLlib

Características principales

  • [SPARK-22666] Origen de datos de Spark para el formato de imagen

Otros cambios importantes

Guía de programación: Guía de Machine Learning Library (MLlib).

SparkR

  • [SPARK-25393] Adición de una nueva función from_csv()
  • [SPARK-21291] Adición de la API partitionBy de R en DataFrame
  • [SPARK-25007] Adición de array_intersect/array_except/array_union/shuffle a SparkR
  • [SPARK-25234] Evitar el desbordamiento de enteros en paralelización
  • [SPARK-25117] Adición de compatibilidad con EXCEPT ALL e INTERSECT ALL en R
  • [SPARK-24537] Adición de array_remove / array_zip / map_from_arrays / array_distinct
  • [SPARK-24187] Adición de la función array_join a SparkR
  • [SPARK-24331] Adición de arrays_overlap, array_repeat, map_entries a SparkR
  • [SPARK-24198] Adición de la función slice a SparkR
  • [SPARK-24197] Adición de la función array_sort a SparkR
  • [SPARK-24185] Adición de la función flatten a SparkR
  • [SPARK-24069] Adición de las funciones array_min y array_max
  • [SPARK-24054] Adición de las funciones array_position función y element_at
  • [SPARK-23770] Adición de la API repartitionByRange en SparkR

Guía de programación: SparkR (R en Spark).

GraphX

  • [SPARK-25268] runParallelPersonalizedPageRank produce una excepción de serialización

Guía de programación: Guía de programación de GraphX.

En desuso

Cambios de comportamiento

  • [SPARK-23549] Conversión a marca de tiempo al comparar la marca de tiempo con la fecha
  • [SPARK-24324] La UDF de asignación agrupada de Pandas debe asignar columnas de resultado por nombre
  • [SPARK-25088] Actualizaciones de elementos predeterminados y documentos del servidor de REST
  • [SPARK-23425] La carga de datos para la ruta de acceso de archivos hdfs con el uso de caracteres comodín no funciona correctamente
  • [SPARK-23173] from_json puede generar valores NULL para los campos marcados como que no aceptan valores NULL
  • [SPARK-24966] Implementación de reglas de precedencia para operaciones Set
  • [SPARK-25708] HAVING sin GROUP BY debe ser un agregado global
  • [SPARK-24341] Controlar correctamente la subconsulta IN de varios valores
  • [SPARK-19724] La creación de una tabla administrada con una ubicación predeterminada existente debería producir una excepción

Consulte la Guía de migración para ver todos los cambios de comportamiento.

Problemas conocidos

  • [SPARK-25793] Error de carga del modelo en BisectingKMeans
  • [SPARK-25271] CTAS con tablas Parquet de Hive debe aprovechar el origen Parquet nativo
  • [SPARK-24935] Problema con la ejecución de UDAF de Hive a partir de Spark 2.2

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 5.0.

Entorno del sistema

  • Sistema operativo: Ubuntu 16.04.5 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 para clústeres de Python 2 y 3.5.2 para clústeres de Python 3.
  • R: versión de R 3.4.4 (15-03-2018)
  • Clústeres de GPU: están instaladas las siguientes bibliotecas de GPU de NVIDIA:
    • Controlador Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Nota:

Aunque Scala 2.12 es compatible con Apache Spark 2.4, no se admite en Databricks Runtime 5.0.

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
criptografía 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futuros 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 18.0 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
Python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
Solicitudes 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0,32 seaborn 0.7.1
setuptools 40.4.1 simplejson 3.8.2 simples3 1,0
singledispatch 3.4.0.3 six (seis) 1.10.0 statsmodels 0.6.1
tornado 5.1.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

Bibliotecas de R instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 base64enc 0.1-3 BH 1.66.0-1
bindr 0.1.1 bindrcpp 0.2.2 bit 1.1-14
bit64 0.9-7 bitops 1.0-6 blob 1.1.1
boot 1.3-20 brew 1.0-6 broom 0.5.0
callr 3.0.0 automóvil 3.0-2 carData 3.0-1
caret 6.0-80 cellranger 1.1.0 chron 2.3-52
clase 7.3-14 cli 1.0.0 cluster 2.0.7-1
codetools 0.2-15 colorspace 1.3-2 commonmark 1.5
compiler 3.4.4 crayon 1.3.4 curl 3.2
CVST 0.2-2 data.table 1.11.4 conjuntos de datos 3.4.4
DBI 1.0.0 ddalpha 1.3.4 DEoptimR 1,0 - 8
desc 1.2.0 devtools 1.13.6 digest 0.6.16
dimRed 0.1.0 doMC 1.3.5 dplyr 0.7.6
DRR 0.0.3 fansi 0.3.0 forcats 0.3.0
foreach 1.4.4 foreign 0.8-70 gbm 2.1.3
geometry 0.3-6 ggplot2 3.0.0 git2r 0.23.0
glmnet 2.0-16 glue 1.3.0 gower 0.1.2
elementos gráficos 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.20.0.2
haven 1.1.2 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-7
iterators 1.0.10 jsonlite 1.5 kernlab 0.9-27
KernSmooth 2.23-15 labeling 0,3 lattice 0.20-35
lava 1.6.3 lazyeval 0.2.1 littler 0.3.4
lme4 1.1-18-1 lubridate 1.7.4 magic 1.5-8
magrittr 1.5 mapproj 1.2.6 maps 3.3.0
maptools 0.9-3 MASS 7.3-50 Matriz 1.2-14
MatrixModels 0.4-1 memoise 1.1.0 methods 3.4.4
mgcv 1.8-24 mime 0.5 minqa 1.2.4
ModelMetrics 1.2.0 munsell 0.5.0 mvtnorm 1,0 - 8
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.2 openxlsx 4.1.0
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.3.0
pkgbuild 1.0.0 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.0 plogr 0.2.0 pls 2.7-0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.12.1 processx 3.2.0 prodlim 2018.04.18
proto 1.0.0 ps 1.1.0 purrr 0.2.5
quantreg 5.36 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.7.0 R6 2.2.2 randomForest 4.6-14
RColorBrewer 1.1-2 Rcpp 0.12.18 RcppEigen 0.3.3.4.0
RcppRoll 0.3.0 RCurl 1.95-4.11 readr 1.1.1
readxl 1.1.0 recipes 0.1.3 rematch 1.0.1
reshape2 1.4.3 rio 0.5.10 rlang 0.2.2
robustbase 0.93-2 RODBC 1.3-15 roxygen2 6.1.0
rpart 4.1-13 rprojroot 1.3-2 Rserve 1.7-3
RSQLite 2.1.1 rstudioapi 0.7 scales 1.0.0
sfsmisc 1.1-2 sp 1.3-1 SparkR 2.4.0
SparseM 1.77 spatial 7.3-11 splines 3.4.4
sqldf 0.4-11 SQUAREM 2017.10-1 statmod 1.4.30
stats 3.4.4 stats4 3.4.4 stringi 1.2.4
stringr 1.3.1 survival 2.42-6 tcltk 3.4.4
TeachingDemos 2,10 testthat 2.0.0 tibble 1.4.2
tidyr 0.8.1 tidyselect 0.2.4 timeDate 3043.102
tools 3.4.4 utf8 1.1.4 utils 3.4.4
viridisLite 0.3.0 whisker 0.3-2 withr 2.1.2
xml2 1.2.0 zip 1.0.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics flujo 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db7-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db7-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx recopilador 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4,7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow arrow-memory 0.10.0
org.apache.arrow arrow-vector 0.10.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet parquet-column 1.10.1-databricks2
org.apache.parquet parquet-common 1.10.1-databricks2
org.apache.parquet parquet-encoding 1.10.1-databricks2
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks2
org.apache.parquet parquet-jackson 1.10.1-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper zookeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.9
org.codehaus.janino janino 3.0.9
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.1
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52