Share via

Azure Databricks Runtime 5.1 (sem suporte)

  • Artigo

O Databricks lançou essa imagem em dezembro de 2018.

Importante

Esta versão foi preterida em 2 de maio de 2023. Para obter mais informações sobre a política de desativação e o agendamento do Databricks Runtime, confira Ciclos de vida do suporte do Databricks Runtime.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 5.1, da plataforma Apache Spark.

Novos recursos

  • Delta Lake

    • Suporte para sintaxe estendida em MERGE INTO.

      • Suporte para várias cláusulas MATCHED, condições adicionais em cláusulas MATCHED e NOT MATCHED, ação DELETE. Isso é útil para gravar dados alterados (inserções, atualizações e exclusões) de um banco de dados em uma tabela Delta.
      • Suporte para * em ações UPDATE e INSERT para preencher automaticamente os nomes de coluna (semelhante a * em SELECT). Isso facilita a gravação de consultas MERGE para tabelas com um número muito grande de colunas.

      Para obter exemplos, confira MESCLAR EM.

    • Suporte para níveis de isolamento ajustáveis para tabelas Delta.

      • As tabelas Delta podem ser configuradas para ter um desses dois níveis de isolamento: Serializable e WriteSerializable (padrão).
      • O nível de isolamento padrão é relaxado de Serializable para WriteSerializable para permitir maior disponibilidade. Especificamente, UPDATE, DELETE e MERGE têm permissão para executar simultaneamente com acréscimos (por exemplo, de uma consulta de streaming). Veja Níveis de isolamento e gravação de conflitos no Azure Databricks para entender as implicações desse relaxamento e as etapas para impor o comportamento anterior, se necessário.

    • Versão prévia privada do comando CONVERT TO DELTA, que permite converter uma tabela Parquet em uma tabela Delta in-loco, sem copiar nenhum arquivo. Contate o suporte do Azure Databricks se você tiver interesse em experimentá-lo.

  • Bibliotecas no escopo do notebook com Python. Agora, é possível instalar bibliotecas Python, incluindo Eggs, Wheels e PyPI, em notebooks Python usando a API da biblioteca de utilitários do Databricks. As bibliotecas instaladas por meio dessa API estão disponíveis somente no notebook no qual as bibliotecas estão instaladas. Confira Utilitário de biblioteca (dbutils.library) (herdado).

    Importante

    Esse recurso está em uma versão prévia.

    Utilitários de biblioteca habilitados por padrão em clusters que executam o Databricks Runtime 5,1. Portanto, por padrão, o processo REPL do Python para cada notebook é isolado com o uso de um executável do Python separado que é criado quando o notebook é anexado e herda o ambiente padrão do Python no cluster. Bibliotecas instaladas por meio de scripts init em um ambiente Python do Azure Databricks ainda estão disponíveis. Esse recurso pode ser desabilitado definindo spark.databricks.libraryIsolation.enabled como false.

  • Agora, a função display oferece suporte a DataFrames do pandas. Consulte Criar uma visualização.

Aprimoramentos

  • Delta Lake
    • Escalabilidade aprimorada de OPTIMIZE com um grande número de arquivos pequenos.
    • Agora, você pode SET uma coluna aninhada no UPDATE.
  • Desempenho do SQL:
    • Otimizar LIMIT buscando apenas as primeiras n partições.
    • Otimizar junções de intervalo. Adicionamos regras do otimizador que reescrevem uma junção de intervalo para serem executadas de maneira mais eficiente. Isso pode acelerar esse tipo de consulta por uma ordem de magnitude. Para habilitar a otimização, adicione uma dica à consulta. A regravação atual dá suporte às seguintes formas de consulta de junção de intervalo:
      • Ponto no intervalo: a.begin < b.point AND b.point < a.end
      • Sobreposição de intervalo: a.begin < b.end AND b.begin < a.end
  • Atualização do conector para ADLS Gen2, que inclui correções de bugs críticos. Recomendamos que todos os usuários do Azure Data Lake Storage Gen2 atualizem para o Databricks Runtime 5.1.
  • Atualização do Java de 1.8.0_162 para 1.8.0_181.
  • Conector Snowflake atualizado para Spark 2.4.10.
  • Atualizou algumas bibliotecas do Python instaladas:
    • pip: 18.0 para 18.1
    • setuptools: 40.4.1 para 40.6.2
    • virtualenv: 15.0.1 para 16.1.0
    • wheel: de 0.31.1 para 0.32.3
  • Várias bibliotecas do R instaladas foram atualizadas. Confira Bibliotecas do R instaladas.

Correções de bug

  • Correção de bug no suporte ao Azure Data Lake Storage Gen2 que falhou ao listar diretórios com mais de 5000 arquivos.
  • TRANSFORM deve tratar tipos de dados de entrada diferentes corretamente.
  • Limpe arquivos aleatórios externos expirados após executores falharem para impedir que clusters de execução longa sejam executados fora do disco.

Apache Spark

O Databricks Runtime 5.1 inclui o Apache Spark 2.4.0. Esta versão inclui todas as correções e melhorias incluídas no Databricks Runtime 5.0 (sem suporte), assim como as seguintes correções de bug adicionais e melhorias feitas no Spark:

  • [SPARK-26147][SQL] Remover apenas o udf do python não avaliável da condição de junção
  • [SPARK-26129][SQL] Instrumentação para tempo de planejamento por consulta
  • [SPARK-25921][PYSPARK] Corrigir a execução da tarefa de barreira sem BarrierTaskContext durante a reutilização de trabalho do Python
  • [SPARK-23207][SQL] Use SQLConf.get.enableRadixSort em vez de SparkEnv.get.conf.get(SQLConf.RADIX_SORT_ENABLED)
  • [SPARK-26057][SQL] Transformar também os planos analisados ao eliminar duplicação das referências
  • [SPARK-25974][SQL] Otimiza Gera código de bytes para ordenação com base na ordem especificada
  • [Spark-25901][CORE] Usar apenas um thread em BarrierTaskContext compa…
  • [Spark-25381][SQL] Amostragem estratificada por argumento de coluna
  • [SPARK-25514][SQL] Gerando um bom JSON por to_json
  • [SPARK-22827][SQL] Lançar SparkOutOfMemoryError em HashAggregateExec também.
  • [SPARK-25979][SQL] Função de janela: permitir parênteses ao redor da referência de janela
  • [SPARK-25988][SQL] Manter nomes inalterados ao eliminar a duplicação dos nomes de coluna no analisador
  • [SPARK-25904][CORE] Alocar matrizes menores que Int.MaxValue
  • [SPARK-24901][SQL] Mesclar o codegen de RegularHashMap e fastHashMap para reduzir o maxCodesize do compilador quando VectorizedHashMap for falso.
  • [SPARK-25850][SQL] Tornar configurável o limite de divisão para a função de código gerada
  • [SPARK-25866][ML] Atualizar KMeans formatVersion
  • [SPARK-22148][SPARK-15815][SCHEDULER] Adquirir novos executores para evitar a interrupção por causa de inclusão na lista de bloqueados
  • [SPARK-25827][CORE] Evitar a conversão de blocos criptografados de entrada em buffers de bytes
  • [SPARK-25918][SQL] LOAD DATA LOCAL INPATH deve tratar um caminho relativo
  • [Spark-25837][CORE] Corrigir a possível lentidão no AppStatusListener ao limpar as fases
  • [Spark-25773][CORE] Cancelar tarefas zumbis em um estágio de resultado quando o trabalho for concluído (5.x)
  • [SPARK-25767][SQL] Corrigir o fluxo de expressões avaliado lentamente na geração de código
  • [SPARK-25819][SQL] Dar suporte à opção de modo de análise para a função from_avro
  • [Spark-25044] Alterar a assinatura de construtor de ScalaUDF
  • [SPARK-25699][SQL] Enviar por push parcialmente a conjuntiva predicada em ORC
  • [SPARK-25559][SQL] Remover os predicados sem suporte no Parquet quando…
  • [SPARK-25540][SPARK-25525][SQL] [PYSPARK] Não atualize o conf para SparkContext existente em SparkSession.getOrCreate.
  • [SPARK-25595] Ignorar os arquivos Avro corrompidos se o sinalizador IGNORE_CORRUPT_FILES estiver habilitado
  • [SPARK-25458][SQL] Suporte PARA TODAS AS COLUNAS na TABELA DE ANÁLISE
  • [SPARK-25449][CORE] A pulsação não deve incluir acumuladores para nenhuma métrica
  • [SPARK-25399][SS] O estado de processamento contínuo não deve afetar os trabalhos de execução de microlote
  • [SPARK-26092][SS] Usar o CheckpointFileManager para gravar o arquivo de metadados de streaming

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 5.1.

Ambiente do sistema

  • Sistema operacional: Ubuntu 16.04.5 LTS
  • Java: 1.8.0_181
  • Scala: 2.11.8
  • Python: 2.7.12 para os clusters do Python 2 e 3.5.2 para os clusters do Python 3.
  • R: R versão 3.4.4 (15-03-2018)
  • Clusters da GPU: as seguintes bibliotecas GPU da NVIDIA estão instaladas:
    • Driver Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Observação

Embora o Scala 2.12 obtenha suporte do Apache Spark 2.4, ele não tem suporte no Databricks Runtime 5.1.

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
criptografia 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1,2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 18.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
solicitações 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0,32 seaborn 0.7.1
setuptools 40.6.2 simplejson 3.8.2 simples3 1,0
singledispatch 3.4.0.3 six 1.10.0 statsmodels 0.6.1
tornado 5.1.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 16.1.0 wcwidth 0.1.7 wheel 0.32.3
wsgiref 0.1.2

Bibliotecas R instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 base64enc 0.1-3 BH 1.66.0-1
bindr 0.1.1 bindrcpp 0.2.2 bit 1.1-14
bit64 0.9-7 bitops 1.0-6 blob 1.1.1
boot 1.3-20 brew 1.0-6 broom 0.5.0
callr 3.0.0 carro 3.0-2 carData 3.0-2
sinal de interpolação 6.0-80 cellranger 1.1.0 chron 2.3-53
classe 7.3-14 cli 1.0.1 clipr 0.4.1
clisymbols 1.2.0 cluster 2.0.7-1 codetools 0.2-15
colorspace 1.3-2 commonmark 1.6 compiler 3.4.4
crayon 1.3.4 curl 3.2 CVST 0.2-2
data.table 1.11.8 conjuntos de dados 3.4.4 DBI 1.0.0
ddalpha 1.3.4 DEoptimR 1.0-8 desc 1.2.0
devtools 2.0.1 digest 0.6.18 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.7 DRR 0.0.3
fansi 0.4.0 forcats 0.3.0 foreach 1.4.4
foreign 0.8-70 fs 1.2.6 gbm 2.1.4
geometria 0.3-6 ggplot2 3.1.0 gh 1.0.1
git2r 0.23.0 glmnet 2.0-16 glue 1.3.0
gower 0.1.2 elemento gráfico 3.4.4 grDevices 3.4.4
grade 3.4.4 gridExtra 2.3 gsubfn 0.7
gtable 0.2.0 h2o 3.20.0.8 haven 1.1.2
hms 0.4.2 httr 1.3.1 hwriter 1.3.2
hwriterPlus 1.0-3 ini 0.3.1 ipred 0.9-8
iterators 1.0.10 jsonlite 1.5 kernlab 0.9-27
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-38
lava 1.6.3 lazyeval 0.2.1 littler 0.3.5
lme4 1.1-18-1 lubridate 1.7.4 magic 1.5-9
magrittr 1.5 mapproj 1.2.6 mapas 3.3.0
maptools 0.9-4 MASS 7.3-50 Matriz 1.2-14
MatrixModels 0.4-1 memoise 1.1.0 methods 3.4.4
mgcv 1.8-25 mime 0.6 minqa 1.2.4
ModelMetrics 1.2.2 munsell 0.5.0 mvtnorm 1.0-8
nlme 3.1-137 nloptr 1.2.1 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.2 openxlsx 4.1.0
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.3.0
pkgbuild 1.0.2 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.2 plogr 0.2.0 pls 2.7-0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.13.0 processx 3.2.0 prodlim 2018.04.18
proto 1.0.0 ps 1.2.0 purrr 0.2.5
quantreg 5.36 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.7.0 R6 2.3.0 randomForest 4.6-14
rcmdcheck 1.3.1 RColorBrewer 1.1-2 Rcpp 0.12.19
RcppEigen 0.3.3.4.0 RcppRoll 0.3.0 RCurl 1.95-4.11
readr 1.1.1 readxl 1.1.0 recipes 0.1.3
rematch 1.0.1 remotes 2.0.2 reshape2 1.4.3
rio 0.5.10 rlang 0.3.0.1 robustbase 0.93-3
RODBC 1.3-15 roxygen2 6.1.0 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.1
rstudioapi 0.8 scales 1.0.0 sessioninfo 1.1.1
sfsmisc 1.1-2 sp 1.3-1 SparkR 2.4.0
SparseM 1.77 spatial 7.3-11 splines 3.4.4
sqldf 0.4-11 SQUAREM 2017.10-1 statmod 1.4.30
stats 3.4.4 stats4 3.4.4 stringi 1.2.4
stringr 1.3.1 survival 2.43-1 tcltk 3.4.4
TeachingDemos 2,10 testthat 2.0.1 tibble 1.4.2
tidyr 0.8.2 tidyselect 0.2.5 timeDate 3043.102
tools 3.4.4 usethis 1.4.0 utf8 1.1.4
utils 3.4.4 viridisLite 0.3.0 whisker 0.3-2
withr 2.1.2 xml2 1.2.0 xopen 1.0.0
zip 1.0.0

Instaladas as bibliotecas do Java e Scala (versão de cluster do Scala 2.11)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics fluxo 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-app_2.11 6.23.0
com.twitter util-app_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1,2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty Netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx coletor 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1,2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.5
net.snowflake snowflake-jdbc 3.6.15
net.snowflake spark-snowflake_2.11 2.4.10-spark_2.4
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow arrow-memory 0.10.0
org.apache.arrow arrow-vector 0.10.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet parquet-column 1.10.1-databricks3
org.apache.parquet parquet-common 1.10.1-databricks3
org.apache.parquet parquet-encoding 1.10.1-databricks3
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks3
org.apache.parquet parquet-jackson 1.10.1-databricks3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper zookeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.9
org.codehaus.janino janino 3.0.9
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.1
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52