Databricks Runtime 6.6 (sem suporte)
O Databricks lançou esta imagem em maio de 2020.
As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 6.6, da plataforma Apache Spark.
Novos recursos
Delta Lake
- Você já pode desenvolver automaticamente o esquema da tabela com a operação
merge. Isso é útil em cenários em que você deseja fazer upsert de dados de alteração em uma tabela e o esquema dos dados muda ao longo do tempo. Em vez de detectar e aplicar alterações de esquema antes do upsert, omergepode desenvolver simultaneamente o esquema e fazer upsert das alterações. Isso se aplica somente às colunas de nível superior na tabela (não às colunas aninhadas). Confira Evolução automática de esquema para mesclagem do Delta Lake. - O desempenho das operações de mesclagem que têm apenas cláusulas correspondentes, ou seja, elas têm apenas ações
updateedeletee nenhuma açãoinsert, foi aprimorado. - As tabelas Parquet referenciadas no metastore do Hive já são conversíveis no Delta Lake por meio dos identificadores de tabela com
CONVERT TO DELTA. Embora esse recurso já tenha sido anunciado no Databricks Runtime 6.1, o suporte completo foi atrasado para o Databricks Runtime 6.6.
Aprimoramentos
Atualização do Java para 1.8.0_252
Atualização das bibliotecas do R
Atualização de várias bibliotecas do R instaladas. Confira Bibliotecas do R instaladas.
- Atualização do sparklyr da versão 1.1.0 para a 1.2.0.
Atualização das bibliotecas do Python
- Atualização do kiwisolver da versão 1.1.0 para a 1.2.0.
- Atualização do pyparsing da versão 2.4.6 para a 2.4.7.
Apache Spark
O Databricks Runtime 6.6 inclui o Apache Spark 2.4.5. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 6.5 (sem suporte), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [SPARK-30361] [REST] A URL de monitoramento não edita informações sobre o ambiente
- [SPARK-31503] [SQL] Correção da cadeia de caracteres SQL das funções TRIM
- [SPARK-31256] [SQL] DataFrameNaFunctions.drop deve funcionar para colunas aninhadas
- [SPARK-31234] [SQL] ResetCommand não deve afetar a configuração de SQL estático
- [SPARK-31420] [WEBUI] Tornar a localidade da linha do tempo/exibição ‘en’
- [SPARK-31441] [PYSPARK][SQL] Suporte a nomes de colunas duplicados para toPandas com a execução do Arrow
- [SPARK-31186] [PYSPARK][SQL] toPandas não deve falhar em nomes de colunas duplicados
- [SPARK-31420] [WEBUI] Redesenho da linha do tempo infinita na página de detalhes do trabalho
- [SPARK-31422] [CORE] Correção de um erro de compilação no caso de teste
- [SPARK-31422] [CORE] Correção do NPE quando BlockManagerSource é usado após a interrupção de BlockManagerMaster
- [SPARK-31312] [SQL] Instância da Classe de Cache para a instância de UDF em HiveFunctionWrapper
- [SPARK-31101] [Build] Atualização do Janino para 3.0.16
- [SPARK-31261] [SQL] Evitar o uso do NPE na leitura de uma entrada CSV inválida com
columnNameCorruptRecordespecificado - [SPARK-30494] [SQL] Correção da perda de dados armazenados em cache durante a substituição de uma exibição existente
- [SPARK-26293] [SQL] Geração de exceção quando a UDF do Python está em uma subconsulta
- [SPARK-31164] [SQL] RDD inconsistente e particionamento de saída para a tabela de bucket quando a saída não contém todas as colunas de bucket
- [SPARK-31163] [SQL] TruncateTableCommand com ACL/permissão deve tratar um caminho não existente
- [SPARK-31144] [SQL] Erro de encapsulamento com QueryExecutionException para notificação de QueryExecutionListener
- [SPARK-31095] [BUILD] Atualização do netty-all para 4.1.47.Final
- [SPARK-31061] [SQL] Fornecimento da capacidade de alterar o provedor de uma tabela
- [SPARK-30941] [PYSPARK] Adição de uma observação a asDict para documentar o comportamento quando há campos duplicados
- [SPARK-30759] [SC-29843][SQL] Correção de inicialização de cache em StringRegexExpression
- [SPARK-30998] [SQL] ClassCastException quando um gerador tem geradores internos aninhados
- [SPARK-30993] [SQL] Uso do tipo SQL para UDT ao verificar o tipo de comprimento (fixo/var) ou mutável
- [SPARK-30813] [ML] Correção de comentários de Matrices.sprand
- [SPARK-29419] [SQL] Correção do bug de segurança de thread do codificador em createDataset(Seq)
- [SPARK-30759] [SQL] Correção de inicialização de cache em StringRegexExpression
Atualizações de manutenção
Confira Atualizações de manutenção do Databricks Runtime 6.6.
Ambiente do sistema
- Sistema operacional: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 3.7.3
- R: R versão 3.6.3 (29-02-2020)
- Delta Lake: 0.6.1
Observação
Embora o Scala 2.12 esteja disponível como um recurso experimental no Apache Spark 2.4, não há suporte para ele no Databricks Runtime 6.6.
Nesta seção:
- Bibliotecas Python instaladas
- Bibliotecas R instaladas
- Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.11)
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | backcall | 0.1.0 | boto | 2.49.0 |
| boto3 | 1.9.162 | botocore | 1.12.163 | certifi | 2019.3.9 |
| cffi | 1.12.2 | chardet | 3.0.4 | criptografia | 2.6.1 |
| cycler | 0.10.0 | Cython | 0.29.6 | decorator | 4.4.0 |
| docutils | 0,14 | idna | 2.8 | ipykernel | 5.1.0 |
| ipython | 7.4.0 | ipython-genutils | 0.2.0 | jedi | 0.13.3 |
| jmespath | 0.9.4 | jupyter-client | 5.2.4 | jupyter-core | 4.4.0 |
| kiwisolver | 1.2.0 | matplotlib | 3.0.3 | numpy | 1.16.2 |
| pandas | 0.24.2 | parso | 0.3.4 | patsy | 0.5.1 |
| pexpect | 4.6.0 | pickleshare | 0.7.5 | pip | 19.0.3 |
| prompt-toolkit | 2.0.9 | psycopg2 | 2.7.6 | ptyprocess | 0.6.0 |
| pyarrow | 0.13.0 | pycparser | 2.19 | pycurl | 7.43.0 |
| Pygments | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL | 19.0.0 |
| pyparsing | 2.4.7 | PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.8 |
| python-dateutil | 2.8.0 | pytz | 2018.9 | pyzmq | 18.0.0 |
| solicitações | 2.21.0 | s3transfer | 0.2.1 | scikit-learn | 0.20.3 |
| scipy | 1.2.1 | seaborn | 0.9.0 | setuptools | 40.8.0 |
| six | 1.12.0 | ssh-import-id | 5.5 | statsmodels | 0.9.0 |
| tornado | 6.0.2 | traitlets | 4.3.2 | unattended-upgrades | 0,1 |
| urllib3 | 1.24.1 | virtualenv | 16.4.1 | wcwidth | 0.1.7 |
| wheel | 0.33.1 |
Bibliotecas R instaladas
As bibliotecas do R foram instaladas por meio do instantâneo do Microsoft CRAN em 22/4/2020.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1,1 | assertthat | 0.2.1 |
| backports | 1.1.6 | base | 3.6.3 | base64enc | 0.1-3 |
| BH | 1.72.0-3 | bit | 1.1-15.2 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.2.1 | boot | 1.3-23 |
| brew | 1.0-6 | callr | 3.4.3 | carro | 3.0-7 |
| carData | 3.0-3 | sinal de interpolação | 6.0-86 | cellranger | 1.1.0 |
| chron | 2.3-55 | classe | 7.3-16 | cli | 2.0.2 |
| clipr | 0.7.0 | cluster | 2.1.0 | codetools | 0.2-16 |
| colorspace | 1.4-1 | commonmark | 1,7 | compiler | 3.6.3 |
| config | 0.3 | covr | 3.5.0 | crayon | 1.3.4 |
| crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.12.8 |
| conjuntos de dados | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.3 |
| desc | 1.2.0 | devtools | 2.3.0 | digest | 0.6.25 |
| doMC | 1.3.6 | dplyr | 0.8.5 | DT | 0.13 |
| ellipsis | 0.3.0 | evaluate | 0,14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.0 | foreign | 0.8-75 | forge | 0.2.0 |
| fs | 1.4.1 | gbm | 2.1.5 | Genéricos | 0.0.2 |
| ggplot2 | 3.3.0 | gh | 1.1.0 | git2r | 0.26.1 |
| glmnet | 3.0-2 | globals | 0.12.5 | glue | 1.4.0 |
| gower | 0.2.1 | elemento gráfico | 3.6.3 | grDevices | 3.6.3 |
| grade | 3.6.3 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | h2o | 3.30.0.1 | haven | 2.2.0 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.4.0 |
| htmlwidgets | 1.5.1 | httpuv | 1.5.2 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.1 | iterators | 1.0.12 |
| jsonlite | 1.6.1 | KernSmooth | 2.23-16 | knitr | 1.28 |
| labeling | 0.3 | later | 1.0.0 | lattice | 0.20-41 |
| lava | 1.6.7 | lazyeval | 0.2.2 | ciclo de vida | 0.2.0 |
| littler | 0.3.9 | lme4 | 1.1-23 | lubridate | 1.7.8 |
| magrittr | 1.5 | mapproj | 1.2.7 | mapas | 3.3.0 |
| maptools | 0.9-9 | markdown | 1,1 | MASS | 7.3-51.5 |
| Matriz | 1.2-18 | MatrixModels | 0.4-1 | memoise | 1.1.0 |
| methods | 3.6.3 | mgcv | 1.8-31 | mime | 0,9 |
| minqa | 1.2.4 | ModelMetrics | 1.2.2.2 | munsell | 0.5.0 |
| mvtnorm | 1.1-0 | nlme | 3.1-147 | nloptr | 1.2.2.1 |
| nnet | 7.3-13 | numDeriv | 2016.8-1.1 | openssl | 1.4.1 |
| openxlsx | 4.1.4 | parallel | 3.6.3 | pbkrtest | 0.4-8.6 |
| pillar | 1.4.3 | pkgbuild | 1.0.6 | pkgconfig | 2.0.3 |
| pkgKitten | 0.1.5 | pkgload | 1.0.2 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.2 | prodlim | 2019.11.13 |
| progress | 1.2.2 | promises | 1.1.0 | proto | 1.0.0 |
| ps | 1.3.2 | purrr | 0.3.4 | quantreg | 5.55 |
| R.methodsS3 | 1.8.0 | R.oo | 1.23.0 | R.utils | 2.9.2 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.4.6 | RcppEigen | 0.3.3.7.0 | RCurl | 1.98-1.2 |
| readr | 1.3.1 | readxl | 1.3.1 | recipes | 0.1.10 |
| rematch | 1.0.1 | rematch2 | 2.1.1 | remotes | 2.1.1 |
| reshape2 | 1.4.4 | rex | 1.2.0 | rio | 0.5.16 |
| rjson | 0.2.20 | rlang | 0.4.5 | RODBC | 1.3-16 |
| roxygen2 | 7.1.0 | rpart | 4.1-15 | rprojroot | 1.3-2 |
| Rserve | 1.8-6 | RSQLite | 2.2.0 | rstudioapi | 0,11 |
| rversions | 2.0.1 | scales | 1.1.0 | sessioninfo | 1.1.1 |
| shape | 1.4.4 | shiny | 1.4.0.2 | sourcetools | 0.1.7 |
| sp | 1.4-1 | sparklyr | 1.2.0 | SparkR | 2.4.5 |
| SparseM | 1,78 | spatial | 7.3-11 | splines | 3.6.3 |
| sqldf | 0.4-11 | SQUAREM | 2020.2 | statmod | 1.4.34 |
| stats | 3.6.3 | stats4 | 3.6.3 | stringi | 1.4.6 |
| stringr | 1.4.0 | survival | 2.44-1.1 | sys | 3.3 |
| tcltk | 3.6.3 | TeachingDemos | 2,10 | testthat | 2.3.2 |
| tibble | 3.0.1 | tidyr | 1.0.2 | tidyselect | 1.0.0 |
| timeDate | 3043.102 | tools | 3.6.3 | usethis | 1.6.0 |
| utf8 | 1.1.4 | utils | 3.6.3 | vctrs | 0.2.4 |
| viridisLite | 0.3.0 | whisker | 0,4 | withr | 2.2.0 |
| xfun | 0.13 | xml2 | 1.3.1 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.0.4 |
Instaladas as bibliotecas do Java e Scala (versão de cluster do Scala 2.11)
| ID do Grupo | Artifact ID | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config | 1.11.595 |
| com.amazonaws | aws-java-sdk-core | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue | 1.11.595 |
| com.amazonaws | aws-java-sdk-iam | 1.11.595 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs | 1.11.595 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | aws-java-sdk-support | 1.11.595 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | fluxo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.7 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.launchdarkly | launchdarkly-java-server-sdk | 4.6.5 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1,2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | Netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.47.Final |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1,2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| junit | junit | 4.12 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.0 |
| net.snowflake | spark-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3,5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| org.apache.orc | orc-shims | 1.5.5 |
| org.apache.parquet | parquet-column | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-common | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-encoding | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-continuation | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-http | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-plus | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-security | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-server | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlets | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-webapp | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hamcrest | hamcrest-core | 1,3 |
| org.hamcrest | hamcrest-library | 1,3 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-core | 1.10.19 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1,0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |