Databricks Runtime 7.6 (sem suporte)

A Databricks divulgou esta imagem em fevereiro de 2021.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 7.6, alimentado pelo Apache Spark 3.0.

Para obter ajuda com a migração do Databricks Runtime 6.x, consulte Guia de migração do Databricks Runtime 7.x (sem suporte).

Novas funcionalidades

Melhor manipulação da evolução do esquema JSON no Auto Loader

Ao carregar dados JSON, o comportamento padrão é que os campos que não fazem parte do esquema original sejam descartados silenciosamente. Agora, com o Auto Loader, você pode definir a opção unparsedDataColumn JSON para especificar o nome de uma coluna, que será usada para armazenar todos os novos campos como uma cadeia de caracteres JSON. Por exemplo, definindo

.option("unparsedDataColumn", "_unparsed_data")

o resultado terá uma coluna _unparsed_data, onde novos campos são armazenados como uma cadeia de caracteres JSON. Esses novos campos podem ser analisados posteriormente para processamento posterior. Se não houver novos campos, o valor da coluna será null.

Suporte para leitura de arquivos substituídos no Auto Loader

Agora você pode configurar fluxos para permitir alterações no arquivo de diretório de entrada para substituir dados existentes. Definir .option("cloudFiles.allowOverwrites", "true"). Para obter detalhes, consulte O que é o Auto Loader?.

Melhorias

Melhor desempenho de clustering multidimensional e pulo de dados com OPTIMIZE ZORDER

A OPTIMIZE ZORDER operação agora usa curvas de preenchimento de espaço de Hilbert por padrão. Esta abordagem fornece melhores características de agrupamento do que a ordem Z em dimensões mais elevadas. Para tabelas Delta usando OPTIMIZE ZORDER muitas colunas, as curvas de Hilbert podem acelerar as consultas de leitura ignorando mais dados do que a ordem Z. Para obter detalhes, consulte Pulo de dados para Delta Lake.

Melhorias de desempenho para algumas MERGE operações com apenas MATCHED cláusulas

Você pode obter um melhor desempenho em MERGE operações que têm apenas MATCHED cláusulas com condições de cláusula.

Ajuste automático de tamanhos de arquivo para MERGEtabelas Delta pesadas (Visualização pública)

As tabelas delta que passam por operações repetidas MERGE (por exemplo, upserts contínuos de dados de alteração no nível da linha) reescrevem repetidamente os arquivos para atualizar os dados. Essas tabelas podem se beneficiar de ter arquivos menores do que aqueles produzidos por padrão por operações de layout de dados como OPTIMIZE, Gravação otimizada e Compactação automática. Com o Databricks Runtime 7.6, você pode detetar MERGEautomaticamente tabelas pesadas e ajustar tamanhos de arquivos. Entre em contato com o suporte do Databricks ou com sua equipe de conta do Azure Databricks para obter mais informações sobre como habilitar esse recurso.

Atualizações da biblioteca

  • Bibliotecas Python atualizadas:
    • certifi atualizado de 2020.6.20 para 2020.12.5.
    • Koalas atualizado de 1.4.0 para 1.5.0.
    • python-apt atualizado de 1.6.5+ubuntu0.3 para 1.6.5+ubuntu0.4
  • Biblioteca R atualizada:
    • NLME de 3.1-150 a 3.1-151.
  • Biblioteca Java atualizada:
    • azure-data-lake-store-sdk atualizado de 2.3.8 para 2.3.9.
  • Compilação do OpenJDK 8 atualizada para Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01).

Faísca Apache

O Databricks Runtime 7.6 inclui o Apache Spark 3.0.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.5 (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-33740] [SQL]configurações do hadoop no hive-site.xml podem substituir as configurações do hadoop pré-existentes
  • [FAÍSCA-33822] [SQL] Use o CastSupport.cast método em HashJoin
  • [FAÍSCA-33398] Corrigir modelos de árvore de carregamento anteriores ao Spark 3.0
  • [FAÍSCA-33029] [CORE] [WEBUI] Corrigir a página do executor da interface do usuário marcando incorretamente o driver como bloqueado
  • [FAÍSCA-34012] [SQL] Mantenha o comportamento consistente quando conf spark.sqllegacy.parser.havingWithoutGroupByAsWhere for verdadeiro com o guia de migração
  • [FAÍSCA-33635] [SS] Ajuste a ordem de check-in KafkaTokenUtil.needTokenUpdate para corrigir a regressão perf
  • [FAÍSCA-33900] [WEBUI] Mostrar tamanho de leitura aleatório / registros corretamente quando apenas remotebytesread está disponível
  • [FAÍSCA-33593] [SQL] Leitor de vetores tem dados incorretos com valor de partição binária
  • [FAÍSCA-31170] [SQL] A CLI do Spark SQL deve respeitar o hive-site.xml e o spark.sql.warehouse.dir
  • [FAÍSCA-33853] [SQL] EXPLAIN CODEGEN e BenchmarkQueryTest não mostram código de subconsulta
  • [FAÍSCA-33786] [SQL] O nível de armazenamento de um cache deve ser respeitado quando um nome de tabela é alterado.
  • [FAÍSCA-33841] [CORE] Corrigir problema com trabalhos que desaparecem intermitentemente do SHS sob alta carga
  • [FAÍSCA-33480] [SQL] não expõe dados do usuário na mensagem de erro
  • [FAÍSCA-33756] [SQL] Tornar o MapIterator idempotente do BytesToBytesMap
  • [FAÍSCA-33774] [UI] [CORE]"Back to Master" retorna erro 500 no cluster autônomo
  • [FAÍSCA-33733] [SQL] PullOutNondeterministic deve verificar e coletar campo determinístico
  • [FAÍSCA-33670] [SQL] Verifique se o provedor de partição é Hive na v1 MOSTRAR TABELA ESTENDIDA
  • [FAÍSCA-33788] [SQL] [3.1] [2.4] Lançar NoSuchPartitionsException de HiveExternalCatalog.dropPartitions()
  • [FAÍSCA-33819] [CORE] SingleFileEventLogFileReader/RollingEventLogFilesFileReader deve ser package private
  • [FAÍSCA-33742] [SQL] Lançar partiçõesAlreadyExistException de HiveExternalCatalog.createPartitions()
  • [FAÍSCA-32110] [SQL] normalizar números flutuantes especiais no HyperLogLog++
  • [FAÍSCA-33071][FAÍSCA-33536] [SQL] Não altere o construtor Alias para não quebrar o conector do floco de neve
  • [FAÍSCA-32680] [SQL] Não pré-processe CTAS V2 com consulta não resolvida
  • [FAÍSCA-33520] [ML] [PYSPARK] Escolha a dedo: fazer CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer suporte Python backend estimador/avaliador
  • [FAÍSCA-33592] [ML] [PYTHON] Params do validador Pyspark ML no estimadorParamMaps podem ser perdidos após salvar e recarregar
  • [FAÍSCA-33667] [SQL] Respeite a configuração ao resolver especificações de spark.sql.caseSensitive partição na v1 SHOW PARTITIONS
  • [FAÍSCA-33141] [SQL] Capture configurações SQL ao criar exibições permanentes
  • [FAÍSCA-33636] [PYTHON] [ML] Adicionar labelsArray ao PySpark StringIndexer
  • [FAÍSCA-33629] [PYTHON] Tornar a configuração spark.buffer.size visível no lado do driver
  • [FAÍSCA-33389] [SQL] Faça classes internas de SparkSession sempre usando SQLConf ativo
  • [FAÍSCA-33071][FAÍSCA-33536] [SQL] Evite alterar dataset_id de LogicalPlan em join() para não quebrar DetectAmbiguousSelfJoin
  • [FAÍSCA-33551] [SQL] Não use leitor aleatório personalizado para repartição
  • [FAÍSCA-33432] [SQL] O analisador SQL deve usar SQLConf ativo
  • [FAÍSCA-33588] [SQL] Respeite a configuração ao resolver especificações de spark.sql.caseSensitive partição na v1 SHOW TABLE EXTENDED
  • [FAÍSCA-33440] [CORE] Use o carimbo de data/hora atual com log de aviso no HadoopFSDelegationTokenProvider quando a data de emissão do token não estiver configurada corretamente
  • [FAÍSCA-33494] [SQL] [AQE] Não use o leitor shuffle local para reparticionamento

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 7.6.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (compilação 1.8.0_275-b01)
  • Escala: 2.12.10
  • Píton: 3.7.5
  • R: R versão 3.6.3 (2020-02-29)
  • Lago Delta 0.7.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
asn1crypto 1.3.0 Backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.12.5 cffi 1.14.0
chardet 3.0.4 criptografia 2.8 cycler 0.10.0
Quisto 0.29.15 decorador 4.4.1 docutils 0.15.2
pontos de entrada 0.3 idna 2.8 Ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 Jedi 0.17.2
jmespath 0.10.0 Joblib 0.14.1 jupyter-cliente 5.3.4
Jupyter-core 4.6.1 Kiwisolver 1.1.0 coalas 1.5.0
matplotlib 3.1.3 numpy 1.18.1 pandas 1.0.1
Parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 Meias PySocks 1.7.1
python-apt 1.6.5+ubuntu0.4 python-dateutil 2.8.1 pytz 2019.3
Pyzmq 18.1.1 pedidos 2.22.0 s3transferir 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 seis 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traços 4.3.3
Upgrades autônomos 0.1 urllib3 1.25.8 virtualenv 16.7.10
largura de wc 0.1.8 roda 0.34.2

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1.1 asserçãoat 0.2.1 backports 1.1.10
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
arranque 1.3-25 brew 1.0-6 Brio 1.1.0
vassoura 0.7.2 Chamador 3.5.1 acento circunflexo 6.0-86
Cellranger 1.1.0 crono 2.3-56 classe 7.3-17
cli 2.1.0 Clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 espaço em cores 1.4-1 marca comum 1.7
compilador 3.6.3 configuração 0.3 CoVR 3.5.1
CPP11 0.2.3 lápis de cor 1.3.4 conversa cruzada 1.1.0.1
curl 4.3 data.table 1.13.2 conjuntos de dados 3.6.3
DBI 1.1.0 DBPlyr 1.4.4 desc 1.2.0
devtools 2.3.2 diffobj 0.3.2 resumo 0.6.27
dplyr 0.8.5 DT 0,16 ellipsis 0.3.1
evaluate 0.14 Fãsi 0.4.1 Farver 2.0.3
mapa rápido 1.0.1 FORCATS 0.5.0 foreach 1.5.1
externa 0.8-76 forjar 0.2.0 FS 1.5.0
Genéricos 0.1.0 ggplot2 3.3.2 GH 1.1.0
git2r 0.27.1 glmnet 3.0-2 Globais 0.13.1
colar 1.4.2 gower 0.2.2 gráficos 3.6.3
grDevices 3.6.3 grelha 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 Refúgio 2.3.1
mais alto 0.8 HMS 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.2 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 Isoband 0.2.2 iteradores 1.0.13
jsonlite 1.7.1 KernSmooth 2.23-18 Knitr 1.30
etiquetagem 0.4.2 mais tarde 1.1.0.1 lattice 0.20-41
lava 1.6.8 lazyeval 0.2.2 ciclo de vida 0.2.0
lubridate 1.7.9 magrittr 1.5 Marcação 1.1
MASSA 7.3-53 Matriz 1.2-18 memoise 1.1.0
métodos 3.6.3 mgcv 1.8-33 mime 0,9
ModelMetrics 1.2.2.2 Modelador 0.1.8 munsell 0.5.0
nlme 3.1-151 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.3 paralelo 3.6.3 pilar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.16.2 processx 3.4.4
prodlim 2019.11.13 Progresso 1.2.2 promessas 1.1.1
proto 1.0.0 PS 1.4.0 purrr 0.3.4
r2d3 0.2.3 R6 2.5.0 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 Leitor 1.4.0 ReadXL 1.3.1
receitas 0.1.14 revanche 1.0.1 revanche2 2.1.2
Controles remotos 2.2.0 Reprex 0.3.0 remodelar2 1.4.4
Rex 1.2.0 RJSON 0.2.20 rlang 0.4.8
rmarkdown 2.5 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.1 rstudioapi 0,11 rversões 2.0.2
Rvest 0.3.6 escalas 1.1.1 seletor 0.4-2
sessioninfo 1.1.1 forma 1.4.4 brilhante 1.5.0
ferramentas de origem 0.1.7 sparklyr 1.4.0 SparkR 3.0.0
espacial 7.3-11 splines 3.6.3 sqldf 0.4-11
QUADRADO 2020.5 estatísticas 3.6.3 stats4 3.6.3
stringi 1.5.3 stringr 1.4.0 sobrevivência 3.2-7
sys 3.4 tcltk 3.6.3 TeachingDemos 2.10
testeatat 3.0.0 tibble 3.0.4 tidyr 1.1.2
tidyselect 1.1.0 Tidyverse 1.3.0 timeDate 3043.102
Tinytex 0.27 ferramentas 3.6.3 usethis 1.6.3
UTF8 1.1.4 utilitários 3.6.3 uuid 0.1-4
VCTRS 0.3.4 viridisLite 0.3.0 Waldo 0.2.2
whisker 0.4 withr 2.3.0 xfun 0.19
xml2 1.3.2 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.10.0
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben ZSTD-JNI 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.12.8
net.floco de neve faísca-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato de seta 0.15.1
org.apache.arrow seta-memória 0.15.1
org.apache.arrow vetor de seta 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-texto 1.6
org.apache.curator curador-cliente 2.7.1
org.apache.curator curador-framework 2.7.1
org.apache.curator curador-receitas 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive colmeia-comum 2.3.7
org.apache.hive colmeia-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-cliente 2.3.7
org.apache.hive colmeia-lamp-comum 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive Colmeia-Serde 2.3.7
org.apache.hive colmeias-calços 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims colmeia-calços-0,23 2.3.7
org.apache.hive.shims colmeia-calços-comum 2.3.7
org.apache.hive.shims colmeia-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 incubação
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.4.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-núcleo 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc Orc-calços 1.5.10
org.apache.parquet parquet-column 1.10.1-DATABRICKS6
org.apache.parquet parquet-common 1.10.1-DATABRICKS6
org.apache.parquet parquet-encoding 1.10.1-DATABRICKS6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-DATABRICKS6
org.apache.parquet parquet-jackson 1.10.1-DATABRICKS6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocidade 1.5
org.apache.xbean xbean-asm7-sombreado 4.15
org.apache.yetus anotações de audiência 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core servidor de jersey 2.30
org.glassfish.jersey.inject Jersey-HK2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.6.6
org.json4s JSON4S-core_2.12 3.6.6
org.json4s JSON4S-jackson_2,12 3.6.6
org.json4s JSON4S-scalap_2.12 3.6.6
org.lz4 LZ4-Java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap calços 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.10
org.scala-lang Escala-library_2.12 2.12.10
org.scala-lang Escala-reflect_2,12 2.12.10
org.scala-lang.modules scala-coleção-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework teste de primavera 4.1.4.RELEASE
org.threeten trêsdez-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel gatos-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel torre-macros_2.12 0,17,0-m1
org.typelevel torre-platform_2.12 0,17,0-m1
org.typelevel torre-util_2.12 0,17,0-m1
org.typelevel spire_2.12 0,17,0-m1
org.wildfly.openssl mosca-selvagem-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52