Databricks Runtime 7.1 (sem suporte)
A Databricks divulgou esta imagem em julho de 2020.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 7.1, alimentado pelo Apache Spark 3.0.
Novas funcionalidades
O Databricks Runtime 7.1 inclui os seguintes novos recursos:
Delta Lake
Agora você pode definir metadados definidos pelo usuário em cada confirmação feita por operações Delta. Para obter detalhes, consulte Enriquecer tabelas Delta Lake com metadados personalizados.
Agora você pode consultar a configuração
spark.databricks.delta.lastCommitVersionInSessionSQL para obter a versão da última confirmação escrita pelo atualSparkSession.Se nenhuma confirmação tiver sido feita pelo
SparkSession, consultar a chave retornará um valor vazio. Este recurso não é suportado em casos de streaming ou multithreaded.CONVERT TO DELTAagora pode converter tabelas do Parquet que foram criadas pelo Structured Streaming usando o log de transações encontrado na_spark_metadatapasta. Isso impede que arquivos não confirmados por meio da consulta de streaming sejam considerados em sua tabela Delta. Em seguida, você pode continuar seu fluxo usando o mesmo local de ponto de verificação.Nota
Há uma pequena chance de que os dados do último microlote possam ser confirmados novamente na sua tabela após o processo de conversão.
Esta versão contém melhorias de desempenho para
MERGE INTOoperações que têm apenas cláusulas correspondentes. Ou seja, eles têm apenasUPDATEe ações eDELETEnenhumaINSERTação.
comandos pip para suportar bibliotecas Python com escopo de notebook
A partir do Databricks Runtime 7.1, você pode usar %pip comandos para gerenciar bibliotecas Python instaladas em uma sessão de notebook.
Para obter mais informações, consulte Bibliotecas Python com escopo de bloco de anotações.
Melhorias
- Adiciona um
displaymétodo ao PySpark, pandas e Koalas DataFrames, para que agora você possa executardf.display()para facilitar a análise exploratória de dados. Consulte Criar uma nova visualização. - Koalas está agora instalado.
Faísca Apache
O Databricks Runtime 7.1 inclui o Apache Spark 3.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.0 (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-32057] ExecuteStatement: cancelar e fechar não deve transitoriamente ERRO
- [FAÍSCA-32167] [SQL] Corrija GetArrayStructFields para respeitar a anulabilidade do campo interno em conjunto
- [FAÍSCA-31935] A configuração do sistema de arquivos Hadoop deve ser eficaz nas opções da fonte de dados
- [FAÍSCA-32038] [SQL] NormalizeFloatingNumbers também deve funcionar em agregados distintos
- [FAÍSCA-31705] [SQL] Empurre mais predicados possíveis através da conversão Join via CNF
- [FAÍSCA-31945] [SQL] [PYSPARK] Habilitar cache para a mesma função Python
- [FAÍSCA-8981] [CORE] Adicionar suporte MDC no Executor
- [FAÍSCA-31986] [SQL] Corrigir micros juliano-gregorianos rebaseando carimbos de data/hora locais sobrepostos
- [FAÍSCA-31959] [SQL] Corrigir a rebase de micros gregoriano-julianos ao alternar o deslocamento de fuso horário padrão
- [FAÍSCA-26905] [SQL] Siga as palavras-chave reservadas SQL:2016
- [FAÍSCA-31990] [SS] Use toSet.toSeq em Dataset.dropDuplicates
- [FAÍSCA-31992] [SQL] Comparar o modo de rebase EXCEPTION
- [FAÍSCA-31983] [WEBUI] Corrigir a coluna de classificação para duração na guia streaming estruturado
- [FAÍSCA-31593] [SS] Remover atualização de progresso de consulta de streaming desnecessária
- [FAÍSCA-31968] [SQL] Verificação de colunas de partição duplicadas ao gravar dados
- [FAÍSCA-31632] [CORE] [WEBUI] Enriqueça a mensagem de exceção quando o resumo do aplicativo não estiver disponível
- [FAÍSCA-31916] [SQL] StringConcat pode levar a StringIndexOutOfBoundsException
- [FAÍSCA-31935] [SQL] A configuração do sistema de arquivos Hadoop deve ser eficaz nas opções da fonte de dados
- [FAÍSCA-31954] [SQL] Excluir caso de teste duplicado no HiveQuerySuite
- [FAÍSCA-28199] [SS] Remover pacote privado na classe/objeto no pacote sql.execution
- [FAÍSCA-31956] [SQL] Não falhe se não houver uma auto-adesão ambígua
- [FAÍSCA-31941] [CORE] Substitua SparkException por NoSuchElementException por applicationInfo em AppStatusStore
- [FAÍSCA-26905] [SQL] Adicionar
TYPEna lista não reservada ANSI - [FAÍSCA-31921] [CORE] Corrija o aviso errado: "App app-xxx requer mais recursos do que qualquer um dos trabalhadores poderia ter"
- [FAÍSCA-31220] [SQL] repartition obedece initialPartitionNum quando adaptiveExecutionEnabled
- [FAÍSCA-29295] [SQL] O mapa de partição dinâmico analisado a partir do caminho da partição não diferencia maiúsculas de minúsculas
- [FAÍSCA-31849] [PYTHON] [SQL] Mensagem de erro mais correta na mensagem de exceção UDF do Python
- [FAÍSCA-31923] [CORE] Ignorar acumuladores internos que usam tipos não reconhecidos em vez de falhar
- [FAÍSCA-31849] [PYTHON] [SQL] Desduplicar e reutilizar Utils.exceptionString no tratamento de exceções Python
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 7.1.
Ambiente do sistema
- Sistema Operacional: Ubuntu 18.04.4 LTS
- Java: 1.8.0_252
- Escala: 2.12.10
- Píton: 3.7.5
- R: R versão 3.6.3 (2020-02-29)
- Lago Delta 0.7.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | Backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | criptografia | 2.8 | cycler | 0.10.0 |
| Quisto | 0.29.15 | decorador | 4.4.1 | docutils | 0.15.2 |
| pontos de entrada | 0.3 | idna | 2.8 | Ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.14.1 |
| jmespath | 0.9.4 | Joblib | 0.14.1 | jupyter-cliente | 5.3.4 |
| Jupyter-core | 4.6.1 | Kiwisolver | 1.1.0 | coalas | 1.0.1 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | pandas | 1.0.1 |
| Parso | 0.5.2 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 0.15.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | Meias PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| Pyzmq | 18.1.1 | pedidos | 2.22.0 | s3transferir | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | seis | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | tornado | 6.0.3 | traços | 4.3.3 |
| Upgrades autônomos | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| largura de wc | 0.1.8 | roda | 0.34.2 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2020-04-22.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| AskPass | 1.1 | asserçãoat | 0.2.1 | backports | 1.1.6 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 1.1-15.2 | bit64 | 0.9-7 | blob | 1.2.1 |
| arranque | 1.3-25 | brew | 1.0-6 | vassoura | 0.5.6 |
| Chamador | 3.4.3 | acento circunflexo | 6.0-86 | Cellranger | 1.1.0 |
| crono | 2.3-55 | classe | 7.3-17 | cli | 2.0.2 |
| Clipr | 0.7.0 | cluster | 2.1.0 | codetools | 0.2-16 |
| espaço em cores | 1.4-1 | marca comum | 1.7 | compilador | 3.6.3 |
| configuração | 0.3 | CoVR | 3.5.0 | lápis de cor | 1.3.4 |
| conversa cruzada | 1.1.0.1 | curl | 4.3 | data.table | 1.12.8 |
| conjuntos de dados | 3.6.3 | DBI | 1.1.0 | DBPlyr | 1.4.3 |
| desc | 1.2.0 | devtools | 2.3.0 | resumo | 0.6.25 |
| dplyr | 0.8.5 | DT | 0,13 | ellipsis | 0.3.0 |
| evaluate | 0.14 | Fãsi | 0.4.1 | Farver | 2.0.3 |
| mapa rápido | 1.0.1 | FORCATS | 0.5.0 | foreach | 1.5.0 |
| externa | 0.8-76 | forjar | 0.2.0 | FS | 1.4.1 |
| Genéricos | 0.0.2 | ggplot2 | 3.3.0 | GH | 1.1.0 |
| git2r | 0.26.1 | glmnet | 3.0-2 | Globais | 0.12.5 |
| colar | 1.4.0 | gower | 0.2.1 | gráficos | 3.6.3 |
| grDevices | 3.6.3 | grelha | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | Refúgio | 2.2.0 |
| mais alto | 0.8 | HMS | 0.5.3 | htmltools | 0.4.0 |
| htmlwidgets | 1.5.1 | httpuv | 1.5.2 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | Isoband | 0.2.1 | iteradores | 1.0.12 |
| jsonlite | 1.6.1 | KernSmooth | 2.23-17 | Knitr | 1.28 |
| etiquetagem | 0.3 | mais tarde | 1.0.0 | lattice | 0.20-41 |
| lava | 1.6.7 | lazyeval | 0.2.2 | ciclo de vida | 0.2.0 |
| lubridate | 1.7.8 | magrittr | 1.5 | Marcação | 1.1 |
| MASSA | 7.3-51.6 | Matriz | 1.2-18 | memoise | 1.1.0 |
| métodos | 3.6.3 | mgcv | 1.8-31 | mime | 0,9 |
| ModelMetrics | 1.2.2.2 | Modelador | 0.1.6 | munsell | 0.5.0 |
| nlme | 3.1-147 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.1 | paralelo | 3.6.3 | pilar | 1.4.3 |
| pkgbuild | 1.0.6 | pkgconfig | 2.0.3 | pkgload | 1.0.2 |
| plogr | 0.2.0 | plyr | 1.8.6 | elogiar | 1.0.0 |
| unidades bonitas | 1.1.1 | pROC | 1.16.2 | processx | 3.4.2 |
| prodlim | 2019.11.13 | Progresso | 1.2.2 | promessas | 1.1.0 |
| proto | 1.0.0 | PS | 1.3.2 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.4.6 | Leitor | 1.3.1 | ReadXL | 1.3.1 |
| receitas | 0.1.10 | revanche | 1.0.1 | revanche2 | 2.1.1 |
| Controles remotos | 2.1.1 | Reprex | 0.3.0 | remodelar2 | 1.4.4 |
| Rex | 1.2.0 | RJSON | 0.2.20 | rlang | 0.4.5 |
| rmarkdown | 2.1 | RODBC | 1.3-16 | roxygen2 | 7.1.0 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0,11 | rversões | 2.0.1 |
| Rvest | 0.3.5 | escalas | 1.1.0 | seletor | 0.4-2 |
| sessioninfo | 1.1.1 | forma | 1.4.4 | brilhante | 1.4.0.2 |
| ferramentas de origem | 0.1.7 | sparklyr | 1.2.0 | SparkR | 3.0.0 |
| espacial | 7.3-11 | splines | 3.6.3 | sqldf | 0.4-11 |
| QUADRADO | 2020.2 | estatísticas | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.4.6 | stringr | 1.4.0 | sobrevivência | 3.1-12 |
| sys | 3.3 | tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testeatat | 2.3.2 | tibble | 3.0.1 | tidyr | 1.0.2 |
| tidyselect | 1.0.0 | Tidyverse | 1.3.0 | timeDate | 3043.102 |
| Tinytex | 0.22 | ferramentas | 3.6.3 | usethis | 1.6.0 |
| UTF8 | 1.1.4 | utilitários | 3.6.3 | VCTRS | 0.2.4 |
| viridisLite | 0.3.0 | whisker | 0.4 | withr | 2.2.0 |
| xfun | 0,13 | xml2 | 1.3.1 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | transmissão em fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anotações | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | ZSTD-JNI | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | criador de perfil | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | Escala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.8.3 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | métricas-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
| jacarta.validação | Jacarta.validation-api | 2.0.2 |
| jakarta.ws.rs | Jacarta.ws.rs-api | 2.1.6 |
| javax.activation | ativação | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.0 |
| net.floco de neve | faísca-snowflake_2.12 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 0.15.1 |
| org.apache.arrow | seta-memória | 0.15.1 |
| org.apache.arrow | vetor de seta | 0.15.1 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-texto | 1.6 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | colmeia-comum | 2.3.7 |
| org.apache.hive | colmeia-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-cliente | 2.3.7 |
| org.apache.hive | colmeia-lamp-comum | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | Colmeia-Serde | 2.3.7 |
| org.apache.hive | colmeias-calços | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-0,23 | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-comum | 2.3.7 |
| org.apache.hive.shims | colmeia-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-núcleo | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | Orc-calços | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-common | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-encoding | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-DATABRICKS4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-DATABRICKS4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | velocidade | 1.5 |
| org.apache.xbean | xbean-asm7-sombreado | 4.15 |
| org.apache.yetus | anotações de audiência | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-continuation | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | localizador hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jacarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | servidor de jersey | 2.30 |
| org.glassfish.jersey.inject | Jersey-HK2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | JSON4S-ast_2.12 | 3.6.6 |
| org.json4s | JSON4S-core_2.12 | 3.6.6 |
| org.json4s | JSON4S-jackson_2,12 | 3.6.6 |
| org.json4s | JSON4S-scalap_2.12 | 3.6.6 |
| org.lz4 | LZ4-Java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2.12 | 2.12.10 |
| org.scala-lang | Escala-library_2.12 | 2.12.10 |
| org.scala-lang | Escala-reflect_2,12 | 2.12.10 |
| org.scala-lang.modules | scala-coleção-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | Escala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | Brisa-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.threeten | trêsdez-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | gatos-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | torre-macros_2.12 | 0,17,0-m1 |
| org.typelevel | torre-platform_2.12 | 0,17,0-m1 |
| org.typelevel | torre-util_2.12 | 0,17,0-m1 |
| org.typelevel | spire_2.12 | 0,17,0-m1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |