Databricks Runtime 7.4 (sem suporte)
A Databricks divulgou esta imagem em novembro de 2020.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 7.4, alimentado pelo Apache Spark 3.0.
Novas funcionalidades
Nesta secção:
- Recursos e melhorias do Delta Lake
- O Auto Loader agora suporta delegar a configuração de recursos de notificação de arquivos aos administradores
- Novos
USAGEprivilégios dão aos administradores maior controle sobre os privilégios de acesso a dados - DBFS FUSE agora habilitado para clusters habilitados para passagem
Recursos e melhorias do Delta Lake
Esta versão fornece os seguintes recursos e melhorias do Delta Lake:
- A nova API permite que o Delta Lake verifique se os dados adicionados a uma tabela satisfazem as restrições
- Nova API permite reverter uma tabela Delta para uma versão mais antiga da tabela
- Nova versão inicial permite retornar apenas as alterações mais recentes em uma fonte de streaming Delta Lake
- Estabilidade melhorada de
OPTIMIZE
A nova API permite que o Delta Lake verifique se os dados adicionados a uma tabela satisfazem as restrições
Delta Lake agora suporta CHECK restrições. Quando fornecido, o Delta Lake verifica automaticamente se os dados adicionados a uma tabela satisfazem a expressão especificada.
Para adicionar CHECK restrições, use o ALTER TABLE ADD CONSTRAINTS comando. Para obter detalhes, consulte Restrições no Azure Databricks.
Nova API permite reverter uma tabela Delta para uma versão mais antiga da tabela
Agora você pode reverter suas tabelas Delta para versões mais antigas usando o RESTORE comando:
SQL
RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';
Python
from delta.tables import DeltaTable
DeltaTable.forPath(spark, path).restoreToVersion(n)
DeltaTable.forPath(spark, path).restoreToTimestamp('yyyy-MM-dd')
Scala
import io.delta.tables.DeltaTable
DeltaTable.forPath(spark, path).restoreToVersion(n)
DeltaTable.forPath(spark, path).restoreToTimestamp("yyyy-MM-dd")
RESTORE Cria uma nova confirmação que reverte todas as alterações feitas na tabela desde a versão que você deseja restaurar. Todos os dados e metadados existentes são restaurados, o que inclui o esquema, restrições, IDs de transação de streaming, COPY INTO metadados e a versão do protocolo de tabela. Para obter detalhes, consulte Restaurar uma tabela Delta.
Nova versão inicial permite retornar apenas as alterações mais recentes em uma fonte de streaming Delta Lake
Para retornar apenas as alterações mais recentes, especifique startingVersion como latest. Para obter detalhes, consulte Especificar posição inicial.
Estabilidade melhorada de OPTIMIZE
OPTIMIZE (sem quaisquer predicados de partição) pode ser dimensionado para ser executado em tabelas com dezenas de milhões de pequenos ficheiros. Anteriormente, o driver Apache Spark poderia ficar sem memória e OPTIMIZE não seria concluído.OPTIMIZE agora lida com tabelas muito grandes com dezenas de milhões de arquivos.
O Auto Loader agora suporta delegar a configuração de recursos de notificação de arquivos aos administradores
Uma nova API Scala permite que os administradores configurem recursos de notificação de arquivos para o Auto Loader. Os engenheiros de dados agora podem operar seus fluxos do Auto Loader com menos permissões, delegando a configuração inicial de recursos aos administradores. Consulte Configurar ou gerenciar manualmente recursos de notificação de arquivos.
Novos USAGE privilégios dão aos administradores maior controle sobre os privilégios de acesso a dados
Para executar uma ação em um objeto em um banco de dados, agora você deve receber o USAGE privilégio nesse banco de dados, além dos privilégios necessários para executar a ação. O USAGE privilégio é concedido para um banco de dados ou um catálogo. Com a introdução do privilégio, um proprietário de tabela não pode mais decidir unilateralmente compartilhá-lo com outro usuário, o usuário também deve ter o USAGE privilégio no banco de USAGE dados que contém a tabela.
Em espaços de trabalho com controle de acesso à tabela habilitado, o grupo tem automaticamente o usersUSAGE privilégio para a raiz CATALOG.
Para obter detalhes, consulte Privilégio de USO.
DBFS FUSE agora habilitado para clusters habilitados para passagem
Agora você pode ler e gravar a partir do DBFS usando a montagem FUSE em /dbfs/ quando estiver usando um cluster de alta simultaneidade habilitado para passagem de credenciais. Montagens regulares são suportadas. Não há suporte para montagens que exigem credenciais de passagem.
Melhorias
O Spark SQL suporta IFF e como sinónimos para IF e CHARINDEXPOSITION
Em Databricks Runtime IF() é sinônimo de CASE WHEN <cond> THEN <expr1> ELSE <expr2> END
Databricks Runtime agora suporta IFF() como sinônimo de IF()
SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)
CHARINDEX é um nome alternativo para a POSITION função. CHARINDEX Localiza a posição da primeira ocorrência de uma cadeia de caracteres dentro de outra cadeia de caracteres com um índice de início opcional.
VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12
Várias saídas por célula habilitadas para notebooks Python por padrão
O Databricks Runtime 7.1 introduziu suporte para várias saídas por célula em notebooks Python (e %python cells em notebooks não-Python), mas foi necessário habilitar o recurso para seu notebook. Esse recurso é habilitado por padrão no Databricks Runtime 7.4. Consulte Ver várias saídas por célula.
Melhorias de preenchimento automático para notebooks Python
O preenchimento automático para Python mostra informações de tipo adicionais geradas a partir da análise estática do código usando a biblioteca Jedi. Você pode pressionar a tecla Tab para ver uma lista de opções.
Melhoria display dos vetores do Spark ML na visualização do Spark DataFrame
O display formato agora mostra rótulos para tipo de vetor (esparso ou denso), comprimento, índices (para vetores esparsos) e valores.
Outras correções
- Corrigido um problema de decapagem em
collections.namedtupleblocos de anotações. - Corrigido um problema de decapagem com classes e métodos definidos interativamente.
- Corrigido um bug que fazia com que as chamadas
mlflow.start_run()falhassem na passagem ou os clusters habilitados para controle de acesso à tabela.
Atualizações da biblioteca
- Bibliotecas Python atualizadas:
- Jedi atualizado de 0.14.1 para 0.17.2.
- Koalas atualizado de 1.2.0 para 1.3.0.
- Parso atualizado de 0.5.2 para 0.7.0.
- Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
Faísca Apache
O Databricks Runtime 7.4 inclui o Apache Spark 3.0.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.3 LTS (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-33170] [SQL] Adicionar configuração SQL para controlar o comportamento de falha rápida em FileFormatWriter
- [FAÍSCA-33136] [SQL] Corrigir parâmetro trocado por engano em V2WriteCommand.outputResolved
- [FAÍSCA-33134] [SQL] Retornar resultados parciais somente para objetos JSON raiz
- [FAÍSCA-33038] [SQL] Combine os planos inicial e atual da AKE...
- [FAÍSCA-33118] [SQL] CREATE TEMPORARY TABLE falha com a localização
- [FAÍSCA-33101] [ML] Fazer com que o formato LibSVM propague a configuração do Hadoop das opções do DS para o sistema de arquivos HDFS subjacente
- [FAÍSCA-33035] [SQL] Atualiza as entradas obsoletas do mapeamento de atributos em QueryPlan#transformUpWithNewOutput
- [FAÍSCA-33091] [SQL] Evite usar map em vez de foreach para evitar possíveis efeitos colaterais em chamadores de OrcUtils.readCatalystSchema
- [FAÍSCA-33073] [PYTHON] Melhorar o tratamento de erros em falhas de conversão de Pandas para Seta
- [FAÍSCA-33043] [ML] Handle spark.driver.maxResultSize=0 na computação heurística RowMatrix
- [FAÍSCA-29358] [SQL] Tornar unionByName opcionalmente preencher colunas ausentes com nulos
- [FAÍSCA-32996] [WEB-UI] Manipular ExecutorMetrics vazio em ExecutorMetricsJsonSerializer
- [FAÍSCA-32585] [SQL] Suporte a enumeração scala em ScalaReflection
- [FAÍSCA-33019] [CORE] Use spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1 por padrão
- [FAÍSCA-33018] [SQL] Corrigir problema de estatísticas de estimativa se filho tiver 0 bytes
- [FAÍSCA-32901] [CORE] Não aloque memória durante o derramamento UnsafeExternalSorter
- [FAÍSCA-33015] [SQL] Use millisToDays() na regra ComputeCurrentTime
- [FAÍSCA-33015] [SQL] Calcular a data atual apenas uma vez
- [FAÍSCA-32999] [SQL] Use Utils.getSimpleName para evitar pressionar o nome da classe malformada em TreeNode
- [FAÍSCA-32659] [SQL] Broadcast Array em vez de set in InSubqueryExec
- [FAÍSCA-32718] [SQL] Remover palavras-chave desnecessárias para unidades de intervalo
- [FAÍSCA-32886] [WEBUI] corrigir link 'indefinido' na visualização da linha do tempo do evento
- [FAÍSCA-32898] [CORE] Corrigir executorRunTime errado quando a tarefa foi morta antes do início real
- [FAÍSCA-32635] [SQL] Adicionar um novo caso de teste no módulo catalyst
- [FAÍSCA-32930] [CORE] Substituir métodos isFile/isDirectory preteridos
- [FAÍSCA-32906] [SQL] Os nomes dos campos Struct não devem ser alterados após a normalização dos flutuadores
- [FAÍSCA-24994] [SQL] Adicionar UnwrapCastInBinaryComparison otimizador para simplificar literal integral
- [FAÍSCA-32635] [SQL] Corrigir propagação dobrável
- [FAÍSCA-32738] [CORE] Deve reduzir o número de threads ativos se ocorrer um erro fatal em
Inbox.process - [FAÍSCA-32900] [CORE] Permitir que UnsafeExternalSorter derrame quando houver nulos
- [FAÍSCA-32897] [PYTHON] Não mostrar um aviso de preterição em SparkSession.builder.getOrCreate
- [FAÍSCA-32715] [CORE] Corrigir vazamento de memória quando não foi possível armazenar partes da transmissão
- [FAÍSCA-32715] [CORE] Corrigir vazamento de memória quando não foi possível armazenar partes da transmissão
- [FAÍSCA-32872] [CORE] Impedir que BytesToBytesMap em MAX_CAPACITY exceda o limite de crescimento
- [FAÍSCA-32876] [SQL] Altere as versões de fallback padrão para 3.0.1 e 2.4.7 no HiveExternalCatalogVersionsSuite
- [FAÍSCA-32840] [SQL] O valor do intervalo inválido pode ser apenas adesivo com a unidade
- [FAÍSCA-32819] [SQL] ignoreNullability parâmetro deve ser eficaz recursivamente
- [FAÍSCA-32832] [SS] Use CaseInsensitiveMap para opções de DataStreamReader/Writer
- [FAÍSCA-32794] [SS] Corrigido erro raro de canto no mecanismo de microlote com algumas consultas stateful + no-data-batches + fontes V1
- [FAÍSCA-32813] [SQL] Obtenha a configuração padrão do leitor vetorizado ParquetSource se não houver SparkSession ativo
- [FAÍSCA-32823] [WEB UI] Corrigir o relatório de recursos da interface do usuário mestre
- [FAÍSCA-32824] [CORE] Melhorar a mensagem de erro quando o usuário esquece o .amount em uma configuração de recurso
- [FAÍSCA-32614] [SQL] Não aplique o processamento de comentários se 'comentário' não estiver configurado para CSV
- [FAÍSCA-32638] [SQL] Corrige referências ao adicionar aliases em WidenSetOperationTypes
- [FAÍSCA-32810] [SQL] As fontes de dados CSV/JSON devem evitar caminhos de globbing ao inferir o esquema
- [FAÍSCA-32815] [ML] Corrigir erro de carregamento da fonte de dados LibSVM em caminhos de arquivo com metacaracteres glob
- [FAÍSCA-32753] [SQL] Copie apenas tags para o nó sem tags
- [FAÍSCA-32785] [SQL] Intervalo com partes pendentes não deve resultar nulo
- [FAÍSCA-32764] [SQL] -0.0 deve ser igual a 0.0
- [FAÍSCA-32810] [SQL] As fontes de dados CSV/JSON devem evitar caminhos de globbing ao inferir o esquema
- [FAÍSCA-32779] [SQL] Evite usar a API sincronizada de SessionCatalog no fluxo withClient, isso leva ao DeadLock
- [FAÍSCA-32791] [SQL] A métrica de tabela não particionada não deve ter tempo de remoção de partição dinâmica
- [FAÍSCA-32767] [SQL] A junção do bucket deve funcionar se spark.sql.shuffle.partitions for maior que o número do bucket
- [FAÍSCA-32788] A verificação de tabela não particionada [SQL] não deve ter filtro de partição
- [FAÍSCA-32776] [SS] O limite no streaming não deve ser otimizado por PropagateEmptyRelation
- [FAÍSCA-32624] [SQL] Corrigir regressão em CodegenContext.addReferenceObj em tipos Scala aninhados
- [FAÍSCA-32659] [SQL] Melhorar o teste de poda de DPP em tipos não atômicos
- [FAÍSCA-31511] [SQL] Tornar os iteradores BytesToBytesMap thread-safe
- [FAÍSCA-32693] [SQL] Comparar dois dataframes com o mesmo esquema, exceto a propriedade nullable
- [FAÍSCA-28612] [SQL] Documento de método correto de DataFrameWriterV2.replace()
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 7.4.
Ambiente do sistema
- Sistema Operacional: Ubuntu 18.04.5 LTS
- Java: Zulu 8.48.0.53-CA-linux64 (compilação 1.8.0_265-b11)
- Escala: 2.12.10
- Píton: 3.7.5
- R: R versão 3.6.3 (2020-02-29)
- Lago Delta 0.7.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | Backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | criptografia | 2.8 | cycler | 0.10.0 |
| Quisto | 0.29.15 | decorador | 4.4.1 | docutils | 0.15.2 |
| pontos de entrada | 0.3 | idna | 2.8 | Ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.17.2 |
| jmespath | 0.10.0 | Joblib | 0.14.1 | jupyter-cliente | 5.3.4 |
| Jupyter-core | 4.6.1 | Kiwisolver | 1.1.0 | coalas | 1.3.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | pandas | 1.0.1 |
| Parso | 0.7.0 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | Meias PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| Pyzmq | 18.1.1 | pedidos | 2.22.0 | s3transferir | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | seis | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | tornado | 6.0.3 | traços | 4.3.3 |
| Upgrades autônomos | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| largura de wc | 0.1.8 | roda | 0.34.2 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em XXXX-XX-XX.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| AskPass | 1.1 | asserçãoat | 0.2.1 | backports | 1.1.8 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 1.1-15.2 | bit64 | 0.9-7 | blob | 1.2.1 |
| arranque | 1.3-25 | brew | 1.0-6 | vassoura | 0.7.0 |
| Chamador | 3.4.3 | acento circunflexo | 6.0-86 | Cellranger | 1.1.0 |
| crono | 2.3-55 | classe | 7.3-17 | cli | 2.0.2 |
| Clipr | 0.7.0 | cluster | 2.1.0 | codetools | 0.2-16 |
| espaço em cores | 1.4-1 | marca comum | 1.7 | compilador | 3.6.3 |
| configuração | 0.3 | CoVR | 3.5.0 | lápis de cor | 1.3.4 |
| conversa cruzada | 1.1.0.1 | curl | 4.3 | data.table | 1.12.8 |
| conjuntos de dados | 3.6.3 | DBI | 1.1.0 | DBPlyr | 1.4.4 |
| desc | 1.2.0 | devtools | 2.3.0 | resumo | 0.6.25 |
| dplyr | 0.8.5 | DT | 0.14 | ellipsis | 0.3.1 |
| evaluate | 0.14 | Fãsi | 0.4.1 | Farver | 2.0.3 |
| mapa rápido | 1.0.1 | FORCATS | 0.5.0 | foreach | 1.5.0 |
| externa | 0.8-76 | forjar | 0.2.0 | FS | 1.4.2 |
| Genéricos | 0.0.2 | ggplot2 | 3.3.2 | GH | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | Globais | 0.12.5 |
| colar | 1.4.1 | gower | 0.2.2 | gráficos | 3.6.3 |
| grDevices | 3.6.3 | grelha | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | Refúgio | 2.3.1 |
| mais alto | 0.8 | HMS | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.1 | httpuv | 1.5.4 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | Isoband | 0.2.2 | iteradores | 1.0.12 |
| jsonlite | 1.7.0 | KernSmooth | 2.23-17 | Knitr | 1,29 |
| etiquetagem | 0.3 | mais tarde | 1.1.0.1 | lattice | 0.20-41 |
| lava | 1.6.7 | lazyeval | 0.2.2 | ciclo de vida | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | Marcação | 1.1 |
| MASSA | 7.3-53 | Matriz | 1.2-18 | memoise | 1.1.0 |
| métodos | 3.6.3 | mgcv | 1.8-33 | mime | 0,9 |
| ModelMetrics | 1.2.2.2 | Modelador | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-149 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.2 | paralelo | 3.6.3 | pilar | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | elogiar | 1.0.0 |
| unidades bonitas | 1.1.1 | pROC | 1.16.2 | processx | 3.4.3 |
| prodlim | 2019.11.13 | Progresso | 1.2.2 | promessas | 1.1.1 |
| proto | 1.0.0 | PS | 1.3.3 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | Leitor | 1.3.1 | ReadXL | 1.3.1 |
| receitas | 0.1.13 | revanche | 1.0.1 | revanche2 | 2.1.2 |
| Controles remotos | 2.1.1 | Reprex | 0.3.0 | remodelar2 | 1.4.4 |
| Rex | 1.2.0 | RJSON | 0.2.20 | rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0,11 | rversões | 2.0.2 |
| Rvest | 0.3.5 | escalas | 1.1.1 | seletor | 0.4-2 |
| sessioninfo | 1.1.1 | forma | 1.4.4 | brilhante | 1.5.0 |
| ferramentas de origem | 0.1.7 | sparklyr | 1.3.1 | SparkR | 3.0.0 |
| espacial | 7.3-11 | splines | 3.6.3 | sqldf | 0.4-11 |
| QUADRADO | 2020.3 | estatísticas | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.4.6 | stringr | 1.4.0 | sobrevivência | 3.2-7 |
| sys | 3.3 | tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testeatat | 2.3.2 | tibble | 3.0.3 | tidyr | 1.1.0 |
| tidyselect | 1.1.0 | Tidyverse | 1.3.0 | timeDate | 3043.102 |
| Tinytex | 0.24 | ferramentas | 3.6.3 | usethis | 1.6.1 |
| UTF8 | 1.1.4 | utilitários | 3.6.3 | uuid | 0.1-4 |
| VCTRS | 0.3.1 | viridisLite | 0.3.0 | whisker | 0.4 |
| withr | 2.2.0 | xfun | 0,15 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.2.1 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | transmissão em fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anotações | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | ZSTD-JNI | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | criador de perfil | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | Escala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | métricas-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
| jacarta.validação | Jacarta.validation-api | 2.0.2 |
| jakarta.ws.rs | Jacarta.ws.rs-api | 2.1.6 |
| javax.activation | ativação | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.8 |
| net.floco de neve | faísca-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 0.15.1 |
| org.apache.arrow | seta-memória | 0.15.1 |
| org.apache.arrow | vetor de seta | 0.15.1 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-texto | 1.6 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | colmeia-comum | 2.3.7 |
| org.apache.hive | colmeia-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-cliente | 2.3.7 |
| org.apache.hive | colmeia-lamp-comum | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | Colmeia-Serde | 2.3.7 |
| org.apache.hive | colmeias-calços | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-0,23 | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-comum | 2.3.7 |
| org.apache.hive.shims | colmeia-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-núcleo | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | Orc-calços | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-common | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-encoding | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-jackson | 1.10.1-DATABRICKS6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | velocidade | 1.5 |
| org.apache.xbean | xbean-asm7-sombreado | 4.15 |
| org.apache.yetus | anotações de audiência | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-continuation | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | localizador hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jacarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | servidor de jersey | 2.30 |
| org.glassfish.jersey.inject | Jersey-HK2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | JSON4S-ast_2.12 | 3.6.6 |
| org.json4s | JSON4S-core_2.12 | 3.6.6 |
| org.json4s | JSON4S-jackson_2,12 | 3.6.6 |
| org.json4s | JSON4S-scalap_2.12 | 3.6.6 |
| org.lz4 | LZ4-Java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2.12 | 2.12.10 |
| org.scala-lang | Escala-library_2,12 | 2.12.10 |
| org.scala-lang | Escala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-coleção-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | Escala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | Brisa-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.threeten | trêsdez-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | gatos-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | torre-macros_2.12 | 0.17.0-m1 |
| org.typelevel | torre-platform_2.12 | 0.17.0-m1 |
| org.typelevel | torre-util_2.12 | 0.17.0-m1 |
| org.typelevel | spire_2.12 | 0.17.0-m1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |