Databricks Runtime 8.4 (sem suporte)
As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 8.4 e o Databricks Runtime 8.4 Photon, da plataforma Apache Spark 3.1.2. O Databricks lançou essas imagens em julho de 2021. O Photon está em Visualização Pública.
Novos recursos e aprimoramentos
- Recursos e aprimoramentos do Delta Lake
- Aprimoramentos e recursos do Carregador Automático
- Atualizações do conector
- Correções de bug
Recursos e melhorias do Delta Lake
- GA (feed de dados de alteração de tabela delta)
- Carregar tabelas Delta compartilhadas facilmente com o Databricks Runtime
- Mais tabelas se beneficiam da remoção dinâmica de arquivos
- Melhor desempenho com ajuste automático de tamanho de arquivo de destino
- Mais maneiras de especificar tabelas no
DeltaTable.forName - Gravações robustas de várias tabelas de fluxo usando
foreachBatch - Desempenho de consulta de leitura aprimorado em determinadas cargas de trabalho devido a pontos de verificação ajustados
- Criar
GroupStatepara testar as funções de fluxo estruturado definidas pelo usuário
GA (feed de dados de alteração de tabela delta)
O feed de dados de alteração da tabela Delta agora está em disponibilidade geral. Ele representa as alterações no nível da linha entre diferentes versões da tabela. Quando habilitada, informações adicionais são registradas sobre alterações no nível da linha para cada operação de gravação na tabela. Confira Usar o feed de dados de alterações do Delta Lake no Azure Databricks.
Carregar tabelas Delta compartilhadas facilmente com o Databricks Runtime
O Apache Spark Conector para Compartilhamento Delta 0.1.0 agora está no Databricks Runtime. Você pode carregar uma tabela compartilhada usando diretamente spark.read.format("deltaSharing").load(uri) sem anexar o conector do Compartilhamento Delta do Spark ao cluster.
Mais tabelas se beneficiam da remoção dinâmica de arquivos
O recurso de remoção de arquivo dinâmico foi ajustado para disparar em tabelas com menos arquivos. Confira Remoção de arquivo dinâmico.
Melhor desempenho com ajuste automático de tamanho de arquivo de destino
O tamanho do arquivo de destino para tabelas Delta agora é ajustado automaticamente com base no tamanho da tabela. Anteriormente, o tamanho do arquivo de destino para OPTIMIZE e OPTIMIZE ZORDER BY era de 1 GB. Com o ajuste automático com base no tamanho da tabela, as tabelas Delta de até 2,56 TB usarão 256 MB como o tamanho de destino. Tabelas com mais de 10 TB usarão 1 GB como antes. As tabelas entre esses tamanhos usarão tamanhos de destino que crescem proporcionalmente com o tamanho da tabela.
Confira Configurar o Delta Lake para controlar o tamanho do arquivo de dados.
Mais maneiras de especificar tabelas no DeltaTable.forName
DeltaTable.forName agora dá suporte ao uso de delta.`<path>` para identificar tabelas.
Gravações robustas de várias tabelas de fluxo usando foreachBatch
Agora há suporte para gravações de fluxo Delta idempotentes foreachBatch() dentro do comando. Para obter detalhes, confira Gravações de várias tabelas idempotentes.
Desempenho de consulta de leitura aprimorado em determinadas cargas de trabalho devido a pontos de verificação ajustados
O Delta Lake agora ajusta a frequência com que ele faz pontos de verificação aprimorados. Em vez de pontos de verificação em um intervalo fixo, o Delta agora ajusta dinamicamente a frequência do ponto de verificação com base em determinados gatilhos de evento. Isso melhora o desempenho da consulta de leitura em cargas de trabalho em que alguns dados que ignoram a otimização não podiam ser aplicados antes. Para usar essas otimizações, atualize seus trabalhos que escrevem no Delta Lake para Databricks Runtime 8.4. Confira Habilitar pontos de verificação avançados para consultas de Streaming Estruturado.
Criar GroupState para testar as funções de fluxo estruturado definidas pelo usuário
Até agora, somente o mecanismo de Fluxo Estruturado podia criar instâncias do GroupState. Portanto, todos os testes de unidade da função definida pelo usuário exigiam a execução de uma consulta de streaming no Apache Spark.
Agora você pode criar instâncias do GroupState usando TestGroupState.create(…). Isso permite que você teste uma função definida pelo usuário em testes de unidade simples que não exigem a execução do Spark. Consulte Testar a função de atualização mapGroupsWithState. Especificamente, ele produz instâncias do tipo TestGroupState que estendem a interface GroupState com métodos adicionais para introspecção do estado interno depois que a função definida pelo usuário foi aplicada.
Aprimoramentos e recursos do Carregador Automático
- Configurar o provisionamento para capturar arquivos perdidos
- Volume de armazenamento limitado para fluxos de volume grandes
- Configuração simplificada com suporte sem caminho
Configurar o provisionamento para capturar arquivos perdidos
O Carregador Automático agora dá suporte à execução de provisionamentos de forma assíncrona para capturar todos os arquivos que poderiam ter sido perdidos com notificações de arquivo. Sistemas de armazenamento de arquivos e sistemas de notificação não podem garantir a entrega de 100% de todos os eventos de arquivo. Portanto, o Databricks recomenda a habilitação de provisionamentos periódicos para capturar todos os seus dados com o Carregador Automático. Use a opção cloudFiles.backfillInterval para agendar os provisionamentos regulares sobre seus dados. Confira Opções comuns do Carregador Automático.
Volume de armazenamento limitado para fluxos de volume grandes
Agora você pode configurar o Carregador Automático para expirar e remover entradas no RocksDB para que ele limite seu espaço de armazenamento no local do ponto de verificação. O Databricks não recomenda que você o use, a menos que você esteja ingerindo dados na ordem de milhões de arquivos por hora. Definir essa opção incorretamente ou tentar afiná-la pode levar a muitos problemas de qualidade de dados, como arquivos não processados sendo ignorados ou a duplicação de alguns arquivos em vez de serem processados exatamente uma vez. Para obter detalhes, veja Retenção de eventos.
Configuração simplificada com suporte sem caminho
Buckets S3
Agora você pode fornecer a fila do SQS que recebe eventos de vários caminhos ou buckets S3.
Se você fornecer a URL da fila do SQS, a opção path não será necessária para esse caso de uso.
O Carregador Automático constrói caminhos S3 usando o bucket e a chave dos eventos S3. Se você quiser ler os arquivos por meio de pontos de montagem do DBFS, poderá usar cloudFiles.pathRewrites para alterar prefixos de caminho para DBFS. Isso não é necessário, a menos que você esteja acessando dados em contas diferentes com AssumeRole.
Confira Opções de notificação de arquivo.
Contêineres do Azure Data Lake Storage Gen2
Agora você pode fornecer a fila do Azure que recebe eventos de vários contêineres.
Se você fornecer o nome da fila do Azure, a opção path não será necessária.
Por padrão, o Carregador Automático constrói os caminhos do Azure Data Lake Storage Gen2 usando o contêiner e a chave nos eventos de arquivo.
Se você quiser usar caminhos WASB ou pontos de montagem DBFS, poderá usar cloudFiles.pathRewrites para alterar prefixos de caminho.
Confira Opções de notificação de arquivo.
Atualizações do conector
- O conector do Snowflake Spark foi atualizado para v2.9.0.
- A criptografia do KMS agora tem suporte na instrução
UNLOADdo conector do Redshift.
Correções de bug
- Corrigido um problema para clusters habilitados com o controle de acesso à tabela, em que o
select * from folderpode mostrar o conteúdo da pasta mesmo que o usuário não tenha permissão de acesso a arquivos. - Os proprietários de banco de dados que não são administradores agora podem soltar tabelas não pertencentes a bancos de dados. Isso corrige o problema em que os proprietários do banco de dados não podiam soltar um banco de dados se as tabelas sem propriedade existissem no banco de dados.
Atualizações da biblioteca
- Bibliotecas do Python atualizadas:
- certificado atualizado de 2020.12.5 para 2021.5.30.
- distill atualizado de 0.3.1 para 0.3.2
- koalas atualizado de 1.8.0 para 1.8.1
- protobuf atualizado de 3.17.0 para 3.17.3
- Bibliotecas do R atualizadas:
- base de 4.0.4 para 4.1.0
- inicialização de 1.3-27 para 1.3-28
- classe de 7.3-18 para 7.3-19
- cluster de 2.1.1 para 2.1.2
- compilador de 4.0.4 para 4.1.0
- conjuntos de dados de 4.0.4 para 4.1.0
- gráficos de 4.0.4 para 4.1.0
- grDevices de 4.0.4 para 4.1.0
- grade de 4.0.4 para 4.1.0
- KernSmooth de 2.23-18 para 2.23-20
- lattice de 0.20-41 para 0.20-44
- MASS de 7.3-53.1 para 7.3-54
- Matriz de 1.3-2 para 1.3-3
- métodos de 4.0.4 para 4.1.0
- mgcv de 1.8-33 para 1.8-35
- nnet de 7.3-15 para 7.3-16
- paralelo de 4.0.4 para 4.1.0
- Rserve de 1.8-7 para 1.8-8
- SparkR de 3.1.1 para 3.1.2
- splines de 4.0.4 para 4.1.0
- estatísticas de 4.0.4 para 4.1.0
- stats4 de 4.0.4 para 4.1.0
- survival de 3.2-7 para 3.2-11
- tcltk de 4.0.4 para 4.1.0
- tools de 4.0.4 para 4.1.0
- utils de 4.0.4 para 4.1.0
- Bibliotecas do Java atualizadas:
- snowflake-jdbc de 3.12.8 para 3.13.3
- spark-snowflake_2.12 de 2.8.1-spark_3.0 para 2.9.0-spark_3.1
- RoaringBitmap de 0.9.0 para 0.9.14
- shims de 0.9.0 para 0.9.14
- rocksdbjni de 6.2.2 para 6.20.3
Apache Spark
O Databricks Runtime 8.4 inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.3 (sem suporte), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:
- [SPARK-35792] [SQL] A exibição não deve capturar configurações usadas no
RelationConversions - [SPARK-35700][SQL] Lê a tabela char/varchar orc quando criada e gravada por sistemas externos.
- [SPARK-35636] [SQL] As chaves lambda não devem ser referenciadas fora da função lambda
- [SPARK-35800] [Cherry Pick] Melhorando a capacidade de teste de GroupState introduzindo TestGroupState
- [SPARK-35391] Corrigir perda de memória em ExecutorAllocationListener
- [SPARK-35799] [CherryPick] Correção da métrica allUpdatesTimeMs em FlatMapGroupsWithStateExec
- [SPARK-35763] [SS] Remover a dependência de enumeração de subclasse StateStoreCustomMetric
- [SPARK-35791 [SQL] Lançamento de mapa em andamento corretamente para a junção ANTI com valor NULO
- [SPARK-35695] [SQL] Coletar métricas observadas de sub-árvores de execução adaptáveis e armazenadas em cache
- [SPARK-35767] [SQL] Evitar a execução do plano filho duas vezes no CoalesceExec
- [SPARK-35746] [UI] Corrigir taskid na linha do tempo do evento da tarefa da página de fase
- [SPARK-35673] [SQL] Correção da dica definida pelo usuário e dica não reconhecida na subconsulta.
- [SPARK-35714] [CORE] Correção de bug para deadlock durante o desligamento do executor
- [SPARK-35689] [SS] Adicionar aviso de log quando keyWithIndexToValue retornar valor nulo
- [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint não deve ignorar o arquivo de ordem aleatória somente de índice durante a atualização
- [SPARK-35643] [PYTHON] Corrigir referência ambígua em functions.py column()
- [SPARK-35652] [SQL] joinWith em duas tabelas geradas da mesma
- [SPARK-35679] [SQL] Estouro de instantToMicros
- [SPARK-35602] [SS] Atualizar esquema de estado para poder aceitar JSON de comprimento longo
- [SPARK-35653] [SQL] Correção de falha no caminho interpretado de CatalystToExternalMap para Map com classes case como chaves ou valores
- [SPARK-35296] [SQL] Permitir que Dataset.observe funcione mesmo se CollectMetricsExec em uma tarefa manipular várias partições.
- [SPARK-35659] [SS] Evitar gravar nulo em StateStore
- [SPARK-35665] [SQL] Resolver UnresolvedAlias em CollectMetrics
- [SPARK-35558] Otimiza a recuperação de vários quantis
- [SPARK-35621] [SQL] Adicionar remoção de ID de regra à regra TypeCoercion
- [SPARK-35077] [SQL] Migrar para transformWithPruning para regras de otimizador restantes
- [SPARK-35610] [CORE] Correção do vazamento de memória introduzido pelo gancho de desligamento de parada do Executor
- [SPARK-35544] [SQL] Adicionar remoção de padrão de árvore às regras do Analisador
- [SPARK-35566] [SS] Corrigir linhas de saída StateStoreRestoreExec
- [SPARK-35454] [SQL][3.1] Um LogicalPlan pode corresponder a várias IDs de conjuntos de dados
- [SPARK-35538] [SQL] Migrar sites de chamada transformAllExpressions para usar transformAllExpressionsWithPruning
- [SPARK-35106] [Core][SQL] Evitar falha de renomeação causada por diretório de destino não existente
- [SPARK-35287] [SQL] Permitir que RemoveRedundantProjects preserve ProjectExec, que gera UnsafeRow para DataSourceV2ScanRelation
- [SPARK-35495] [R] Alterar o mantenedor do SparkR para CRAN
- [SPARK-27991] [CORE] Adiar a solicitação de busca no Netty OOM
- [SPARK-35171] [R] Declarar o pacote markdown como uma dependência do pacote SparkR
- [SPARK-35454] [SQL] Um LogicalPlan pode corresponder a várias IDs de conjuntos de dados
- [SPARK-35298] [SQL] Migrar para transformWithPruning para regras no Optimizer.scala
- [SPARK-35480] [SQL] Fazer trabalho percentile_approx com dinâmico
- [SPARK-35093] [SQL] O AQE agora usa o novo plano newQueryStage como chave para procurar trocas armazenadas em cache para reusar
- [SPARK-35146] [SQL] Migrar para transformWithPruning ou resolveWithPruning para regras em finishAnalysis.scala
- [SPARK-35411] [SQL] Adicionar informações essenciais ao serializar TreeNode para json
- [SPARK-35294] [SQL] Adicionar remoção de travessia de árvore em regras com arquivos dedicados no otimizador
- [SPARK-34897] [SQL][3.1] Suporte para reconciliar esquemas com base no índice após remoção de coluna aninhada
- [SPARK-35144] [SQL] Migrar para transformWithPruning para regras de objeto
- [SPARK-35155] [SQL] Adicionar remoção de ID de regra às regras do Analisador
- [SPARK-35382] [PYTHON] Corrige problemas de nome de variável lambda em funções aninhadas do DataFrame em APIs do Python.
- [SPARK-35359] [SQL] Inserir dados com o tipo de dados char/varchar falhará quando o comprimento dos dados exceder a limitação de tamanho
- [SPARK-35381] [R] Corrigir problemas de nome de variável lambda em funções de ordem superior aninhadas em APIs R
Ambiente do sistema
- Sistema operacional: Ubuntu 18.04.5 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.8
- R: 4.1.0 (2021-05-18)
- Delta Lake 1.0.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2021.5.30 | cffi | 1.14.3 | chardet | 3.0.4 |
| criptografia | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| decorator | 4.4.2 | distlib | 0.3.2 | docutils | 0.15.2 |
| entrypoints | 0.3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | koalas | 1.8.1 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| pip | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| solicitações | 2.24.0 | retrying | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | six | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| wheel | 0.35.1 |
Bibliotecas R instaladas
As bibliotecas do R foram instaladas por meio do instantâneo do Microsoft CRAN em 02-11-2020.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| askpass | 1,1 | assertthat | 0.2.1 | backports | 1.2.1 |
| base | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| boot | 1.3-28 | brew | 1.0-6 | brio | 1.1.0 |
| broom | 0.7.2 | callr | 3.5.1 | sinal de interpolação | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | classe | 7.3-19 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.2 |
| codetools | 0.2-18 | colorspace | 2.0-0 | commonmark | 1,7 |
| compiler | 4.1.0 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | crayon | 1.3.4 | credenciais | 1.3.0 |
| crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| conjuntos de dados | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| digest | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
| ellipsis | 0.3.1 | evaluate | 0,14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | foreign | 0.8-81 | forge | 0.2.0 |
| fs | 1.5.0 | future | 1.21.0 | Genéricos | 0.1.0 |
| gert | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
| glue | 1.4.2 | gower | 0.2.2 | elemento gráfico | 4.1.0 |
| grDevices | 4.1.0 | grade | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | iterators | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | knitr | 1.30 |
| labeling | 0.4.2 | later | 1.1.0.1 | lattice | 0.20-44 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | ciclo de vida | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1,1 | MASS | 7.3-54 | Matriz | 1.3-3 |
| memoise | 1.1.0 | methods | 4.1.0 | mgcv | 1.8-35 |
| mime | 0,9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
| parallelly | 1.22.0 | pillar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| progress | 1.2.2 | promises | 1.1.1 | proto | 1.0.0 |
| ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recipes | 0.1.15 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0.13 |
| rversions | 2.0.2 | rvest | 0.3.6 | scales | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.1.1 | shape | 1.4.5 |
| shiny | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | spatial | 7.3-11 | splines | 4.1.0 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | stats | 4.1.0 |
| stats4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| survival | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
| TeachingDemos | 2,10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0,28 | tools | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.1.0 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| waldo | 0.2.3 | whisker | 0,4 | withr | 2.3.0 |
| xfun | 0,19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)
| ID do Grupo | Artifact ID | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1,2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | coletor | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1,0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1,0 |
| org.scalanlp | breeze_2.12 | 1,0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | unused | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |