Databricks Runtime 5.3 (sem suporte)
O Databricks lançou essa imagem em abril de 2019.
As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 5.3 da plataforma Apache Spark.
Novos recursos
Delta do Databricks
GA de viagem no tempo
A viagem no tempo Delta foi graduada para a disponibilidade geral. Ela adiciona a capacidade de consultar um instantâneo de uma tabela usando uma cadeia de caracteres de carimbo de data/hora ou uma versão, usando sintaxe SQL, além de opções DataFrameReader para expressões de carimbo de data/hora.
SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version
A viagem no tempo tem muitos casos de uso, incluindo:
- A recriação de análises, relatórios ou saídas (por exemplo, a saída de um modelo de aprendizado de máquina), que é útil para depuração ou auditoria, especialmente em setores regulamentados.
- Escrevendo consultas temporais complexas.
- Corrigindo erros nos seus dados.
- Fornecimento de isolamento de instantâneos para um conjunto de consultas de tabelas que são alteradas rapidamente.
Confira Trabalhar com o histórico de tabelas do Delta Lake.
Replicação de tabela do MySQL para a visualização pública do Delta
Faça a transmissão de dados de uma tabela do MySQL diretamente para o Delta para consumo de downstream em fluxos de trabalho de análise do Spark ou da ciência de dados. Aproveitando a mesma estratégia que o MySQL usa para replicação em outras instâncias, o binlog é usado para identificar as atualizações que são processadas e transmitidas para o Databricks da seguinte maneira:
- Lendo os eventos de alteração no registro do banco de dados.
- Transmitindo os eventos para o Databricks.
- Gravando na mesma ordem em uma tabela Delta.
- Mantendo o estado no caso de desconexão da origem.
Recursos de versões prévias
Esta versão contém os seguintes recursos de versão prévia privada para o Delta Lake:
- Um comando experimental adicional que permite ao Presto consultar diretamente tabelas Delta.
- A otimização automática melhora o layout do arquivo durante gravações individuais em uma tabela Delta e impede que arquivos pequenos sejam acumulados em suas tabelas Delta para manter o desempenho da consulta na velocidade de um raio. Além disso, as gravações e upserts em tabelas Delta particionadas podem aproveitar grandes aumentos de velocidade graças a uma ordem aleatória adaptável introduzida nas gravações.
Se você quiser participar de qualquer versão prévia, entre em contato com sua equipe de conta do Databricks.
Pasta FUSE do DBFS otimizada para cargas de trabalho de aprendizado profundo
O Azure Databricks agora oferece uma montagem otimizada da FUSE. Você pode ter acesso a dados de alto desempenho durante o treinamento e a inferência sem aplicar scripts de inicialização. Os dados armazenados em dbfs:/ml e acessíveis localmente no file:/dbfs/ml agora são apoiados por essa montagem otimizada da FUSE. Confira Carregar dados para aprendizado de máquina e aprendizado profundo.
Aprimoramentos
Bibliotecas no escopo do notebook:
- Suporte para Extras em
dbutils.library.installPyPI. - Suporte para a instalação da biblioteca no escopo do notebook para bibliotecas no sistema de arquivos do Azure, incluindo
wasbs,adlseabfss. - Mensagens de erro aprimoradas para bibliotecas no escopo do notebook em destinos sem suporte. Por exemplo: "utilitários de biblioteca indisponíveis no Databricks Runtime para Machine Learning".
- Suporte para Extras em
Conectar ao Azure Data Lake Storage Gen2 (ADLS Gen2) sem ter que conceder uma função RBAC de toda a conta de "colaborador de dados de Blob Armazenamento" para a entidade de serviço.
O Assistente do Databricks tem dicas adicionais para melhorar o desempenho das consultas:
- Quando há muitos arquivos pequenos por partição - > converta a tabela para o Delta e execute
OPTIMIZE. - Quando há um filtro altamente seletivo - > converta para o Delta e use
ZORDER BY. - Quando a busca de metadados do Hive se tornar um gargalo, > converta sua tabela para o Delta.
- Quando há muitos arquivos pequenos por partição - > converta a tabela para o Delta e execute
Atualizado o Ubuntu de 16.04.5 LTS para 16.04.6 LTS.
Atualizado o Scala 2.11 de 2.11.8 para 2.11.12.
Atualizou algumas bibliotecas do Python instaladas:
- pip: 18.1 para 19.0.3.
- setuptools: 40.6.3 para 40.8.0
- wheel: 0.32.3 para 0.33.1
Atualizado o R de 3.4.4 para 3.5.2.
Atualização de várias bibliotecas do R instaladas. Confira Bibliotecas do R instaladas.
Reprovação
- Não há mais suporte para o conector Apache Kafka 0.8 para fluxo estruturado. Ele está incluído no Databricks Runtime 5.3, mas será removido de uma versão futura do Databricks Runtime.
- A exportação do modelo de ML do Databricks foi preterida e será removida no Databricks Runtime 6.0. A partir de agora, use MLeap para importar e exportar modelos.
- Removido
spark.databricks.pyspark.enableExecutorFsPermscomo uma opção de configuração.
Correções de bug
- Correção da instalação da biblioteca de Eggs do Python em todo o cluster para clusters habilitados para ACLs de tabela.
- Cancelamento de comando do Python melhorado corrigindo a situação em que o cancelamento é chamado antes da execução do comando.
- Correção de um bug nas ACLs de tabela: agora, ao listar objetos em um banco de dados ou catálogo, você verá apenas os objetos que você tem permissão para ver.
Apache Spark
O Databricks Runtime 5.3 inclui o Apache Spark 2.4.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 5.2 (sem suporte), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:
- [SPARK-27134][SQL] A função array_distinct não funciona corretamente com colunas que contêm matriz de matriz
- [SPARK-24669][SQL] Invalida tabelas no caso de SOLTAR BANCO DE DADOS EM CASCATA
- [SPARK-26572][SQL] Corrige a avaliação do resultado de codegen agregado
- [SPARK-27046][DSTREAMS] remove referências relacionadas ao SPARK-19185 da documentação
- [SPARK-26449][PYTHON] Adiciona método de transformação à API do DataFrame
- [SPARK-26740][SQL] lê as stats da coluna de carimbo de data/hora gravados pelo Spark 3.0
- [SPARK-26909][SQL] usa a unsafeRow.hashCode() como valor de hash em HashAggregate
- [SPARK-26990][SQL] FileIndex: usa nomes de campo especificados pelo usuário, se possível
- [SPARK-26851][SQL] Corrige bloqueio com verificação dupla no CachedRDDBuilder
- [SPARK-26864][SQL] A consulta pode retornar resultado incorreto quando a UDF do Python é usada como uma condição de semijunção à esquerda
- [SPARK-26887][SQL][PYTHON] Cria
datetime.datediretamente em vez de criar datetime64 como dados intermediários. - [SPARK-26859][SQL] corrigir o bug do índice do gravador de campo no desserializador de ORC não vetorizado
- [SPARK-26864][SQL] A consulta pode retornar resultado incorreto quando o UDF do Python é usado como uma condição de junção e o UDF usa atributos de ambas os segmentos da semijunção à esquerda
- [SPARK-24360][SPARK-26091][BACKPORT][SQL] Dá suporte para o Hive 3.1 metastore
- [SPARK-26873][SQL] usa um carimbo de data/hora consistente para criar IDs de trabalho do Hadoop.
- [SPARK-26734][STREAMING] Corrige StackOverflowError com fila de bloqueio grande
- [SPARK-26758][CORE] Executores ociosos não estão sendo encerrados após o valor spark.dynamiAllocation.executorIdleTimeout
- [SPARK-26751][SQL] Corrige a perda de memória quando a instrução é executada em segundo plano e gera exceção que não é HiveSQLException
- [SPARK-26806][SS] EventTimeStats.merge deve identificar zeros corretamente
- [SPARK-26745][SPARK-24959][SQL] Reverte a otimização de contagem na fonte de dados JSON por
- [SPARK-26757][GRAPHX] Retorna 0 para a contagem em RDDs Edge/Vertex vazios
- [SPARK-26726] Sincroniza a quantidade de memória usada pela variável de difusão para a exibição da interface do usuário
- [SPARK-26718][SS] Estouro de inteiro corrigido no cálculo de RATELIMIT do SS Kafka
- [SPARK-26708][SQL] Resultado incorreto causado pela inconsistência entre o RDD em cache de um cache SQL e seu plano físico
- [SPARK-26735][SQL] verifica a integridade do plano para expressões especiais
- [SPARK-26619][SQL] remove os serializadores não utilizados de SerializeFromObject
- [SPARK-26379][SS] usar TimeZoneID fictício para evitar UnresolvedException em CurrentBatchTimestamp
- [SPARK-26495][SQL] simplifica o extrator SelectedField
- [SPARK-26379][SS] Corrige o problema ao adicionar current_timestamp/current_date à consulta de fluxo
- [SPARK-26709][SQL] O OptimizeMetadataOnlyQuery não identifica corretamente registros vazios
- [SPARK-26680][SQL] Cria precipitadamente inputVars enquanto as condições são apropriadas
- [SPARK-26682][SQL] Usa taskAttemptID em vez de attemptNumber para Hadoop.
- [SPARK-26706][SQL] Corrige illegalNumericPrecedence para ByteType
- [SPARK-26228][MLLIB] Problema de OOM encontrado ao calcular a matriz Gramian
- [SPARK-26665][CORE] Corrige um bug em que o BlockTransferService.fetchBlockSync fica esperando para sempre
- [SPARK-26549][PYSPARK] Correção para reutilização de trabalho do Python não tem nenhum efeito para paralelizar intervalo iterável lento
- [SPARK-26351][MLLIB] Atualiza documento e correção secundária nas métricas de avaliação do MLlib
- [SPARK-26450] Evite recriar o mapa de esquema para cada coluna em uma projeção
- [SPARK-26638][PYSPARK][ML] Classes de vetor Pyspark sempre retornam erro para negação unária
- [SPARK-26633][REPL] Adiciona ExecutorClassLoader.getResourceAsStream
- [SPARK-26629][SS] Correção de erro com vários fluxos de arquivos em uma consulta + reinicialização em um lote que não tem dados para um fluxo de arquivos
- [SPARK-25992][PYTHON] O documento SparkContext não pode ser compartilhado para multiprocessamento
- [SPARK-26615][CORE] Corrigindo vazamentos de recursos do cliente/servidor de transporte nos testes de unidade principais
- [SPARK-26350][SS] Permite a substituição da ID do grupo do consumidor do Kafka
- [SPARK-26538][SQL] Define precisão e escala padrão para elementos da matriz numérica postgres
- [SPARK-26586][SS] Corrigir a condição de corrida que faz com que os fluxos executem com configurações inesperadas
- [SPARK-26551][SQL] Corrige o erro de remoção de esquema ao selecionar um campo complexo e ter não é predicado nulo em outro
- [SPARK-26576][SQL] Dica de difusão não aplicada à tabela particionada
- [SPARK-26571][SQL] Atualiza o mapeamento de Serde do Hive com o nome canônico de Parquet e FileFormat Orc
- [SPARK-26267][SS] Tenta novamente ao detectar deslocamentos incorretos do Kafka (2.4)
- [SPARK-26559][ML][PYSPARK] A imagem ML não pode funcionar com versões numpy anteriores à 1.9
- [SPARK-26078][SQL] Dedup de atributos de autojunção em subconsultas IN
Atualizações de manutenção
Confira Atualizações de manutenção do Databricks Runtime 5.3.
Ambiente do sistema
- Sistema operacional: Ubuntu 16.04.6 LTS
- Java: 1.8.0_191
- Scala: 2.11.12
- Python: 2.7.12 para os clusters do Python 2 e 3.5.2 para os clusters do Python 3.
- R: versão do R 3.5.2 (20/12/2018)
- Clusters da GPU: as seguintes bibliotecas GPU da NVIDIA estão instaladas:
- Driver Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Observação
Embora o Scala 2.12 obtenha suporte do Apache Spark 2.4, ele não tem suporte no Databricks Runtime 5.3.
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| criptografia | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1,2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0,23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 19.0.3 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| solicitações | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0,32 | seaborn | 0.7.1 |
| setuptools | 40.8.0 | simplejson | 3.8.2 | simples3 | 1,0 |
| singledispatch | 3.4.0.3 | six | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wheel | 0.33.1 |
| wsgiref | 0.1.2 |
Bibliotecas R instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1,1 | assertthat | 0.2.0 |
| backports | 1.1.3 | base | 3.5.2 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | callr | 3.1.1 | carro | 3.0-2 |
| carData | 3.0-2 | sinal de interpolação | 6.0-81 | cellranger | 1.1.0 |
| chron | 2.3-53 | classe | 7.3-15 | cli | 1.0.1 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.7-1 |
| codetools | 0.2-16 | colorspace | 1.4-0 | commonmark | 1,7 |
| compiler | 3.5.2 | config | 0.3 | crayon | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | conjuntos de dados | 3.5.2 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | desc | 1.2.0 |
| devtools | 2.0.1 | digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | ellipsis | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | foreign | 0.8-71 |
| forge | 0.2.0 | fs | 1.2.6 | gbm | 2.1.5 |
| Genéricos | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.24.0 | glmnet | 2.0-16 | glue | 1.3.0 |
| gower | 0.1.2 | elemento gráfico | 3.5.2 | grDevices | 3.5.2 |
| grade | 3.5.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.2.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1,3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iterators | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | labeling | 0.3 |
| lattice | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.1 |
| littler | 0.3.6 | lme4 | 1.1-20 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | mapas | 3.3.0 |
| maptools | 0.9-5 | MASS | 7.3-51.1 | Matriz | 1.2-15 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | methods | 3.5.2 |
| mgcv | 1.8-27 | mime | 0.6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-9 |
| nlme | 3.1-137 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.2.2 | openxlsx | 4.1.0 |
| parallel | 3.5.2 | pbkrtest | 0.4-7 | pillar | 1.3.1 |
| pkgbuild | 1.0.2 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| praise | 1.0.0 | prettyunits | 1.0.2 | pROC | 1.13.0 |
| processx | 3.2.1 | prodlim | 2018.04.18 | progress | 1.2.0 |
| proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.0 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.0 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.11 | readr | 1.3.1 |
| readxl | 1.3.0 | recipes | 0.1.4 | rematch | 1.0.1 |
| remotes | 2.0.2 | reshape2 | 1.4.3 | rio | 0.5.16 |
| rlang | 0.3.1 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-13 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.9.0 | scales | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.2 | SparseM | 1.77 | spatial | 7.3-11 |
| splines | 3.5.2 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | stats | 3.5.2 | stats4 | 3.5.2 |
| stringi | 1.3.1 | stringr | 1.4.0 | survival | 2.43-3 |
| sys | 3.0 | tcltk | 3.5.2 | TeachingDemos | 2,10 |
| testthat | 2.0.1 | tibble | 2.0.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.5.2 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utils | 3.5.2 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zip | 2.0.0 |
Instaladas as bibliotecas do Java e Scala (versão de cluster do Scala 2.11)
| ID do Grupo | Artifact ID | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | fluxo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1,2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | Netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | coletor | 0.7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1,2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3,5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1,0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.1 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |