Share via

Databricks Runtime 10.5 (sem suporte)

  • Artigo

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 10.5 da plataforma Apache Spark 3.2.1. O Databricks lançou essas imagens em maio de 2022.

Novos recursos e aprimoramentos

SQL: novas funções to_number e try_to_number

A função to_number e a função try_to_number permitem converter representações de caracteres de números em vários formatos para DECIMAL.

SQL: nova função try_sum

Ao contrário de sum, a função de agregação try_sum retorna NULL em vez de um erro quando ocorre um estouro.

SQL: atualizar para funções ceil, ceiling e floor

A função ceil, a função ceiling e a função floor agora dão suporte a um segundo argumento opcional para especificar uma escala de destino.

SQL: novas funções de agregação regr_avgx e regr_avgy

A novas funções de agregação regr_avgx e regr_avgy dão suporte a regressões lineares.

SQL: atualizar para funções contains, startswith e endswith

A função contains, a função startswith e a função endswith agora dão suporte a tipos de dados binários como entrada, além de cadeias de caracteres.

SQL: nova função array_size

A nova função array_size calcula o tamanho de uma matriz.

Catálogo do Unity: a saída LIST SQL remove a coluna is_directory e adiciona / à direita para caminhos de diretório (Visualização Pública)

A saída da instrução SQL LIST para listar caminhos controlados pelo Catálogo do Unity foi alterada. A coluna is_directory não é mais exibida. Em vez disso, os caminhos que representam diretórios agora terminam com uma barra à direita (/) para as colunas path e name. Essa alteração serve para consistência com a saída do comando dbutils.fs.ls.

Carregador Automático: nova função SQL CLOUD_FILES_STATE

Você pode usar a nova função CLOUD_FILES_STATE para consultar o estado interno de um fluxo do Carregador Automático; confira Como consultar arquivos descobertos pelo Carregador Automático.

Carregador Automático: o suporte à notificação de arquivo está agora em GA

O suporte à notificação de arquivo para O que é o Carregador Automático? no Google Cloud já está em disponibilidade geral.

Delta Lake: a nova opção maxRecordsPerFile para o máximo de registros gravados em um único arquivo

Quando você usa as APIs do DataFrame para gravar em uma tabela Delta, pode usar a opção maxRecordsPerFile para especificar o número máximo de registros a serem gravados em apenas um arquivo. Especificar um valor de zero ou um valor negativo não representa nenhum limite. Confira Configurar o Delta Lake para controlar o tamanho do arquivo de dados.

Substituição do Koalas

No momento, o Koalas está preterido. O Koalas fornece APIs do pandas além do Apache Spark. O Koalas foi enviado como contribuição pela comunidade e está disponível como a API do pandas no Spark a partir do Apache Spark 3.2. O Koalas continua a ser pré-instalado para o Databricks Runtime 10.5, mas o Koalas não será mais pré-instalado a partir da próxima versão do Databricks Runtime.

Para saber mais sobre a API do pandas no Spark, confira:

Nova coluna _metadata para todos os formatos de arquivo

Você pode obter informações de metadados para arquivos de entrada com a coluna _metadata. A coluna _metadata está oculta. Esta coluna está disponível para todos os formatos de arquivo de entrada. Para incluir a coluna _metadata em um DataFrame retornado, você precisa referenciar explicitamente essa coluna em sua consulta. Confira Coluna de metadados de arquivo.

Testar o pipeline do Delta Live Tables com o Databricks Runtime 10.5

O Databricks Runtime 10.5 agora é a versão preview compatível com o Delta Live Tables. Para testar o pipeline com o Databricks Runtime 10.5, defina a configuração channel para preview nas configurações do pipeline.

Correções de bug

  • Correção da exibição dos resultados de métrica numUpdatedRows e numCopiedRows para operações de atualização em tabelas Delta que têm a CDC (captura de dados de alterações) habilitada.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • plotly de 5.5.0 para 5.6.0
  • Bibliotecas do R atualizadas:
    • base de 4.1.2 para 4.1.3
    • caret de 6.0-90 para 6.0-91
    • cluster de 2.1.2 para 2.1.3
    • commonmark de 1.7 a 1.8.0
    • compiler de 4.1.2 para 4.1.3
    • crayon de 1.5.0 para 1.5.1
    • Datasets de 4.1.2 para 4.1.3
    • desc de 1.4.0 para 1.4.1
    • fansi de 1.0.2 para 1.0.3
    • glue de 1.6.1 para 1.6.2
    • graphics de 4.1.2 para 4.1.3
    • grDevices de 4.1.2 para 4.1.3
    • grid de 4.1.2 para 4.1.3
    • knitr de 1.37 para 1.38
    • MASS de 7.3-55 para 7.3-56
    • Matrix de 1.4-0 para 1.4-1
    • methods de 4.1.2 para 4.1.3
    • mgcv de 1.8-39 para 1.8-40
    • nlme de 3.1-155 a 3.1-157
    • openssl de 1.4.6 para 2.0.0
    • parallel de 4.1.2 para 4.1.3
    • plyr de 1.8.6 a 1.8.7
    • processx de 3.5.2 a 3.5.3
    • r2d3 de 0.2.5 a 0.2.6
    • Rcpp de 1.0.8 para 1.0.8.3
    • rlang de 1.0.1 para 1.0.2
    • rmarkdown de 2.11 a 2.13
    • RSQLite de 2.2.10 para 2.2.11
    • sass de 0.4.0 para 0.4.1
    • splines de 4.1.2 para 4.1.3
    • stats de 4.1.2 para 4.1.3
    • stats4 de 4.1.2 para 4.1.3
    • tcltk de 4.1.2 para 4.1.3
    • tools de 4.1.2 para 4.1.3
    • utils de 4.1.2 para 4.1.3
    • uuid de 1.0-3 para 1.0-4
    • waldo de 0.3.1 para 0.4.0
    • withr de 2.4.3 para 2.5.0
    • xfun de 0.29 para 0.30
  • Bibliotecas do Java atualizadas:
    • com.h2database.h2 de 1.4.195 para 2.1.210
    • org.apache.hadoop.hadoop-client-api de 3.3.1-databricks para 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime de 3.3.1 para 3.3.2
    • org.rocksdb.rocksdbjni de 6.24.2 a 6.20.3

Apache Spark

O Databricks Runtime 10.5 inclui o Apache Spark 3.2.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.4 LTS, bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [SPARK-38354] [SC-97886] Reverter "[SQL] Adicionar métrica de investigações de hash para junção hash em ordem aleatória"
  • [SPARK-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] Instrumentar módulo SQL do PySpark com agente de uso geral
  • [SPARK-38333] [SQL] A expressão PlanExpression deve ignorar a função addExprTree no Executor
  • [SPARK-38646] [PYTHON][10.x] Extrair uma característica para as funções do Python
  • [SPARK-38674] [PHOTON] Adicionar uma métrica ao PhotonSubqueryBroadcastExec
  • [SPARK-38787] [SS] Substitua o valor encontrado por elemento não nulo na lista restante para chave e remova os elementos nulos restantes de valores no repositório keyWithIndexToValue para junções de fluxo para fluxo
  • [SPARK-38446] [Core] Corrigir deadlock entre ExecutorClassLoader e FileDownloadCallback causado por Log4j
  • [SPARK-38705] [SQL] Usar o identificador de função no comando de função criar e soltar
  • [SPARK-38684] [SS] Corrigir o problema de correção na junção externa de fluxo para fluxo com o provedor de repositório de estado RocksDB
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase não consegue localizar a linha de deslocamento cuja entrada não é nula
  • [SPARK-38204] [SS] Use StatefulOpClusteredDistribution para operadores com estado com relação à compatibilidade com versões anteriores
  • [SPARK-38616] [SQL] Acompanhar texto de consulta SQL no Catalyst TreeNode
  • [SPARK-38600] [SQL] Incluir unit na cadeia de caracteres sql de TIMESTAMPADD/DIFF
  • [SPARK-34805] [SQL] Propagar metadados de colunas aninhadas no Alias
  • [SPARK-38535] [SQL] Adicionar a enumeração datetimeUnit e usá-la em TIMESTAMPADD/DIFF
  • [SPARK-38415] [SQL] Atualizar o tipo de resultado histogram_numeric (x, y) para tornar x == o tipo de entrada
  • [SPARK-38148] [SQL] Não adicionar a remoção de partição dinâmica se houver remoção de partição estática
  • [SPARK-37527] [SQL] Compilar COVAR_POP, COVAR_SAMP e CORR emH2Dialet
  • [SPARK-38510] [SQL] Tentar novamente ClassSymbol.selfType para resolver referências cíclicas
  • [SPARK-38509] [SQL] Cancelar o registro da funções TIMESTAMPADD/DIFF e removerDATE_ADD/DIFF
  • [SPARK-38504] [SQL] Não é possível ler TimestampNTZ como TimestampLTZ
  • [SPARK-38526] [SQL] Corrigir o nome do alias de função enganosa para RuntimeReplaceable
  • [SPARK-38335] [SQL] Implementar suporte ao analisador para valores de coluna DEFAULT
  • [SPARK-38593] [SS] Transferir a métrica do número de eventos tardios removidos para SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] Adicionar numRowsDroppedByWatermark a SessionWindowStateStoreRestoreExec
  • [SPARK-38583] [SQL] Restaurar o comportamento de to_timestamp que permite tipos numéricos
  • [SPARK-38481] [SQL] Substituto da exceção de estouro Java de TIMESTAMPADD pela exceção do Spark
  • [SPARK-37753] [SQL] Ajustar a lógica para rebaixar a junção hash de Difusão no DynamicJoinSelection
  • [SPARK-37582] [SPARK-37583][SQL] CONTAINS, STARTSWITH, ENDSWITH deve dar suporte a tipos de cadeia de caracteres e binários
  • [SPARK-38345] [SQL] Introduzir função SQL ARRAY_SIZE
  • [SPARK-38385] [SQL] Melhorar mensagens de erro de instrução vazia e <EOF> em ParseException
  • [SPARK-37614] [SQL] Dar suporte à função de agregação ANSI: regr_avgx e regr_avgy
  • [SPARK-38560] [SQL] Se Sum, Count, Any acompanhado por distinct, não puder enviar agregação parcial por push.
  • [SPARK-38360] [SQL][SS][PYTHON] Introduzir uma função exists para TreeNode eliminar padrões de código duplicados
  • [SPARK-38385] [SQL] Melhorar mensagens de erro de casos de “entrada incompatível” da ANTLR
  • [SPARK-38240] [SQL] Aprimorar RuntimeReplaceable e adicionar uma diretriz para adicionar novas funções
  • [SPARK-38542] [SQL]UnsafeHashedRelation deve serializar numKeys out
  • [SPARK-38521] [SQL] Alterar partitionOverwriteMode da cadeia de caracteres para variável no Scala
  • [SPARK-38558] [SQL] Remover conversões desnecessárias entre IntegerType e IntDecimal
  • [SPARK-38489] [SQL] Aggregate.groupOnly oferece suporte a expressões dobráveis
  • [SPARK-38410] [SQL] O suporte especifica o número de partição inicial para rebalanceamento
  • [SPARK-38107] [SQL] Usa classes de erro nos erros de compilação dos UDFS python/pandas
  • [SPARK-38354] [SQL] Adicionar métrica de investigações de hash para junção hash em ordem aleatória
  • [SPARK-38112] [SQL] Usa classes de erro nos erros de execução de data/carimbo de data/hora
  • [SPARK-38361] [SQL] Adicionar método de fábrica getConnection em JDBCDialect.
  • [SPARK-37865] [SQL] Corrigir bug de correção de eliminação de duplicação de união
  • [SPARK-38298] [SQL][Testes] Corrigir DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite no modo ANSI
  • [SPARK-38407] [SQL] ANSI Cast: afrouxar a limitação de conversão de tipos complexos não nulos
  • [SPARK-38352] [SQL] Corrigir DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite no modo ANSI
  • [SPARK-38054] [SQL] Dar suporte a namespaces de lista no dialeto MySQL JDBC v2
  • [SPARK-37960] [SQL] Uma nova estrutura para representar expressões do Catalyst em APIs DS v2
  • [SPARK-38103] [SQL] Migrar erros de análise de transformação na nova estrutura de erros
  • [SPARK-38519] [SQL] A geração de exceção do AQE deve respeitar SparkFatalException
  • [SPARK-38528] [SQL] Iterar prontamente sobre a sequência de agregação ao criar lista de projetos em ExtractGenerator
  • [SPARK-38320] [SS] Corrigir tempo limite de flatMapGroupsWithState em lote com dados para chave
  • [SPARK-38442] [SQL] Corrigir ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite no modo ANSI
  • [SPARK-38268] [SQL] Ocultar o campo "failOnError" no método toString de Abs/CheckOverflow
  • [SPARK-37949] [SQL] Melhorar a estimativa de estatísticas de rebalanceamento
  • [SPARK-38450] [SQL] Corrigir HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite no modo ANSI
  • [SPARK-38501] [SQL] Corrigir falhas de teste do thriftserver no modo ANSI
  • [SPARK-37895] [SQL] Filtrar envio por push de coluna com colunas entre aspas
  • [SPARK-38449] [SQL] Evitar chamar createTable quando ignoreIfExists=true e a tabela existirem
  • [SPARK-38406] [SQL] Melhorar o desempenho de ShufflePartitionsUtil createSkewPartitionSpecs
  • [SPARK-37947] [SQL] Extrair gerador da expressão GeneratorOuter contida por um operador Generate.
  • [SPARK-38309] [CORE] Corrigir SHS shuffleTotalReads e métricas de percentil shuffleTotalBlocks
  • [SPARK-38412] [SS] Corrija a sequência trocada de e para StateSchemaCompatibilityChecker
  • [SPARK-38267] [CORE][SQL][SS] Substituir correspondências de padrão em expressões boolianas por instruções condicionais
  • [SPARK-38104] [SQL] Migrar erros de análise de janela na nova estrutura de erros
  • [SPARK-38434] [SQL] Semântica correta do método CheckAnalysis.getDataTypesAreCompatibleFn
  • [SPARK-38033] [SS] O processamento SS não pode ser iniciado porque o com...
  • [SPARK-38378] [SQL] Refatoração da definição de gramática ANTLR em arquivos separados de Analisador e Lexer
  • [SPARK-37475] [SQL] Adicionar parâmetro de escala às funções floor e ceil
  • [SPARK-38411] [CORE] Usar UTF-8 quando doMergeApplicationListingInternal ler logs de eventos
  • [SPARK-36553] [ML] KMeans evitam a computação de estatísticas auxiliares para K grande
  • [SPARK-38393] [SQL] Limpa o uso preterido de GenSeq/GenMap
  • [SPARK-38389] [SQL] Adiciona os aliases DATEDIFF() e DATE_DIFF() para TIMESTAMPDIFF()
  • [SPARK-33206] [CORE][3.2] Corrige o cache de índice de cálculo de peso em ordem aleatória para arquivos de índice pequenos
  • [SPARK-38353] [PYTHON] Instrumentar os métodos magic ENTER e EXIT para API do Pandas no Spark
  • [SPARK-38323] [SQL][Streaming] Suporte aos metadados de arquivo ocultos no Streaming
  • [SPARK-38138] [SQL] Materializar subconsultas do QueryPlan
  • [SPARK-38094] Habilitar nomes de colunas de esquema correspondentes por IDs de campo
  • [SPARK-37923] [SQL] Gerar transformações de partição para BucketSpec dentro do analisador
  • [SPARK-38363] [SQL] Evite erros de runtime em Dataset.summary()/Dataset.describe() quando o modo ANSI estiver ativado
  • [SPARK-38284] [SQL] Adiciona a função TIMESTAMPDIFF()
  • [SPARK-38251] [SQL] Altere Cast.toString como "cast" em vez de "ansi_cast" no modo ANSI
  • [SPARK-38314] [SQL] Correção de não ler arquivos parquet depois de gravar os metadados de arquivo ocultos em

Confira Atualizações de manutenção do Databricks Runtime 10.5.

Ambiente do sistema

  • Sistema operacional: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Delta Lake: 1.2.1

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (atualização cumulativa de ISO) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
empacotando 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
solicitações 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliotecas R instaladas

As bibliotecas do R foram instaladas por meio do instantâneo do Microsoft CRAN em 28/03/2022.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
askpass 1,1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
sinal de interpolação 6.0-91 cellranger 1.1.0 chron 2.3-56
classe 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 credenciais 1.3.2
curl 4.3.2 data.table 1.14.2 conjuntos de dados 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 evaluate 0.15 fansi 1.0.3
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 Genéricos 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 elemento gráfico 4.1.3 grDevices 4.1.3
grade 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0,9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.38 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
ciclo de vida 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1,1 MASS 7.3-56
Matriz 1.4-1 memoise 2.0.1 methods 4.1.3
mgcv 1.8-40 mime 0,12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallel 4.1.3 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.3
prodlim 2019.11.13 progress 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown 2,13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.1
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 stats4 4.1.3 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.3 TeachingDemos 2,10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.3 uuid 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 whisker 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1,2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1