Share via


Databricks Runtime 10.1 (sem suporte)

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 10.1 e o Databricks Runtime 10.1 Photon, da plataforma Apache Spark 3.2.0. O Databricks liberou essas imagens em novembro de 2021. O Photon está em Visualização Pública.

Novos recursos e aprimoramentos

Novas configurações de tabela Delta para compactação de arquivos pequenos

A propriedade delta.autoOptimize.autoCompact da tabela Delta agora aceita os novos valores de auto e legacy, além dos valores existentes de true e false. Quando definida como auto (recomendado), a Compactação Automática usa padrões melhores, como a configuração de 32 MB como o tamanho do arquivo de destino (embora os comportamentos padrão estejam sujeitos a alterações no futuro). Quando definida como legacy ou true, a Compactação Automática usa 128 MB como o tamanho do arquivo de destino.

Em vez de definir essa propriedade para uma tabela individual, você pode definir a configuração spark.databricks.delta.autoCompact.enabled para auto, legacy ou true para habilitar a Compactação Automática para todas as tabelas Delta. Essa configuração tem precedência sobre a propriedade de tabela relacionada durante a sessão atual.

O tamanho do arquivo de destino para Compactação Automática pode ser controlado com a configuração spark.databricks.delta.autoCompact.maxFileSize.

Para obter mais informações sobre Compactação Automática, consulte Compactação automática para Delta Lake no Azure Databricks.

Novas métricas de grupo de linhas para verificações de consulta Parquet

As consultas com verificações de Parquet agora revelam métricas do grupo de linhas na interface do usuário do Spark. Essas métricas de grupo de linhas são:

  • número total de grupos de linhas parquet
  • número de leituras de grupos de linhas parquet

Trigger.AvailableNow para consultas de fluxo de origem Delta

Essa alteração dá suporte a um novo tipo de gatilho para consultas de fluxo de origem no Scala: Trigger.AvailableNow. É como o Trigger.Once, que processa todos os dados disponíveis e, em seguida, interrompe a consulta. No entanto, o Trigger.AvailableNow oferece melhor escalabilidade, pois os dados podem ser processados em vários lotes em vez de um. Essa alteração não introduz uma nova interface; ela implementa uma API do Spark existente. Esse gatilho também dá suporte a todas as opções de limitação de taxa que já têm suporte no Delta como uma origem.

Exemplo:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Confira a cobertura do Trigger.AvailableNow em O que é o Carregador Automático?.

Trigger.AvailableNow para o Auto Loader

O Trigger.AvailableNow é um novo modo de gatilho de fluxo semelhante ao Trigger.Once. O Trigger.Once processa todos os dados disponíveis e, em seguida, interrompe a consulta. O Trigger.AvailableNow oferece melhor escalabilidade, pois os dados podem ser processados em vários lotes em vez de um. O Auto Loader agora dá suporte ao Trigger.AvailableNow nos modos de listagem de diretório e de notificação de arquivo do Scala. Confira a cobertura do Trigger.AvailableNow em O que é o Carregador Automático?.

Suporte Delta para configurações do sistema de arquivos do Hadoop que são passadas por meio de opções de DataFrame

Semelhante ao Parquet, o Delta agora dá suporte à leitura de Configurações do sistema de arquivos do Hadoop das opções DataFrameReader e DataFrameWriter quando a tabela é lida ou gravada, usando DataFrameReader.load(path) ou DataFrameWriter.save(path). Consulte Configurar credenciais de armazenamento do Delta.

O ponto de verificação de estado assíncrono agora tem suporte em trabalhos de fluxo com estado (Visualização Pública)

O ponto de verificação de estado assíncrono é um novo recurso que pode reduzir a latência de microlote de ponta a ponta em trabalhos de fluxo com grandes atualizações de estado. Consulte Ponto de verificação de estado assíncrono para consultas com estado.

Sparklyr com passagem de credenciais

Agora você pode usar as APIs sparklyr para ler e gravar dados de/para o armazenamento em nuvem usando a passagem de credenciais. Essa funcionalidade é limitada a clusters padrão com acesso de usuário único. Confira Acessar o Azure Data Lake Storage usando a passagem de credenciais do Microsoft Entra ID (antigo Azure Active Directory) (herdado).

Controle de precisão de resumo de dados de Utilitários do Databricks (Visualização Pública)

Um novo parâmetro precise para dbutils.data.summarize controla a precisão dos resultados de resumo. Quando precise é definido como false (o padrão), o resumo retorna resultados aproximados para contagens, percentil e contagem distinta de itens frequentes. Quando precise é definido como true, os resumos são calculados com contagens de itens frequentes e contagem distinta exata, com estimativas mais precisas de percentil. Veja o comando resumir (dbutils.data.summarize).

Os notebooks do Azure Databricks agora podem ser usados com o kernel do IPython

Agora você pode configurar um cluster do Azure Databricks para usar o kernel do IPython para executar código do Python. O uso do kernel do IPython no Azure Databricks adiciona suporte para ferramentas de exibição e saída do IPython. Além disso, o kernel do IPython captura as saídas stdout e stderr de processos filho criados por um notebook, permitindo que essa saída seja incluída nos resultados do comando do notebook.

Para obter mais informações, confira Kernel do IPython.

Novas funções no Spark SQL

Os seguintes objetos e comandos foram adicionados para trabalhar com os dados no Unity Catalog (versão prévia):

Os comandos a seguir foram adicionados para o Compartilhamento Delta (versão prévia), que permite que você compartilhe dados somente leitura com destinatários fora da sua organização:

Correções de bug

  • Correção de uma condição de corrida que pode causar uma falha de consulta com uma IOException como No FileSystem for scheme ou que pode fazer com que as modificações à sparkContext.hadoopConfiguration não entrem em vigor em consultas.

Atualizações da biblioteca

  • Bibliotecas do Python atualizadas:
    • filelock de 3.0.12 para 3.3.1
    • koalas de 1.8.1 para 1.8.2
    • plotly de 5.1.0 para 5.3.0
  • Bibliotecas do R atualizadas:
    • bslib de 0.3.0 para 0.3.1
    • caret de 6.0-88 para 6.0-90
    • cpp11 de 0.3.1 para 0.4.0
    • data.table de 1.14.0 para 1.14.2
    • desc de 1.3.0 para 1.4.0
    • diffobj de 0.3.4 para 0.3.5
    • digest de 0.6.27 para 0.6.28
    • generics de 0.1.0 para 0.1.1
    • hms de 1.1.0 para 1.1.1
    • knitr de 1.34 para 1.36
    • lattice de 0.20-44 para 0.20-45
    • lifecycle de 1.0.0 para 1.0.1
    • lubridate de 1.7.10 para 1.8.0
    • mgcv de 1.8-37 para 1.8-38
    • mime from 0.11 para 0.12
    • pkgload de 1.2.2 para 1.2.3
    • progressr de 0.8.0 para 0.9.0
    • rcmdcheck de 1.3.3 para 1.4.0
    • readr de 2.0.1 para 2.0.2
    • recipes de 0.1.16 para 0.1.17
    • remotes de 2.4.0 para 2.4.1
    • rlang de 0.4.11 para 0.4.12
    • rvest de 1.0.1 para 1.0.2
    • shiny de 1.6.0 para 1.7.1
    • stringi de 1.7.4 para 1.7.5
    • testthat de 3.0.4 para 3.1.0
    • tidyr de 1.1.3 para 1.1.4
    • tinytex de 0.33 para 0.34
    • usethis de 2.0.1 para 2.1.2
    • xfun de 0.26 para 0.27
  • Bibliotecas do Java atualizadas:
    • com.zaxxer.HikariCP de 3.1.0 para 4.0.3

Apache Spark

Databricks Runtime 10.1 inclui o Apache Spark 3.2.0. Esta versão inclui todas as correções e os aprimoramentos do Spark incluídos no Databricks Runtime 10.0 (sem suporte), bem como as seguintes correções de bugs e aprimoramentos adicionais feitos no Spark:

  • [SPARK-37037] [SQL] Aprimorar classificação da matriz de bytes unificando a função compareTo de UTF8String e ByteArray
  • [SPARK-37091] [R] SystemRequirements para incluir Java < 18
  • [SPARK-37041] [SQL] Backport HIVE-15025: suporte de SSL (Secure-Socket-Layer) para HMS
  • [SPARK-37098] [SQL] Alterar propriedades da tabela deve invalidar o cache
  • [SPARK-36992] [SQL] Aprimorar desempenho da classificação da matriz de bytes unificando a função getPrefix de UTF8String e ByteArray
  • [SPARK-37047] [SQL] Adicionar funções lpad e rpad para cadeias de caracteres binárias
  • [SPARK-37076] [SQL] Implementar StructType.toString explicitamente no Scala 2.13
  • [SPARK-37075] [SQL] Mover a compilação da expressão UDAF do sql/catalyst para o sql/core
  • [SPARK-37084] [SQL] Definir spark.sql.files.openCostInBytes como bytesConf
  • [SPARK-37088] [PYSPARK][SQL] O thread do gravador não deve acessar a entrada após o retorno do ouvinte de conclusão da tarefa
  • [SPARK-37069] [SQL] Fazer fallback corretamente quando Hive.getWithoutRegisterFns não estiver disponível
  • [SPARK-37050] [PYTHON] Atualizar instruções de instalação do Conda
  • [SPARK-37067] [SQL] Use ZoneId.of() para manipular a cadeia de caracteres de fuso horário em DatetimeUtils
  • [SPARK-35925] [SQL] Suporte a DayTimeIntervalType na função width-bucket
  • [SPARK-35926] [SQL] Adicionar suporte a YearMonthIntervalType para width_bucket
  • [SPARK-35973] [SQL] Adicionar comando SHOW CATALOGS
  • [SPARK-36922] [SQL] As funções SIGN/SIGNUM devem dar suporte a intervalos ANSI
  • [SPARK-37078] [CORE] Suporte a construtores Sink antigos de três parâmetros
  • [SPARK-37061] [SQL] Corrigir CustomMetrics ao usar classes internas
  • [SPARK-35918] [AVRO] Unificar o tratamento de incompatibilidade de esquema para leitura/gravação e aprimoramento de mensagens de erro
  • [SPARK-36871] [SQL] Migrar comando CreateViewStatement para v2
  • [SPARK-36898] [SQL] Tornar o fator de junção hash aleatória configurável
  • [SPARK-36921] [SQL] Suporte a intervalos ANSI por DIV
  • [SPARK-36794] [SQL] Ignorar chaves de associação duplicadas ao criar a relação para a junção hash SEMI/ANTI aleatorizada
  • [SPARK-36867] [SQL] Corrigir mensagem de erro com alias GROUP BY
  • [SPARK-36914] [SQL] Implementar dropIndex e listIndexes no JDBC (dialeto MySQL)
  • [SPARK-35531] [SQL] Passar diretamente a Tabela do Hive para HiveClient ao chamar getPartitions para evitar a conversão desnecessária de HiveTable -> CatalogTable - -> HiveTable
  • [SPARK-36718] [SQL] Recolher projetos somente se não duplicarmos expressões caras
  • [SPARK-37046] [SQL]: Alterar exibição não preserva as maiúsculas e minúsculas da coluna
  • [SPARK-36978] [SQL] A regra InferConstraints deve criar restrições IsNotNull no campo aninhado acessado em vez do tipo aninhado raiz
  • [SPARK-37052] [CORE] O Spark só deve passar o argumento –verbose para a classe principal quando for a sql shell
  • [SPARK-37017] [SQL] Reduzir o escopo do sincronizado para evitar um possível deadlock
  • [SPARK-37032] [SQL] Corrigir link de sintaxe SQL desfeito na página de Referência do SQL
  • [SPARK-36905] [SQL] Corrigir exibições de hive de leitura sem nomes de coluna explícitos
  • [SPARK-36678] Migrar SHOW TABLES para usar o comando V2 por padrão
  • [SPARK-36943] [SQL] Aprimorar a legibilidade da mensagem de erro de coluna ausente
  • [SPARK-36980] [SQL] Inserir consulta de suporte com CTE
  • [SPARK-37001] [SQL] Desativar dois níveis do mapa para agregação do hash final por padrão
  • [SPARK-36970] [SQL] Formato desabilitado manual B da função date_format para tornar o Java 17 compatível com Java 8
  • [SPARK-36546] [SQL] Adicionar suporte de matriz à união por nome
  • [SPARK-36979] [SQL] Adicionar regra RewriteLateralSubquery em nonExcludableRules
  • [SPARK-36949] [SQL] Não permitir tabelas de provedor do Hive com intervalos ANSI
  • [SPARK-36849] [SQL] Migrar UseStatement para a estrutura de comando v2
  • [SPARK-36868] [SQL] Migrar CreateFunctionStatement para a estrutura de comando v2
  • [SPARK-36841] [SQL] Adicionar sintaxe ANSI set catalog xxx para alterar o catálogo atual
  • [SPARK-36821] [SQL] Tornar a classe ColumnarBatch estendível – adendo
  • [SPARK-36963] [SQL] Adicionar max_by/min_by ao sql.functions
  • [SPARK-36913] [SQL] Implementar createIndex e IndexExists no DS V2 JDBC (dialeto MySQL)
  • [SPARK-36848] [SQL] Migrar ShowCurrentNamespaceStatement para a estrutura de comando v2
  • [SPARK-36526] [SQL] Suporte ao índice DSV2: adicionar interface supportsIndex
  • [SPARK-36960] [SQL] Filtros de pushdown com valores de intervalo ANSI para ORC
  • [SPARK-36929] [SQL] Remover método não utilizado ElimineSubqueryAliasesSuite#assertEquivalent
  • [SPARK-36931] [SQL] Suporte à leitura e gravação de intervalos ANSI de/para fonte de dados ORC
  • [SPARK-34980] [SQL] Suporte à partição de união por meio da união no AQE
  • [SPARK-36809] [SQL] Remover transmissão para InSubqueryExec usada no DPP
  • [SPARK-36813] [SQL][PYTHON] Propor uma infraestrutura de junção as-of e ps.merge_asof
  • [SPARK-36918] [SQL] Ignorar tipos ao comparar structs para unionByName
  • [SPARK-36891] [SQL] Refatorar SpecificParquetRecordReaderBase e adicione mais cobertura na decodificação de Parquet vetorizada
  • [SPARK-36920] [SQL] Suporte a intervalos ANSI por ABS()
  • [SPARK-36888] [SQL] Adicionar casos de testes para a função de sha2
  • [SPARK-36889] [SQL] Respeitar spark.sql.parquet.filterPushdown pelo construtor de varredura parquet v2
  • [SPARK-36830] [SQL] Suporte à leitura e gravação de intervalos ANSI de/para fonte de dados JSON
  • [SPARK-36870] [SQL] Introduzir classe de erro INTERNAL_ERROR
  • [SPARK-36831] [SQL] Suporte à leitura e gravação de intervalos ANSI de/para fonte de dados CSV.
  • [SPARK-36550] [SQL] Causa de propagação quando a reflexão da UDF falha
  • [SPARK-36866] [SQL] Filtros de pushdown com valores de intervalo ANSI para Parquet
  • [SPARK-33832] [SQL] Forçar a simplificação e o aprimoramento do código de junção de distorção
  • [SPARK-36642] [SQL] Adicionar API df.withMetadata do pyspark
  • [SPARK-35765] [SQL] As agregações distintas não diferenciam duplicação
  • [SPARK-36825] [SQL] Ler/gravar dataframes com intervalos ANSI de/para arquivos parquet
  • [SPARK-36829] [SQL] Refatorar verificação NULL para collectionOperators
  • [SPARK-32712] [SQL] Suporte à gravação de tabela em bucket do Hive (formatos de arquivo Hive com hash do Hive)
  • [SPARK-36797] [SQL] A união deve resolver colunas aninhadas como colunas de nível superior
  • [SPARK-36838] [SQL] Melhorar o desempenho de código gerado pelo InSet
  • [SPARK-36683] [SQL] Adicionar novas funções de SQL: SEC e CSC
  • [SPARK-36721] [SQL] Simplificar as igualdades boolianas se um lado for literal
  • [SPARK-36760] [SQL] Adicionar interface SupportsPushDownV2Filters
  • [SPARK-36652] [SQL] A seleção de junção dinâmica do AQE não deve se aplicar à junção non-equi
  • [SPARK-36745] [SQL] ExtractEquiJoinKeys deve retornar os predicados originais nas chaves de junção
  • [SPARK-36107] [SQL] Refatorar o primeiro conjunto de 20 erros de execução de consulta para usar classes de erro
  • [SPARK-32709] [SQL] Suporte à gravação de tabela em bucket do Hive (formato Parquet/ORC com hash do Hive)
  • [SPARK-36735] [SQL] Ajustar a sobrecarga da relação armazenada em cache para o DPP
  • [SPARK-33832] [SQL] Suporte para otimizar junção distorcida mesmo se isso introduzir aleatoriedade adicional
  • [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec deve usar todas as condições em vez de uma condição non-equi
  • [SPARK-35221] [SQL] Adicionar a verificação de dicas de junção com suporte
  • [SPARK-36814] [SQL] Tornar a classe ColumnarBatch estendível
  • [SPARK-36663] [SQL] Suporte a nomes de coluna somente número em fontes de dados ORC
  • [SPARK-36751] [SQL][PYTHON][R] Adicionar APIs de bit/octet_length ao Scala, Python e R
  • [SPARK-36733] [SQL] Corrigir um problema de perf em SchemaPruning quando um struct tem muitos campos
  • [SPARK-36724] [SQL] Suporte ao timestamp_ntz como um tipo de coluna de tempo para SessionWindow
  • [SPARK-36556] [SQL] Adicionar filtros DSV2
  • [SPARK-36687] [SQL][CORE] Renomear classes de erro com o sufixo _ERROR
  • [SPARK-35803] [SQL] Suporte a DataSource V2 CreateTempViewUsing
  • [SPARK-36642] [SQL] Adicionar df.withMetadata: um syntax sugar para atualizar os metadados de um dataframe

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 10.1.

Ambiente do sistema

  • Sistema operacional: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (atualização cumulativa de ISO) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bleach 3.3.0 boto3 1.16.7 botocore 1.19.7
certifi 2020.12.5 cffi 1.14.5 chardet 4.0.0
cycler 0.10.0 Cython 0.29.23 dbus-python 1.2.16
decorator 5.0.6 defusedxml 0.7.1 distlib 0.3.3
distro-info 0.23ubuntu1 entrypoints 0.3 facets-overview 1.0.0
filelock 3.3.1 idna 2.10 ipykernel 5.3.4
ipython 7.22.0 ipython-genutils 0.2.0 ipywidgets 7.6.3
jedi 0.17.2 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.7.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 koalas 1.8.2 MarkupSafe 2.0.1
matplotlib 3.4.2 mistune 0.8.4 nbclient 0.5.3
nbconvert 6.0.7 nbformat 5.1.3 nest-asyncio 1.5.1
notebook 6.3.0 numpy 1.19.2 empacotando 20.9
pandas 1.2.4 pandocfilters 1.4.3 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.3.0
prometheus-client 0.10.1 prompt-toolkit 3.0.17 protobuf 3.17.2
psycopg2 2.8.5 ptyprocess 0.7.0 pyarrow 4.0.0
pycparser 2,20 Pygments 2.8.1 PyGObject 3.36.0
pyparsing 2.4.7 pyrsistent 0.17.3 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
solicitações 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Bibliotecas R instaladas

As bibliotecas do R estão instaladas desde o instantâneo do Microsoft CRAN em 26/10/2021.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
askpass 1,1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
sinal de interpolação 6.0-90 cellranger 1.1.0 chron 2.3-56
classe 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1,7 compiler 4.1.1 config 0.3.1
cpp11 0.4.0 crayon 1.4.1 credenciais 1.3.1
curl 4.3.2 data.table 1.14.2 conjuntos de dados 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.2 diffobj 0.3.5 digest 0.6.28
dplyr 1.0.7 dtplyr 1.1.0 e1071 1.7-9
ellipsis 0.3.2 evaluate 0,14 fansi 0.5.0
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-81
forge 0.2.0 fs 1.5.0 future 1.22.1
future.apply 1.8.1 gargle 1.2.0 Genéricos 0.1.1
gert 1.4.1 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-2 globals 0.14.0
glue 1.4.2 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 elemento gráfico 4.1.1 grDevices 4.1.1
grade 4.1.1 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0,9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 KernSmooth 2.23-20
knitr 1.36 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 ciclo de vida 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1,1 MASS 7.3-54 Matriz 1.3-4
memoise 2.0.0 methods 4.1.1 mgcv 1.8-38
mime 0,12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 parallel 4.1.1
parallelly 1.28.1 pillar 1.6.4 pkgbuild 1.2.0
pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
progress 1.2.2 progressr 0.9.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.2
readxl 1.3.1 recipes 0.1.17 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.1 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.12 rmarkdown 2,11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.2
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.7.1
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 stats4 4.1.1
stringi 1.7.5 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2,10
testthat 3.1.0 tibble 3.1.5 tidyr 1.1.4
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.34 tools 4.1.1 tzdb 0.1.2
usethis 2.1.2 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 whisker 0,4
withr 2.4.2 xfun 0.27 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo Artifact ID Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1,2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,19
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx coletor 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2,34
org.glassfish.jersey.containers jersey-container-servlet-core 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-common 2,34
org.glassfish.jersey.core jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,0
org.scalanlp breeze_2.12 1,0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1