Databricks Runtime 13.0 (sem suporte)

Artigo
03/01/2024

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.0, da plataforma Apache Spark 3.4.0.

O Databricks lançou essas imagens em abril de 2023.

Novos recursos e aprimoramentos

As expressões H3 agora dão suporte a geografias lineares
Ganglia substituído por métricas de cluster
Spark 3.4.0 lançado
O Photon retornará um erro se um arquivo for modificado entre o plano da consulta e a execução
Novos recursos para E/S preditiva
Suporte estendido para recursos de E/S Preditiva
Use o conector do Azure Databricks para se conectar a outro workspace do Azure Databricks
Opções adicionais do Kafka para Fluxo estruturado com cluster compartilhado no Catálogo do Unity
Ignorar modificações de tabela Delta com Fluxo estruturado
Recurso CREATE TABLE LIKE para tabelas Delta
Novos campos de coluna de metadados indicando o início e comprimento do bloco de arquivos
Novas funções geoespaciais H3
Novas funções internas do SQL
%sql nos Notebooks do Python
%pip não reinicia o Python automaticamente
As bibliotecas do Python no escopo do cluster são instaladas usando um usuário não raiz

As expressões H3 agora dão suporte a geografias lineares

As funções h3_coverash3 e h3_coverash3string agora dão suporte a geografias lineares (linestring e multilinestring). As funções produzem um conjunto mínimo de cobertura de células H3 na resolução especificada. Confira h3_coverash3 e h3_coverash3string.

Ganglia substituído por métricas de cluster

Para versões 13 e superiores do Databricks Runtime, as métricas do Ganglia são substituídas por métricas de cluster do Azure Databricks. Para versões 12 e inferiores do Databricks Runtime, você pode continuar a usar as métricas do Ganglia. Se você tiver um fluxo de trabalho que dependa das métricas do Ganglia e que não possa ser satisfeito com as métricas do cluster, entre em contato com a equipe da sua conta do Azure Databricks. Confira Exibir métricas de computação.

Spark 3.4.0 lançado

O Apache Spark 3.4.0 agora está em disponibilidade geral. Consulte a versão 3.4.0 do Spark.

O Photon retornará um erro se um arquivo for modificado entre o plano da consulta e a execução

O Photon retornará um erro se um arquivo for modificado entre o plano da consulta e a execução. Antes dessa alteração, o Photon leria um arquivo mesmo que o tempo de modificação seja alterado entre o planejamento e a execução da consulta, o que poderia levar a resultados imprevisíveis.

Novos recursos para E/S preditiva

O Photon agora dá suporte a quadros deslizantes, para os modos ROWS e RANGE, usando {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Suporte estendido para recursos de E/S preditiva

Suporte estendido do Photon para fontes de dados de cache CSV, AVRO, DataFrame quando o esquema contém exclusivamente colunas escalares. O suporte também foi estendido para tipos aninhados, como mapas, structs e matrizes.

Use o conector do Azure Databricks para se conectar a outro workspace do Azure Databricks

O conector do Azure Databricks permite que você se conecte aos recursos de computação configurados em outro workspace e retorne resultados ao workspace atual do Azure Databricks. O driver JDBC do Azure Databricks agora está incluído no Databricks Runtime. ConsulteUsar o conector do Azure Databricks para se conectar a outro workspace do Azure Databricks

Opções adicionais do Kafka para Fluxo estruturado com cluster compartilhado no Catálogo do Unity

Agora você pode usar as configurações kakfa.ssl.truststore.location e kafak.ssl.keystore.location armazenar certificados Kafka em locais externos gerenciados pelo Catálogo do Unity ao usar o Streaming Estruturado em clusters de acesso compartilhado. Não é possível usar locais na raiz do DBFS.

Ignorar modificações de tabela Delta com Streaming Estruturado

Agora você pode usar skipChangeCommits para ignorar confirmações de alteração de dados para a tabela Delta para operações UPDATE, MERGE e DELETE. Isso substitui ignoreChanges, que agora está preterido. Consulte Ignorar atualizações e exclusões.

Recurso CREATE TABLE LIKE para tabelas Delta

CREATE TABLE LIKE agora há suporte ao usar tabelas Delta.

Novos campos de coluna de metadados indicando o início e comprimento do bloco de arquivos

Agora você pode obter as seguintes informações de metadados para arquivos de entrada com a coluna _metadata: file_block_start e file_block_length. Para obter mais informações, consulte Coluna de metadados de arquivo.

Novas funções geoespaciais H3

As novas expressões h3_coverash3 e h3_coverash3string estão disponíveis para processamento geoespacial quando o Photon está habilitado. Confira Funções geoespaciais H3

Novas funções internas do SQL

As seguintes funções foram adicionadas:

array_insert(array, index, elem)Retorna um array expandido em que elem é inserido na posição index.
luhn_check(numStr) Retorna true se numStr passar na verificação do algoritmo Luhn.

`%sql` nos Notebooks do Python

Todos os resultados não vazios %sql nos notebooks Python agora estão acessíveis usando _sqldf ou o sistema de cache de saída do IPython. Isso simplifica o uso do resultado do DataFrame no Python. Essa é uma alteração de comportamento das versões anteriores do DBR, como anteriormente, _sqldf nem sempre foi reatribuída.

_sqldf não será reatribuído em um resultado de célula %sql se a célula tiver sido executada usando a execução paralela da célula SQL.

`%pip` não reinicia o Python automaticamente

Depois de executar os comandos %pip dentro de notebooks Python que modificam o virtualEnv, o Databricks não reinicia automaticamente o processo do Python. Para reiniciar o processo do Python, chame dbutils.library.restartPython(). Com essa alteração, os comandos %pip no Databricks se comportam de forma semelhante aos Jupyter Notebooks e são consistentes com os comandos !pip e %sh pip. O Databricks recomenda %pip em vez de !pip ou %sh pip.

As bibliotecas do Python no escopo do cluster são instaladas usando um usuário não raiz

As bibliotecas agora são instaladas usando um usuário não raiz responsável pelas instalações da biblioteca. Se você quiser configurar o comportamento de instalação do pip em scripts de inicialização, use o [arquivo https://pip.pypa.io/en/stable/topics/configuration/#configuration-files de nível global).

Correções de bug

Nos comandos %sh foram feitas as seguintes correções:
- Agora há suporte para a saída que não contém caracteres UTF-8.
- Os subprocessos agora são interrompidos quando o comando é cancelado.

Atualizações da biblioteca

Bibliotecas do Python atualizadas:
- asttokens de 2.0.5 para 2.2.1
- black de 22.3.0 para 22.6.0
- boto3 de 1.21.32 para 1.24.28
- botocore de 1.24.32 para 1.27.28
- certifi de 2021.10.8 para 2022.9.14
- cffi de 1.15.0 para 1.15.1
- cryptografia de 3.4.8 para 37.0.1
- Cython de 0.29.28 para 0.29.32
- dbus-python de 1.2.16 para 1.2.18
- docstring-to-markdown de 0.11 para 0.12
- executing de 0.8.3 para 1.2.0
- facets-overview de 1.0.0 para 1.0.2
- fastjsonschema de 2.16.2 para 2.16.3
- filelock de 3.9.0 para 3.10.7
- ipykernel de 6.15.3 para 6.17.1
- ipython de 8.5.0 para 8.10.0
- joblib de 1.1.1 para 1.2.0
- jsonschema de 4.4.0 para 4.16.0
- jupyter-client de 6.1.12 para 7.3.4
- kiwisolver from 1.3.2 para 1.4.2
- matplotlib de 3.5.1 para 3.5.2
- matplotlib-inline de 0.1.2 para 0.1.6
- nbformat de 5.3.0 para 5.5.0
- notebook de 6.4.8 para 6.4.12
- pandas de 1.4.2 para 1.4.4
- Pillow de 9.0.1 para 9.2.0
- pip de 21.2.4 para 22.2.2
- platformdirs de 2.6.2 para 2.5.2
- plotly de 5.6.0 para 5.9.0
- prometheus-client de 0.13.1 para 0.14.1
- prompt-toolkit de 3.0.20 para 3.0.36
- psutil de 5.8.0 para 5.9.0
- pyflakes de 2.5.0 para 3.0.1
- PyGObject de 3.36.0 para 3.42.1
- pyparsing de 3.0.4 para 3.0.9
- piright de 1.1.283 para 1.1.294
- python-lsp-server de 1.6.0 para 1.7.1
- pytz de 2021.3 para 2022.1
- pyzmq de 22.3.0 para 23.2.0
- requests de 2.27.1 para 2.28.1
- corda de 0.22.0 para 1.7.0
- s3transfer de 0.5.0 para 0.6.0
- scikit-learn de 1.0.2 para 1.1.1
- scipy de 1.7.3 para 1.9.1
- setuptools de 61.2.0 para 63.4.1
- ssh-import-id de 5.10 para 5.11
- stack-data de 0.2.0 para 0.6.2
- testpath de 0.5.0 para 0.6.0
- tomli de 1.2.2 para 2.0.1
- ujson de 5.1.0 para 5.4.0
- urllib3 de 1.26.9 para 1.26.11
- virtualenv de 20.8.0 para 20.16.3
- whatthepatch de 1.0.4 para 1.0.2
- wheel de 0.37.0 para 0.37.1
Bibliotecas do R atualizadas:
- arrow de 10.0.0 para 10.0.1
- bit de 4.0.4 para 4.0.5
- broom de 1.0.1 para 1.0.3
- bslib de 0.4.1 para 0.4.2
- chron de 2.3-58 para 2.3-59
- cli de 3.4.1 para 3.6.0
- colorspace de 2.0-3 para 2.1-0
- curl de 4.3.3 para 5.0.0
- data.table de 1.14.4 para 1.14.6
- dbplyr de 2.2.1 para 2.3.0
- digest de 0.6.30 para 0.6.31
- dplyr de 1.0.10 para 1.1.0
- e1071 de 1.7-12 para 1.7-13
- evaluate de 0.18 para 0.20
- fansi de 1.0.3 para 1.0.4
- fontawesome de 0.4.0 para 0.5.0
- forcats de 0.5.2 para 1.0.0
- fs de 1.5.2 para 1.6.1
- future de 1.29.0 para 1.31.0
- gargle de 1.2.1 para 1.3.0
- gert de 1.9.1 para 1.9.2
- glmnet de 4.1-4 para 4.1-6
- globals de 0.16.1 para 0.16.2
- gower de 1.0.0 para 1.0.1
- mais alto de 0,9 para 0,10
- htmltools de 0.5.3 para 0.5.4
- htmlwidgets de 1.5.4 para 1.6.1
- httpuv de 1.6.6 para 1.6.8
- isoband de 0.2.6 para 0.2.7
- jsonlite de 1.8.3 para 1.8.4
- knitr de 1.40 para 1.42
- lava de 1.7.0 para 1.7.1
- listenv de 0.8.0 para 0.9.0
- lubridate de 1.9.0 para 1.9.1
- markdown de 1.3 para 1.5
- modelr de 0.1.9 para 0.1.10
- openssl de 2.0.4 para 2.0.5
- parallelly de 1.32.1 para 1.34.0
- pkgbuild de 1.3.1 para 1.4.0
- pkgdown de 2.0.6 para 2.0.7
- pkgload de 1.3.1 para 1.3.2
- plyr de 1.8.7 para 1.8.8
- progressr de 0.11.0 para 0.13.0
- purrr de 0.3.5 para 1.0.1
- ragg de 1.2.4 para 1.2.5
- Rcpp de 1.0.9 para 1.0.10
- readxl de 1.4.1 para 1.4.2
- recipes de 1.0.3 para 1.0.4
- rmarkdown de 2.18 para 2.20
- RODBC de 1.3-19 para 1.3-20
- roxygen2 de 7.2.1 para 7.2.3
- RSQLite de 2.2.18 para 2.2.20
- sass de 0.4.2 para 0.4.5
- shiny de 1.7.3 para 1.7.4
- sourcetools de 0.1.7 para 0.1.7-1
- sparklyr de 1.7.8 para 1.7.9
- SparkR de 3.3.2 para 3.4.0
- espacial de 7.3-11 para 7.3-15
- cadeia de caracteres de 1.7.8 para 1.7.12
- stringr de 1.4.1 para 1.5.0
- survival de 3.4-0 para 3.5-3
- testthat de 3.1.5 para 3.1.6
- tidyr de 1.2.1 para 1.3.0
- timechange de 0.1.1 para 0.2.0
- timeDate de 4021.106 para 4022.108
- tinytex de 0.42 para 0.44
- utf8 de 1.2.2 para 1.2.3
- vctrs de 0.5.0 para 0.5.2
- vroom de 1.6.0 para 1.6.1
- whisker de 0.4 para 0.4.1
- xfun de 0.34 para 0.37
- yaml de 2.3.6 para 2.3.7
Bibliotecas do Java atualizadas:
- com.amazonaws.aws-java-sdk-autoscaling de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-cloudformation de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-cloudfront de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-cloudhsm de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-cloudsearch de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-cloudtrail de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-cloudwatch de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-codedeploy de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-cognitosync de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-config de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-core de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-datapipeline de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-directconnect de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-directory de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-dynamodb de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-ec2 de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-ecs de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-efs de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-elasticache de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-emr de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-glacier de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-glue de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-iam de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-importexport de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-kinesis de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-kms de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-lambda de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-logs de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-machinelearning de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-opsworks de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-rds de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-redshift de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-route53 de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-s3 de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-ses de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-simpledb de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-sns de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-sqs de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-ssm de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-storagegateway de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-sts de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-support de 1.12.189 para 1.12.390
- com.amazonaws.aws-java-sdk-workspaces de 1.12.189 para 1.12.390
- com.amazonaws.jmespath-java de 1.12.189 para 1.12.390
- com.fasterxml.jackson.core.jackson-annotations de 2.13.4 para 2.14.2
- com.fasterxml.jackson.core.jackson-core de 2.13.4 para 2.14.2
- com.fasterxml.jackson.core.jackson-databind de 2.13.4.2 para 2.14.2
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.4 para 2.14.2
- com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.4 para 2.14.2
- com.fasterxml.jackson.module.jackson-module-paranamer de 2.13.4 para 2.14.2
- com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.4 para 2.14.2
- com.github.luben.zstd-jni de 1.5.2-1 para 1.5.2-5
- com.google.code.gson.gson de 2.8.6 para 2.8.9
- com.google.crypto.tink.tink de 1.6.1 para 1.7.0
- com.h2database.h2 de 2.0.204 para 2.1.214
- com.jcraft.jsch de 0.1.50 para 0.1.55
- com.ning.compress-lzf de 1.1 para 1.1.2
- commons-fileupload.commons-fileupload de 1.3.3 para 1.5
- dev.ludovic.netlib.arpack de 2.2.1 para 3.0.3
- dev.ludovic.netlib.blas de 2.2.1 para 3.0.3
- dev.ludovic.netlib.lapack de 2.2.1 para 3.0.3
- io.dropwizard.metrics.metrics-core de 4.1.1 para 4.2.10
- io.dropwizard.metrics.metrics-graphite de 4.1.1 para 4.2.10
- io.dropwizard.metrics.metrics-healthchecks de 4.1.1 para 4.2.10
- io.dropwizard.metrics.metrics-jetty9 de 4.1.1 para 4.2.10
- io.dropwizard.metrics.metrics-jmx de 4.1.1 para 4.2.10
- io.dropwizard.metrics.metrics-json de 4.1.1 para 4.2.10
- io.dropwizard.metrics.metrics-jvm de 4.1.1 para 4.2.10
- io.dropwizard.metrics.metrics-servlets de 4.1.1 para 4.2.10
- io.netty.netty-all de 4.1.74.Final para 4.1.87.Final
- io.netty.netty-buffer de 4.1.74.Final para 4.1.87.Final
- io.netty.netty-codec de 4.1.74.Final para 4.1.87.Final
- io.netty.netty-common de 4.1.74.Final para 4.1.87.Final
- io.netty.netty-handler de 4.1.74.Final para 4.1.87.Final
- io.netty.netty-resolver de 4.1.74.Final para 4.1.87.Final
- io.netty.netty-transport de 4.1.74.Final para 4.1.87.Final
- io.netty.netty-transport-classes-epoll de 4.1.74.Final para 4.1.87.Final
- io.netty.netty-transport-classes-kqueue de 4.1.74.Final para 4.1.87.Final
- io.netty.netty-transport-native-unix-common de 4.1.74.Final para 4.1.87.Final
- joda-time.joda-time de 2.10.13 para 2.12.1
- net.razorvine.pickle de 1.2 para 1.3
- org.antlr.antlr4-runtime de 4.8 para 4.9.3
- org.apache.ant.ant de 1.9.2 para 1.9.16
- org.apache.ant.ant-jsch de 1.9.2 para 1.9.16
- org.apache.ant.ant-launcher de 1.9.2 para 1.9.16
- org.apache.arrow.arrow-format de 7.0.0 para 11.0.0
- org.apache.arrow.arrow-memory-core de 7.0.0 para 11.0.0
- org.apache.arrow.arrow-memory-netty de 7.0.0 para 11.0.0
- org.apache.arrow.arrow-vector de 7.0.0 para 11.0.0
- org.apache.avro.avro de 1.11.0 para 1.11.1
- org.apache.avro.avro-ipc de 1.11.0 para 1.11.1
- org.apache.avro.avro-mapred de 1.11.0 para 1.11.1
- org.apache.httpcomponents.httpclient de 4.5.13 para 4.5.14
- org.apache.httpcomponents.httpcore de 4.4.14 para 4.4.16
- org.apache.ivy.ivy de 2.5.0 para 2.5.1
- org.apache.logging.log4j.log4j-1.2-api de 2.18.0 para 2.19.0
- org.apache.logging.log4j.log4j-api de 2.18.0 para 2.19.0
- org.apache.logging.log4j.log4j-core de 2.18.0 para 2.19.0
- org.apache.orc.orc-core de 1.7.6 para 1.8.2-shaded-protobuf
- org.apache.orc.orc-mapreduce de 1.7.6 para 1.8.2-shaded-protobuf
- org.apache.orc.orc-shims de 1.7.6 para 1.8.2
- org.apache.xbean.xbean-asm9-shaded de 4.20 para 4.22
- org.apache.zookeeper.zookeeper de 3.6.2 para 3.6.3
- org.apache.zookeeper.zookeeper-jute de 3.6.2 a 3.6.3
- org.eclipse.jetty.jetty-client de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-continuation de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-http de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-io de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-jndi de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-plus de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-proxy de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-security de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-server de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-servlet de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-servlets de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-util de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-util-ajax de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-webapp de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.jetty-xml de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-api de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-client de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-common de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-server de 9.4.46.v20220331 para 9.4.50.v20221201
- org.eclipse.jetty.websocket.websocket-servlet de 9.4.46.v20220331 para 9.4.50.v20221201
- org.hibernate.validator.hibernate-validator de 6.1.0.Final para 6.1.7.Final
- org.mlflow.mlflow-spark de 2.1.1 para 2.2.0
- org.postgresql.postgresql de 42.3.3 para 42.3.8
- org.roaringbitmap.RoaringBitmap de 0.9.25 para 0.9.39
- org.roaringbitmap.shims de 0.9.25 para 0.9.39
- org.rocksdb.rocksdbjni de 6.28.2 para 7.8.3
- org.scala-lang.scala-compiler_2.12 de 2.12.14 para 2.12.15
- org.scala-lang.scala-library_2.12 de 2.12.14 para 2.12.15
- org.scala-lang.scala-reflect_2.12 de 2.12.14 para 2.12.15
- org.scalanlp.breeze-macros_2.12 de 1.2 para 2.1.0
- org.scalanlp.breeze_2.12 de 1.2 para 2.1.0
- org.slf4j.jcl-over-slf4j de 1.7.36 para 2.0.6
- org.slf4j.jul-to-slf4j de 1.7.36 para 2.0.6
- org.slf4j.slf4j-api de 1.7.36 para 2.0.6
- org.threeten.threeten-extra de 1.5.0 para 1.7.1
- org.wildfly.openssl.wildfly-openssl de 1.0.7.Final para 1.1.3.Final
- org.yaml.snakeyaml de 1.24 para 1.33

Apache Spark

O Databricks Runtime 13.0 inclui o Apache Spark 3.4.0.

Spark SQL
Spark Core
Streaming estruturado
Spark Connect
PySpark
MLLIB
SparkR
Interface do Usuário Dinâmica e Serviço de Servidor do Histórico
Compilar

Spark SQL

Recursos

Implementação de suporte para valores DEFAULT para colunas em tabelas (SPARK-38334)
Add Dataset.as(StructType) (SPARK-39625)
Compatível com SQL parametrizado (SPARK-41271, SPARK-42702)
Adicionar transformar colunas em linhas / derretimento (SPARK-38864, SPARK-39876)
Compatível com "referências de alias de coluna lateral" (SPARK-27561)
Compatível com cláusula de deslocamento de resultado (SPARK-28330, SPARK-39159)
Compatível com carimbo de data/hora sem tipo de dados de fuso horário (SPARK-35662)
Compatível com subconsultas escalares em viagens no tempo (SPARK-39306)
Torne a API do Catálogo compatível com o namespace de 3 camadas (SPARK-39235)
Compatíevcl com carimbo de data/hora em segundos para TimeTravel usando opções do Dataframe (SPARK-39633)
Adicionar SparkSession.config(Map) (SPARK-40163)
Compatível com alteração do banco de dados padrão do catálogo de sessão (SPARK-35242)
Compatibilidade do Protobuf para Spark - from_protobuf E to_protobuf (SPARK-40654)
Adicionar a cláusula WHEN NOT MATCHED BY SOURCE a MERGE INTO (SPARK-40921)
Relaxar a restrição de ordem para as opções de coluna CREATE TABLE (SPARK-40944)
Equivalente do SQL para o comando de substituição do Dataframe (SPARK-40956)
Compatível com Gerar sem necessidade de saída filho para hospedar referências externas (SPARK-41441)
ORDER BY ALL (SPARK-41637)
GROUP BY ALL (SPARK-41635)
Adicionar flatMapSortedGroups e cogroupSorted (SPARK-38591)
Compatível com subconsultas com predicados de não igualdade correlacionados (SPARK-36114)
Compatível com subconsultas com correlação por meio de UNION/INTERSECT/EXCEPT (SPARK-36124)

Conformidade com ANSI

Modo ANSI do SQL: sempre retornar nulo no acesso inválido à coluna do mapa (SPARK-40066)
Compatível com identificadores com cotas duplas (SPARK-40585)
Modo ANSI do SQL: Round/Bround deve retornar um erro após estouro de inteiro (SPARK-42045)
Compatível com a conversão de integrais para intervalos ANSI (SPARK-40008)
Compatível com conversão de decimais para intervalos ANSI (SPARK-40014)
Retornar tipos de intervalo ANSI mais amplos das funções de percentil (SPARK-40151)
Compatível com a conversão de intervalos ANSI para decimais (SPARK-39470)
Compatível com intervalos de conversão para integrais no modo ANSI (SPARK-39451)
Proteger o uso do SQLSTATE para classes de erro (SPARK-41994)

Funções

Compatível com funções geradoras com valor de tabela na cláusula FROM (SPARK-41594)
Compatível com a função de agregação ANSI: REGR_SXY (SPARK-37681)
Compatível com a função de agregação ANSI: REGR_R2 (SPARK-37641)
Compatível com a função de agregação ANSI: REGR_SXX (SPARK-37672)
Compatível com a função de agregação ANSI: REGR_SYY (SPARK-37702)
Compatível com a função de agregação ANSI: REGR_SLOPE (SPARK-39230)
Comatível com a função de agregação ANSI: REGR_INTERCEPT (SPARK-37623)
Compatível com a função de agregação ANSI PERCENTILE_CONT como função de janela (SPARK-38219)
Compatível com a função de agregação ANSI: PERCENTILE_DISC (SPARK-37691)
Compatível com a função SPLIT_PART (SPARK-38063)
Compatível com a função TRY_AVG (SPARK-38589)
Compatível com a função TRY_TO_BINARY (SPARK-38590)
Compatível com as funções TO_NUMBER e TRY_TO_NUMBER SQL de acordo com uma nova especificação (SPARK-38796)
Compatível com a especificação e a função de valor geral: USER (SPARK-39138)
Compatível com as funções TO_CHAR e TRY_TO_CHAR para formatar valores decimais como cadeias de caracteres (SPARK-28516)
Compatível com a função de agregação ANY_VALUE (SPARK-39213)
Compatível com a função EQUAL_NUL function (SPARK-39305)
Compatível com a função de agregação MEDIAN (SPARK-39320)
Compatível com a funçãoREGEXP_COUNT (SPARK-39618)
Compatível com a função REGEXP_INSTR (SPARK-39744)
Compatível com a função REGEXP_SUBSTR (SPARK-39695)
Compatível com a função UNPIVOT (SPARK-39876)
Compatível com a função TRY_TO_TIMESTAMP (SPARK-39795)
Compatível com a codificação/decodificação de URL como função interna e arrumar funções relacionadas à URL (SPARK-39741)
Compatível com a função MODE (SPARK-39808)
Compatível com a função GET (SPARK-40109)
Adicionar aliases de função: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
Melhorar a função TO_BINARY (SPARK-40112)
Compatível com CURRENT_SCHEMA (SPARK-41323)
Compatível com a função interna MASK (SPARK-40687)
Compatível com a função de alta ordem: ARRAY_COMPACT (SPARK-41235)
Compatível com a função ARRAY_APPEND (SPARK-41232)
Compatível com a função ARRAY_INSERT (SPARK-41234)
Compatível com a função LUHN_CHECK (SPARK-42191)
Compatível com ARRAY_SORT(column, comparator) (SPARK-39925)

Fontes de dados

Compatível com Estatística da Coluna em DS v2 (SPARK-41378)
Junção Particionada de Armazenamento (SPJ) no DS v2 (SPARK-37375)
Operações de nível de linha no DS v2 (SPARK-35801)
Adicionar combinação SupportsReportOrdering na interface para verificação de DS v2 (SPARK-38647)
Inferir o tipo de DATE para inferência de esquema (SPARK-39469)
Compatível com métricas de driver na API de métrica personalizada DS v2 (SPARK-39635)
A distribuição e ordenação são compatível com a função DS v2 por escrito (SPARK-39607)
Compatível com StringEndsWith/Contains e é enviado por push para Parquet para que possamos aproveitar o filtro de dicionário (SPARK-39002)
Compatível com UDT no leitor vetorizado do Spark Parquet (SPARK-39086)
Estender a coluna METADATA para dar suporte a índices de linha para arquivos Parquet (SPARK-37980)
Compatível com a leitura do tipo FIXED_LEN_BYTE_ARRAY do Parquet (SPARK-41096)
Otimizar a ordem dos predicados de filtragem (SPARK-40045)
Compatível com consultas CTE e tabela temporária com MSSQL JDBC (SPARK-37259)
Compatível com ignoreCorruptFiles e ignoreMissingFiles nas opções de fonte de dados (SPARK-38767)
Retire a gravação v1 em WriteFiles (SPARK-41407)
Adicionar preenchimento de caracteres do lado da leitura para cobrir arquivos de dados externos (SPARK-40697)

Otimização de consultas

Mesclagem de subconsultas escalares não correlacionadas (SPARK-34079)
Habilitar junções de filtro Bloom por padrão (SPARK-38841)
Remover distinção desnecessária na expressão de agregação por distinctKeys (SPARK-38832)
Suporte a pushdown de predicado e a remoção de coluna para CTEs desduplicados (SPARK-37670)
Remover junção externa se as funções de agregação forem independentes duplicadas no lado transmitido (SPARK-38886)
Remova a junção externa esquerda/direita se apenas as colunas do lado esquerdo/direito estiverem selecionadas e as teclas de junção do outro lado forem exclusivas (SPARK-39172)
Otimizar classificação global para RepartitionByExpression (SPARK-39911)
Otimizar a regra TransposeWindow (SPARK-38034)
Aprimorar EliminateSorts para dar suporte à remoção de classificações por meio de LocalLimit (SPARK-40050)
Efetuar push do limite local para ambos os lados se a condição de junção estiver vazia (SPARK-40040)
Adicionar PushProjectionThroughLimit para Optimizer (SPARK-40501)
Compatível com PIVOT/UNPIVOT com junção de elementos filho (SPARK-41195)
Compatível com remoção de coluna com vários filtros não determinísticos (SPARK-41017)
Aprimorar o particionamento e a ordenação da saída com o cache do AQE (SPARK-41048)
Aprimorar o desempenho de curtidas múltiplas criando um predicado de árvore de expressão equilibrada (SPARK-41167)
Remoção da classificação se for o filho de RepartitionByExpression (SPARK-36703)
Usar estatísticas de coluna disponíveis de estágios de consulta concluídos (SPARK-39991)
Reutilizar expressões em WindowSpecDefinition (SPARK-41805)
Melhorar AliasAwareOutputPartitioning e AliasAwareQueryOutputOrdering para levar todos os aliases em conta (SPARK-40086, SPARK-42049)
Limite de push down por meio de UDFs do Python (SPARK-42115)

Geração de Código e Execução de Consulta

Fazer defaultJoin em BroadcastNestedLoopJoinExec com execução em paralelo (SPARK-40487)
Compatível com Codegen para HiveGenericUDF (SPARK-42051)
Introduzir ordem aleatória no SinglePartition (SPARK-41986)
Faz com que o DPP seja compatível com o lado da remoção que tenha Union (SPARK-39217)

Outras alterações importantes

Compatível com a Coleta de Estatísticas de Partição Automática (SPARK-38573)
Formatar mensagens de erro no Thrift Server (SPARK-40098)
Adicionar uma API de extensão para fazer a normalização do plano para cache (SPARK-41183)
Refatorar tipos do Spark introduzindo tipos físicos (SPARK-41226)
Verificações de recursão e suporte a campos OneOf (SPARK-41396)
Centralizar a lógica de resolução de coluna (SPARK-41405)
Melhorar a validação de alteração de plano (SPARK-42081)
Introduzir o SparkPath para segurança de tipo (SPARK-41970)
Gerar exceção para db_name.view_name ao criar exibição temporária pela API do conjunto de dados (SPARK-41090)
Alterar o valor padrão da função de Máscara de -1 para NULL (SPARK-42070)

Spark Core

Desativação

Evite executar novamente tarefas desnecessárias no executor desativado perdido se os dados em ordem aleatória forem migrados (SPARK-41469)
Ignorar falha de busca de estágio causada pelo executor desativado (SPARK-40481)
Habilite spark.storage.decommission. (rdd|shuffle) Blocks.enabled por padrão (SPARK-40198)
Adicionar suporte para descomissionamento do YARN quando o ESS estiver desabilitado (SPARK-30835)

Agendador

Tornar o agendamento de estágio compatível com o modo de cluster local (SPARK-41949)
Compatível com o perfil de recurso da tarefa de nível de fase para cluster autônomo quando a alocação dinâmica está desabilitada (SPARK-39853)
Atraso onDisconnected para habilitação O driver recebe ExecutorExitCode (SPARK-39957)
Melhorar a especulação por meio das métricas da tarefa de preparo (SPARK-32170)
Adicionar compatibilidade com o agendamento de recursos em nível de fase para cluster autônomo (SPARK-39062)
Aprimorar o processo LaunchTask para evitar falhas na etapa causadas por mensagens LaunchTask que não forem enviadas (SPARK-39955)

Ordem aleatória

Adicionar métricas de leitura do lado do cliente do Push Based Shuffle (SPARK-36620)
Métricas aleatórias do lado do servidor para ordem aleatória baseada em push (SPARK-33573)
Verifique se mergedShuffleCleaner foi desligado antes do fechamento do banco de dados (SPARK-40186)
Adicionar compatibilidade do RocksDB para o repositório de estado do serviço em ordem aleatória (SPARK-38888)
Encapsular LevelDB usado para armazenar o estado de embaralhamento remoto/externo como BD (SPARK-38909)
Habilitar spark.dynamicAllocation.shuffleTracking.enabled por padrão (SPARK-3984)
Habilitar o serviço de ordem aleatória baseado em push para armazenar o estado em DB nível NM para reinicialização de preservação do trabalho (SPARK-33236)
Remover blocos de ordem aleatória usando o serviço de ordem aleatória para executores lançados (SPARK-37618)

Outras alterações importantes

Compatibilidade com ambiente somente IPv6 (SPARK-39457)
Habilitar spark.kryo.unsafe por padrão (SPARK-42137)
Não permitir classpath personalizado arbitrário com o usuário proxy no modo de cluster (SPARK-41958)
Evitar o novo registro do BlockManager se o executor tiver sido perdido (SPARK-41360)
Remover a limitação de que o resultado de uma única tarefa deve caber em 2 GB (SPARK-40622)
Remover o suporte de configurações de spark.akka.* preteridas (SPARK-40401)
Alterar o log padrão para stderr para consistente com o comportamento de log4j (SPARK-40406)
Excluir metadados directTaskResult ao calcular o tamanho do resultado (SPARK-40261)
Permitir a personalização do número de partições iniciais no comportamento take() (SPARK-40211)
Uso do bloqueio interruptível em vez de sincronizado em Executor.updateDependencies() (SPARK-40235)
Falha de tarefa deve sempre disparar ouvintes de falha de tarefa (SPARK-40106)
Adicionar a capacidade de desabilitar seletivamente a observação ou sondagem (SPARK-36462)
Não armazenar as relações de transmissão não serializadas em cache no driver (SPARK-39983)
Consertar o deadlock entre TaskMemoryManager e UnsafeExternalSorter.SpillableIterator (SPARK-39283)
Expor as partições numéricas em um estágio para TaskContext (SPARK-38679)
Tornar o fator de sobrecarga de memória configurável (SPARK-38194)
Evitar usar bash -c em ShellBasedGroupsMappingProvider (SPARK-38992)

Streaming estruturado

Principais recursos

Processamento com estado arbitrário em Python em streaming estruturado (SPARK-39591)
Processamento com estado arbitrário no Fluxo Estruturado com o Python (SPARK-40434)
Compatível com Protobuf em Fluxo estruturado (SPARK-40653)
Corrigir a filtragem de registro tardia para dar suporte ao encadeamento de operadores com estado (SPARK-40925)

Outras alterações importantes

Introduzindo um gerenciador de arquivos de ponto de verificação de streaming com base na interface anulável do Hadoop (SPARK-40039)
Preterir Trigger.Once e promover Trigger.AvailableNow (SPARK-39805)
Expor as informações da tabela de catálogo ao plano lógico na consulta de streaming (SPARK-39564)
Compatível com a coleta de métricas de coletores de streaming (SPARK-38564)
Preterir a API DStream (SPARK-42075)
Inverter o valor padrão da configuração de busca de deslocamento do Kafka (SPARK-40844)
Fornecer sessão do Spark clonada no DataFrame na função de usuário para o coletor foreachBatch no PySpark (SPARK-41379)

Spark Connect

Cliente do Python

Implementar a API do DataFrame (SPARK-41279)
Implementar a API de Coluna (SPARK-41282)
Implementar a API de Funções (SPARK-41283)
Implementar a API SparkSession (SPARK-41281)
Implementar a API de E/S (SPARK-41284)
Implementar a API de Catálogo (SPARK-41289)
Compatível com funções definidas pelo usuário no Python (SPARK-41661)
Compatível com a API de Função Pandas/Seta (SPARK-42393)
Compatível com configuração de SQL de runtime (SPARK-42499)
Build, pacote e infraestrutura para Spark Connect (SPARK-41286)
Anotações de tipo para o cliente Python do Spark Connect (SPARK-40451)

Cliente do Scala

Implementar o cliente Scala básico (SPARK-41534, SPARK-42133, SPARK-42043, SPARK-41822)
Implementar a API SparkSession (SPARK-42639, SPARK-42581, SPARK-42564, SPARK-42544, SPARK-42631)
Implementar a API de Dataframe (SPARK-42440, SPARK-42559, SPARK-42558, SPARK-42556, SPARK-42468, SPARK-42529, SPARK-42561, SPARK-42894, SPARK-41874, SPARK-42691, SPARK-42692, SPARK-42481, SPARK-42541, SPARK-42542, SPARK-42520, SPARK-41823)
Implementar a API de Coluna (SPARK-42441, SPARK-42560)
Implementar a API de Funções (SPARK-42461, SPARK-42579, SPARK-42527, SPARK-42531, SPARK-42495, SPARK-42557)
Implementar a API E/S (SPARK-42457, SPARK-42555, SPARK-42690, SPARK-42878, SPARK-42757, SPARK-42482, SPARK-42733, SPARK-42518)
Implementar a configuração de SQL de runtime (SPARK-42586)
Compatibilidade báscia com a função definida pelo usuário (SPARK-42283, SPARK-42653, SPARK-42543)
Compatibilidade básica coma API tipada (SPARK-42580, SPARK-42605)
Infraestrutura de teste para Spark Connect (SPARK-42172, SPARK-42377, SPARK-42599)
Implementar o suporte a REPL (SPARK-42656, SPARK-42884)

PySpark

API do Pandas no Spark

Melhoria importante
- Processamento com estado arbitrário no Fluxo Estruturado com o Python (SPARK-40434)
- Implementar parâmetros ausentes da API do Pandas (SPARK-42883)
- Compatível com o Pandas 1.5 (SPARK-40576)
Recurso principal
- Implementar Series.searchsorted (SPARK-40330)
- Implementar Series.autocorr (SPARK-38774)
- Implementar DataFrame.mode (SPARK-40138)
- Implementar DataFrame.boxplot e DataFrame.plot.box (SPARK-38993)
- Implementar DataFrame.corrwith (SPARK-38907)
- Implementar DataFrame.resample e Series.resample (SPARK-39081)
- Implementar DataFrame.interpolate e Series.interpolate (SPARK-38844)
- Implementar DataFrame.ewm e Series.ewm (SPARK-38785)
- Implementar GroupBy.prod (SPARK-40334)
- Implementar GroupBy.nth (SPARK-40333)
- Implementar GroupBy.quantile (SPARK-40332)
- Implementar GroupBy.sem (SPARK-40305)
- Implementar GroupBy.mad (SPARK-39284)
- Implementar GroupBy.skew (SPARK-39246)
- Implementar GroupBy.sem (SPARK-39129)
- Compatível com a indexação posicional GroupBy (SPARK-38947)

Outras alterações importantes

Aprimoramentos principais
- Fornecer um criador de perfil de memória para funções definidas pelo usuário do PySpark (SPARK-40281)
- Torne a API do Catálogo compatível com o namespace de 3 camadas (SPARK-39235)
- Compatível com a entrada numPy no PySpark (SPARK-39405)
- Melhorias de erro do PySpark (SPARK-41597)
Principais recursos
- Compatível com SQL parametrizado no PySpark (SPARK-41666)
- Implementar a função "median" (SPARK-40003)
- Implementar a função "mode" (SPARK-40007)
- Implementar a função 'unpivot/melt' (SPARK-39877)
- Compatibilidade com Varchar no PySpark (SPARK-39760)
- Compatibilidade com CharType no PySpark (SPARK-39809)

MLLIB

Implementar o Distribuidor PyTorch (SPARK-41589)
Unificar a validação de dados (SPARK-38584)
Reduzir o tamanho da ordem aleatória do ALS (SPARK-40476, SPARK-40745)
Recursos duplicados de regressão isotônica de eliminação de duplicação (SPARK-41008)
Bloqueio de AFT dos vetores de entrada (SPARK-30661)
Adicionar pontuação de relevância para avaliação do nDCG (SPARK-39446)

SparkR

Adicionar transformar colunas em linhas / derretimento(SPARK-41267)
Compatível com ARRAY_SORT(column, comparator) (SPARK-40167)
Compatível com descarte de várias "Colunas" no R (SPARK-40087)
Compatibilidade do Arrow 9.0.0 com o SparkR (SPARK-40114)
Tornar a API de Catálogo compatível com namespace de três camadas (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
Compatível com R 4.2.0 (SPARK-39372)

Interface do usuário Dinâmica e Serviço de Servidor de Histórico

Melhor escalabilidade da interface do usuário do Spark e estabilidade do driver para aplicativos grandes (SPARK-41053)
Use RocksDB para spark.history.store.hybridStore.diskBackend por padrão (SPARK-42277)
Agrupar execuções aninhadas na execução raiz(SPARK-41752)
Mostrar propriedades de métricas na guia ambiente (SPARK-39110)
Corrigir tamanho/registros de entrada StagePage não são mostrados quando os registros são maiores que zero (SPARK-34777)
Aprimorar o desempenho do registro em log de eventos JsonProtocol usando Jackson em vez de Json4s (SPARK-39489)
Compatível com spark.history.fs.update.batchSize (SPARK-39225)

Build

Atualizar cloudpickle para v2.2.0 (SPARK-40991)
Compatível com Python 3.7 preterido (SPARK-39861)
Compatível com Python 3.11 (SPARK-41454)
Atualizar dev.ludovic.netlib para 3.0.2 (SPARK-40251)
Atualizar o breeze para 2.0 (SPARK-39616)
Atualize a versão slf4j para 2.0.6 (SPARK-41561)
Atualizar a versão do kubernetes-client para 6.4.1 (SPARK-42362)
Atualizar rocksdbjni para 7.9.2 ( SPARK-42129)
Atualizar o Apache Arrow para 11.0.0 ( SPARK-42161 )
Atualizar o Apache Kafka para 3.3.2 (SPARK-42109)

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 13.0.

Ambiente do sistema

Sistema operacional: Ubuntu 22.04.2 LTS
Java: Zulu 8.68.0.21-CA-linux64
Scala: 2.12.15
Python: 3.10.6
R: 4.2.2
Delta Lake: 2.3.0

Bibliotecas Python instaladas

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
appdirs	1.4.4	argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0
asttokens	2.2.1	attrs	21.4.0	backcall	0.2.0
beautifulsoup4	4.11.1	black	22.6.0	bleach	4.1.0
blinker	1.4	boto3	1.24.28	botocore	1.27.28
certifi	2022.9.14	cffi	1.15.1	chardet	4.0.0
charset-normalizer	2.0.4	clique	8.0.4	criptografia	37.0.1
cycler	0.11.0	Cython	0.29.32	dbus-python	1.2.18
debugpy	1.5.1	decorator	5.1.1	defusedxml	0.7.1
distlib	0.3.6	docstring-to-markdown	0,12	entrypoints	0,4
em execução	1.2.0	facets-overview	1.0.2	fastjsonschema	2.16.3
filelock	3.10.7	fonttools	4.25.0	googleapis-common-protos	1.56.4
grpcio	1.48.1	grpcio-status	1.48.1	httplib2	0.20.2
idna	3.3	importlib-metadata	4.6.4	ipykernel	6.17.1
ipython	8.10.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
jedi	0.18.1	jeepney	0.7.1	Jinja2	2.11.3
jmespath	0.10.0	joblib	1.2.0	jsonschema	4.16.0
jupyter-client	7.3.4	jupyter_core	4.11.2	jupyterlab-pygments	0.1.2
jupyterlab-widgets	1.0.0	keyring	23.5.0	kiwisolver	1.4.2
launchpadlib	1.10.16	lazr.restfulclient	0.14.4	lazr.uri	1.0.6
MarkupSafe	2.0.1	matplotlib	3.5.2	matplotlib-inline	0.1.6
mccabe	0.7.0	mistune	0.8.4	more-itertools	8.10.0
mypy-extensions	0.4.3	nbclient	0.5.13	nbconvert	6.4.4
nbformat	5.5.0	nest-asyncio	1.5.5	nodeenv	1.7.0
notebook	6.4.12	numpy	1.21.5	oauthlib	3.2.0
empacotando	21.3	pandas	1.4.4	pandocfilters	1.5.0
parso	0.8.3	pathspec	0.9.0	patsy	0.5.2
pexpect	4.8.0	pickleshare	0.7.5	Pillow	9.2.0
pip	22.2.2	platformdirs	2.5.2	plotly	5.9.0
pluggy	1.0.0	prometheus-client	0.14.1	prompt-toolkit	3.0.36
protobuf	3.19.4	psutil	5.9.0	psycopg2	2.9.3
ptyprocess	0.7.0	pure-eval	0.2.2	pyarrow	7.0.0
pycparser	2.21	pyflakes	3.0.1	Pygments	2.11.2
PyGObject	3.42.1	PyJWT	2.3.0	pyodbc	4.0.32
pyparsing	3.0.9	pyright	1.1.294	pyrsistent	0.18.0
python-dateutil	2.8.2	python-lsp-jsonrpc	1.0.0	python-lsp-server	1.7.1
pytoolconfig	1.2.2	pytz	2022.1	pyzmq	23.2.0
solicitações	2.28.1	rope	1.7.0	s3transfer	0.6.0
scikit-learn	1.1.1	scipy	1.9.1	seaborn	0.11.2
SecretStorage	3.3.1	Send2Trash	1.8.0	setuptools	63.4.1
six	1.16.0	soupsieve	2.3.1	ssh-import-id	5.11
stack-data	0.6.2	statsmodels	0.13.2	tenacity	8.0.1
terminado	0.13.1	testpath	0.6.0	threadpoolctl	2.2.0
tokenize-rt	4.2.1	tomli	2.0.1	tornado	6.1
traitlets	5.1.1	ujson	5.4.0	unattended-upgrades	0,1
urllib3	1.26.11	virtualenv	20.16.3	wadllib	1.3.6
wcwidth	0.2.5	webencodings	0.5.1	whatthepatch	1.0.2
wheel	0.37.1	widgetsnbextension	3.6.1	yapf	0.31.0
zipp	1.0.0

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do Instantâneo CRAN da Microsoft em 02/10/2023.

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
seta	10.0.1	askpass	1,1	assertthat	0.2.1
backports	1.4.1	base	4.2.2	base64enc	0.1-3
bit	4.0.5	bit64	4.0.5	blob	1.2.3
boot	1.3-28	brew	1.0-8	brio	1.1.3
broom	1.0.3	bslib	0.4.2	cachem	1.0.6
callr	3.7.3	sinal de interpolação	6.0-93	cellranger	1.1.0
chron	2.3-59	class	7.3-21	cli	3.6.0
clipr	0.8.0	clock	0.6.1	cluster	2.1.4
codetools	0.2-19	colorspace	2.1-0	commonmark	1.8.1
compiler	4.2.2	config	0.3.1	cpp11	0.4.3
crayon	1.5.2	credenciais	1.3.2	curl	5.0.0
data.table	1.14.6	conjuntos de dados	4.2.2	DBI	1.1.3
dbplyr	2.3.0	desc	1.4.2	devtools	2.4.5
diffobj	0.3.5	digest	0.6.31	downlit	0.4.2
dplyr	1.1.0	dtplyr	1.2.2	e1071	1.7-13
ellipsis	0.3.2	evaluate	0,20	fansi	1.0.4
farver	2.1.1	fastmap	1.1.0	fontawesome	0.5.0
forcats	1.0.0	foreach	1.5.2	foreign	0.8-82
forge	0.2.0	fs	1.6.1	future	1.31.0
future.apply	1.10.0	gargle	1.3.0	genéricos	0.1.3
gert	1.9.2	ggplot2	3.4.0	gh	1.3.1
gitcreds	0.1.2	glmnet	4.1-6	globals	0.16.2
glue	1.6.2	googledrive	2.0.0	googlesheets4	1.0.1
gower	1.0.1	elemento gráfico	4.2.2	grDevices	4.2.2
grade	4.2.2	gridExtra	2.3	gsubfn	0.7
gtable	0.3.1	hardhat	1.2.0	haven	2.5.1
highr	0,10	hms	1.1.2	htmltools	0.5.4
htmlwidgets	1.6.1	httpuv	1.6.8	httr	1.4.4
ids	1.0.1	ini	0.3.1	ipred	0.9-13
isoband	0.2.7	iterators	1.0.14	jquerylib	0.1.4
jsonlite	1.8.4	KernSmooth	2.23-20	knitr	1.42
labeling	0.4.2	later	1.3.0	lattice	0.20-45
lava	1.7.1	ciclo de vida	1.0.3	listenv	0.9.0
lubridate	1.9.1	magrittr	2.0.3	markdown	1.5
MASS	7.3-58.2	Matriz	1.5-1	memoise	2.0.1
methods	4.2.2	mgcv	1.8-41	mime	0,12
miniUI	0.1.1.1	ModelMetrics	1.2.2.2	modelr	0.1.10
munsell	0.5.0	nlme	3.1-162	nnet	7.3-18
numDeriv	2016.8-1.1	openssl	2.0.5	parallel	4.2.2
parallelly	1.34.0	pillar	1.8.1	pkgbuild	1.4.0
pkgconfig	2.0.3	pkgdown	2.0.7	pkgload	1.3.2
plogr	0.2.0	plyr	1.8.8	praise	1.0.0
prettyunits	1.1.1	pROC	1.18.0	processx	3.8.0
prodlim	2019.11.13	profvis	0.3.7	progress	1.2.2
progressr	0.13.0	promises	1.2.0.1	proto	1.0.0
proxy	0.4-27	ps	1.7.2	purrr	1.0.1
r2d3	0.2.6	R6	2.5.1	ragg	1.2.5
randomForest	4.7-1.1	rappdirs	0.3.3	rcmdcheck	1.4.0
RColorBrewer	1.1-3	Rcpp	1.0.10	RcppEigen	0.3.3.9.3
readr	2.1.3	readxl	1.4.2	recipes	1.0.4
rematch	1.0.1	rematch2	2.1.2	remotes	2.4.2
reprex	2.0.2	reshape2	1.4.4	rlang	1.0.6
rmarkdown	2,20	RODBC	1.3-20	roxygen2	7.2.3
rpart	4.1.19	rprojroot	2.0.3	Rserve	1.8-12
RSQLite	2.2.20	rstudioapi	0,14	rversions	2.1.2
rvest	1.0.3	sass	0.4.5	scales	1.2.1
selectr	0.4-2	sessioninfo	1.2.2	shape	1.4.6
shiny	1.7.4	sourcetools	0.1.7-1	sparklyr	1.7.9
SparkR	3.4.0	spatial	7.3-15	splines	4.2.2
sqldf	0.4-11	SQUAREM	2021.1	stats	4.2.2
stats4	4.2.2	stringi	1.7.12	stringr	1.5.0
survival	3.5-3	sys	3.4.1	systemfonts	1.0.4
tcltk	4.2.2	testthat	3.1.6	textshaping	0.3.6
tibble	3.1.8	tidyr	1.3.0	tidyselect	1.2.0
tidyverse	1.3.2	timechange	0.2.0	timeDate	4022.108
tinytex	0,44	tools	4.2.2	tzdb	0.3.0
urlchecker	1.0.1	usethis	2.1.6	utf8	1.2.3
utils	4.2.2	uuid	1.1-0	vctrs	0.5.2
viridisLite	0.4.1	vroom	1.6.1	waldo	0.4.0
whisker	0.4.1	withr	2.5.0	xfun	0.37
xml2	1.3.3	xopen	1.0.0	xtable	1.8-4
yaml	2.3.7	zip	2.2.2

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

ID do Grupo	Artifact ID	Versão
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.390
com.amazonaws	aws-java-sdk-cloudformation	1.12.390
com.amazonaws	aws-java-sdk-cloudfront	1.12.390
com.amazonaws	aws-java-sdk-cloudhsm	1.12.390
com.amazonaws	aws-java-sdk-cloudsearch	1.12.390
com.amazonaws	aws-java-sdk-cloudtrail	1.12.390
com.amazonaws	aws-java-sdk-cloudwatch	1.12.390
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.390
com.amazonaws	aws-java-sdk-codedeploy	1.12.390
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.390
com.amazonaws	aws-java-sdk-cognitosync	1.12.390
com.amazonaws	aws-java-sdk-config	1.12.390
com.amazonaws	aws-java-sdk-core	1.12.390
com.amazonaws	aws-java-sdk-datapipeline	1.12.390
com.amazonaws	aws-java-sdk-directconnect	1.12.390
com.amazonaws	aws-java-sdk-directory	1.12.390
com.amazonaws	aws-java-sdk-dynamodb	1.12.390
com.amazonaws	aws-java-sdk-ec2	1.12.390
com.amazonaws	aws-java-sdk-ecs	1.12.390
com.amazonaws	aws-java-sdk-efs	1.12.390
com.amazonaws	aws-java-sdk-elasticache	1.12.390
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.390
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.390
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.390
com.amazonaws	aws-java-sdk-emr	1.12.390
com.amazonaws	aws-java-sdk-glacier	1.12.390
com.amazonaws	aws-java-sdk-glue	1.12.390
com.amazonaws	aws-java-sdk-iam	1.12.390
com.amazonaws	aws-java-sdk-importexport	1.12.390
com.amazonaws	aws-java-sdk-kinesis	1.12.390
com.amazonaws	aws-java-sdk-kms	1.12.390
com.amazonaws	aws-java-sdk-lambda	1.12.390
com.amazonaws	aws-java-sdk-logs	1.12.390
com.amazonaws	aws-java-sdk-machinelearning	1.12.390
com.amazonaws	aws-java-sdk-opsworks	1.12.390
com.amazonaws	aws-java-sdk-rds	1.12.390
com.amazonaws	aws-java-sdk-redshift	1.12.390
com.amazonaws	aws-java-sdk-route53	1.12.390
com.amazonaws	aws-java-sdk-s3	1.12.390
com.amazonaws	aws-java-sdk-ses	1.12.390
com.amazonaws	aws-java-sdk-simpledb	1.12.390
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.390
com.amazonaws	aws-java-sdk-sns	1.12.390
com.amazonaws	aws-java-sdk-sqs	1.12.390
com.amazonaws	aws-java-sdk-ssm	1.12.390
com.amazonaws	aws-java-sdk-storagegateway	1.12.390
com.amazonaws	aws-java-sdk-sts	1.12.390
com.amazonaws	aws-java-sdk-support	1.12.390
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.390
com.amazonaws	jmespath-java	1.12.390
com.clearspring.analytics	fluxo	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	classmate	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.14.2
com.fasterxml.jackson.core	jackson-core	2.14.2
com.fasterxml.jackson.core	jackson-databind	2.14.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.14.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.14.2
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.13.4
com.fasterxml.jackson.module	jackson-module-paranamer	2.14.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.14.2
com.github.ben-manes.caffeine	caffeine	2.3.4
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	native_ref-java	1.1-natives
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	native_system-java	1.1-natives
com.github.fommil.netlib	netlib-native_ref-linux-x86_64	1.1-natives
com.github.fommil.netlib	netlib-native_system-linux-x86_64	1.1-natives
com.github.luben	zstd-jni	1.5.2-5
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.8.9
com.google.crypto.tink	tink	1.7.0
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	guava	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	2.1.214
com.helger	profiler	1.1.1
com.jcraft	jsch	0.1.55
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.ning	compress-lzf	1.1.2
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.uber	h3	3.7.0
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.15
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.5
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.11.0
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	3.0.3
dev.ludovic.netlib	blas	3.0.3
dev.ludovic.netlib	lapack	3.0.3
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0,21
io.delta	delta-sharing-spark_2.12	0.6.3
io.dropwizard.metrics	metrics-core	4.2.10
io.dropwizard.metrics	metrics-graphite	4.2.10
io.dropwizard.metrics	metrics-healthchecks	4.2.10
io.dropwizard.metrics	metrics-jetty9	4.2.10
io.dropwizard.metrics	metrics-jmx	4.2.10
io.dropwizard.metrics	metrics-json	4.2.10
io.dropwizard.metrics	metrics-jvm	4.2.10
io.dropwizard.metrics	metrics-servlets	4.2.10
io.netty	netty-all	4.1.87.Final
io.netty	netty-buffer	4.1.87.Final
io.netty	netty-codec	4.1.87.Final
io.netty	netty-codec-http	4.1.87.Final
io.netty	netty-codec-http2	4.1.87.Final
io.netty	netty-codec-socks	4.1.87.Final
io.netty	netty-common	4.1.87.Final
io.netty	netty-handler	4.1.87.Final
io.netty	netty-handler-proxy	4.1.87.Final
io.netty	netty-resolver	4.1.87.Final
io.netty	netty-transport	4.1.87.Final
io.netty	netty-transport-classes-epoll	4.1.87.Final
io.netty	netty-transport-classes-kqueue	4.1.87.Final
io.netty	netty-transport-native-epoll	4.1.87.Final
io.netty	netty-transport-native-epoll	4.1.87.Final-linux-aarch_64
io.netty	netty-transport-native-epoll	4.1.87.Final-linux-x86_64
io.netty	netty-transport-native-kqueue	4.1.87.Final-osx-aarch_64
io.netty	netty-transport-native-kqueue	4.1.87.Final-osx-x86_64
io.netty	netty-transport-native-unix-common	4.1.87.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	coletor	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	activation	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.12.1
net.java.dev.jna	jna	5.8.0
net.razorvine	pickle	1,3
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.22
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.9.3
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.9.16
org.apache.ant	ant-jsch	1.9.16
org.apache.ant	ant-launcher	1.9.16
org.apache.arrow	arrow-format	11.0.0
org.apache.arrow	arrow-memory-core	11.0.0
org.apache.arrow	arrow-memory-netty	11.0.0
org.apache.arrow	arrow-vector	11.0.0
org.apache.avro	avro	1.11.1
org.apache.avro	avro-ipc	1.11.1
org.apache.avro	avro-mapred	1.11.1
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress	1.21
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recipes	2.13.0
org.apache.datasketches	datasketches-java	3.1.0
org.apache.datasketches	datasketches-memory	2.0.0
org.apache.derby	derby	10.14.2.0
org.apache.hadoop	hadoop-client-runtime	3.3.4
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.14
org.apache.httpcomponents	httpcore	4.4.16
org.apache.ivy	ivy	2.5.1
org.apache.logging.log4j	log4j-1.2-api	2.19.0
org.apache.logging.log4j	log4j-api	2.19.0
org.apache.logging.log4j	log4j-core	2.19.0
org.apache.logging.log4j	log4j-slf4j2-impl	2.19.0
org.apache.mesos	mesos	1.11.0-shaded-protobuf
org.apache.orc	orc-core	1.8.2-shaded-protobuf
org.apache.orc	orc-mapreduce	1.8.2-shaded-protobuf
org.apache.orc	orc-shims	1.8.2
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm9-shaded	4,22%
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	zookeeper	3.6.3
org.apache.zookeeper	zookeeper-jute	3.6.3
org.checkerframework	checker-qual	3.5.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.50.v20221201
org.eclipse.jetty	jetty-continuation	9.4.50.v20221201
org.eclipse.jetty	jetty-http	9.4.50.v20221201
org.eclipse.jetty	jetty-io	9.4.50.v20221201
org.eclipse.jetty	jetty-jndi	9.4.50.v20221201
org.eclipse.jetty	jetty-plus	9.4.50.v20221201
org.eclipse.jetty	jetty-proxy	9.4.50.v20221201
org.eclipse.jetty	jetty-security	9.4.50.v20221201
org.eclipse.jetty	jetty-server	9.4.50.v20221201
org.eclipse.jetty	jetty-servlet	9.4.50.v20221201
org.eclipse.jetty	jetty-servlets	9.4.50.v20221201
org.eclipse.jetty	jetty-util	9.4.50.v20221201
org.eclipse.jetty	jetty-util-ajax	9.4.50.v20221201
org.eclipse.jetty	jetty-webapp	9.4.50.v20221201
org.eclipse.jetty	jetty-xml	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket-api	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket-client	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket-common	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket-server	9.4.50.v20221201
org.eclipse.jetty.websocket	websocket-servlet	9.4.50.v20221201
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.36
org.glassfish.jersey.containers	jersey-container-servlet-core	2.36
org.glassfish.jersey.core	jersey-client	2.36
org.glassfish.jersey.core	jersey-common	2.36
org.glassfish.jersey.core	jersey-server	2.36
org.glassfish.jersey.inject	jersey-hk2	2.36
org.hibernate.validator	hibernate-validator	6.1.7.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	annotations	17.0.0
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.jdbc	mariadb-java-client	2.7.4
org.mlflow	mlflow-spark	2.2.0
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.3.8
org.roaringbitmap	RoaringBitmap	0.9.39
org.roaringbitmap	shims	0.9.39
org.rocksdb	rocksdbjni	7.8.3
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.15
org.scala-lang	scala-library_2.12	2.12.15
org.scala-lang	scala-reflect_2.12	2.12.15
org.scala-lang.modules	scala-collection-compat_2.12	2.4.3
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1,0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	2.1.0
org.scalanlp	breeze_2.12	2.1.0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	2.0.6
org.slf4j	jul-to-slf4j	2.0.6
org.slf4j	slf4j-api	2.0.6
org.threeten	threeten-extra	1.7.1
org.tukaani	xz	1.9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.1.3.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.4
org.yaml	snakeyaml	1.33
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1

Share via

Databricks Runtime 13.0 (sem suporte)

Novos recursos e aprimoramentos

As expressões H3 agora dão suporte a geografias lineares

Ganglia substituído por métricas de cluster

Spark 3.4.0 lançado

O Photon retornará um erro se um arquivo for modificado entre o plano da consulta e a execução

Novos recursos para E/S preditiva

Suporte estendido para recursos de E/S preditiva

Use o conector do Azure Databricks para se conectar a outro workspace do Azure Databricks

Opções adicionais do Kafka para Fluxo estruturado com cluster compartilhado no Catálogo do Unity

Ignorar modificações de tabela Delta com Streaming Estruturado

Recurso CREATE TABLE LIKE para tabelas Delta

Novos campos de coluna de metadados indicando o início e comprimento do bloco de arquivos

Novas funções geoespaciais H3

Novas funções internas do SQL

%sql nos Notebooks do Python

%pip não reinicia o Python automaticamente

As bibliotecas do Python no escopo do cluster são instaladas usando um usuário não raiz

Correções de bug

Atualizações da biblioteca

Apache Spark

Spark SQL

Recursos

Conformidade com ANSI

Funções

Fontes de dados

Otimização de consultas

Geração de Código e Execução de Consulta

Outras alterações importantes

Spark Core

Desativação

Agendador

Ordem aleatória

Outras alterações importantes

Streaming estruturado

Principais recursos

Outras alterações importantes

Spark Connect

Cliente do Python

Cliente do Scala

PySpark

API do Pandas no Spark

Outras alterações importantes

MLLIB

SparkR

Interface do usuário Dinâmica e Serviço de Servidor de Histórico

Build

Atualizações de manutenção

Ambiente do sistema

Bibliotecas Python instaladas

Bibliotecas R instaladas

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)

Recursos adicionais

`%sql` nos Notebooks do Python

`%pip` não reinicia o Python automaticamente