Databricks Runtime 6.0 (sem suporte)

Artigo
03/01/2024

O Databricks lançou essa imagem em outubro de 2019.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 6.0, da plataforma do Apache Spark.

Novos recursos

Ambiente do Python

O Databricks Runtime 6.0 inclui alterações importantes no Python e a maneira como os ambientes do Python são configurados, incluindo a atualização do Python para o 3.7.3, o refinamento da lista de pacotes do Python instalados e a atualização desses pacotes instalados para versões mais recentes. Para obter detalhes, consulte Bibliotecas do Python instaladas.

Além disso, como foi anunciado anteriormente, o Databricks Runtime 6.0 não dá suporte ao Python 2.

As principais alterações incluem:

Atualização do Python de 3.5.2 para 3.7.3. Algumas versões antigas de pacotes do Python podem não ser compatíveis com o Python 3.7 porque dependem de versões antigas do Cython que não são compatíveis com o Python 3.7. Instalar um pacote desse tipo pode disparar erros semelhantes ‘PyThreadState’ {‘struct _ts’} has no member named ‘exc_type’ a (consulte a edição 1978 do GitHub para obter detalhes). Em vez disso, instale versões compatíveis com Python 3.7 de pacotes do Python.
Atualizações de pacote principais:
- boto3 para 1.9.162
- ipython para 7.4.0
- matplotlib para 3.0.3
- numpy para 1.16.2
- pandas para 0.24.2
- pyarrow para 0.13.0
Em comparação com o Databricks Runtime 5.5 LTS (sem suporte), os seguintes pacotes Python são incluídos recentemente: asn1crypto, backcall, jedi, kiwisolver, parso e PySocks.
Em comparação com Databricks Runtime 5.5 LTS (sem suporte), os seguintes pacotes Python não estão instalados: ansi2html, brewer2mpl, colorama, configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, MarkupSafe, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, python-geohash, scour, simplejson e singledispatch.
Não há mais suporte para a função display em objetos ggplot do Python porque o pacote ggplot não é compatível com a versão mais recente do Pandas.
Não há suporte à configuração PYSPARK_PYTHON como /databricks/python2/bin/python porque o Databricks Runtime 6.0 não dá suporte ao Python 2. Um cluster com essa configuração ainda pode ser iniciado. No entanto, os notebooks do Python e os comandos do Python não funcionarão, ou seja, as células de comando do Python falharão com um erro "Cancelado" e um erro Python shell failed to start aparecerá nos logs do driver.
Se PYSPARK_PYTHON aponta para um executável do Python que está em um ambiente gerenciado pelo Virtualenv, esse ambiente será ativado para os scripts de inicialização e os notebooks. É possível usar os comandos pythonpip definidos no ambiente ativado diretamente sem precisar especificar os locais absolutos desses comandos. Por padrão, PYSPARK_PYTHON é definido como /databricks/python3/bin/python. Portanto, por padrão, python aponta para /databricks/python3/bin/python e pip aponta /databricks/python3/bin/pip para os scripts de inicialização e os notebooks. Se o PYSPARK_PYTHON aponta para um executável do Python que não está em um ambiente gerenciado pelo Virtualenv ou se você estiver escrevendo um script de inicialização para criar o Python especificado por PYSPARK_PYTHON, você precisará usar caminhos absolutos para acessar o python e o pip corretos. Quando o isolamento da biblioteca do Python está habilitado (ele está habilitado por padrão), o ambiente ativado ainda é o ambiente ao qual PYSPARK_PYTHON está associado. Recomendamos que você use o Utilitário de biblioteca (dbutils.library) (herdado) para modificar o ambiente isolado associado a um notebook Python.

APIs do Scala e Java para comandos DML do Delta Lake

Agora é possível modificar dados em tabelas Delta usando as APIs programáticas para exclusão, atualização e mesclagem. Essas APIs espelham a sintaxe e a semântica de seus comandos do SQL correspondentes e são ótimas para muitas cargas de trabalho, por exemplo, operações de SCD (dimensão de alteração lenta), mesclagem de dados de alteração para replicação e upserts de consultas de streaming.

Para ver detalhes, confira O que é o Delta Lake?

APIs do Scala e Java para comandos do utilitário do Delta Lake

Databricks Runtime agora tem APIs programáticas para os comandos vacuum e history do utilitário. Essas APIs espelham a sintaxe e a semântica de seus SQL correspondentes disponíveis em versões anteriores do Databricks Runtime.

É possível limpar arquivos que não são mais referenciados por uma tabela Delta e são mais antigos do que o limite de retenção executando vacuum na tabela. Executar o comando vacuum na tabela limpa recursivamente os diretórios associados à tabela Delta. O limite de retenção padrão para os arquivos é de 7 dias. A capacidade de viajar no tempo de volta para uma versão anterior ao período de retenção é perdida após a execução de vacuum. vacuum não é disparado automaticamente.

Você pode recuperar informações de operações, usuário, carimbo de data/hora e assim por diante relativas a cada gravação em uma tabela do Delta com o comando history. As operações são retornadas em ordem cronológica inversa. Por padrão, o histórico de tabela é mantido por 30 dias.

Para ver detalhes, confira O que é o Delta Lake?

Cache de disco disponível para instâncias do Azure Lsv2

[Disk caching]](../../optimizations/disk-cache.md) agora está habilitado por padrão para todas as instâncias Lsv2.

Armazenamento otimizado usando as APIs de arquivo local

As APIs de arquivo local são úteis, pois permitem que você acesse arquivos do armazenamento de objetos distribuídos subjacente como arquivos locais. No Databricks Runtime 6.0, melhoramos a montagem FUSE que permite que as APIs de arquivo local adquiram limitações de chave. O Databricks Runtime 6.0 melhora significativamente a velocidade de leitura e gravação e dá suporte a arquivos maiores que 2 GB. Se você precisar de leituras e gravações mais rápidas e confiáveis, como para treinamento de modelo distribuído, é possível achar esse melhoramento particularmente útil. Além disso, você não precisaria carregar dados em um armazenamento local para suas cargas de trabalho, economizando custos e melhorando a produtividade.

Para ver detalhes, confira O que é o DBFS (Sistema de Arquivos do Databricks)?.

Vários gráficos matplotlib por célula de notebook

Agora é possível exibir vários gráficos matplotlib por célula do notebook:

Multiple matplotlib plots in cell

Credenciais de serviço para várias contas do Azure Data Lake Storage Gen1

Agora é possível configurar credenciais de serviço para várias contas do Acessar o Azure Data Lake Storage Gen1 do Azure Databricks para uso em uma única sessão do Apache Spark. Para fazer isso, adicione account.<account-name> às chaves de configuração. Por exemplo, se você quiser configurar credenciais para que as contas acessem adl://example1.azuredatalakestore.net e adl://example2.azuredatalakestore.net, você poderá fazer isso da seguinte forma:

spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")

spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")

spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")

Aprimoramentos

SDK do AWS atualizado para 1.11.596.
Atualização do SDK do Armazenamento do Microsoft Azure no driver WASB para 7.0.
OPTIMIZE agora fornece um resumo das métricas, como o número de arquivos adicionados, o número de arquivos removidos e o tamanho máximo e mínimo do arquivo. Confira Compactar arquivos de dados com otimização no Delta Lake.

Remoção

A exportação de modelo do Databricks do ML foi removida. A partir de agora, use MLeap para importar e exportar modelos.

Apache Spark

Observação

Este artigo contém referências ao termo escravo, que o Azure Databricks não usa mais. Quando o termo for removido do software, também o removeremos deste artigo.

O Databricks Runtime 6.0 inclui o Apache Spark 2.4.3. Esta versão inclui todas as correções e os aprimoramentos do Spark incluídos no Databricks Runtime 5.5 LTS (sem suporte), bem como as seguintes correções de bugs e aprimoramentos adicionais feitos no Spark:

[SPARK-27992][SPARK-28881][PYTHON] Permitir que o Python participe com o thread de conexão para propagar erros
[SPARK-27330][SS] Suporte a interrupção da tarefa no gravador de foreach (6.0, 5.x)
[SPARK-28642][SQL] Ocultar credenciais em MOSTRAR CRIAR TABELA
[SPARK-28699][CORE] Corrige um caso fora do padrão ao anular o estágio indeterminado
[SPARK-28647][WEBUI] Recuperar recurso de métrica adicional
[SPARK-28766][R][DOC] Correção do aviso de viabilidade de entrada CRAN em UMA URL inválida
[SPARK-28486][CORE][PYTHON] Mapear o arquivo de dados do PythonBroadcast para um BroadcastBlock para evitar a exclusão pelo GC
[SPARK-25035][CORE] Evitar o mapeamento de memória na replicação de blocos armazenados em disco
[SPARK-27234][SS][PYTHON] Usar InheritableThreadLocal para a época atual no EpochTracker (para dar suporte a UDFs do Python)
[SPARK-28638][WEBUI] O resumo da tarefa deve conter apenas métricas de tarefas bem-sucedidas
[SPARK-28153][PYTHON] Usar AtomicReference em InputFileBlockHolder (para dar suporte input_file_name com o Python UDF)
[SPARK-28564][CORE] O aplicativo de histórico de acesso assume como padrão a ID da última tentativa
[SPARK-28260] O cluster pode ser encerrado automaticamente enquanto a consulta thriftserver ainda está buscando resultados
[SPARK-26152][CORE] Sincronizar a limpeza do trabalho com o desligamento do trabalho
[SPARK-28545][SQL] Adicione o tamanho do mapa de hash ao log direcional de ObjectAggregationIterator
[SPARK-28489][SS] Correção de um bug em que KafkaOffsetRangeCalculator.getRanges pode soltar deslocamentos
[SPARK-28421][ML] Otimização de desempenho SparseVector.apply
[SPARK-28156][SQL] A união automática não deve perder a exibição armazenada em cache
[SPARK-28152][SQL] ShortType é mapeado para SMALLINT e FloatType para REAL para MsSqlServerDialect
[SPARK-28054][SQL] Corrige o erro ao inserir a tabela particionada do Hive dinamicamente em que o nome da partição é maiúscula
[SPARK-27159][SQL] Atualizar o dialeto do servidor mssql para dar suporte ao tipo binário
[SPARK-28355][CORE][PYTHON] Usar a configuração do Spark para o limite no qual com...
[SPARK-27989][CORE] Adicionadas novas tentativas de conexão com o driver para k8s
[SPARK-27416][SQL] Serialização UnsafeMapData e UnsafeArrayData Kryo...
[SPARK-28430][UI] Corrigir a renderização da tabela de estágio quando as métricas de algumas tarefas estão ausentes
[SPARK-27485] EnsureRequirements.reorder deve tratar expressões duplicadas normalmente
[SPARK-28404][SS] Corrigir o valor de tempo limite negativo em RateStreamContinuousPartitionReader
[SPARK-28378][PYTHON] Remover o uso de cgi.escape
[SPARK-28371][SQL] Tornar o filtro Parquet "StartsWith" nulo
[SPARK-28015][SQL] Verifica se o stringToDate() consome toda a entrada para os formatos aaaa e aaaa-[m]m
[SPARK-28302][CORE] Certifique-se de gerar um arquivo de saída exclusivo para SparkLauncher Windows
[SPARK-28308][CORE] A parte do subsegundo de CalendarInterval deve ser preenchida antes da análise
[SPARK-28170][ML][PYTHON] Documentação de Matriz e vetores uniformes
[SPARK-28160][CORE] Correção de um bug que a função de retorno de chamada pode travar quando a exceção desmarcada é perdida
[SPARK-27839][SQL] Alterar UTF8String.replace() para operar em bytes UTF8
[SPARK-28157][CORE] Limpar SHS KVStore LogInfo para as entradas na lista de blacklist
[SPARK-28128][PYTHON][SQL] Pandas UDFs agrupadas ignoram partições vazias
[SPARK-28012][SQL] O UDF do Hive dá suporte à expressão dobrável do tipo struct
[SPARK-28164] Corrigir a descrição de uso start-slave.sh
[SPARK-27100][SQL] Usar a Matriz em vez de Seq em FilePartition para evitar StackOverflowError
[SPARK-28154][ML] Correção de cache duplo do GMM

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 6.0.

Ambiente do sistema

Sistema operacional: Ubuntu 16.04.6 LTS
Java: 1.8.0_232
Scala: 2.11.12
Python: 3.7.3
R: R versão 3.6.1 (05/07/2019)
Delta Lake: 0.3.0