Databricks Runtime 6.0 (sem suporte)

Artigo
03/01/2024

A Databricks divulgou esta imagem em outubro de 2019.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 6.0, desenvolvido pelo Apache Spark.

Novos recursos

Ambiente Python

O Databricks Runtime 6.0 inclui grandes mudanças no Python e na forma como os ambientes Python são configurados, incluindo a atualização do Python para 3.7.3, o refinamento da lista de pacotes Python instalados e a atualização desses pacotes instalados para versões mais recentes. Para obter detalhes, consulte Bibliotecas Python instaladas.

Além disso, como foi anunciado anteriormente, o Databricks Runtime 6.0 não suporta Python 2.

As principais alterações incluem:

Python atualizado de 3.5.2 para 3.7.3. Algumas versões antigas de pacotes Python podem não ser compatíveis com o Python 3.7 porque dependem de versões antigas do Cython que não são compatíveis com o Python 3.7. A instalação de tal pacote pode desencadear erros semelhantes a ‘PyThreadState’ {‘struct _ts’} has no member named ‘exc_type’ (veja a edição do GitHub de 1978 para obter detalhes). Em vez disso, instale versões compatíveis com Python 3.7 de pacotes Python.
Principais atualizações de pacotes:
- boto3 a 1.9.162
- ipython para 7.4.0
- matplotlib para 3.0.3
- numpy para 1.16.2
- pandas até 0.24.2
- Pyarrow para 0.13.0
Em comparação com o Databricks Runtime 5.5 LTS (sem suporte), os seguintes pacotes Python foram recentemente incluídos: asn1crypto, backcall, jedi, kiwisolver, parso e PySocks.
Em comparação com o Databricks Runtime 5.5 LTS (não suportado), os seguintes pacotes Python não estão instalados: ansi2html, brewer2mpl, colorama, configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, MarkupSafe, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, python-geohash, scour, simplejson e singledispatch.
A display função em objetos ggplot Python não é mais suportada porque o pacote ggplot não é compatível com a versão mais recente do pandas.
A configuração PYSPARK_PYTHON como /databricks/python2/bin/python não é suportada porque o Databricks Runtime 6.0 não suporta Python 2. Um cluster com essa configuração ainda pode ser iniciado. No entanto, os notebooks Python e os comandos Python não funcionarão, ou seja, as células de comando Python falharão com um erro "Cancelado" e um Python shell failed to start erro aparecerá nos logs do driver.
Se PYSPARK_PYTHON apontar para um executável Python que está em um ambiente gerenciado pelo Virtualenv , esse ambiente será ativado para scripts init e notebooks. Você pode usar python e pip comandos que são definidos no ambiente ativado diretamente sem ter que especificar os locais absolutos desses comandos. Por padrão, PYSPARK_PYTHON é definido como /databricks/python3/bin/python. Assim, por padrão, python aponta para /databricks/python3/bin/python e pip aponta para /databricks/python3/bin/pipscripts e blocos de anotações init. Se você PYSPARK_PYTHON apontar para um executável Python que não está em um ambiente gerenciado pelo Virtualenv ou se você estiver escrevendo um script init para criar o Python especificado pelo PYSPARK_PYTHON, você precisará usar caminhos absolutos para acessar o correto python e pip. Quando o isolamento da biblioteca Python está ativado (é ativado por padrão), o ambiente ativado ainda é o ambiente ao qual PYSPARK_PYTHON está associado. Recomendamos que você use o utilitário Biblioteca (dbutils.library) (legado) para modificar o ambiente isolado associado a um bloco de anotações Python.

APIs Scala e Java para comandos Delta Lake DML

Agora você pode modificar dados em tabelas Delta usando APIs programáticas para excluir, atualizar e mesclar. Essas APIs espelham a sintaxe e a semântica de seus comandos SQL correspondentes e são ótimas para muitas cargas de trabalho, por exemplo, operações de dimensão de mudança lenta (SCD), mesclagem de dados de alteração para replicação e atualizações de consultas de streaming.

Para obter detalhes, consulte O que é Delta Lake?.

APIs Scala e Java para comandos do utilitário Delta Lake

O Databricks Runtime agora tem APIs programáticas para os vacuum comandos e history utilitários. Essas APIs espelham a sintaxe e a semântica de seus comandos SQL correspondentes disponíveis em versões anteriores do Databricks Runtime.

Você pode limpar arquivos que não são mais referenciados por uma tabela Delta e são mais antigos do que o limite de retenção executando vacuum na tabela. A execução do vacuum comando na tabela aspira recursivamente os diretórios associados à tabela Delta. O limiar de retenção predefinido para os ficheiros é de 7 dias. A capacidade de viajar no tempo de volta para uma versão mais antiga do que o período de retenção é perdida após a execução vacuum. vacuum não é acionado automaticamente.

Você pode recuperar informações sobre as operações, usuário, carimbo de data/hora e assim por diante para cada gravação em uma tabela Delta executando o history comando. As operações são retornadas em ordem cronológica inversa. Por padrão, o histórico da tabela é mantido por 30 dias.

Para obter detalhes, consulte O que é Delta Lake?.

Cache de disco disponível para instâncias do Azure Lsv2

[Cache de disco]] (.. /.. /optimizations/disk-cache.md) agora está habilitado por padrão para todas as instâncias Lsv2.

Armazenamento otimizado usando APIs de arquivos locais

As APIs de arquivo local são úteis, pois permitem que você acesse arquivos do armazenamento de objetos distribuídos subjacente como arquivos locais. No Databricks Runtime 6.0, aprimoramos a montagem FUSE que permite que APIs de arquivos locais resolvam limitações de chave. O Databricks Runtime 6.0 melhora significativamente a velocidade de leitura e gravação e suporta arquivos maiores que 2 GB. Se você precisar de leituras e gravações mais rápidas e confiáveis, como para treinamento de modelo distribuído, você achará esse aprimoramento particularmente útil. Além disso, você não precisaria carregar dados em um armazenamento local para suas cargas de trabalho, economizando custos e melhorando a produtividade.

Para obter detalhes, consulte O que é o sistema de arquivos Databricks (DBFS)?.

Vários gráficos matplotlib por célula do bloco de anotações

Agora você pode exibir vários gráficos matplotlib por célula do bloco de anotações:

Multiple matplotlib plots in cell

Credenciais de serviço para várias contas do Azure Data Lake Storage Gen1

Agora você pode configurar credenciais de serviço para vários Acessando o Azure Data Lake Storage Gen1 a partir de contas do Azure Databricks para uso em uma única sessão do Apache Spark. Para fazer isso, adicione account.<account-name> às chaves de configuração. Por exemplo, se você quiser configurar credenciais para contas acessarem ambas e adl://example1.azuredatalakestore.netadl://example2.azuredatalakestore.net, você pode fazer isso da seguinte maneira:

spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")

spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")

spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")

Melhorias

AWS SDK atualizado para 1.11.596.
SDK de armazenamento do Azure atualizado no driver WASB para 7.0.
OPTIMIZE Agora fornece um resumo de métricas como número de arquivos adicionados, número de arquivos removidos e tamanho máximo e mínimo do arquivo. Veja Compactar ficheiros de dados com otimização no Delta Lake.

Remoção

O Databricks ML Model Export foi removido. Em vez disso, use MLeap para importar e exportar modelos.

Apache Spark

Nota

Este artigo contém referências ao termo slave, um termo que o Azure Databricks não usa. Quando o termo for removido do software, iremos removê-lo deste artigo.

O Databricks Runtime 6.0 inclui o Apache Spark 2.4.3. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 5.5 LTS (sem suporte), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

[FAÍSCA-27992][FAÍSCA-28881][PYTHON] Permitir que o Python se junte ao thread de conexão para propagar erros
[FAÍSCA-27330][SS]tarefa de suporte abortada no gravador foreach (6.0, 5.x)
[FAÍSCA-28642][SQL] Ocultar credenciais em SHOW CREATE TABLE
[FAÍSCA-28699][CORE] Corrigir um caso de canto para abortar estágio indeterminado
[FAÍSCA-28647][WEBUI] Recuperar recurso de métrica adicional
[FAÍSCA-28766][R] [DOC] Corrigir aviso de viabilidade de entrada de CRAN em URL inválido
[FAÍSCA-28486][CORE] [PYTHON] Mapeie o arquivo de dados do PythonBroadcast para um BroadcastBlock para evitar a exclusão pelo GC
[FAÍSCA-25035][CORE] Evitando o mapeamento de memória na replicação de blocos armazenados em disco
[FAÍSCA-27234][SS] [PYTHON] Use InheritableThreadLocal para a época atual no EpochTracker (para suportar UDFs Python)
[FAÍSCA-28638][WEBUI] O resumo das tarefas deve conter apenas as métricas das tarefas bem-sucedidas
[FAÍSCA-28153][PYTHON] Use AtomicReference em InputFileBlockHolder (para suportar input_file_name com Python UDF)
[FAÍSCA-28564][CORE] O aplicativo de histórico de acesso usa como padrão o id da última tentativa
[FAÍSCA-28260] O cluster pode ser encerrado automaticamente enquanto a consulta thriftserver ainda está obtendo resultados
[FAÍSCA-26152][CORE] Sincronizar a limpeza do trabalhador com o desligamento do trabalhador
[SPARK-28545][SQL] Adicionar o tamanho do mapa de hash ao registo direcional de ObjectAggregationIterator
[FAÍSCA-28489][SS] Corrija um bug que KafkaOffsetRangeCalculator.getRanges pode deixar offsets
[FAÍSCA-28421][ML] Otimização de desempenho SparseVector.apply
[FAÍSCA-28156][SQL] A auto-associação não deve perder a vista em cache
[FAÍSCA-28152][SQL] Mapeado ShortType para SMALLINT e FloatType para REAL para MsSqlServerDialect
[FAÍSCA-28054][SQL] Corrigir erro ao inserir tabela particionada do Hive dinamicamente onde o nome da partição é maiúsculo
[FAÍSCA-27159][SQL] atualizar o dialeto do servidor mssql para suportar o tipo binário
[FAÍSCA-28355][CORE] [PYTHON] Use o Spark conf para o limite em que com...
[FAÍSCA-27989][CORE] Adicionadas novas tentativas na conexão com o driver para k8s
[FAÍSCA-27416][SQL] UnsafeMapData & UnsafeArrayData Kryo serialização ...
[FAÍSCA-28430][UI] Corrigir a renderização da tabela de estágio quando algumas métricas de tarefas estiverem ausentes
[FAÍSCA-27485] EnsureRequirements.reorder deve lidar com expressões duplicadas graciosamente
[FAÍSCA-28404][SS] Corrigir valor de tempo limite negativo em RateStreamContinuousPartitionReader
[FAÍSCA-28378][PYTHON] Remover o uso de cgi.escape
[FAÍSCA-28371][SQL] Tornar o filtro Parquet "StartsWith" null-safe
[FAÍSCA-28015][SQL] Check stringToDate() consome entrada inteira para os formatos aaaa e aaaa-[m]m
[FAÍSCA-28302][CORE] Certifique-se de gerar um arquivo de saída exclusivo para o SparkLauncher no Windows
[FAÍSCA-28308][CORE] A sub-segunda parte de CalendarInterval deve ser preenchida antes da análise
[FAÍSCA-28170][ML] [PYTHON] Vetores uniformes e documentação matricial
[FAÍSCA-28160][CORE] Corrigir um bug que a função de retorno de chamada pode travar quando a exceção não marcada é perdida
[FAÍSCA-27839][SQL] Altere UTF8String.replace() para operar em bytes UTF8
[FAÍSCA-28157][CORE] Deixe SHS claro KVStore LogInfo para as entradas na lista negra
[FAÍSCA-28128][PYTHON] [SQL] pandas UDFs agrupados ignoram partições vazias
[FAÍSCA-28012][SQL] O Hive UDF suporta expressão dobrável do tipo struct
[FAÍSCA-28164] Corrigir descrição de uso do start-slave.sh
[FAÍSCA-27100][SQL] Use Array em vez de Seq em FilePartition para evitar StackOverflowError
[FAÍSCA-28154][ML] GMM corrigir cache duplo

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 6.0.

Ambiente do sistema

Sistema Operacional: Ubuntu 16.04.6 LTS
Java: 1.8.0_232
Escala: 2.11.12
Píton: 3.7.3
R: R versão 3.6.1 (2019-07-05)
Lago Delta: 0.3.0