Junho de 2020

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em junho de 2020.

Nota

Os lançamentos são encenados. Sua conta do Azure Databricks pode não ser atualizada até uma semana após a data de lançamento inicial.

O Databricks Connect suporta agora o Databricks Runtime 6.6

26 de junho de 2020

O Databricks Connect agora suporta o Databricks Runtime 6.6.

Disponibilidade Geral do Databricks Runtime 7.0 ML

jun 22, 2020

O Databricks Runtime 7.0 ML foi criado sobre o Databricks Runtime 7.0 e inclui os seguintes novos recursos:

• Bibliotecas Python com escopo de notebook e ambientes personalizados gerenciados por comandos conda e pip.
• Atualizações para os principais pacotes Python, incluindo tensorflow, tensorboard, pytorch, xgboost, sparkdl e hyperopt.
• Pacotes Python recém-adicionados lightgbm, nltk, petastorm e plotly.
• Servidor RStudio Open Source v1.2.

Para obter mais informações, consulte as notas de versão completas do Databricks Runtime 7.0 ML (sem suporte).

Disponibilidade geral do Databricks Runtime 7.0, com tecnologia do Apache Spark 3.0

18 de junho de 2020

O Databricks Runtime 7.0 é alimentado pelo Apache Spark 3.0 e agora suporta o Scala 2.12.

O Spark 3.0 traz muitos recursos e melhorias adicionais, incluindo:

• Adaptive Query Execution, uma estrutura flexível para fazer execução adaptável no Spark SQL e suportar a alteração do número de redutores em tempo de execução.
• UDFs de pandas redesenhados com dicas de tipo.
• Interface do usuário da Web de streaming estruturado.
• Melhor compatibilidade com os padrões ANSI SQL.
• Junte-se a dicas.

Databricks Runtime 7.0 adiciona:

• Carregador automático melhorado para processar novos ficheiros de dados de forma incremental à medida que chegam a uma loja de blob na nuvem durante o ETL.
• Comando COPY INTO melhorado para carregar dados no Delta Lake com tentativas idempotentes.
• Muitas melhorias, adições e upgrades de bibliotecas e correções de bugs.

Para obter mais informações, consulte as notas de versão completas do Databricks Runtime 7.0 (sem suporte).

Disponibilidade geral do Databricks Runtime 7.0 para o Genomics

18 de junho de 2020

O Databricks Runtime 7.0 for Genomics foi criado sobre o Databricks Runtime 7.0 e inclui as seguintes alterações na biblioteca:

• A biblioteca do ADAM foi atualizada da versão 0.30.0 para 0.32.0.
• A biblioteca Hail não está incluída no Databricks Runtime 7.0 for Genomics, porque não há nenhuma versão baseada no Apache Spark 3.0.

Controlos de acesso dependentes de fase para modelos do MLflow

16 a 23 de junho de 2020: Versão 3.22

Agora você pode atribuir controles de acesso dependentes do estágio a usuários ou grupos, permitindo que eles gerenciem Modelos MLflow registrados no Registro de Modelo MLflow no estágio Preparação ou Produção. Introduzimos dois novos níveis de permissão, CAN MANAGE STAGING VERSIONS e CAN MANAGE PRODUCTION VERSIONS. Os usuários com essas permissões podem executar transições entre os estágios permitidos para o nível.

Para obter detalhes, consulte ACLs de modelo MLFlow.

Os blocos de notas permitem agora desativar o deslocamento automático

16 a 23 de junho de 2020: Versão 3.22

Quando você executa uma célula de bloco de anotações usando shift+enter, o comportamento padrão do bloco de anotações é rolar automaticamente para a próxima célula se a célula não estiver visível. Agora você pode desativar a rolagem automática nas configurações do Editor de Configurações > do > Usuário. Se você desativar a rolagem automática, em shift+enter o foco será movido para a próxima célula, mas o bloco de anotações não rolará para essa célula.

Os endereços IP do metastore vão ser alterados a 30 de junho de 2020

11 de junho de 2020

O metastore padrão para o Azure Databricks usa o Banco de Dados do Azure para MySQL. Todos os endereços IP do Banco de Dados do Azure para MySQL para metastores do Azure Databricks estão mudando em 30 de junho de 2020. Se você tiver um espaço de trabalho do Azure Databricks implantado em sua própria rede virtual, sua tabela de rotas para essa implantação poderá incluir um endereço IP do metastore do Azure Databricks ou uma rota para um firewall ou dispositivo proxy com uma lista de acesso que inclua esse endereço. Se esse for o caso, você deve atualizar suas tabelas de rotas ou firewalls do Azure Databricks com novos IPs MySQL antes de 30 de junho de 2020 para evitar interrupções.

O suporte para o Internet Explorer 11 termina a 15 de agosto

9 de junho de 2020

De acordo com as tendências do setor e para garantir uma experiência de usuário estável e consistente para nossos clientes, o Azure Databricks encerrará o suporte para o Internet Explorer 11 em 15 de agosto de 2020.

Fim do suporte para a série Databricks Runtime 6.2

3 de junho de 2020

O suporte para Databricks Runtime 6.2, Databricks Runtime 6.2 para Machine Learning e Databricks Runtime 6.2 para Genomics terminou em 3 de junho. Consulte Ciclos de vida de suporte ao tempo de execução do Databricks.

Simplificar e controlar a criação de clusters com políticas de clusters (Pré-visualização Pública)

2 a 9 de junho de 2020: Versão 3.21

As políticas de cluster são modelos de cluster reutilizáveis definidos pelo administrador que impõem regras sobre atributos de cluster e, portanto, garantem que os usuários criem clusters em conformidade com essas regras. Como administrador do Azure Databricks, agora você pode criar políticas de cluster e conceder permissões de política aos usuários. Ao fazer isso, você tem mais controle sobre os recursos criados, dá aos usuários o nível de flexibilidade de que precisam para fazer seu trabalho e simplifica consideravelmente a experiência de criação de cluster.

Para obter detalhes, consulte Criar e gerenciar políticas de computação.

O ponto final do SCIM Me devolve agora uma resposta compatível com o SCIM

2 a 9 de junho de 2020: Versão 3.21

O ponto de extremidade SCIM Me agora retorna as mesmas informações que o ponto de /users/{id} extremidade, incluindo informações como grupos e direitos.

Consulte API CurrentUser.

Limitar o acesso ao Azure Databricks com listas de acesso de IPs (Pré-visualização Pública)

1 de junho de 2020

Os espaços de trabalho do Azure Databricks agora podem ser configurados para que os usuários se conectem ao serviço somente por meio de redes corporativas existentes com um perímetro seguro. Os administradores do Azure Databricks podem usar a API da Lista de Acesso IP para definir um conjunto de endereços IP aprovados, incluindo listas de permissão e bloqueio. Todo o acesso de entrada ao aplicativo Web e APIs REST requer que o usuário se conecte a partir de um endereço IP autorizado, garantindo que os espaços de trabalho não possam ser acessados de uma rede pública, como um café ou um aeroporto, a menos que seus usuários usem VPN.

Este recurso requer o plano Premium.

Para obter mais informações, consulte Configurar listas de acesso IP para espaços de trabalho.