Dezembro de 2019

  • Artigo

Esses recursos e aprimoramentos da plataforma Azure Databricks foram lançados em dezembro de 2019.

Observação

As versões são disponibilizadas em fases. Talvez sua conta do Azure Databricks só seja atualizada uma semana após a data de lançamento inicial.

O Databricks Connect agora é compatível com o Databricks Runtime 6.2

17 de dezembro de 2019

O Databricks Connect já dá suporte ao Databricks Runtime 6.2.

Configurar clusters com sua própria imagem de contêiner usando os Serviços de Contêiner do Databricks (GA)

16 de dezembro de 2019: versão 3.7

Em disponibilidade geral no Databricks Runtime 6.1 e na plataforma Azure Databricks versão 3.7, os Serviços de Contêiner do Databricks permitem configurar um cluster com uma imagem de contêiner própria. Você pode previamente empacotar ambientes complexos em um contêiner, publicá-los em um registro de contêiner popular, como o ACR, o ECR ou o Docker Hub e fazer com que o Azure Databricks efetue pull da imagem para criar um cluster. Alguns exemplos de caso de uso incluem:

  • Personalização da biblioteca – Você tem controle total sobre as bibliotecas do sistema que deseja instalar
  • Ambiente de contêiner de ouro – Sua imagem do Docker é um ambiente bloqueado que nunca mudará
  • Integração de CI/CD do Docker – Você pode integrar o Azure Databricks aos seus pipelines de CI/CD do Docker

Há muitos outros casos de uso, da especificação da configuração à instalação de pacotes de machine learning.

Para obter detalhes, confira Personalizar contêineres com o Serviço de Contêiner do Databricks.

Disponibilidade geral do Databricks Runtime 6.2 para Genomics

3 de dezembro de 2019

O Databricks Runtime 6.2 para Genomics foi desenvolvido com base no Databricks Runtime 6.2. Ele inclui muitos aprimoramentos e atualizações do Databricks Runtime 6.1 para Genomics, incluindo:

  • Regressão logística Firth
  • Métricas de controle de qualidade de exemplo definidas pelo usuário
  • Aprimoramento no desempenho do transformador de pipe
  • Genotipagem conjunta mais robusta
  • Integração simplificada com o LOFTEE
  • Hail 0.26.0
  • Samtools 1.9

3 de dezembro de 2019

Agora que o Conector de Provisionamento do SCIM do Azure Databricks está disponível na galeria de aplicativos do Microsoft Entra ID (anteriormente conhecido como Azure Active Directory), ficou mais fácil configurar o provisionamento de usuários e grupos do Microsoft Entra ID para o Azure Databricks. Para obter detalhes, confira Configurar o provisionamento do SCIM usando o Microsoft Entra ID (antigo Azure Active Directory).

O suporte do Databricks Runtime 5.3 e 5.4 termina

3 de dezembro de 2019

O suporte para 5.3 e 5.4 terminou em 3 de dezembro. Confira Ciclos de vida de suporte do Databricks Runtime.

Disponibilidade geral do Databricks Runtime 6.2 ML

3 de dezembro de 2019

O Databricks Runtime 6.2 ML GA traz várias atualizações de biblioteca, incluindo:

  • TensorFlow e TensorBoard: 1.14.0 a 1.15.0.
  • PyTorch: 1.2.0 a 1.3.0.
  • tensorboardX: 1.8 a 1.9.
  • MLflow: 1.3.0 a 1.4.0.
  • Hyperopt: 0.2-db1 com integrações entre o Azure Databricks e o MLflow.
  • mleap-databricks-runtime para 0.15.0, incluindo mleap-xgboost-runtime.

Para obter mais informações, confira as notas sobre a versão completas do Databricks Runtime 6.2 para ML (sem suporte).

Disponibilidade geral do Databricks Runtime 6.2

3 de dezembro de 2019

O Databricks Runtime 6.2 GA traz novos recursos, aprimoramentos e várias correções de bugs, incluindo:

  • Mesclagem somente inserção otimizada do Delta Lake

Para obter mais informações, consulte as notas sobre a versão completas Databricks Runtime 6.2 (sem suporte).

O Databricks Connect agora é compatível com o Databricks Runtime 6.1

3 de dezembro de 2019

O Databricks Connect já dá suporte ao Databricks Runtime 6.1. O Databricks Connect permite que você conecte seu IDE favorito (IntelliJ, Eclipse, PyCharm, RStudio, Visual Studio), servidor de notebook (Zeppelin, Jupyter) e outros aplicativos personalizados aos clusters do Azure Databricks e executar o código do Apache Spark.