Novembre 2023

  • Article

Ces fonctionnalités et améliorations de la plateforme Azure Databricks ont été publiées en novembre 2023.

Remarque

Les publications se font par étapes. Il se peut que votre espace de travail Azure Databricks ne soit pas mis à jour avant au moins une semaine suivant la date de publication initiale.

Databricks Vector Search est en préversion publique

30 novembre 2023

Azure Databricks Vector Search est un moteur de recherche de similarité serverless qui vous permet de stocker une représentation vectorielle de vos données, y compris les métadonnées, dans une base de données vectorielle. Dans le cadre de cette fonctionnalité, vous pouvez créer des index de recherche vectorielle à mise à jour automatique à partir de données dans Unity Catalog, et les interroger avec une API simple pour retourner les vecteurs les plus similaires de vos workflows RAG. Voir Databricks Vector Search.

Les listes de contrôles d’accès ne peuvent plus être désactivées

29 novembre 2023

Les paramètres suivants sont activés sur tous les espaces de travail de plan Premium, et ne peuvent plus être désactivés à partir de la page des paramètres d’administrateur de l’espace de travail ou de l’API Workspace Conf :

  • Contrôle d’accès d’espace de travail : permet aux utilisateurs de configurer des autorisations sur des objets d’espace de travail.
  • Contrôle d’accès de cluster, pool, travaux : permet aux utilisateurs de configurer des autorisations sur des clusters, des pools et des travaux.
  • Contrôle de visibilité du cluster : empêche les clusters d’être visibles par les utilisateurs qui n’ont pas d’autorisations sur eux.
  • Contrôle de visibilité des travaux : empêche les travaux d’être visibles par les utilisateurs qui n’ont pas d’autorisations sur eux.
  • Paramètre de contrôle de visibilité de l’espace de travail : empêche les notebooks et les dossiers d’être visibles par les utilisateurs qui n’ont pas d’autorisations sur eux.

Les paramètres de contrôle d’accès sont activés par défaut sur les nouveaux espaces de travail depuis mars 2018, et les paramètres de contrôle de visibilité sont activés par défaut depuis décembre 2020.

Pour plus d’informations, consultez la page Vue d’ensemble du contrôle d’accès.

Nouveaux comportements et actions dans Catalog Explorer pour les volumes

22 novembre 2023

Vous pouvez maintenant créer un volume dans le schéma cible s’il n’en existe aucun à partir de l’interface utilisateur Upload to volume. Consultez Charger des fichiers dans un volume Unity Catalog.

Des actions telles que Delete file et Download file ont été ajoutées à Catalog Explorer pour les fichiers dans les volumes.

Databricks Runtime 14.2 est en disponibilité générale

22 novembre 2023

Databricks Runtime 14.2 et Databricks Runtime 14.2 ML sont désormais en disponibilité générale.

Consultez Databricks Runtime 14.2 et Databricks Runtime 14.2 pour le Machine Learning.

Connecteur Databricks SQL pour Python version 3.0.0

17 novembre 2023

Vous pouvez maintenant exécuter pip install databricks-sql-connector==3.0.0.

Cette version :

  • Supprime la prise en charge pour Python 3.7
  • Ajoute la prise en charge des requêtes SQL paramétrisées natives. Nécessite DBR 14.2 et versions ultérieures. Pour plus d’informations, consultez Utilisation de paramètres natifs dans le référentiel GitHub databricks-sql-python.
  • Inclut notre dialecte SQLAlchemy entièrement réécrit :
    • Ajoute la prise en charge de SQLAlchemy >= 2.0 et supprime la prise en charge de SQLAlchemy 1.x
    • Couverture complète des tests de bout en bout de toutes les fonctionnalités prises en charge
    • Notes d’utilisation détaillées disponibles ici
    • Ajoute la prise en charge de :
      • Nouveaux types : TIME, TIMESTAMP, TIMESTAMP_NTZ, TINYINT
      • Échelle et précision du type Numeric, comme Numeric(10,2)
      • Lecture et écriture de PrimaryKeyConstraint et ForeignKeyConstraint
      • Lecture et écriture de clés composites
      • Lecture et écriture à partir de vues
      • Écriture de Identity dans des tables (création automatique des clés primaires)
      • LIMIT et OFFSET pour la pagination par le biais des résultats
      • Mise en cache des appels de métadonnées
  • Active Cloud Fetch par défaut. Pour le désactiver, définissez use_cloud_fetch=False lors de la génération de databricks.sql.client.
  • Ajouter des tests d’intégration pour les requêtes d’ingestion de volumes Azure Databricks Unity Catalog
  • Nouvelles tentatives :
    • Ajouter une configuration _retry_max_redirects
    • Définissez _enable_v3_retries=True et avertissez si les utilisateurs le remplacent.
  • Sécurité : remplace la version minimale de pyarrow par 14.0.1 (CVE-2023-47248)

Bibliothèques dans les fichiers de l’espace de travail pris en charge sur les clusters partagés sans isolation

15 novembre 2023

Vous pouvez maintenant installer des bibliothèques stockées en tant que fichiers de l’espace de travail pour calculer un mode d’accès partagé configuré sans isolation dans Databricks Runtime 14.1 et les versions ultérieures.

Dépréciation des bibliothèques d’espaces de travail

15 novembre 2023

Les bibliothèques de l’espace de travail sont désormais déconseillées et leur création a été désactivée. Les bibliothèques existantes de l’espace de travail continuent de fonctionner. Notez que le stockage des bibliothèques en tant que fichiers de l’espace de travail est différent des bibliothèques de l’espace de travail et qu’il est toujours entièrement pris en charge. Vous pouvez installer des bibliothèques stockées en tant que fichiers d’espace de travail directement sur des tâches de travail ou de calcul. Consultez Bibliothèques.

La prise en charge des types de machines virtuelles de calcul confidentielles Azure est désormais en disponibilité générale

15 novembre 2023

La prise en charge par Azure Databricks des types de machines virtuelles de calcul confidentielles Azure est désormais en disponibilité générale. L’informatique confidentielle Azure permet de protéger les données en cours d’utilisation, empêchant le fournisseur de cloud d’avoir accès aux données sensibles. Consultez Machines virtuelles de calcul confidentiel Azure.

13 novembre 2023

Vous pouvez maintenant trouver des jeux de données, des modèles IA et des accélérateurs de solution Databricks dans la Place de marché Databricks à l’aide de la barre de recherche globale dans l’interface utilisateur de l’espace de travail Azure Databricks. Consultez les articles Présentation de la Place de marché Databricks et Rechercher des objets de l’espace de travail.

Consommer des produits de données dans Databricks Marketplace à l’aide de plateformes externes

10 novembre 2023

Les consommateurs sans espace de travail Azure Databricks compatible avec Unity Catalog peuvent désormais accéder aux produits de données dans la Place de marché Databricks. Vous pouvez utiliser les connecteurs de partage ouvert Delta Sharing pour accéder aux données de la Place de marché à l’aide de plusieurs plateformes courantes, notamment Microsoft Power BI, Microsoft Excel, pandas, Apache Spark et les espaces de travail Databricks non liés à Unity Catalog. Seuls les jeux de données tabulaires sont disponibles sur des plateformes externes (et non des notebooks Databricks ou des modèles, par exemple). Consultez Requête et accès aux produits de données dans la Place de marché Databricks à l’aide de plateformes externes.

Prise en charge des entrepôts SQL serverless ajoutés pour plusieurs régions Azure

9 novembre 2023

Les régions Azure suivantes prennent désormais en charge les entrepôts SQL serverless :

  • Sud du Brésil
  • Inde Centre (centralindia)
  • Japon Est (japaneast)
  • Centre Nord des États Unis
  • Sud du Royaume-Uni

Consultez régions Azure Databricks et Activer des entrepôts SQL serverless.

Activation automatique de Unity Catalog pour les nouveaux espaces de travail

9 novembre 2023

Databricks commencera bientôt à activer automatiquement Unity Catalog pour les nouveaux espaces de travail. Cela évite aux administrateurs de compte d’avoir à configurer Unity Catalog après la création d’un espace de travail. Le lancement se fera progressivement entre les comptes. Consultez Activation automatique de Unity Catalog.

Databricks Runtime 14.2 (bêta)

8 novembre 2023

Databricks Runtime 14.2 et Databricks Runtime 14.2 ML sont désormais disponibles en versions bêta.

Consultez Databricks Runtime 14.2 et Databricks Runtime 14.2 pour le Machine Learning.

Databricks Marketplace comprend des accélérateurs de solution Databricks

7 novembre 2023

Databricks Marketplace vous donne désormais accès aux Accélérateurs de solution Databricks, guides intégrés fournissant des notebooks fonctionnels complets, des conseils relatifs aux meilleures pratiques et des exemples de données pour vous permettre de configurer rapidement avec de nombreux cas d’usage populaires sur Azure Databricks. Consultez Obtenir l’accès aux accélérateurs de solution Databricks.

Lakehouse Federation ajoute la prise en charge de Google BigQuery

3 novembre 2023

Vous pouvez maintenant configurer Lakehouse Federation pour exécuter des requêtes fédérées avec le type de connecteur BigQuery. Le nouveau connecteur BigQuery est pris en charge sur les entrepôts SQL Pro et Serverless et Databricks Runtime 13.3 LTS et versions ultérieures. Consultez Exécuter des requêtes fédérées sur Google BigQuery.