November 2023

  • Artikel

Deze functies en verbeteringen in het Azure Databricks-platform zijn uitgebracht in november 2023.

Notitie

Releases worden gefaseerd. Uw Azure Databricks-werkruimte wordt mogelijk pas na een week of meer bijgewerkt na de eerste releasedatum.

Databricks Vector Search is openbare preview

30 november 2023

Databricks Vector Search is een zoekprogramma voor serverloze overeenkomsten waarmee u een vectorweergave van uw gegevens, inclusief metagegevens, kunt opslaan in een vectordatabase. Als onderdeel van deze functionaliteit kunt u indexen voor het automatisch bijwerken van vectorzoekopdrachten maken op basis van gegevens in Unity Catalog en deze opvragen met een eenvoudige API om de meest vergelijkbare vectoren te retourneren als onderdeel van uw RAG-werkstromen. Zie Databricks Vector Search.

Lijsten met besturingselementen voor toegang kunnen niet meer worden uitgeschakeld

29 november 2023

De volgende instellingen zijn ingeschakeld voor alle werkruimten van het Premium-abonnement en kunnen niet meer worden uitgeschakeld via de pagina met werkruimtebeheerdersinstellingen of de Werkruimte conf-API:

  • Toegangsbeheer voor werkruimten: stelt gebruikers in staat om machtigingen voor werkruimteobjecten te configureren.
  • Toegangsbeheer voor clusters, pools, taken: hiermee kunnen gebruikers machtigingen configureren voor clusters, pools en taken.
  • Zichtbaarheidsbeheer voor clusters: voorkomt dat clusters zichtbaar zijn voor gebruikers die geen machtigingen hebben.
  • Zichtbaarheid van taken: voorkomt dat taken zichtbaar zijn voor gebruikers die geen machtigingen hebben.
  • Instelling voor zichtbaarheid van werkruimten: voorkomt dat notitieblokken en mappen zichtbaar zijn voor gebruikers die geen machtigingen voor hen hebben.

Instellingen voor toegangsbeheer zijn standaard ingeschakeld voor nieuwe werkruimten sinds maart 2018 en instellingen voor zichtbaarheidsbeheer zijn standaard ingeschakeld sinds december 2020.

Zie Toegangsbeheerlijsten voor meer informatie.

Nieuw gedrag en acties in Catalog Explorer voor volumes

22 november 2023

U kunt nu een nieuw volume maken in het doelschema als er geen bestaat vanuit de gebruikersinterface uploaden naar volume . Zie Bestanden uploaden naar een Unity Catalog-volume.

Acties zoals Bestand verwijderen en Downloadbestand zijn toegevoegd aan Catalog Explorer voor bestanden in volumes.

Databricks Runtime 14.2 is algemeen beschikbaar

22 november 2023

Databricks Runtime 14.2 en Databricks Runtime 14.2 ML zijn nu algemeen beschikbaar.

Zie Databricks Runtime 14.2 en Databricks Runtime 14.2 voor Machine Learning.

Databricks SQL Verbinding maken or voor Python-versie 3.0.0

17 november 2023

U kunt nu uitvoeren pip install databricks-sql-connector==3.0.0.

Deze release:

  • Hiermee verwijdert u ondersteuning voor Python 3.7
  • Hiermee wordt ondersteuning toegevoegd voor systeemeigen geparameteriseerde SQL-query's. Vereist DBR 14.2 en hoger. Zie Systeemeigen parameters gebruiken in de GitHub-opslagplaats databricks-sql-python voor meer informatie.
  • Bevat ons volledig herschreven SQLAlchemy dialect:
    • Voegt ondersteuning toe voor SQLAlchemy >= 2.0 en verwijdert ondersteuning voor SQLAlchemy 1.x
    • Volledige end-to-end-testdekking van alle ondersteunde functies
    • Gedetailleerde gebruiksnotities die hier beschikbaar zijn
    • Voegt ondersteuning toe voor:
      • Nieuwe typen: TIME, TIMESTAMP, TIMESTAMP_NTZTINYINT
      • Numeric typeschaal en precisie, zoals Numeric(10,2)
      • Lezen en schrijven PrimaryKeyConstraint en ForeignKeyConstraint
      • Samengestelde sleutels lezen en schrijven
      • Lezen en schrijven vanuit weergaven
      • Schrijven Identity naar tabellen (automatisch genereren van primaire sleutels)
      • LIMIT en OFFSET voor het bladeren door resultaten
      • Aanroepen van metagegevens opslaan in cache
  • Hiermee schakelt u Cloud Fetch standaard in. Als u wilt uitschakelen, stelt u deze in use_cloud_fetch=False bij het bouwen databricks.sql.client.
  • Integratietests toevoegen voor opnamequery's voor Azure Databricks Unity Catalog-volumes
  • Pogingen:
    • Configuratie toevoegen _retry_max_redirects
    • Instellen _enable_v3_retries=True en waarschuwen als gebruikers deze overschrijven.
  • Beveiliging: Bumps minimum pyarrow versie tot 14.0.1 (CVE-2023-47248)

Bibliotheken in werkruimtebestanden die worden ondersteund op gedeelde clusters zonder isolatie

15 november 2023

U kunt nu bibliotheken installeren die zijn opgeslagen als werkruimtebestanden om te worden berekend met de modus voor gedeelde toegang zonder isolatie in Databricks Runtime 14.1 en hoger.

Afschaffing van werkruimtebibliotheken

15 november 2023

Werkruimtebibliotheken zijn nu afgeschaft en het maken van nieuwe werkruimtebibliotheken is uitgeschakeld. Bestaande werkruimtebibliotheken blijven werken. Houd er rekening mee dat het opslaan van bibliotheken als werkruimtebestanden verschilt van werkruimtebibliotheken en nog steeds volledig wordt ondersteund. U kunt bibliotheken installeren die als werkruimtebestanden zijn opgeslagen, rechtstreeks voor berekenings- of taaktaken. Zie Bibliotheken.

Ondersteuning voor VM-typen Azure Confidential Computing is nu algemeen beschikbaar

15 november 2023

Azure Databricks-ondersteuning voor VM-typen Azure Confidential Computing is nu algemeen beschikbaar. Azure Confidential Computing helpt bij het beveiligen van gegevens die in gebruik zijn, waardoor de cloudprovider geen toegang heeft tot gevoelige gegevens. Zie Azure Confidential Computing-VM's.

13 november 2023

U kunt nu gegevenssets, AI-modellen en Databricks Solution Accelerators vinden in Databricks Marketplace met behulp van de algemene zoekbalk in de gebruikersinterface van de Azure Databricks-werkruimte. Zie Wat is Databricks Marketplace? en Zoek naar werkruimteobjecten.

Gegevensproducten gebruiken in Databricks Marketplace met behulp van externe platforms

10 november 2023

Consumenten zonder een Azure Databricks-werkruimte met Unity Catalog hebben nu toegang tot gegevensproducten in Databricks Marketplace. U kunt Delta Sharing open sharing-connectors gebruiken om toegang te krijgen tot Marketplace-gegevens met behulp van een aantal algemene platforms, waaronder Microsoft Power BI, Microsoft Excel, pandas, Apache Spark en niet-Unity Catalog Databricks-werkruimten. Alleen gegevenssets in tabelvorm zijn beschikbaar op externe platforms (bijvoorbeeld geen Databricks-notebooks of -modellen). Zie Gegevensproducten aanvragen en openen in Databricks Marketplace met behulp van externe platforms.

Ondersteuning voor serverloze SQL-warehouses die zijn toegevoegd voor verschillende Azure-regio's

9 november 2023

De volgende Azure-regio's bieden nu ondersteuning voor serverloze SQL-warehouses:

  • Brazilië - zuid (brazilsouth)
  • India - centraal (centralindia)
  • Japan - oost (japaneast)
  • VS - noord-centraal (northcentralus)
  • VK - zuid (uksouth)

Zie Azure Databricks-regio's en schakel serverloze SQL-warehouses in.

Automatisch inschakelen van Unity Catalog voor nieuwe werkruimten

9 november 2023

Databricks is begonnen met het automatisch inschakelen van Unity Catalog voor nieuwe werkruimten. Dit verwijdert de noodzaak voor accountbeheerders om Unity Catalog te configureren nadat een werkruimte is gemaakt. De implementatie gaat geleidelijk verder met accounts. Zie Automatische activering van Unity Catalog.

Databricks Runtime 14.2 (bèta)

8 november 2023

Databricks Runtime 14.2 en Databricks Runtime 14.2 ML zijn nu beschikbaar als bètaversies.

Zie Databricks Runtime 14.2 en Databricks Runtime 14.2 voor Machine Learning.

Databricks Marketplace bevat Databricks Solution Accelerators

7 november 2023

Databricks Marketplace biedt nu toegang tot Databricks Solution Accelerators, speciaal gebouwde handleidingen die volledig functionele notebooks, richtlijnen voor aanbevolen procedures en voorbeeldgegevens bieden, zodat u snel kunt instellen met veel populaire use cases in Azure Databricks. Zie Toegang krijgen tot Databricks Solution Accelerators.

Lakehouse Federation voegt ondersteuning toe voor Google BigQuery

3 november 2023

U kunt nu Lakehouse Federation configureren om federatieve query's uit te voeren met het BigQuery connectortype. De nieuwe BigQuery-connector wordt ondersteund in Pro- en Serverloze SQL-warehouses en Databricks Runtime 13.3 LTS en hoger. Zie Federatieve query's uitvoeren in Google BigQuery.