November 2023

  • Artikel

Dessa funktioner och förbättringar av Azure Databricks-plattformen släpptes i november 2023.

Kommentar

Versioner mellanlagras. Din Azure Databricks-arbetsyta kanske inte uppdateras förrän en vecka eller mer efter det första lanseringsdatumet.

Databricks Vector Search är en offentlig förhandsversion

den 30 november 2023

Databricks Vector Search är en serverlös likhetssökmotor som gör att du kan lagra en vektorrepresentation av dina data, inklusive metadata, i en vektordatabas. Som en del av den här funktionen kan du skapa vektorsökningsindex för automatisk uppdatering från data i Unity Catalog och fråga dem med ett enkelt API för att returnera de mest liknande vektorerna som en del av dina RAG-arbetsflöden. Se Databricks Vector Search.

Åtkomstkontrollistor kan inte längre inaktiveras

den 29 november 2023

Följande inställningar är aktiverade på alla Premium-planarbetsytor och kan inte längre inaktiveras från sidan för administratörsinställningar för arbetsytan eller konfigurations-API:et för arbetsyta:

  • Åtkomstkontroll för arbetsyta: gör det möjligt för användare att konfigurera behörigheter för arbetsyteobjekt.
  • Åtkomstkontroll för kluster, pooler, jobb: gör det möjligt för användare att konfigurera behörigheter för kluster, pooler och jobb.
  • Kontroll av klustersynlighet: förhindrar att kluster visas för användare som inte har några behörigheter för dem.
  • Synlighetskontroll för jobb: förhindrar att jobb visas för användare som inte har några behörigheter för dem.
  • Inställning för synlighetskontroll för arbetsyta: förhindrar att notebook-filer och mappar visas för användare som inte har behörighet för dem.

Inställningar för åtkomstkontroll har aktiverats på nya arbetsytor som standard sedan mars 2018 och inställningarna för synlighetskontroll har aktiverats som standard sedan december 2020.

Mer information finns i Åtkomstkontrollistor.

Nya beteenden och åtgärder i Catalog Explorer för volymer

den 22 november 2023

Nu kan du skapa en ny volym i målschemat om det inte finns någon från användargränssnittet för uppladdning till volym . Se Ladda upp filer till en Unity Catalog-volym.

Åtgärder som Ta bort fil och Ladda ned fil har lagts till i Katalogutforskaren för filer i volymer.

Databricks Runtime 14.2 är GA

den 22 november 2023

Databricks Runtime 14.2 och Databricks Runtime 14.2 ML är nu allmänt tillgängliga.

Se Databricks Runtime 14.2 och Databricks Runtime 14.2 för Machine Learning.

Databricks SQL Anslut or för Python version 3.0.0

den 17 november 2023

Nu kan du köra pip install databricks-sql-connector==3.0.0.

Den här versionen:

  • Tar bort stöd för Python 3.7
  • Lägger till stöd för interna parameteriserade SQL-frågor. Kräver DBR 14.2 och senare. Mer information finns i Använda inbyggda parametrar i GitHub-lagringsplatsen databricks-sql-python.
  • Innehåller vår helt omskrivna SQLAlchemy-dialekt:
    • Lägger till stöd för SQLAlchemy >= 2.0 och minskar stödet för SQLAlchemy 1.x
    • Fullständig testtäckning från slutpunkt till slutpunkt för alla funktioner som stöds
    • Detaljerade användningsanteckningar som finns här
    • Lägger till stöd för:
      • Nya typer: TIME, TIMESTAMP, TIMESTAMP_NTZ, TINYINT
      • Numeric typskalning och precision, till exempel Numeric(10,2)
      • Läsa och skriva PrimaryKeyConstraint och ForeignKeyConstraint
      • Läsa och skriva sammansatta nycklar
      • Läsa och skriva från vyer
      • Skriva Identity till tabeller (autoinkrementera primära nycklar)
      • LIMIT och OFFSET för att söka igenom resultat
      • Cachelagring metadataanrop
  • Aktiverar Cloud Fetch som standard. Om du vill inaktivera anger du use_cloud_fetch=False när du skapar databricks.sql.client.
  • Lägga till integreringstester för Inmatningsfrågor för Azure Databricks Unity Catalog-volymer
  • Försök:
    • Lägg till _retry_max_redirects konfiguration
    • Ange _enable_v3_retries=True och varna om användare åsidosätter det.
  • Säkerhet: Stötar lägsta pyarrow version till 14.0.1 (CVE-2023-47248)

Bibliotek i arbetsytefiler som stöds i delade kluster utan isolering

den 15 november 2023

Nu kan du installera bibliotek som lagras som arbetsytefiler för beräkning som konfigurerats med delat åtkomstläge utan isolering i Databricks Runtime 14.1 och senare.

Utfasning av arbetsytebibliotek

den 15 november 2023

Arbetsytebibliotek är nu inaktuella och skapandet av nya arbetsytebibliotek har inaktiverats. Befintliga arbetsytebibliotek fortsätter att fungera. Observera att lagring av bibliotek som arbetsytefiler skiljer sig från arbetsytebibliotek och fortfarande stöds fullt ut. Du kan installera bibliotek som lagras som arbetsytefiler direkt till beräknings- eller jobbuppgifter. Se Bibliotek.

Stöd för azure-typer av konfidentiell databehandling av virtuella datorer är nu allmänt tillgängligt

den 15 november 2023

Azure Databricks-stöd för azure-typer av konfidentiell databehandling av virtuella datorer är nu allmänt tillgängligt. Konfidentiell databehandling i Azure hjälper till att skydda data som används, vilket hindrar molnleverantören från att ha åtkomst till känsliga data. Se Virtuella Datorer för konfidentiell databehandling i Azure.

den 13 november 2023

Nu kan du hitta datauppsättningar, AI-modeller och Databricks Solution Accelerators på Databricks Marketplace med hjälp av det globala sökfältet i azure Databricks-arbetsytans användargränssnitt. Se Vad är Databricks Marketplace? och Sök efter arbetsyteobjekt.

Använda dataprodukter på Databricks Marketplace med externa plattformar

den 10 november 2023

Konsumenter utan en Unity Catalog-aktiverad Azure Databricks-arbetsyta kan nu komma åt dataprodukter på Databricks Marketplace. Du kan använda Delta Sharing-anslutningsappar för öppen delning för att komma åt Marketplace-data med hjälp av ett antal vanliga plattformar, inklusive Microsoft Power BI, Microsoft Excel, Pandas, Apache Spark och databricks-arbetsytor som inte är i Unity Catalog. Endast tabelldatauppsättningar är tillgängliga på externa plattformar (inte databricks notebook-filer eller modeller, till exempel). Se Begära och få åtkomst till dataprodukter på Databricks Marketplace med hjälp av externa plattformar.

Stöd för serverlösa SQL-lager som lagts till för flera Azure-regioner

den 9 november 2023

Följande Azure-regioner stöder nu serverlösa SQL-lager:

  • Brasilien, södra (brazilsouth)
  • Indien, centrala (centralindia)
  • Japan, östra (japaneast)
  • USA, norra centrala (norra centrala)
  • Storbritannien, södra (uksouth)

Se Azure Databricks-regioner och Aktivera serverlösa SQL-lager.

Automatisk aktivering av Unity Catalog för nya arbetsytor

den 9 november 2023

Databricks har börjat aktivera Unity Catalog automatiskt för nya arbetsytor. Detta tar bort behovet av att kontoadministratörer konfigurerar Unity Catalog när en arbetsyta har skapats. Distributionen fortsätter gradvis mellan konton. Se Automatisk aktivering av Unity Catalog.

Databricks Runtime 14.2 (beta)

den 8 november 2023

Databricks Runtime 14.2 och Databricks Runtime 14.2 ML är nu tillgängliga som betaversioner.

Se Databricks Runtime 14.2 och Databricks Runtime 14.2 för Machine Learning.

Databricks Marketplace innehåller Databricks-lösningsacceleratorer

den 7 november 2023

Databricks Marketplace ger dig nu åtkomst till Databricks Solution Accelerators, specialbyggda guider som tillhandahåller fullt fungerande notebook-filer, metodtips och exempeldata för att snabbt konfigurera dig med många populära användningsfall i Azure Databricks. Se Få åtkomst till Databricks Solution Accelerators.

Lakehouse Federation lägger till stöd för Google BigQuery

den 3 november 2023

Nu kan du konfigurera Lakehouse Federation för att köra federerade frågor med BigQuery anslutningstypen. Den nya BigQuery-anslutningsappen stöds på Pro- och Serverlösa SQL-lager och Databricks Runtime 13.3 LTS och senare. Se Köra federerade frågor på Google BigQuery.