Augusti 2023

  • Artikel

Dessa funktioner och förbättringar av Azure Databricks-plattformen släpptes i augusti 2023.

Kommentar

Versioner mellanlagras. Din Azure Databricks-arbetsyta kanske inte uppdateras förrän en vecka eller mer efter det första lanseringsdatumet.

den 31 augusti 2023

Tabeller som är registrerade i Unity Catalog visas nu i navigeringssökningen i det övre fältet. Se Sök efter arbetsyteobjekt.

Databricks CLI har uppdaterats till version 0.203.3 (offentlig förhandsversion)

den 30 augusti 2023

Databricks kommandoradsgränssnitt (Databricks CLI) har uppdaterats till version 0.203.3. Mer information finns i ändringsloggen för version 0.203.3.

Databricks JDBC-drivrutin 2.6.34

den 30 augusti 2023

Vi har släppt version 2.6.34 av Databricks JDBC-drivrutinen (ladda ned). Den här versionen åtgärdar ett antal sårbarhetsproblem genom att uppgradera bibliotek från tredje part. Dessutom åtgärdar den här versionen följande problem:

  • Trådläckage när en fråga inte kan ansluta till servern.
  • Kommentarer saknas i REMARKS kolumnen med tabellmetadata.
  • När en stängningsåtgärd för resultatuppsättningen returnerar ett fel rensar inte anslutningsappen åtgärdshandtagsposterna från pulsslagstråden.

Versionen förbättrar också hanteringen av felmeddelanden genom att SQLState respektera och felkoder från servern och kontrollerar serverprotokollversionen korrekt.

Databricks SDK för Go har uppdaterats till version 0.18.0 (Beta)

den 29 augusti 2023

Databricks SDK för Go version 0.18.0 introducerar 17 icke-bakåtkompatibla API-ändringar, lägger till 30 API:er och lägger till ett dussin fält. Mer information finns i ändringsloggen för version 0.18.0.

Databricks SDK för Python har uppdaterats till version 0.7.0 (Beta)

den 29 augusti 2023

Databricks SDK för Python version 0.7.0 introducerar en icke-bakåtkompatibel ändring för fil-API:et samt 17 ytterligare icke-bakåtkompatibla ändringar. Den här versionen lägger också till 14 fält och lägger till 27 dataklasser. Mer information finns i ändringsloggen för version 0.7.0.

Databricks Terraform-providern har uppdaterats till version 1.24.1

den 29 augusti 2023

Databricks Terraform-providern version 1.24.1 innehåller en korrigering för verifiering av arbetsytans nåbarhet. Mer information finns i ändringsloggen för version 1.24.1.

Init-skript på DBFS-livslängden utökas till 1 dec 2023

den 29 augusti 2023

Databricks har tidigare meddelat att init-skript på DBFS skulle nå slutet av livet den 1 september 2023. Slutdatumet har förlängts till den 1 december 2023.

Databricks Runtime 14.0 (Beta)

den 29 augusti 2023

Databricks Runtime 14.0 och Databricks Runtime 14.0 ML är nu tillgängliga som betaversioner.

Se Databricks Runtime 14.0 och Databricks Runtime 14.0 för Machine Learning.

Enhetlig navigeringsupplevelse är GA

den 28 augusti 2023

Den enhetliga Azure Databricks-navigeringsupplevelsen är nu allmänt tillgänglig. Användare kan inte längre återgå till den klassiska navigeringsupplevelsen. Mer information finns i Navigera till arbetsytan.

Databricks Terraform-providern har uppdaterats till version 1.24.0

den 25 augusti 2023

Databricks Terraform-providern version 1.24.0 lägger till API-stöd på kontonivå för Unity Catalog-objekt, lägger acl_principal_id till flera datakällor med mera. Mer information finns i ändringsloggen för version 1.24.0.

Databricks Runtime for Genomics-inställningen har tagits bort från sidan administratörsinställningar för arbetsytan

den 25 augusti 2023

Arbetsyteadministratörer kan inte längre aktivera eller inaktivera Databricks Runtime for Genomics från sidan administratörsinställningar för arbetsytan eller konfigurations-API:et för arbetsytor. Databricks Genomics-körningen är inaktuell och stödet för Databricks Runtime for Genomics togs bort den 24 september 2022.

Databricks Genomics-körningen har föråldrats. För öppen källkod motsvarigheter, se lagringsplatser för genomics-pipelines och Glow. Bioinformatikbibliotek som ingick i körningen har släppts som en Docker-container, som kan hämtas från Sidan ProjectGlow Dockerhub .

Mer information om utfasningsprincipen och schemat för Databricks Runtime finns i Databricks Runtime LTS-versioner som stöds.

Inställningen Container Services har tagits bort från sidan för administratörsinställningar för arbetsytan

den 25 augusti 2023

Arbetsyteadministratörer kan inte längre aktivera eller inaktivera Container Services från sidan administratörsinställningar för arbetsytan. Med Container Services kan du använda kundcontainrar i dina kluster. Den är aktiverad som standard på alla nya arbetsytor. Container Services kan fortfarande aktiveras eller inaktiveras med hjälp av API:et för arbetsytekonfiguration. Mer information finns i Aktivera Container Services.

Databricks CLI har uppdaterats till version 0.203.2 (offentlig förhandsversion)

den 24 augusti 2023

Databricks kommandoradsgränssnitt (Databricks CLI) har uppdaterats till version 0.203.2. Mer information finns i ändringsloggen för version 0.203.2.

Gå till definition för funktioner och variabler i Python-notebook-filer

den 24 augusti 2023

När en Python-notebook-fil är ansluten till ett kluster i Databricks Runtime 12.2 LTS och senare kan du automatiskt navigera till definitionen av en variabel eller funktion som definieras i anteckningsboken. Mer information finns i Gå till definition .

Enhetlig schemawebbläsare är GA

den 24 augusti 2023

Enhetlig schemawebbläsare är nu allmänt tillgänglig i Catalog Explorer, SQL-redigeraren och notebook-filer. Se Vad är Katalogutforskaren?.

Databricks Runtime 13.3 LTS är GA

den 22 augusti 2023

Databricks Runtime 13.3 LTS och Databricks Runtime 13.3 LTS ML är nu allmänt tillgängliga.

Se Databricks Runtime 13.3 LTS och Databricks Runtime 13.3 LTS för Machine Learning.

Introduktion till taggar med Unity Catalog

den 22 augusti 2023

Nu kan du använda taggar för dina skyddsbara objekt i Unity Catalog. Taggar hjälper dig att organisera skyddsbara objekt och förenkla sökning och identifiering av dina datatillgångar. Se Tillämpa taggar.

Listan över tillåtna init-skript, JAR:er och Maven-koordinater i delade Unity Catalog-kluster finns i offentlig förhandsversion

den 23 augusti 2023

Nu kan du använda Unity-katalogen allowlist för att styra installationen av init-skript, JAR:er och Maven-koordinater för beräkning med läget för delad åtkomst som kör Databricks Runtime 13.3 och senare. Se Tillåtlista bibliotek och init-skript för delad beräkning.

Volymstöd för init-skript och JAR:er finns i offentlig förhandsversion

den 23 augusti 2023

Nu kan du använda Unity Catalog-volymer för att lagra init-skript och JAR:er vid beräkning med tilldelade eller delade åtkomstlägen som kör Databricks Runtime 13.3 och senare. Se Klusteromfångsbibliotek och Installera bibliotek från en volym.

Enklare databricks repos .ipynb filutdata incheckningar

den 21 augusti 2023

Databricks Repos har lagt till funktioner för att göra .ipynb-filutdatainmatningar enklare att kontrollera och se:

  • Lagringsplatser kan skapa en commit_output konfigurationsfil åt dig.
  • Meddelanden i användargränssnittet låter dig veta status för utdataincheckningar.
  • På Arkiv-menyn kan du styra om noteook-utdata ska checkas in.

Se Kontrollera .ipynb notebook-utdataincheckningar.

Stöd för IPYNB-notebook-filer i Databricks Repos är GA

den 21 augusti 2023

Stöd för IPYNB-notebook-filer i Databricks Repos är GA. Mer information om lagringsplatser finns i:

Databricks SDK för Go har uppdaterats till version 0.17.0 (Beta)

den 18 augusti 2023

Databricks SDK för Go version 0.17.0 lägger till över 30 API:er och byter namn på cirka 10 API:er. Mer information finns i ändringsloggen för version 0.17.0.

Databricks SDK för Python har uppdaterats till version 0.6.0 (Beta)

den 18 augusti 2023

Databricks SDK för Python version 0.6.0 lägger till cirka 20 dataklasser, lägger till cirka 10 API:er och innehåller cirka 20 namnbyten. Mer information finns i ändringsloggen för version 0.6.0.

Databricks CLI har uppdaterats till version 0.203.1 (offentlig förhandsversion)

den 16 augusti 2023

Databricks-kommandoradsgränssnittet (Databricks CLI) har uppdaterats till version 0.203.1. Mer information finns i ändringsloggen för version 0.203.1.

Unified Schema Browser är nu GA

den 16 augusti 2023

Ett enhetligt sätt att navigera i dina data är nu tillgängligt för notebook-filer, SQL Editor och Catalog Explorer, inklusive följande nya funktioner:

  • Komprimerad version av trädet.
  • Visning av antal Unity Catalog-objekt på schemanivå vid filtrering.
  • Högerklicka på menyn för att visa åtgärder.

Serverlösa undernätsändringar kan påverka dig om du kodar ID:t i ett skript eller en mall

den 15 augusti 2023

Om du använder en Azure Storage-brandvägg ändras vissa undernäts-ID:t fram till slutet av augusti. Detta påverkar inte de flesta kunder eftersom Azure automatiskt migrerar undernäts-ID i befintliga brandväggsregler för lagring. Den här migreringen påverkar inte befintliga arbetsbelastningar.

Om du kodar listan över serverlösa undernät i en mall eller ett skript som uppdaterar brandväggsreglerna för Azure Storage måste du hämta den senaste listan över undernäts-ID:t innan du försöker uppdatera reglerna. De senaste ID:n för varje region finns i Nätverkssäkerhet för serverlösa SQL-lager.

Databricks SDK för Go har uppdaterats till version 0.16.0 (Beta)

den 14 augusti 2023

Databricks SDK för Go version 0.16.0 lägger till ett dussin fält, tar bort ungefär ett halvt dussin fält och ändrar signaturerna för ungefär ett halvt dussin API:er. Mer information finns i ändringsloggen för version 0.16.0.

Partner Anslut stöder census

den 14 augusti 2023

Nu kan du använda Partner Anslut för att ansluta din Azure Databricks-arbetsyta till Census. Mer information finns i Anslut till Census.

Azure Key Vault Managed HSM-nycklar stöds nu för kundhanterade nycklar

den 14 augusti 2023

Vissa Azure Databricks-tjänster och data stöder tillägg av en kundhanterad nyckel för att skydda och kontrollera åtkomsten till krypterade data. Azure Databricks har tre kundhanterade nyckelfunktioner som omfattar olika typer av data och platser. Alla tre funktionerna stöder nu kundhanterade nycklar från Azure Key Vault Managed HSM (maskinvarusäkerhetsmoduler) tillsammans med Azure Key Vault-valv. Se Kundhanterade nycklar för kryptering.

Databricks SDK för Python har uppdaterats till version 0.5.0 (Beta)

den 11 augusti 2023

Databricks SDK för Python version 0.5.0 ändrar signaturerna för ett halvt dussin API:er, lägger till ett dussin fält, tar bort ett halvt dussin fält och lägger till några dataklasser. Mer information finns i ändringsloggen för version 0.5.0.

Programmatiskt skrivstöd för arbetsytefiler

den 11 augusti 2023

Kluster som använder Databricks Runtime 11.2 och senare stöder skrivning till arbetsytefiler. Du kan programmatiskt skapa, uppdatera och ta bort filer och kataloger på din arbetsyta.

Databricks CLI har uppdaterats till version 0.203.0 (offentlig förhandsversion)

den 10 augusti 2023

Databricks-kommandoradsgränssnittet (Databricks CLI) version 0.203.0 förbättrar auth login kommandot med mera. Mer information finns i ändringsloggen för version 0.203.0.

Databricks Terraform-providern har uppdaterats till version 1.23.0

den 9 augusti 2023

Databricks Terraform-providern version 1.23.0 utökas RunJobTask med ytterligare fält som stöds i databricks_job, lägger till exporterstöd för databricks_model_servingmed mera. Mer information finns i ändringsloggen för version 1.23.0.

Grupper kan nu byta namn

den 8 augusti 2023

Nu kan du byta namn på befintliga kontogrupper och arbetsytelokala grupper. Se Ändra namnet på en grupp.

Databricks SDK för Go har uppdaterats till version 0.15.0 (Beta)

den 7 augusti 2023

Databricks SDK för Go version 0.15.0 omstrukturerar behörighetsrelaterade API:er för att göra dem mer begripliga och enklare att använda. Mer information finns i ändringsloggen för version 0.15.0.

Databricks SDK för Python har uppdaterats till version 0.4.0 (Beta)

den 7 augusti 2023

Databricks SDK för Python version 0.4.0 omstrukturerar behörighetsrelaterade API:er för att göra dem mer begripliga och enklare att använda. Mer information finns i ändringsloggen för version 0.4.0.

Konfigurationsinställningen för iFraming-förebyggande från tredje part har tagits bort

den 7 augusti 2023

Azure Databricks minskar risken för domäner från tredje part från iFraming Azure Databricks genom att lägga till lämpliga HTTP-huvuden. IFraming-skydd från tredje part är fortfarande aktiverat som standard, men Azure Databricks tog bort administratörsinställningen för arbetsytan för att inaktivera den. Om du tidigare har inaktiverat iFraming från tredje part för en arbetsyta fortsätter funktionen att inaktiveras för den arbetsytan. Om du vill återaktivera iFraming från tredje part kontaktar du ditt Azure Databricks-kontoteam.

Databricks-tillägget för Visual Studio Code har uppdaterats till version 1.1.1

4 augusti 2023

Databricks-tillägget för Visual Studio Code version 1.1.1 innehåller flera mindre korrigeringar, till exempel korrekt hantering av HOME miljövariabeln i Windows med mera. Mer information finns i ändringsloggen för version 1.1.1.

LangChain finns i 13.1 och senare

4 augusti 2023

LangChain är tillgängligt som en experimentell MLflow-smak som gör att LangChain-kunder kan utnyttja de robusta verktygen och experimentspårningsfunktionerna i MLflow direkt från Azure Databricks-miljön.

LangChain är ett programvaruramverk som är utformat för att hjälpa till att skapa program som använder stora språkmodeller (LLM) och kombinera dem med externa data för att få mer träningskontext för LLMs.

Databricks Runtime for Machine Learning ingår langchain i Databricks Runtime 13.1 ML och senare.

Funktionsteknik i Unity-katalogen är en offentlig förhandsversion

3 augusti 2023

Med Funktionsutveckling i Unity Catalog blir Unity Catalog din funktionsbutik. Du kan använda valfri Delta-tabell med en primärnyckel som funktionstabell för modellträning eller slutsatsdragning. Unity Catalog tillhandahåller funktionsidentifiering och styrning.

Förbättrad felhantering vid upprepade kontinuerliga jobbfel

3 augusti 2023

Kontinuerliga jobb som överskrider ett tröskelvärde för efterföljande fel använder nu ett exponentiellt backoff-schema för att effektivt försöka köra jobb igen och tillåta jobb att återställas från tillfälliga problem. Tidigare pausades kontinuerliga jobb som överskred tröskelvärdet för fel och gjordes inte på nytt.

Serverlösa SQL-lager är nu tillgängliga i ytterligare regioner

3 augusti 2023

Serverlösa SQL-lager finns i ytterligare regioner: Australien, östra, Kanada, centrala, USA, västra 2, USA, södra centrala och Asien, sydöstra. Se Azure Databricks-regioner.

Om du planerar att använda en Azure Storage-brandvägg konfigurerar du brandväggen så att den tillåter åtkomst från serverlösa SQL Warehouse-undernät. Se Nätverkssäkerhet för serverlösa SQL-lager.

Dela scheman med deltadelning (offentlig förhandsversion)

2 augusti 2023

Nu kan du använda Deltadelning för att dela ett helt schema, vilket ger mottagaren åtkomst till alla tabeller och vyer i schemat när du delar det, tillsammans med tabeller och vyer som läggs till i schemat i framtiden. För att lägga till scheman i en resurs med SQL-kommandon krävs ett SQL-lager på SQL-beräkningsversion 2023.35 eller senare, eller ett kluster som kör Databricks Runtime 13.2 eller senare. Att göra samma sak med Hjälp av Catalog Explorer har inga beräkningskrav. Se Lägga till scheman i en resurs.

Kör uppgifter villkorligt i dina Azure Databricks-jobb

2 augusti 2023

Du kan använda det nya Run if villkoret för att köra en jobbaktivitet baserat på statusen för aktivitetens beroenden, vilket ger större flexibilitet när du implementerar ett arbetsflöde med ett Azure Databricks-jobb. Du kan till exempel använda villkoret Run if för att köra en aktivitet när vissa eller alla av aktivitetens beroenden har misslyckats. Se Köra aktiviteter villkorligt i ett Azure Databricks-jobb.

Databricks Terraform-providern har uppdaterats till version 1.22.0

1 augusti 2023

Databricks Terraform-providern version 1.22.0 lägger till en databricks_access_control_rule_set resurs, tillägg databricks_metastore och databricks_metastore datakällor med mera. Mer information finns i ändringsloggen för version 1.22.0.

Förbättrade säkerhets- och efterlevnadsfunktioner

1 augusti 2023

Du kan aktivera säkerhetsprofilen för efterlevnad, som ger ytterligare övervakning, en härdad beräkningsbild och andra funktioner på dina arbetsytor. Säkerhetsprofilen för efterlevnad krävs för att använda Azure Databricks för att bearbeta data som regleras av PCI-DSS, men du kan välja att aktivera profilen om du inte bearbetar sådana data. Du är ensam ansvarig för att säkerställa din egen efterlevnad av alla tillämpliga lagar och förordningar.

Du kan också aktivera förbättrad säkerhetsövervakning separat, vilket ger ytterligare övervakning och en härdad beräkningsavbildning.

Båda funktionerna är tillgängliga som en del av det nya tillägget Förbättrad säkerhet och efterlevnad. Om du aktiverar någon av dessa funktioner på en arbetsyta debiteras du för det nya tillägget enligt beskrivningen på prissidan. Båda funktionerna kräver prisnivån Premium.

Lakehouse Monitoring är en offentlig förhandsversion

1 augusti 2023

Databricks Lakehouse Monitoring integrerar data- och modellkvalitetsövervakning i Databricks-plattformen. Den innehåller kvalitetsmått som sammanfattningsstatistik, ändringar i distributionen över tid och modellprestanda, inklusive rättvisa och bias. Lakehouse Monitoring genererar automatiskt en sammanfattningsinstrumentpanel som hjälper dig att visualisera datakvalitet över tid. Du kan också konfigurera aviseringar baserat på data.

Databricks Runtime 13.3 LTS (Beta)

1 augusti 2023

Databricks Runtime 13.3 LTS och Databricks Runtime 13.3 LTS ML är nu tillgängliga som betaversioner.

Se Databricks Runtime 13.3 LTS och Databricks Runtime 13.3 LTS för Machine Learning.

Nya Git-åtgärder är allmänt tillgängliga: Sammanfoga grenar, ombaseras och hämtas med konfliktlösning

1 augusti 2023

Följande Git-åtgärder är nu allmänt tillgängliga i Databricks Repos:

  • Sammanslagning och ombasering: Nu kan du koppla git eller ändra om två grenar direkt i Azure Databricks. Detta förenklar processen med att kombinera grenar och ger möjlighet att lösa konflikter som uppstår under åtgärden.
  • Dra med konfliktlösning: Du kan nu använda Databricks Repos för att hantera och lösa konflikter som inträffar när du hämtar från en fjärransluten Git-lagringsplats med Hjälp av Azure Databricks.

Med dessa kraftfulla nya konfliktlösningsverktyg blir samarbetet med kod med Databricks Repos ännu mer effektiviserat och effektivt.