2023. augusztus

  • Cikk

Ezek a funkciók és az Azure Databricks platform fejlesztései 2023 augusztusában jelentek meg.

Feljegyzés

A kiadások szakaszosak. Előfordulhat, hogy az Azure Databricks-munkaterület a kezdeti kiadás dátuma után egy vagy több hétig nem frissül.

2023. augusztus 31.

A Unity Katalógusban regisztrált táblák mostantól megjelennek a navigációs keresésben a felső sávon. Lásd: Munkaterület-objektumok keresése.

A Databricks CLI a 0.203.3-ra frissítve (nyilvános előzetes verzió)

2023. augusztus 30.

A Databricks parancssori felülete (Databricks CLI) a 0.203.3-as verzióra lett frissítve. További részletekért tekintse meg a 0.203.3-ás verzióra vonatkozó változásnaplót.

Databricks JDBC-illesztő 2.6.34

2023. augusztus 30.

Megjelent a Databricks JDBC-illesztőprogram 2.6.34-es verziója (letöltés). Ez a kiadás a külső kódtárak frissítésével számos sebezhetőségi problémát elhárít. Emellett ez a kiadás a következő problémákat is elhárítja:

  • Szálszivárgás, ha egy lekérdezés nem tud csatlakozni a kiszolgálóhoz.
  • Hiányzó megjegyzések a REMARKS tábla metaadatainak oszlopában.
  • Ha egy eredményhalmaz-lezárási művelet hibát ad vissza, az összekötő nem törli a műveletkezelő bejegyzéseit a szívverésszálból.

A kiadás emellett javítja a hibaüzenetek kezelését azáltal, hogy betartja SQLState a kiszolgálótól származó hibakódokat, és helyesen ellenőrzi a kiszolgáló protokolljának verzióját.

A Databricks SDK for Go a 0.18.0-s verzióra frissült (bétaverzió)

2023. augusztus 29.

A Databricks SDK for Go 0.18.0-s verziója 17 kompatibilitástörő API-módosítást vezet be, 30 API-t ad hozzá, és körülbelül egy tucat mezőt ad hozzá. További részletekért tekintse meg a 0.18.0-s verzióra vonatkozó változásnaplót.

A Pythonhoz készült Databricks SDK a 0.7.0-s verzióra frissítve (bétaverzió)

2023. augusztus 29.

A Python 0.7.0-s verziójához készült Databricks SDK kompatibilitástörő változást vezet be a files API-ban, valamint további 17 kompatibilitástörő módosítást is bevezet. Ez a kiadás 14 mezőt is hozzáad, és 27 adatosztályt ad hozzá. További részletekért tekintse meg a 0.7.0-s verzióra vonatkozó változásnaplót.

Az 1.24.1-es verzióra frissített Databricks Terraform-szolgáltató

2023. augusztus 29.

A Databricks Terraform szolgáltató 1.24.1-es verziója javítást tartalmaz a munkaterület elérhetőségének ellenőrzéséhez. További részletekért tekintse meg az 1.24.1-es verzióra vonatkozó változásnaplót.

Init-szkriptek a DBFS-hez 2023. december 1-ig meghosszabbítva

2023. augusztus 29.

A Databricks korábban bejelentette, hogy a DBFS init szkriptjei 2023. szeptember 1-jén érnek véget. Az élettartam végét 2023. december 1-ig meghosszabbítottuk.

Databricks Runtime 14.0 (bétaverzió)

2023. augusztus 29.

A Databricks Runtime 14.0 és a Databricks Runtime 14.0 ML már bétaverzióként érhető el.

Lásd: Databricks Runtime 14.0 (nem támogatott) és Databricks Runtime 14.0 for Machine Tanulás (nem támogatott).

Az egyesített navigációs felület ga

2023. augusztus 28.

Általánosan elérhető az egységes Azure Databricks navigációs felület. A felhasználók többé nem léphetnek vissza a klasszikus navigációs felületre. További információ: Navigálás a munkaterületen.

Az 1.24.0-s verzióra frissített Databricks Terraform-szolgáltató

2023. augusztus 25.

A Databricks Terraform-szolgáltató 1.24.0-s verziója fiókszintű API-támogatást biztosít a Unity Catalog-objektumokhoz, több adatforráshoz is hozzáadva acl_principal_id . További részletekért tekintse meg az 1.24.0-s verzióra vonatkozó változásnaplót.

A Databricks Runtime for Genomics beállítás el lett távolítva a munkaterület rendszergazdai beállításainak lapjáról

2023. augusztus 25.

A munkaterület rendszergazdái a továbbiakban nem tudják engedélyezni vagy letiltani a Databricks Runtime for Genomics alkalmazást a munkaterület rendszergazdai beállításainak lapján vagy a Munkaterület konfigurációs API-ján. A Databricks Genomics futtatókörnyezet elavult, és 2022. szeptember 24-én el lett távolítva a Databricks Runtime for Genomics támogatása.

A Databricks Genomics futtatókörnyezet elavult. Az nyílt forráskód egyenértékűekért lásd a genomics-pipelines és a Glow adattárait.

A Databricks Runtime elavulási szabályzatával és ütemezésével kapcsolatos további információkért lásd a Támogatott Databricks Runtime LTS-kiadásokat.

A Container Services-beállítás el lett távolítva a munkaterület rendszergazdai beállításainak lapjáról

2023. augusztus 25.

A munkaterület rendszergazdái a továbbiakban nem tudják engedélyezni vagy letiltani a Container Services szolgáltatást a munkaterület rendszergazdai beállításainak lapján. A Container Services lehetővé teszi ügyféltárolók használatát a fürtökön. Alapértelmezés szerint minden új munkaterületen engedélyezve van. A Container Services továbbra is engedélyezhető vagy letiltható a Munkaterület konfigurációs API-jának használatával. További információ: Tárolószolgáltatások engedélyezése.

A Databricks CLI a 0.203.2-es verzióra frissítve (nyilvános előzetes verzió)

2023. augusztus 24.

A Databricks parancssori felülete (Databricks CLI) a 0.203.2-es verzióra lett frissítve. További részletekért tekintse meg a 0.203.2-es verzióra vonatkozó változásnaplót.

A Függvények és változók definíciója a Python-jegyzetfüzetekben

2023. augusztus 24.

A Databricks Runtime 12.2 LTS-ben és újabb verziókban, amikor egy Python-jegyzetfüzet egy fürthöz van csatolva, automatikusan elérheti a jegyzetfüzetben definiált változók vagy függvények definícióját. Részletekért lásd : Ugrás a definícióra .

Az egyesített sémaböngésző ga

2023. augusztus 24.

Az egyesített sémaböngésző mostantól általánosan elérhető a Catalog Explorerben, az SQL-szerkesztőben és a jegyzetfüzetekben. Lásd: Mi az a Katalóguskezelő?.

A Databricks Runtime 13.3 LTS ga

2023. augusztus 22.

A Databricks Runtime 13.3 LTS és a Databricks Runtime 13.3 LTS ML már általánosan elérhető.

Lásd: Databricks Runtime 13.3 LTS és Databricks Runtime 13.3 LTS for Machine Tanulás.

Címkék bemutatása a Unity Catalog használatával

2023. augusztus 22.

Mostantól címkéket alkalmazhat a biztonságos objektumokra a Unity Katalógusban. A címkék segítségével rendszerezheti a biztonságos objektumokat, és egyszerűbbé teheti az adategységek keresését és felderítését. Lásd: Címkék alkalmazása.

Az init-szkriptek, JARs-ek és Maven-koordináták engedélyezési listája a Unity Catalog megosztott fürtöin nyilvános előzetes verzióban érhető el

2023. augusztus 23.

Mostantól a Unity katalógus allowlist használatával szabályozhatja az init-szkriptek, a JAR-ek és a Maven-koordináták telepítését a számításhoz a Databricks Runtime 13.3-at vagy újabb verzióját futtató megosztott hozzáférési móddal. Lásd: Allowlist-kódtárak és init-szkriptek megosztott számításon.

Az Init-szkriptek és a JAR-k mennyiségi támogatása nyilvános előzetes verzióban érhető el

2023. augusztus 23.

A Unity Catalog-kötetekkel mostantól init-szkripteket és JAR-eket tárolhat a számításban a Databricks Runtime 13.3-at vagy újabb verzióját futtató hozzárendelt vagy megosztott hozzáférési módokkal. Tekintse meg a fürt hatókörű kódtárait és a kötetből származó kódtárak telepítését.

Egyszerűbb Databricks Repos .ipynb fájlkimenet véglegesítése

2023. augusztus 21.

A Databricks-adattárak olyan funkciókkal bővültek, amelyekkel az .ipynb fájlkimenetek egyszerűbben vezérelhetők és megtekinthetők:

  • Az adattárak létrehozhatnak egy commit_output konfigurációs fájlt.
  • A felhasználói felületen megjelenő értesítésekből megtudhatja a kimeneti véglegesítések állapotát.
  • A Fájl menüben szabályozhatja, hogy a jegyzetkimenetek véglegesítése le van-e kötve.

Lásd: Control .ipynb notebook output commits.

A Databricks-adattárak IPYNB-jegyzetfüzet-támogatása ga

2023. augusztus 21.

A Databricks-adattárak IPYNB-jegyzetfüzetfájl-támogatása ga. További információ az adattárakról:

A Databricks SDK for Go a 0.17.0-s verzióra frissült (bétaverzió)

2023. augusztus 18.

A Databricks SDK for Go 0.17.0-s verziója több mint 30 API-t ad hozzá, és körülbelül 10 API-t nevez át. További részletekért tekintse meg a 0.17.0-s verzióra vonatkozó változásnaplót.

A Pythonhoz készült Databricks SDK a 0.6.0-s verzióra frissítve (bétaverzió)

2023. augusztus 18.

A Python 0.6.0-s verziójához készült Databricks SDK körülbelül 20 adatosztályt ad hozzá, körülbelül 10 API-t ad hozzá, és körülbelül 20 átnevezési lehetőséget tartalmaz. További részletekért tekintse meg a 0.6.0-s verzióra vonatkozó változásnaplót.

A Databricks CLI a 0.203.1-es verzióra frissítve (nyilvános előzetes verzió)

2023. augusztus 16.

A Databricks parancssori felülete (Databricks CLI) a 0.203.1-es verzióra lett frissítve. További részletekért tekintse meg a 0.203.1-es verzióra vonatkozó változásnaplót.

Az Egyesített sémaböngésző mostantól ga

2023. augusztus 16.

Mostantól egységesen navigálhat az adatok között a jegyzetfüzetekben, az SQL-szerkesztőben és a Katalóguskezelőben, beleértve az alábbi új képességeket:

  • A fa tömörített verziója.
  • A Unity Catalog objektumszámának megjelenítése sémaszinten szűréskor.
  • A műveletek megtekintéséhez kattintson a jobb gombbal a menüre.

A kiszolgáló nélküli alhálózati módosítások hatással lehetnek Önre, ha azonosítókat kódol egy szkriptben vagy sablonban

2023. augusztus 15.

Ha Azure Storage-tűzfalat használ, augusztus végéig néhány alhálózati azonosító módosul. Ez nem érinti a legtöbb ügyfelet, mert az Azure automatikusan migrálja az alhálózat azonosítóit a meglévő tárolási tűzfalszabályokban. Ez az áttelepítés nem érinti a meglévő számítási feladatokat.

Ha egy olyan sablonban vagy szkriptben kódolja a kiszolgáló nélküli alhálózatok listáját, amely frissíti az Azure Storage tűzfalszabályait, a szabályok frissítése előtt le kell szereznie az alhálózati azonosítók legújabb listáját. Az egyes régiók legújabb azonosítóiért tekintse meg az Azure Databricks-régiókat.

A Databricks SDK for Go a 0.16.0-s verzióra frissült (bétaverzió)

2023. augusztus 14.

A Databricks SDK for Go 0.16.0-s verziója körülbelül egy tucat mezőt ad hozzá, körülbelül fél tucat mezőt távolít el, és körülbelül fél tucat API aláírását módosítja. További részletekért tekintse meg a 0.16.0-s verzióra vonatkozó változásnaplót.

A partner Csatlakozás támogatja a Census-t

2023. augusztus 14.

Mostantól a Partner Csatlakozás használatával csatlakoztathatja az Azure Databricks-munkaterületet a Censushoz. További információ: Csatlakozás a censushoz.

Az Azure Key Vault által felügyelt HSM-kulcsok mostantól támogatottak az ügyfél által felügyelt kulcsokhoz

2023. augusztus 14.

Egyes Azure Databricks-szolgáltatások és -adatok támogatják az ügyfél által felügyelt kulcs hozzáadását a titkosított adatokhoz való hozzáférés védelme és szabályozása érdekében. Az Azure Databricks három, ügyfél által felügyelt kulcsfontosságú funkcióval rendelkezik, amelyek különböző típusú adatokat és helyeket foglalnak magukban. Mindhárom funkció mostantól támogatja az Azure Key Vault felügyelt HSM-ből (hardveres biztonsági modulokból) származó ügyfél által felügyelt kulcsokat az Azure Key Vault-tárolók mellett. A titkosításhoz tekintse meg az ügyfél által felügyelt kulcsokat.

A Pythonhoz készült Databricks SDK a 0.5.0-s verzióra frissítve (bétaverzió)

2023. augusztus 11.

A Python 0.5.0-s verziójához készült Databricks SDK megváltoztatja egy fél tucat API aláírását, hozzáad egy tucat mezőt, eltávolít egy fél tucat mezőt, és hozzáad néhány adatosztályt. További részletekért tekintse meg a 0.5.0-s verzióra vonatkozó változásnaplót.

Munkaterületfájlok programozott írási támogatása

2023. augusztus 11.

A Databricks Runtime 11.2-t és újabb verziót használó fürtök támogatják a munkaterület fájljainak írását. A munkaterületen belül programozott módon hozhat létre, frissíthet és törölhet fájlokat és könyvtárakat.

A Databricks CLI a 0.203.0-s verzióra frissítve (nyilvános előzetes verzió)

2023. augusztus 10.

A Databricks parancssori felülete (Databricks CLI) 0.203.0-s verziója javítja a auth login parancsot, és így tovább. További részletekért tekintse meg a 0.203.0-s verzióra vonatkozó változásnaplót.

Az 1.23.0-s verzióra frissített Databricks Terraform-szolgáltató

2023. augusztus 9.

A Databricks Terraform szolgáltató 1.23.0-s verziója további támogatott mezőkkel bővül RunJobTask a következőben databricks_job: exportőri támogatás databricks_model_servingstb. További részletekért tekintse meg az 1.23.0-s verzióra vonatkozó változásnaplót.

A csoportok mostantól átnevezhetők

2023. augusztus 8.

Mostantól átnevezheti a meglévő fiókcsoportokat és a munkaterület helyi csoportjait. Lásd: Csoport nevének módosítása.

A Databricks SDK for Go a 0.15.0-s verzióra frissült (bétaverzió)

2023. augusztus 7.

A Databricks SDK for Go 0.15.0-s verziója újrafaktorozza az engedélyekkel kapcsolatos API-kat, hogy érthetőbbek és könnyebben használhatók legyenek. További részletekért tekintse meg a 0.15.0-s verzióra vonatkozó változásnaplót.

A Pythonhoz készült Databricks SDK a 0.4.0-s verzióra frissítve (bétaverzió)

2023. augusztus 7.

A Python 0.4.0-s verziójához készült Databricks SDK újrafaktorozza az engedélyekkel kapcsolatos API-kat, hogy érthetőbbek és könnyebben használhatók legyenek. További részletekért tekintse meg a 0.4.0-s verzióra vonatkozó változásnaplót.

Harmadik féltől származó iFraming-megelőzési konfigurációs beállítás el lett távolítva

2023. augusztus 7.

Az Azure Databricks a megfelelő HTTP-fejlécek hozzáadásával csökkenti a külső tartományok kockázatát az iFraming Azure Databricksből. A külső iFraming-megelőzés alapértelmezés szerint továbbra is engedélyezve van, de az Azure Databricks eltávolította a munkaterület rendszergazdai beállítását a letiltásához. Ha korábban letiltotta egy munkaterület külső iFraming szolgáltatását, a funkció továbbra is le lesz tiltva az adott munkaterületen. A külső iFraming újbóli engedélyezéséhez lépjen kapcsolatba az Azure Databricks-fiók csapatával.

A Visual Studio Code Databricks-bővítménye az 1.1.1-es verzióra frissítve

2023. augusztus 4.

A Visual Studio Code 1.1.1-es verziójához készült Databricks-bővítmény számos kisebb javítást biztosít, például a HOME windowsos környezeti változó helyes kezelését és egyebeket. További részletekért tekintse meg az 1.1.1-es verzióra vonatkozó változásnaplót.

A LangChain a 13.1-ben és újabb verziókban érhető el

2023. augusztus 4.

A LangChain egy kísérleti MLflow-ízként érhető el, amely lehetővé teszi, hogy a LangChain ügyfelei közvetlenül az Azure Databricks-környezetből használják ki az MLflow robusztus eszközeit és kísérletkövetési képességeit.

A LangChain egy szoftveres keretrendszer, amellyel nagy nyelvi modelleket (LLM-eket) használó alkalmazásokat hozhat létre, és kombinálhatja őket külső adatokkal, hogy több betanítási környezetet biztosíthasson az LLM-ek számára.

A Databricks Runtime for Machine Tanulás a Databricks Runtime 13.1 ML-ben és újabb verziókban is megtalálhatólangchain.

A Unity Catalog szolgáltatásfejlesztése nyilvános előzetes verzió

2023. augusztus 3.

A Unity Catalog szolgáltatásfejlesztésével a Unity Catalog lesz a funkciótár. Bármely Delta-táblát használhat elsődleges kulccsal funkciótábláként a modell betanításához vagy következtetéséhez. A Unity Katalógus funkciófelderítést és szabályozást biztosít.

Továbbfejlesztett hibakezelés ismétlődő folyamatos feladathibák esetén

2023. augusztus 3.

Az egymást követő hibák küszöbértékét meghaladó folyamatos feladatok mostantól exponenciális visszalépési sémát használnak a feladatfuttatások hatékony újrapróbálkozásához, és lehetővé teszik, hogy a feladatok helyreálljanak az átmeneti problémákból. Korábban a hibaküszöböt meghaladó folyamatos feladatok szüneteltetve lettek, és nem próbálkoztak újra.

A kiszolgáló nélküli SQL-raktárak mostantól további régiókban is elérhetők

2023. augusztus 3.

Kiszolgáló nélküli SQL-raktárak további régiókban érhetők el: Kelet-Ausztrália, Közép-Kanada, USA 2. nyugati régiója, USA déli középső régiója és Délkelet-Ázsia. Tekintse meg az Azure Databricks-régiókat.

Ha Azure Storage-tűzfalat szeretne használni, konfigurálja a tűzfalat úgy, hogy a kiszolgáló nélküli SQL Warehouse-alhálózatokról engedélyezze a hozzáférést. Tekintse meg az Azure Databricks-régiókat.

Sémák megosztása a Delta Sharing (nyilvános előzetes verzió) használatával

2023. augusztus 2.

Mostantól a Delta Sharing használatával megoszthatja a teljes sémát, így a címzett a megosztás pillanatában hozzáférhet a sémában lévő összes táblához és nézethez, valamint a sémához a jövőben hozzáadott táblákhoz és nézetekhez. A sémák SQL-parancsokkal való hozzáadásához sql-raktár vagy Databricks Runtime 13.2-t vagy újabb verziót futtató fürt szükséges. A Catalog Explorer használatával végzett műveletnek nincsenek számítási követelményei. Lásd: Séma hozzáadása megosztáshoz.

Feladatok feltételes futtatása az Azure Databricks-feladatokban

2023. augusztus 2.

Az új Run if feltétel használatával a tevékenység függőségeinek állapota alapján futtathat feladatfeladatokat, így nagyobb rugalmasságot biztosíthat egy Munkafolyamat Azure Databricks-feladattal való implementálása során. A feltételt Run if használhatja például egy tevékenység futtatására, ha a tevékenység egyes vagy az összes függősége meghiúsult. Lásd: Feladatok feltételes futtatása egy Azure Databricks-feladatban.

Az 1.22.0-s verzióra frissített Databricks Terraform-szolgáltató

2023. augusztus 1.

A Databricks Terraform szolgáltató 1.22.0-s verziója erőforrástdatabricks_access_control_rule_set, hozzáadásokat és databricks_metastore adatforrásokat databricks_metastore és egyebeket ad hozzá. További részletekért tekintse meg az 1.22.0-s verzióra vonatkozó változásnaplót.

Továbbfejlesztett biztonsági és megfelelőségi funkciók

2023. augusztus 1.

Engedélyezheti a megfelelőségi biztonsági profilt, amely további monitorozást, rögzített számítási rendszerképet és egyéb funkciókat biztosít a munkaterületeken. A megfelelőségi biztonsági profil szükséges az Azure Databricks használatához a PCI-DSS által szabályozott adatok feldolgozásához, de ha nem dolgoz fel ilyen adatokat, engedélyezheti a profilt. Kizárólag Ön a felelős azért, hogy saját maga feleljön az összes vonatkozó törvénynek és rendeletnek.

Másik lehetőségként külön is engedélyezheti a fokozott biztonsági monitorozást, amely további monitorozást és megerősített számítási rendszerképet biztosít.

Mindkét funkció az új bővített biztonság és megfelelőség bővítmény részeként érhető el. Ha valamelyik funkciót engedélyezi egy munkaterületen, az új bővítményért a díjszabási oldalon leírtak szerint kell fizetnie. Mindkét funkcióhoz prémium tarifacsomag szükséges.

A Lakehouse monitorozása nyilvános előzetes verzió

2023. augusztus 1.

A Databricks Lakehouse Monitoring integrálja az adatokat és a modellminőség-monitorozást a Databricks platformba. Olyan beépített minőségi metrikákat biztosít, mint az összefoglaló statisztikák, az eloszlás időbeli változásai, valamint a modell teljesítménye, beleértve a méltányosságot és az elfogultságot. A Lakehouse Monitor automatikusan létrehoz egy összefoglaló irányítópultot, amely segít az adatok minőségének időbeli megjelenítésében. Az adatok alapján riasztásokat is beállíthat.

Databricks Runtime 13.3 LTS (bétaverzió)

2023. augusztus 1.

A Databricks Runtime 13.3 LTS és a Databricks Runtime 13.3 LTS ML már bétaverzióként érhető el.

Lásd: Databricks Runtime 13.3 LTS és Databricks Runtime 13.3 LTS for Machine Tanulás.

Általánosan elérhetők az új Git-műveletek: Ágak egyesítése, újrabázis és lekérés ütközésfeloldással

2023. augusztus 1.

A következő Git-műveletek általánosan elérhetők a Databricks-adattárakban:

  • Egyesítés és újrabázis: Mostantól a Git egyesíthet vagy újrabázisozhat két ágat közvetlenül az Azure Databricksben. Ez leegyszerűsíti az ágak kombinálásának folyamatát, és lehetővé teszi a művelet során felmerülő ütközések feloldását.
  • Lekérés ütközésfeloldással: Mostantól a Databricks-adattárak használatával kezelheti és feloldhatja a távoli Git-adattárból az Azure Databricks használatával történő lekéréskor előforduló ütközéseket.

Ezekkel a hatékony új ütközésfeloldási eszközökkel még egyszerűbbé és hatékonyabbá válik a kódon való együttműködés a Databricks-adattárak használatával.