Říjen 2019

Tyto funkce a Azure Databricks vylepšení platforem byly vydány v říjnu 2019.

Poznámka

Verze jsou připravené. Váš účet Azure Databricks možná nebude možné aktualizovat až do týdne po počátečním datu vydání.

Metriky možností podpory se přesunuly do Azure Event Hubs

Říjen 22-29, 2019

Metriky podpory, které umožňují Azure Databricks monitorování stavu clusteru, byly migrovány z úložiště objektů BLOB v Azure do koncových bodů centra událostí. To umožňuje Azure Databricks poskytovat nižší latenci pro řešení incidentů zákazníků. Pro pracovní prostory Injektáže virtuální sítě jsme do skupiny zabezpečení sítě pro EventHub koncový bod služby přidali další pravidlo. Podrobnosti jsou k dispozici v tabulce pravidel skupiny zabezpečení sítě . Pro pokračování dostupnosti služeb není nutná žádná akce.

Seznam Azure Databricks metriky podpory Event Hubs koncových bodů podle oblastí najdete v tématech metastore, úložiště objektů BLOB artefaktů, úložiště objektů BLOB protokolu a IP adresy koncového bodu centra událostí.

Předání přihlašovacích údajů ve službě Azure Data Lake Storage je obecně dostupné na standardních clusterech a rozhraní Scala

Říjen 22-29, 2019: verze 3,5

Průchod přihlašovacích údajů pro Python, SQL a Scala na standardních clusterech se systémy Databricks runtime 5,5 a vyšší a také spark na Databricks runtime 6,0 a vyšší je všeobecně dostupný. Viz Povolení průchodu přihlašovacích údajů Azure Data Lake Storage pro standardní cluster.

Obecná dostupnost Databricks Runtime 6.1 pro Genomics

22. října 2019

Databricks Runtime 6,1 pro genomiku jsou všeobecně k dispozici. Viz Databricks runtime pro genomika (nepoužívané).

Obecná dostupnost Databricks Runtime 6.1 pro strojové učení

22. října 2019

Databricks Runtime 6,1 ML je všeobecně k dispozici. Zahrnuje podporu pro clustery GPU a upgrady do následujících knihoven strojového učení:

  • TensorFlow na 1.14.0
  • PyTorch na 1.2.0
  • Torchvision na 0.4.0
  • MLflow na 1.3.0

Další informace najdete v tématu úplné poznámky k verzi Databricks Runtime 6,1 pro Machine Learning (nepodporované) .

Počet volání rozhraní API je teď pro MLflow omezený

Říjen 22-29, 2019: verze 3,5

Aby se zajistila vysoká kvalita služeb při velkém zatížení, Azure Databricks nyní vynutila omezení přenosové rychlosti rozhraní API pro všechna volání rozhraní API MLflow. Omezení se nastaví na účet, aby se zajistilo spravedlivé využití a vysoká dostupnost všech organizací, které sdílí pracovní prostor.

MLflow klienti s automatickými pokusy jsou k dispozici v MLflow 1.3.0 a jsou v Databricks Runtime 6,1 pro Machine Learning (nepodporované). Všem zákazníkům doporučujeme, aby přešli na nejnovější verzi klienta MLflow.

Podrobnosti najdete v tématu rozhraní MLflow API.

Obecná dostupnost fondů instancí pro rychlé spuštění clusteru

Říjen 22-29, 2019: verze 3,5

Funkce Azure Databricks, která podporuje připojení clusteru k předdefinovanému fondu nečinných instancí, je teď všeobecně dostupná.

Když jsou instance ve fondu nečinné, Azure Databricks neúčtuje jednotky DBU. Použije se ale fakturace zprostředkovatele instancí – viz ceny.

Podrobnosti najdete v tématu fondy.

Obecná dostupnost Databricks Runtime 6.1

16. října 2019

Databricks Runtime 6,1 přináší několik vylepšení rozdílových Lake:

  • Snadno převést tabulky na rozdílový formát Lake
  • Rozhraní API Pythonu pro rozdílové tabulky (Public Preview)
  • Dynamické vyřazování souborů (DFP) je ve výchozím nastavení povolené.

Databricks Runtime 6,1 také odebírá několik omezení pro průchozí přihlašovací údaje.

Poznámka

Počínaje verzí 6,1 podporuje Databricks Runtime jenom clustery CPU. Pokud chcete používat clustery GPU, je nutné použít Databricks Runtime ML.

Další informace najdete v tématu úplné poznámky k verzi Databricks Runtime 6,1 (nepodporované) .

Obecná dostupnost Databricks Runtime 6.0 pro Genomics

16. října 2019

Databricks Runtime pro genomiku (Databricks Runtime genomiky) je variantou Databricks Runtime optimalizovanou pro práci s genomikou a biolékařskými daty. Od verze 6,0 je všeobecně dostupná Databricks runtime pro genomika (nepoužívané) .

Možnost nasazení pracovního prostoru Azure Databricks do vlastní virtuální sítě (tzv. injektáž virtuální sítě) je teď obecně dostupná

9. října 2019

S potěšením oznamujeme, že je GA možné nasadit Azure Databricks pracovní prostor do vaší vlastní virtuální sítě, označované také jako vkládání virtuální sítě. Tato možnost je určená pro uživatele, kteří vyžadují vlastní nastavení sítě, a proto nechtějí používat výchozí virtuální síť, která se vytvoří při nasazení Azure Databricks pracovního prostoru standardním způsobem. Pomocí injektáže virtuální sítě můžete:

Nasazení Azure Databricks do vlastní virtuální sítě také umožňuje využít výhod flexibilních rozsahů CIDR (kdekoli mezi/16-/24 pro virtuální síť a až/26 pro podsítě).

Konfigurace pomocí uživatelského rozhraní Azure Portal je rychlá a jednoduchá: Když vytváříte pracovní prostor, stačí vybrat v Virtual Network nasadit Azure Databricks pracovní prostor, vybrat svou virtuální síť a zadat rozsahy CIDR pro dvě podsítě. Azure Databricks aktualizuje virtuální síť se dvěma novými podsítěmi a skupinami zabezpečení sítě, umožní přístup k příchozímu a odchozímu provozu podsítě a nasadí pracovní prostor do aktualizované virtuální sítě.

Vkládání virtuální sítě při nasazení pracovního prostoru

Pokud dáváte přednost konfiguraci virtuální sítě pro vkládání virtuální sítě, například chcete použít existující podsítě, použít stávající skupiny zabezpečení sítě nebo vytvořit vlastní pravidla zabezpečení, můžete místo uživatelského rozhraní portálu použít šablony ARM dodávané pomocí Azure-datacihly .

Poznámka

Pokud jste se účastnili vkládání virtuální sítě ve verzi Preview, je nutné upgradovat pracovní prostor Preview na verzi GA do 31. ledna 2020, aby bylo možné pokračovat v přijímání podpory. Viz upgrade pracovního prostoru ukázka Vyinjektáže virtuální sítě na GA.

Podrobnosti najdete v tématu nasazení Azure Databricks ve službě Azure Virtual Network (vkládání virtuální sítě) a připojení pracovního prostoru Azure Databricks k místní síti.

Uživatelé, kteří nejsou správci Azure Databricks, můžou číst jména uživatelů a názvy skupin přes rozhraní API SCIM

Říjen 8-15, 2019: verze 3,4

Uživatelé bez oprávnění správce teď můžou volat SCIM API získat uživatele a získat koncové body skupin pro čtení uživatelů a skupin zobrazovaných názvů a ID. Všechny ostatní operace SCIM API nadále vyžadují přístup správce.

Rozhraní API pro pracovní prostor vrací ID objektů poznámkových bloků a složek

Říjen 8-15, 2019: verze 3,4

get-status list Koncových bodů a v rozhraní API pracovního prostoru teď vrací ID objektů poznámkových bloků a složek, což vám dává možnost odkazovat na tyto objekty v jiných voláních rozhraní API.

Obecná dostupnost Databricks Runtime 6.0 ML

4. října 2019

Databricks Runtime 6,0 ML obsahuje následující aktualizace:

  • MLflow
    • Nový zdroj dat Spark pro MLflow experimenty teď poskytuje standardní rozhraní API pro načtení dat MLflow experimentu.
    • Přidání klienta Java MLflow
    • MLflow se teď zvyšuje jako knihovna nejvyšší úrovně.
  • Hyperopt GA – významná vylepšení vzhledem k tomu, že verze Public Preview zahrnuje podporu MLflow protokolování na pracovníky Spark, správné zpracování proměnných vysílání PySpark a nové vodítko pro výběr modelu pomocí Hyperopt.
  • Byly upgradovány knihovny Horovod a MLflow a distribuce Anaconda.

Poznámka

V této verzi se podporují jenom clustery CPU.

Další informace najdete v tématu úplné poznámky k verzi Databricks Runtime 6,0 pro Machine Learning (nepodporované) .

Nové oblasti: Brazílie – jih a Francie – střed

1. říjen 2019

Azure Databricks je teď k dispozici v oblasti Brazílie – jih (Svatý Paolo State) a Francie – střed (Paříž).

Obecná dostupnost Databricks Runtime 6.0

1. říjen 2019

Databricks Runtime 6,0 přináší mnoho upgradů knihoven a nových funkcí, včetně:

  • Nová rozhraní API Scala a Java pro příkazy Delta Lake s DML a také příkazy pro vaku a příkaz k historii.
  • Vylepšený DBFS pojistka pro rychlejší a spolehlivější čtení a zápisy během školení modelu.
  • Podpora pro více matplotlib pro každou buňku na Poznámkový blok.
  • Aktualizujte na Python 3,7 a také aktualizované numpy, PANDAS, matplotlib a další knihovny.
  • Slunce podpory Pythonu 2.

Poznámka

V této verzi se podporují jenom clustery CPU.

Další informace najdete v tématu úplné poznámky k verzi Databricks Runtime 6,0 (nepodporované) .