2019. február

Ezek a funkciók és Azure Databricks platform fejlesztései 2019 februárjában jelentek meg.

Megjegyzés

A kiadások szakaszosak. Előfordulhat Azure Databricks hogy a fiók csak az első kiadási dátumtól egy héttel később frissül.

A Databricks Light általánosan elérhetővé vált

2019. február 26. – 2019. március 5. – 2.92-es verzió

A Databricks Light (más néven Data Engineering Light) már elérhető. A Databricks Light a nyílt forráskódú Apache Spark Databricks-csomagolása. Olyan feladatokhoz biztosít futásidejű lehetőséget, amelyekhez nincs szükség a teljesítményre, a megbízhatóságra és az automatikus skálázásra a Databricks Runtime. A Databricks Lightot csak akkor választhatja ki, ha jar-, Python- vagy spark-submit-feladat futtatásához hoz létre fürtöt; Ezt a futásidőt nem választhatja ki olyan fürtök esetében, amelyeken interaktív vagy jegyzetfüzet-feladatok számítási feladatait futtatja. Lásd: Databricks Light.

Felügyelt MLflow az Azure Databricksben, nyilvános előzetes verzió

2019. február 26. – 2019. március 5. – 2.92-es verzió

Az MLflow egy nyílt forráskódú platform, amely lehetővé teszi a teljes gépi tanulási életciklus kezelését. Három elsődleges funkcióval foglalkozik:

  • Kísérletek nyomon követése paraméterek és eredmények rögzítéséhez és összehasonlításhoz.
  • Modellek kezelése és üzembe helyezése különböző kódtárakból ML különböző modell-kiszolgáló és következtetési platformokon.
  • A ML kód újrahasználható, reprodukálható formában való csomagolása más adattudósokkal való megosztáshoz vagy az éles környezetbe való átvitelhez.

Azure Databricks MLflow teljes körűen felügyelt és üzemeltetett verzióját biztosítja, amely integrálva van a vállalati biztonsági funkciókkal, a magas rendelkezésre állást és az Azure Databricks-munkaterület más funkcióit, például a kísérletkezelést, a futtatáskezelést és a jegyzetfüzetek változatának rögzítését. Az Azure Databricks MLflow szolgáltatása integrált felületet nyújt a gépi tanulási modell betanításának és a gépi tanulási projektek futtatásának követéséhez és biztonságossá tételéhez. A felügyelt MLflow-Azure Databricks mindkét platform előnyeit kihasználja, beleértve a következőket:

  • Munkaterületek: A kísérletek és eredmények együttműködésen alapuló nyomon követése és rendszerezése Azure Databricks MLflow-követési kiszolgálóval és integrált kísérleti felhasználói felülettel. Ha az MLflow-t jegyzetfüzetben használja, a Azure Databricks automatikusan rögzíti a jegyzetfüzetek változatát, így reprodukálhatja ugyanazt a kódot, és később futtathatja.
  • Biztonság: Az ACL-ekkel kihasználhatja a teljes ML közös biztonsági modelljét.
  • Feladatok: MLflow-projekteket futtathat Azure Databricks feladatokként távolról és közvetlenül a Azure Databricks notebookból.

Az itt található egy követési munkafolyamat bemutatója egy Azure Databricks munkaterületen:

Futtatás követése és a kísérleti munkafolyamat rendszerezése

Részletekért lásd: Kísérletek és MLflow-projektek futtatása a Azure Databricks.

Az Azure Data Lake Storage Gen2-összekötő általánosan elérhető

2019. február 15.

Az Azure Data Lake Storage Gen2 (ADLS Gen2), az big data Analytics következő generációs Data Lake-megoldása általánosan általánosan használható, ahogy az ADLS Gen2 összekötő is Azure Databricks. Örömmel jelentjük be, hogy a ADLS Gen2 támogatja a Databricks Deltát, ha 5.2-es vagy Databricks Runtime futtat fürtöt.

A fürtök létrehozásakor a Python 3 az alapértelmezett nyelv

2019. február 12-19. : 2.91-es verzió

A felhasználói felületen létrehozott fürtök alapértelmezett Python-verziója Python 2-ről Python 3-ra vált. Az alapértelmezett érték a REST API a Python 2.

A meglévő fürtök nem módosítják a Python-verziókat. Ha azonban rendszeresen használja a Python 2 alapértelmezett verzióját az új fürtök létrehozásakor, először meg kell figyelnie a Python-verzió kiválasztását.

Alapértelmezett Python-verzió

Lásd: Python-verzió.

A Delta Lake általánosan elérhető

2019. február 1.

Most már mindenki kihasználhatja a Databricks Delta hatékony tranzakciós tárolási rétegének és szupergyors olvasásának előnyeit: február 1-től a Delta Lake GA, és elérhető a Databricks Runtime. A Deltával kapcsolatos információkért lásd a Delta Lake és a Delta Engine útmutatóját.