Jegyzetfüzet eredménytárolási helyének konfigurálása

  • Cikk

A szervezet adatvédelmi követelményei megkövetelik, hogy az összes interaktív jegyzetfüzet-találatot a felhőfiók legfelső szintű Azure Storage-példányában tárolja, nem pedig a Databricks által felügyelt vezérlősík alapértelmezett helyét, ahol bizonyos jegyzetfüzet-parancsok eredményei vannak tárolva.

A jegyzetfüzet parancskimenete a jegyzetfüzet futtatásától függően eltérően lesz tárolva.

Alapértelmezés szerint, ha interaktívan futtat egy jegyzetfüzetet a Futtatás a jegyzetfüzetben elemre kattintva:

  • Ha az eredmények kicsik, a rendszer az Azure Databricks vezérlősíkjában tárolja őket, a jegyzetfüzet parancstartalmaival és metaadataival együtt.
  • A nagyobb eredményeket a munkaterület legfelső szintű Azure Storage-példányában tárolja az Azure-előfizetésében. Az Azure Databricks automatikusan létrehozza a legfelső szintű Azure Storage-példányt. Az Azure Databricks ezt a tárterületet használja a munkaterület rendszeradataihoz és a munkaterület DBFS-gyökeréhez. A jegyzetfüzet eredményei a munkaterületi rendszer adattárolójában vannak tárolva, amelyet a felhasználók nem érhetnek el.
  • A diagramképek és más bináris objektumok mindig külön tárolódnak a DBFS-gyökér FileStore területén.

Amikor feladatként futtat egy jegyzetfüzetet, ütemezi azt, vagy a Feladatok lapon a Futtatás most gombra kattint, a rendszer az összes eredményt a munkaterület gyökér Azure Storage-példányában tárolja a fiókjában.

A munkaterületet úgy konfigurálhatja, hogy az összes interaktív jegyzetfüzet-eredményt a felhőbeli fiókjában tárolja, az eredmény méretétől függetlenül.

A tárolóhely konfigurálása interaktív jegyzetfüzet-eredményekhez

A munkaterületet úgy konfigurálhatja, hogy az összes interaktív jegyzetfüzet-eredményt az Azure-előfizetésében tárolja a vezérlősík helyett. Ezt a funkciót a rendszergazdai beállítások oldalán vagy a REST API-val engedélyezheti. Ez a konfiguráció nincs hatással a feladatokként futtatott jegyzetfüzetekre, amelyek eredményeit alapértelmezés szerint az Azure-előfizetés tárolja.

Tartsa szem előtt a következőket:

  • A konfiguráció módosítása csak az új eredményekre érvényes. A meglévő jegyzetfüzet eredményei nem lesznek áthelyezve.
  • Az eredmények metaadatai, például a diagramoszlopok nevei továbbra is a vezérlősíkon lesznek tárolva.
  • A felhőszolgáltatónál megnövekedett tárolási költségek merülhetnek fel.
  • Az eredmények olvasása és írása során nagyobb hálózati és I/O-késés léphet fel.

Az összes jegyzetfüzet-találat tárolása a fiókban a rendszergazdai beállítások lapon

Munkaterület-rendszergazdaként:

  1. Lépjen a beállítások lapra.
  2. Kattintson a Biztonság fülre.
  3. Kattintson a Store interaktív jegyzetfüzet eredményeire az ügyfélfiók váltógombjában.

Az összes jegyzetfüzet-találat tárolása a fiókjában a REST API használatával

Ha úgy szeretné konfigurálni a munkaterületet, hogy az azure-előfizetésben lévő összes jegyzetfüzet-eredményt a REST API használatával tárolja:

  • Munkaterület-rendszergazdának kell lennie.
  • Személyes hozzáférési jogkivonatra van szüksége. Az alábbi utasítások feltételezik, hogy a személyes hozzáférési jogkivonattal rendelkező fájlt konfigurálta.netrc, hogy a parancsokban curl használni tudja a -n lehetőséget. Részletekért tekintse meg a fent hivatkozott cikket.

Az aktuális beállítás lekéréséhez hívja meg a végpontot GET /workspace-conf , és állítsa a keys következőre storeInteractiveNotebookResultsInCustomerAccount:

curl -n --request GET \
  'https://<databricks-instance>/api/2.0/workspace-conf?keys=storeInteractiveNotebookResultsInCustomerAccount'

Ha engedélyezni szeretné, hogy a munkaterület interaktív jegyzetfüzet-eredményeket tároljon az Azure-előfizetésben, hívja meg a PATCH /workspace-conf végpontot, és állítsa be storeInteractiveNotebookResultsInCustomerAccounttrue a kérelem törzsében:

curl -n --request PATCH \
 'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "true"
}'

A funkció letiltásához állítsa be ugyanazt a jelzőt a következőre false:

curl -n --request PATCH \
  'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "false"
}'