Python-fejlesztési környezet beállítása az Azure Machine Learninghez (v1)

Megtudhatja, hogyan konfigurálhat Python-fejlesztési környezetet az Azure Machine Learninghez.

Az alábbi táblázat az ebben a cikkben tárgyalt fejlesztési környezeteket, valamint az előnyöket és hátrányokat mutatja be.

Környezet	Előnyök	Hátrányok
Helyi környezet	A fejlesztési környezet és a függőségek teljes körű felügyelete. Futtassa a parancsot bármilyen tetszőleges buildelési eszközzel, környezettel vagy IDE-vel.	Az első lépések hosszabb időt vesznek igénybe. Telepíteni kell a szükséges SDK-csomagokat, és egy környezetet is telepíteni kell, ha még nem rendelkezik ilyen csomaggal.
A Data Science Virtual Machine (DSVM)	A felhőalapú számítási példányhoz hasonlóan (a Python és az SDK előre telepítve van), de más népszerű adatelemzési és gépi tanulási eszközök is előre telepítve vannak. Egyszerűen méretezhető és kombinálható más egyéni eszközökkel és munkafolyamatokkal.	A felhőalapú számítási példányhoz képest lassabb első lépések.
Azure Machine Learning számítási példány	Az első lépések legegyszerűbb módja. A teljes SDK már telepítve van a munkaterület virtuális gépén, és a jegyzetfüzet-oktatóanyagok előre klónozva vannak, és készen állnak a futtatásra.	Nincs szabályozva a fejlesztési környezet és a függőségek felett. A Linux rendszerű virtuális gépek többletköltsége (a virtuális gép leállhat, ha nincs használatban a díjak elkerülése érdekében). Lásd a díjszabás részleteit.
Azure Databricks	Ideális nagy léptékű, intenzív gépi tanulási munkafolyamatok futtatásához a méretezhető Apache Spark-platformon.	Overkill a kísérleti gépi tanuláshoz, vagy kisebb méretű kísérletekhez és munkafolyamatokhoz. Az Azure Databricks esetében felmerülő többletköltség. Lásd a díjszabás részleteit.

Ez a cikk a következő eszközökhöz is tartalmaz használati tippeket:

• Jupyter-notebookok: Ha már jupyter notebookokat használ, az SDK-nak van néhány olyan kiegészítője, amelyet telepítenie kell.

• Visual Studio Code: Ha a Visual Studio Code-ot használja, az Azure Machine Learning bővítmény széles körű nyelvi támogatást nyújt a Pythonhoz és a funkciókhoz, így sokkal kényelmesebbé és hatékonyabbá teheti az Azure Machine Learning használatát.

Előfeltételek

• Azure Machine Learning-munkaterület. Ha még nem rendelkezik ilyen munkaterülettel, létrehozhat egy Azure Machine Learning-munkaterületet a Azure Portal, az Azure CLI és az Azure Resource Manager sablonokon keresztül.

Csak helyi és DSVM esetén: Munkaterület konfigurációs fájljának létrehozása

A munkaterület konfigurációs fájlja egy JSON-fájl, amely közli az SDK-val, hogyan kommunikálhat az Azure Machine Learning-munkaterülettel. A fájl neve config.json, formátuma pedig a következő:

{
    "subscription_id": "<subscription-id>",
    "resource_group": "<resource-group>",
    "workspace_name": "<workspace-name>"
}

Ennek a JSON-fájlnak a Python-szkripteket vagy Jupyter Notebookokat tartalmazó könyvtárstruktúrában kell lennie. Lehet ugyanabban a könyvtárban, egy nevű .azuremlalkönyvtárban vagy egy szülőkönyvtárban.

A fájl kódból való használatához használja a metódust Workspace.from_config . Ez a kód betölti az adatokat a fájlból, és csatlakozik a munkaterülethez.

Hozzon létre egy munkaterület-konfigurációs fájlt az alábbi módszerek egyikével:

• Azure Portal

  A fájl letöltése: A Azure Portal válassza a config.json letöltése lehetőséget a munkaterület Áttekintés szakaszában.

  

• Azure Machine Learning Python SDK

  Hozzon létre egy szkriptet az Azure Machine Learning-munkaterülethez való csatlakozáshoz, és a write_config metódussal hozza létre a fájlt, és mentse .azureml/config.json néven. Mindenképpen cserélje le a ésresource_groupworkspace_name a elemet subscription_ida saját helyére.

  A KÖVETKEZŐKRE VONATKOZIK:Python SDK azureml v1

  from azureml.core import Workspace
  
  subscription_id = '<subscription-id>'
  resource_group  = '<resource-group>'
  workspace_name  = '<workspace-name>'
  
  try:
      ws = Workspace(subscription_id = subscription_id, resource_group = resource_group, workspace_name = workspace_name)
      ws.write_config()
      print('Library configuration succeeded')
  except:
      print('Workspace not found')
  

Helyi számítógép vagy távoli virtuálisgép-környezet

Beállíthat egy környezetet egy helyi számítógépen vagy távoli virtuális gépen, például egy Azure Machine Learning számítási példányon vagy Adattudomány virtuális gépen.

Helyi fejlesztési környezet vagy távoli virtuális gép konfigurálása:

1. Hozzon létre egy Python virtuális környezetet (virtualenv, conda).

   Megjegyzés

   Bár nem kötelező, javasoljuk, hogy az Anaconda vagy a Miniconda használatával kezelje a Python virtuális környezeteket, és telepítsen csomagokat.

   Fontos

   Ha Linux vagy macOS rendszeren dolgozik, és a bashtől eltérő rendszerhéjat használ (például zsh), hibaüzenetek jelenhetnek meg bizonyos parancsok futtatásakor. A probléma megoldásához az bash paranccsal indítson el egy új Bash-felületet, és futtassa ott a parancsokat.

2. Aktiválja az újonnan létrehozott Python virtuális környezetet.

3. Telepítse az Azure Machine Learning Python SDK-t.

4. Ha a helyi környezetet az Azure Machine Learning-munkaterület használatára szeretné konfigurálni, hozzon létre egy munkaterület-konfigurációs fájlt , vagy használjon egy meglévőt.

Most, hogy beállította a helyi környezetet, készen áll az Azure Machine Learning használatának megkezdésére. Az első lépésekhez tekintse meg az Azure Machine Learning Python első lépéseket ismertető útmutatóját .

Jupyter-notebookok

Helyi Jupyter Notebook-kiszolgáló futtatásakor javasoljuk, hogy hozzon létre egy IPython-kernelt a Python virtuális környezetéhez. Ez segít biztosítani a kernel- és csomagimportálás várt viselkedését.

1. Környezetspecifikus IPython-kernelek engedélyezése

   conda install notebook ipykernel
   

2. Hozzon létre egy kernelt a Python virtuális környezethez. Ügyeljen arra, hogy a helyére <myenv> írja be a Python-alapú virtuális környezet nevét.

   ipython kernel install --user --name <myenv> --display-name "Python (myenv)"
   

3. Indítsa el a Jupyter Notebook-kiszolgálót

Az Azure Machine Learning- és Jupyter-notebookok használatának első lépéseiért tekintse meg az Azure Machine Learning-jegyzetfüzetek adattárát . Lásd még a közösség által vezérelt adattárat, az AzureML-Examplest.

Visual Studio Code

A Visual Studio Code használata fejlesztéshez:

1. Telepítse a Visual Studio Code-ot.

2. Telepítse az Azure Machine Learning Visual Studio Code bővítményt (előzetes verzió).

   Fontos

   Ez a funkció jelenleg nyilvános előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatói szerződés nélkül érhető el, éles számítási feladatokhoz nem ajánljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik.

   További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

Miután telepítette a Visual Studio Code-bővítményt, használja a következőre:

• Az Azure Machine Learning-erőforrások kezelése
• Indítsa el a Visual Studio Code-ot, amely távolról csatlakozik egy számítási példányhoz (előzetes verzió)
• Kísérletek futtatása és hibakeresése
• Betanított modellek üzembe helyezése (CLI v2).

Azure Machine Learning számítási példány

Az Azure Machine Learning számítási példány egy biztonságos, felhőalapú Azure-munkaállomás, amely egy Jupyter Notebook kiszolgálót, a JupyterLabet és egy teljes körűen felügyelt gépi tanulási környezetet biztosít az adatelemzők számára.

Nincs mit telepíteni vagy konfigurálni egy számítási példányhoz.

Bármikor létrehozhat egyet az Azure Machine Learning-munkaterületen belül. Adjon meg csak egy nevet, és adjon meg egy Azure-beli virtuálisgép-típust. Próbálja ki most az Erőforrások létrehozása paranccsal az első lépésekhez.

Ha többet szeretne megtudni a számítási példányokról, többek között a csomagok telepítéséről, tekintse meg az Azure Machine Learning számítási példányának létrehozását és kezelését ismertető cikket.

Tipp

A nem használt számítási példányok díjainak elkerülése érdekében állítsa le a számítási példányt. Vagy engedélyezze a számítási példány tétlen leállítását .

A Jupyter Notebook-kiszolgáló és a JupyterLab mellett számítási példányokat is használhat a Azure Machine Learning stúdió beépített notebookfunkciójában.

Az Azure Machine Learning Visual Studio Code-bővítmény használatával távoli számítási példányhoz is csatlakozhat a VS Code használatával.

Adatelemzési virtuális gép

A Adattudomány virtuális gép egy testre szabott virtuálisgép-rendszerkép, amelyet fejlesztési környezetként használhat. Olyan adatelemzési munkákhoz készült, amelyek előre konfigurált eszközök és szoftverek, például:

• Olyan csomagok, mint a TensorFlow, a PyTorch, a Scikit-learn, az XGBoost és az Azure Machine Learning SDK
• Népszerű adatelemzési eszközök, például a Spark Önálló és a Részletezés
• Olyan Azure-eszközök, mint az Azure CLI, az AzCopy és a Storage Explorer
• Integrált fejlesztési környezetek (IDE-k), például Visual Studio Code és PyCharm
• Jupyter Notebook-kiszolgáló

Az eszközök átfogóbb listáját a Adattudomány virtuálisgép-eszközök útmutatójában találja.

Fontos

Ha a Adattudomány virtuális gépet tervezi számítási célként használni a betanítási vagy következtetési feladatokhoz, csak az Ubuntu támogatott.

A Adattudomány virtuális gép használata fejlesztési környezetként:

1. Hozzon létre egy Adattudomány virtuális gépet az alábbi módszerek egyikével:

   • Az Azure Portal használatával hozzon létre egy Ubuntu- vagy Windows DSVM-et.

   • Hozzon létre egy Adattudomány virtuális gépet ARM-sablonokkal.

   • Az Azure parancssori felületének használata

     Ubuntu Adattudomány virtuális gép létrehozásához használja a következő parancsot:

     # create a Ubuntu Data Science VM in your resource group
     # note you need to be at least a contributor to the resource group in order to execute this command successfully
     # If you need to create a new resource group use: "az group create --name YOUR-RESOURCE-GROUP-NAME --location YOUR-REGION (For example: westus2)"
     az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:linux-data-science-vm-ubuntu:linuxdsvmubuntu:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --generate-ssh-keys --authentication-type password
     

     Windows DSVM létrehozásához használja a következő parancsot:

     # create a Windows Server 2016 DSVM in your resource group
     # note you need to be at least a contributor to the resource group in order to execute this command successfully
     az vm create --resource-group YOUR-RESOURCE-GROUP-NAME --name YOUR-VM-NAME --image microsoft-dsvm:dsvm-windows:server-2016:latest --admin-username YOUR-USERNAME --admin-password YOUR-PASSWORD --authentication-type password
     

2. Aktiválja az Azure Machine Learning SDK-t tartalmazó Conda-környezetet.

   • Ubuntu Adattudomány virtuális gép esetén:

     conda activate py36
     

   • Windows Adattudomány virtuális gép esetén:

     conda activate AzureML
     

3. A Adattudomány virtuális gép Azure Machine Learning-munkaterület használatára való konfigurálásához hozzon létre egy munkaterület konfigurációs fájlját, vagy használjon egy meglévőt.

A helyi környezetekhez hasonlóan használhatja a Visual Studio Code-ot és az Azure Machine Learning Visual Studio Code bővítményt az Azure Machine Learning használatához.

További információ: Adattudomány Virtual Machines.

Következő lépések

• Modell betanítása és üzembe helyezése az Azure Machine Learningben az MNIST-adatkészlettel.
• Tekintse meg a Pythonhoz készült Azure Machine Learning SDK referenciáját.