Azure Machine Tanulás adattermékként felhőalapú elemzésekhez
Az Azure Machine Tanulás egy integrált platform a gépi tanulási életciklus elejétől a végéig történő kezelésére, beleértve a gépi tanulási modellek és munkafolyamatok létrehozásának, működtetésének és felhasználásának segítését. A szolgáltatás néhány előnye:
A képességek támogatják az alkotókat a hatékonyság növelésében azáltal, hogy segítenek a kísérletek kezelésében, az adatok elérésében, a feladatok nyomon követésében, a hiperparaméterek hangolásában és a munkafolyamatok automatizálásában.
A modellnek a DevOpsszal magyarázható, reprodukálható, auditált és integrálható kapacitása, valamint egy gazdag biztonsági ellenőrzési modell segítheti az operátorokat az irányítási és megfelelőségi követelmények teljesítésében.
A felügyelt következtetési képességek és az Azure számítási és adatszolgáltatások robusztus integrációja segíthet leegyszerűsíteni a szolgáltatás használatának módját.
Az Azure Machine Tanulás az adatelemzési életciklus minden aspektusát lefedi. Ez az adattárat és az adathalmaz-regisztrációt ismerteti a modell üzembe helyezéséhez. Bármilyen gépi tanuláshoz használható, a klasszikus gépi tanulástól a mély tanulásig. Ez magában foglalja a felügyelt és felügyelet nélküli tanulást. Akár Pythont, R-kódot szeretne írni, akár nulla kódú vagy alacsony kódú lehetőségeket( például a tervezőt) használ, pontos gépi tanulási és mélytanulási modelleket hozhat létre, taníthat be és követhet nyomon egy Azure Machine Tanulás-munkaterületen.
Az Azure Machine Tanulás, az Azure platform és az Azure AI-szolgáltatások együttműködve kezelhetik a gépi tanulási életciklust. A gépi tanulási szakemberek az Azure Synapse Analytics, az Azure SQL Database vagy a Microsoft Power BI használatával megkezdhetik az adatok elemzését és az Azure Machine Tanulás való áttérést a prototípus-kezeléshez, a kísérletezéshez és az üzemeltetéshez. Az Azure-beli célzónákban az Azure Machine Tanulás adatterméknek tekinthetők.
Azure Machine Tanulás felhőalapú elemzésekben
A felhőadaptálási keretrendszer (CAF) kezdőzóna-alaprendszere, a felhőalapú elemzési adat-célzónák és az Azure Machine Tanulás konfigurációja olyan előre konfigurált környezettel állítja be a gépi tanulási szakembereket, amelyekbe ismételten üzembe helyezhetnek új gépi tanulási számítási feladatokat, vagy migrálhatják a meglévő számítási feladatokat. Ezek a képességek segíthetnek a gépi tanulási szakembereknek abban, hogy nagyobb rugalmasságot és értéket szerezzenek az idejüknek.
Az alábbi tervezési alapelvek vezérelhetik az Azure Machine Tanulás Azure-beli kezdőzónák implementálását:
Gyorsított adathozzáférés: Előre konfigurálja a célzóna-tároló összetevőit adattárként az Azure Machine Tanulás munkaterületen.
Engedélyezett együttműködés: Munkaterületek projekt szerinti rendszerezése és a célzóna-erőforrások hozzáférés-kezelésének központosítása az adatmérnöki, adatelemzési és gépi tanulási szakemberek együttműködésének támogatása érdekében.
Biztonságos megvalósítás: Minden üzembe helyezésnél alapértelmezettként kövesse az ajánlott eljárásokat, és használja a hálózatelkülönítést, az identitást és a hozzáférés-kezelést az adategységek védelméhez.
Önkiszolgáló: A gépi tanulási szakemberek nagyobb rugalmasságot és szervezést érhetnek el az új projekterőforrások üzembe helyezésének lehetőségeinek feltárásával.
Az adatkezelés és az adatfelhasználás közötti aggodalmak elkülönítése: Az identitásátadás az Azure Machine Tanulás és a tárolás alapértelmezett hitelesítési típusa.
Gyorsabb adatalkalmazás (forráshoz igazított): Az Azure Data Factory, az Azure Synapse Analytics és a Databricks kezdőzónák előre konfigurálhatók az Azure Machine Tanulás összekapcsolásához.
Megfigyelhetőség: A központi naplózás és referenciakonfigurációk segíthetnek a környezet monitorozásában.
Implementáció áttekintése
Megjegyzés:
Ez a szakasz a felhőalapú elemzésekre vonatkozó konfigurációkat javasolja. Kiegészíti az Azure Machine Tanulás dokumentációját és felhőadaptálási keretrendszer ajánlott eljárásokat.
Munkaterületek szervezése és beállítása
Üzembe helyezheti a számítási feladatokhoz és az üzembe helyezett kezdőzónákhoz szükséges gépi tanulási munkaterületek számát. A következő javaslatok segíthetnek a beállításban:
Projektenként legalább egy gépi tanulási munkaterület üzembe helyezése.
A gépi tanulási projekt életciklusától függően helyezzen üzembe egy fejlesztési (fejlesztői) munkaterületet a prototípus-használati esetekhez, és vizsgálja meg az adatokat a korai fázisban. A folyamatos kísérletezést, tesztelést és üzembe helyezést igénylő munkákhoz helyezzen üzembe egy előkészítési és éles munkaterületet.
Ha több környezetre van szükség az adat-kezdőzónában lévő fejlesztési, előkészítési és éles munkaterületekhez, javasoljuk, hogy kerülje az adatok duplikálását azáltal, hogy minden környezet ugyanabban az éles adat-célzónában található.
Az Azure Machine-Tanulás-környezetek rendszerezéséről és beállításáról további információt az Azure Machine Tanulás-erőforrások rendszerezéséről és beállításáról talál.
Egy adat-célzóna minden alapértelmezett erőforrás-konfigurációja esetén az Azure Machine Tanulás szolgáltatás egy dedikált erőforráscsoportban van üzembe helyezve, amely a következő konfigurációkat és függő erőforrásokat tartalmazza:
- Azure Key Vault
- Application Insights
- Azure Container Registry
- Az Azure Machine Tanulás használatával csatlakozhat egy Azure Storage-fiókhoz és a Microsoft Entra identitásalapú hitelesítéséhez, hogy segítsen a felhasználóknak a fiókhoz való csatlakozásban.
- A diagnosztikai naplózás minden munkaterülethez be van állítva, és egy központi Log Analytics-erőforrásra van konfigurálva nagyvállalati szinten; Ez segíthet az Azure Machine Tanulás feladatok állapotának és erőforrás-állapotának központi elemzésében a kezdőzónákon belül és azok között.
- Az Azure Machine Tanulás munkaterületről további információt az Azure Machine Tanulás erőforrásairól és függőségeiről talál.
Integráció az adat-kezdőzóna alapvető szolgáltatásaival
Az adat-kezdőzóna egy alapértelmezett szolgáltatáskészlettel rendelkezik, amely az alapvető szolgáltatási rétegben van üzembe helyezve. Ezek az alapvető szolgáltatások konfigurálhatók, ha az Azure Machine Tanulás az adat-kezdőzónában van üzembe helyezve.
Csatlakozás Azure Synapse Analytics- vagy Databricks-munkaterületeket társított szolgáltatásként az adatok integrálásához és a big data feldolgozásához.
Alapértelmezés szerint a data lake-szolgáltatások ki vannak építve az adat-célzónában, és az Azure Machine Tanulás terméktelepítések olyan kapcsolatokhoz (adattárakhoz) tartoznak, amelyek előre konfigurálva vannak ezekhez a tárfiókokhoz.
Hálózati kapcsolat
Az Azure Machine Tanulás Azure-beli kezdőzónákban való implementálására szolgáló hálózatkezelés az Azure Machine Tanulás és a CAF hálózatkezelési ajánlott eljárásaihoz ajánlott biztonsági eljárásokkal van beállítva. Ezek az ajánlott eljárások a következő konfigurációkat tartalmazzák:
- Az Azure Machine Tanulás és a függő erőforrások a Private Link-végpontok használatára vannak konfigurálva.
- A felügyelt számítási erőforrások csak privát IP-címekkel vannak üzembe helyezve.
- Az Azure Machine Tanulás nyilvános alaprendszerkép-adattárhoz és az Azure Artifactshez hasonló partnerszolgáltatásokhoz való hálózati kapcsolat hálózati szinten konfigurálható.
Identitás- és hozzáférés-kezelés
Vegye figyelembe a következő javaslatokat a felhasználói identitások kezeléséhez és az Azure Machine-Tanulás való hozzáféréshez:
Az Azure Machine-Tanulás adattárai hitelesítő vagy identitásalapú hitelesítés használatára konfigurálhatók. Amikor hozzáférés-vezérlési és data lake-konfigurációkat használ az Azure Data Lake Storage Gen2-ben, konfigurálja az adattárakat identitásalapú hitelesítés használatára. Ez lehetővé teszi, hogy az Azure Machine Tanulás optimalizálja a tárolási felhasználói hozzáférési engedélyeket.
A Microsoft Entra-csoportok használatával kezelheti a tárolási és gépi tanulási erőforrások felhasználói engedélyeit.
Az Azure Machine Tanulás a hozzáférés-vezérléshez használhat felhasználó által hozzárendelt felügyelt identitásokat, és korlátozhatja az Azure Container Registryhez, a Key Vaulthoz, az Azure Storage-hoz és az Alkalmazás Elemzések való hozzáférés tartományát.
Hozzon létre felhasználó által hozzárendelt felügyelt identitásokat az Azure Machine Tanulás létrehozott felügyelt számítási fürtökhöz.
Infrastruktúra kiépítése önkiszolgáló szolgáltatással
Az önkiszolgáló szolgáltatások az Azure Machine Tanulás szabályzataival engedélyezhetők és szabályozhatók. Az alábbi táblázat az Azure Machine Tanulás telepítésekor alapértelmezett szabályzatokat sorol fel. További információ: Azure Policy beépített szabályzatdefiníciók az Azure Machine Tanulás.
| Házirend | Típus | Reference |
|---|---|---|
| Az Azure Machine Tanulás-munkaterületeknek az Azure Private Linket kell használniuk. | Beépítve | Megtekintés az Azure Portalon |
| Az Azure Machine Tanulás-munkaterületeknek felhasználó által hozzárendelt felügyelt identitásokat kell használniuk. | Beépítve | Megtekintés az Azure Portalon |
| [Előzetes verzió]: Engedélyezett adatbázisokat konfigurálhat adott Azure Machine-Tanulás-számításokhoz. | Beépítve | Megtekintés az Azure Portalon |
| Azure Machine-Tanulás-munkaterületek konfigurálása privát végpontokkal. | Beépítve | Megtekintés az Azure Portalon |
| Gépi tanulási számításokat konfigurálhat a helyi hitelesítési módszerek letiltásához. | Beépítve | Megtekintés az Azure Portalon |
| Append-machinelearningcompute-setupscriptscreationscript | Egyéni (CAF-kezdőzónák) | Megtekintés a GitHubon |
| Deny-machinelearning-hbiworkspace | Egyéni (CAF-kezdőzónák) | Megtekintés a GitHubon |
| Deny-machinelearning-publicaccesswhenbehindvnet | Egyéni (CAF-kezdőzónák) | Megtekintés a GitHubon |
| Deny-machinelearning-AKS | Egyéni (CAF-kezdőzónák) | Megtekintés a GitHubon |
| Deny-machinelearningcompute-subnetid | Egyéni (CAF-kezdőzónák) | Megtekintés a GitHubon |
| Deny-machinelearningcompute-vmsize | Egyéni (CAF-kezdőzónák) | Megtekintés a GitHubon |
| Deny-machinelearningcomputecluster-remoteloginportpublicaccess | Egyéni (CAF-kezdőzónák) | Megtekintés a GitHubon |
| Deny-machinelearningcomputecluster-scale | Egyéni (CAF-kezdőzónák) | Megtekintés a GitHubon |
Javaslatok a környezet kezeléséhez
A felhőalapú elemzési adat-kezdőzónák az ismétlődő üzemelő példányok referencia-implementációját vázolják fel, amely segíthet a kezelhető és szabályozható környezetek beállításában. Fontolja meg a következő javaslatokat az Azure Machine Tanulás környezetének kezeléséhez:
A Microsoft Entra-csoportok használatával kezelheti a gépi tanulási erőforrásokhoz való hozzáférést.
Központi monitorozási irányítópult közzététele a folyamat állapotának, a számítási kihasználtságnak és a kvótakezelésnek a gépi tanuláshoz való figyeléséhez.
Ha hagyományosan beépített Azure-szabályzatokat használ, és további megfelelőségi követelményeknek kell megfelelnie, egyéni Azure-szabályzatokat hozhat létre az irányítás és az önkiszolgálóság javítása érdekében.
A kutatási és fejlesztési költségek nyomon követéséhez helyezzen üzembe egy gépi tanulási munkaterületet a kezdőzónában megosztott erőforrásként a használati eset korai szakaszában.
Fontos
Az Azure Machine Tanulás-fürtök használata éles szintű modellek betanításához, az Azure Kubernetes Service (AKS) pedig éles üzemű üzemelő példányokhoz.
Tipp.
Az Azure Machine Tanulás használata adatelemzési projektekhez. A teljes körű munkafolyamatot alszolgáltatásokkal és funkciókkal fedi le, és lehetővé teszi a folyamat teljes automatizálását.
Következő lépések
A Data Product Analytics-sablonnal és útmutatóval üzembe helyezheti az Azure Machine-Tanulás, és az Azure Machine Tanulás dokumentációira és oktatóanyagaira hivatkozva ismerkedhet meg a megoldások készítésével.
A következő négy felhőadaptálási keretrendszer cikk további információt nyújt az Azure Machine Tanulás vállalati üzembe helyezési és felügyeleti ajánlott eljárásairól:
Azure Machine-Tanulás környezetek rendszerezése és beállítása: Az Azure Machine Tanulás üzembe helyezésének tervezésekor hogyan befolyásolják a csapatstruktúrák, a környezetek vagy az erőforrások földrajzi elhelyezkedése a munkaterületek beállítását?
Az Azure Machine Tanulás ajánlott eljárások a vállalati biztonsághoz: Megtudhatja, hogyan védheti meg környezetét és erőforrásait az Azure Machine Tanulás.
Az Azure Machine-Tanulás költségvetéseinek, költségeinek és kvótáinak kezelése szervezeti szinten: A szervezetek számos felügyeleti és optimalizálási kihívással szembesülnek az Azure Machine Tanulás számítási feladatainak, csapatának és felhasználói számítási költségeinek kezelése során.
A Machine Learning DevOps útmutatója: A Machine Learning DevOps egy olyan szervezeti változás, amely emberek, folyamatok és technológiák kombinációjára támaszkodik a gépi tanulási megoldások robusztus, méretezhető, megbízható és automatizált módon történő biztosításához. Ez az útmutató összefoglalja azokat az ajánlott eljárásokat és információkat, amelyeket a nagyvállalatok az Azure Machine Tanulás használatával használhatnak a gépi tanulási DevOps bevezetéséhez.