Azure Machine Learning-környezetek rendszerezése és üzembe helyezése

Amikor azure-beli Tanulás üzembe helyezést tervez egy vállalati környezethez, néhány gyakori döntési pont hatással van a munkaterület létrehozásának módjára:

• Csapatstruktúra: Az adatelemzési csapatok rendszerezésének és projekteken való együttműködésének módja a használati esetek és az adatok elkülönítése, illetve a költségkezelési követelmények figyelembe véveével
• Környezetek: A fejlesztési és kiadási munkafolyamat részeként használt környezetek, hogy elkülönítse a fejlesztést az éles környezettől
• Régió: Az adatok helye és a célközönség, amelyre a gépi tanulási megoldás kiszolgálásához szüksége van

Csapatstruktúra és munkaterület beállítása

A munkaterület az Azure Machine Tanulás legfelső szintű erőforrása. Tárolja a gépi tanulás és a felügyelt számítás használatakor előállított összetevőket, valamint a csatolt és társított erőforrásokra mutató mutatókat. Kezelhetőségi szempontból a munkaterület Azure Resource Manager-erőforrásként támogatja az Azure szerepköralapú hozzáférés-vezérlést (Azure RBAC), a szabályzatok szerinti felügyeletet, és költségjelentési egységként is használhatja.

A szervezetek általában az alábbi megoldásminták egyikét vagy kombinációját választják a kezelhetőségi követelmények betartásához.

Csapatonkénti munkaterület: Minden csapathoz használjon egy munkaterületet, ha egy csapat minden tagjának azonos szintű hozzáférésre van szüksége az adatokhoz és a kísérletezési eszközökhöz. Egy három gépi tanulási csapattal rendelkező szervezet például három munkaterületet hozhat létre, egyet minden csapathoz.

Csapatonként egy munkaterület használatának előnye, hogy a csapat projektjeihez tartozó összes gépi tanulási összetevő egy helyen van tárolva. A hatékonyság növekedése azért látható, mert a csapattagok könnyen elérhetik, felfedezhetik és újra felhasználhatják a kísérletezési eredményeket. A munkaterületek csapat szerinti rendszerezése csökkenti az Azure-erőforrásigényt, és leegyszerűsíti a csapatonkénti költségkezelést. Mivel a kísérletezési eszközök száma gyorsan növekedhet, az elnevezési és címkézési konvenciók követésével rendszerezheti az összetevőket. Az erőforrások elnevezésével kapcsolatos javaslatokért tekintse meg az Azure-erőforrások elnevezési és címkézési stratégiájának fejlesztését ismertető témakört.

Ezzel a módszerrel minden csapattagnak hasonló adathozzáférési szintű engedélyekkel kell rendelkeznie. A részletes szerepköralapú hozzáférés-vezérlés (RBAC) és a hozzáférés-vezérlési listák (ACL) az adatforrásokhoz és a kísérletezési eszközökhöz korlátozottak a munkaterületen belül. Az esetadatok elkülönítési követelményei nem használhatók.

Munkaterület projektenként: Minden projekthez használjon egy munkaterületet, ha projektenként kell elkülöníteni az adatokat és a kísérletezési eszközöket, vagy projektszinten költségjelentési és költségvetési követelményekkel kell rendelkeznie. Előfordulhat például, hogy egy szervezet négy gépi tanulási csapattal rendelkezik, amelyek egyenként három projektet futtatnak összesen 12 munkaterületpéldányon.

Projektenként egy munkaterület használatának előnye, hogy a költségeket projektszinten kezeli. A csapat általában egy dedikált erőforráscsoportot hoz létre az Azure Machine Tanulás és a társított erőforrások számára hasonló okokból. Ha külső közreműködőkkel dolgozik, például egy projektközpontú munkaterület leegyszerűsíti az együttműködést egy projekten, mert a külső felhasználóknak csak a projekterőforrásokhoz kell hozzáférést biztosítaniuk, a csapaterőforrásokat nem.

Ezzel a megközelítéssel érdemes megfontolni a kísérletezés eredményeinek és eszközeinek elkülönítését. Az eszközök felderítése és újrafelhasználása nehezebb lehet, mert az objektumok több munkaterület-példányban vannak elosztva.

Egyetlen munkaterület: Használjon egy munkaterületet nem csapathoz vagy nem projekthez kapcsolódó munkához, vagy ha a költségek nem társíthatók közvetlenül egy adott számlázási egységhez, például az R&D-hez.

Ennek a beállításnak az előnye az egyéni, nem projekthez kapcsolódó munka költsége, amely elkülöníthető a projekttel kapcsolatos költségektől. Ha egyetlen munkaterületet állít be minden felhasználó számára az egyéni munkához, csökkentheti az Azure-ra vonatkozó lábnyomot.

Ezzel a megközelítéssel a munkaterület gyorsan zsúfolttá válhat, ha sok gépi tanulási szakember osztozik ugyanazon a példányon. Előfordulhat, hogy a felhasználók felhasználói felületi szűrést igényelnek az erőforrások hatékony megtalálásához. Minden üzleti részleghez létrehozhat megosztott gépi tanulási munkaterületeket a méretezési problémák enyhítésére vagy a költségvetések szegmentálására.

Környezetek és munkaterületek beállítása

A környezet olyan erőforrások gyűjteménye, amelyeket az üzembe helyezés az alkalmazás életciklusának szakasza alapján céloz meg. A környezetnevek gyakori példái a Dev, a Test, a QA, az Előkészítés és az Éles környezet.

A szervezet fejlesztési folyamata hatással van a környezethasználatra vonatkozó követelményekre. A környezet hatással van az Azure Machine Tanulás és a kapcsolódó erőforrások, például a csatolt számítás beállítására. Az adatok rendelkezésre állása például korlátozhatja az egyes környezetekhez elérhető gépi tanulási példányok kezelhetőségét. A következő megoldásminták gyakoriak:

Egykörnyezetes munkaterület üzembe helyezése: Ha egyetlen környezeti munkaterület üzembe helyezését választja, az Azure Machine Tanulás üzembe helyezése egy környezetben történik. Ez a beállítás gyakori a kutatás-központú forgatókönyvek esetében, ahol nem kell gépi tanulási összetevőket kiadni az életciklusuk alapján a különböző környezetekben. Ennek a beállításnak egy másik oka az, hogy a környezetekben csak a következtetési szolgáltatásokat, és nem a gépi tanulási folyamatokat helyezik üzembe.

A kutatás-központú beállítás előnye egy kisebb Azure-lábnyom és minimális felügyeleti többletterhelés. Ez a munkamódszer nem jelenti azt, hogy minden környezetben üzembe kell helyeznie egy Azure Machine Tanulás-munkaterületet.

Ezzel a megközelítéssel egyetlen környezet üzembe helyezésére az adatok rendelkezésre állása vonatkozik. Ezért legyen óvatos, amikor beállítja az adattárat. Ha széles körű hozzáférést állít be, például írói hozzáférést az éles adatforrásokhoz, akkor akaratlanul is károsíthatja az adatminőséget. Ha ugyanabban a környezetben végez munkát, ahol a fejlesztés történik, ugyanazok az RBAC-korlátozások vonatkoznak mind a fejlesztési, mind az éles munkára. Ez a beállítás mindkét környezetet túl merevsé vagy túl rugalmassá teheti.

Több környezeti munkaterület üzembe helyezése: Ha több környezeti munkaterület üzembe helyezését választja, a munkaterület-példány minden környezethez üzembe helyezhető. Ennek a beállításnak a gyakori forgatókönyve egy szabályozott munkahely, amely egyértelműen elkülöníti a környezetek közötti kötelezettségeket, valamint azokat a felhasználókat, akik erőforrás-hozzáféréssel rendelkeznek az adott környezetekhez.

A beállítás előnyei a következők:

• A gépi tanulási munkafolyamatok és -összetevők szakaszos bevezetése. Például a környezetek modelljei, amelyek javítják az agilitást és csökkentik az üzembe helyezési időt.
• Az erőforrások fokozott biztonsága és felügyelete, mivel további hozzáférési korlátozásokat rendelhet hozzá az alsóbb rétegbeli környezetekhez.
• Betanítási forgatókönyvek az éles adatokról nem fejlesztési környezetekben, mert hozzáférést adhat a felhasználók egy kiválasztott csoportjának.

Ezzel a megközelítéssel nagyobb felügyeleti és folyamatterhelést kockáztathat. Ez a beállítás részletes fejlesztési és bevezetési folyamatot igényel a gépi tanulási összetevőkhöz a munkaterület-példányok között. Emellett az adatkezelés és a mérnöki munka is szükséges lehet ahhoz, hogy az éles adatok elérhetővé legyenek a fejlesztési környezetben való betanításhoz. A hozzáférés-kezeléshez hozzáférést kell adnia a csapatnak az éles környezetben fellépő incidensek megoldásához és kivizsgálásához. Végül pedig a csapatnak szüksége van az Azure DevOpsra és a gépi tanulás mérnöki szakértelmére az automatizálási munkafolyamatok implementálásához.

Egy korlátozott adathozzáféréssel rendelkező környezet, egy éles adathozzáféréssel: Ha ezt a beállítást választja, az Azure Machine Tanulás két környezetben telepít: egy korlátozott adathozzáféréssel és egy éles adathozzáféréssel. Ez a beállítás gyakori, ha el kell különítenie a fejlesztési és éles környezeteket. Előfordulhat például, hogy szervezeti korlátozások mellett dolgozik az éles adatok bármely környezetben való elérhetővé tétele érdekében, vagy a magas karbantartási költség miatt a szükségesnél több adat duplikálása nélkül szeretné elkülöníteni a fejlesztési munkát az éles munkától.

Ennek a beállításnak az előnye a vámok egyértelmű elkülönítése, valamint a fejlesztési és éles környezetek közötti hozzáférés. Egy másik előny a többkörnyezetes üzembe helyezési forgatókönyvhöz képest alacsonyabb erőforrás-kezelési többletterhelés.

Ezzel a megközelítéssel egy meghatározott fejlesztési és bevezetési folyamatra van szükség a munkaterületek gépi tanulási összetevőihez. Emellett szükség lehet adatkezelési és mérnöki erőfeszítésekre ahhoz, hogy az éles adatok elérhetővé legyenek a fejlesztési környezetben történő betanításhoz. Ez a megközelítés azonban viszonylag kevesebb erőfeszítést igényelhet, mint egy többkörnyezetes munkaterület üzembe helyezése.

Régiók és erőforrások beállítása

Előfordulhat, hogy az erőforrások, az adatok vagy a felhasználók helyéhez Azure Machine-Tanulás-munkaterületpéldányokat és kapcsolódó erőforrásokat kell létrehoznia több Azure-régióban. Egy projekt például teljesítmény-, költség- és megfelelőségi okokból a nyugat-európai és az USA keleti régióiban is lefedheti erőforrásait. A következő forgatókönyvek gyakoriak:

Regionális képzés: A gépi tanulási betanítási feladatok ugyanabban az Azure-régióban futnak, ahol az adatok találhatók. Ebben a beállításban egy gépi tanulási munkaterület telepedik minden olyan Azure-régióban, ahol az adatok találhatók. Ez a forgatókönyv gyakori, ha meg kell felelnie a megfelelőségnek, vagy ha régiók közötti adatáthelyezési korlátozásokkal rendelkezik.

Ennek a beállításnak az az előnye, hogy kísérletezhet abban az adatközpontban, ahol az adatok a legkisebb hálózati késéssel találhatók. Ezzel a megközelítéssel, ha egy gépi tanulási folyamat több munkaterület-példányon fut, nagyobb felügyeleti összetettséggel jár. Kihívást jelent a kísérletezés eredményeinek összehasonlítása a példányok között, és többletterhelést jelent a kvóta- és számítási felügyelethez.

Ha régiók közötti tárterületet szeretne csatolni, de egy régióból származó számítást szeretne használni, az Azure Machine Tanulás támogatja azt a forgatókönyvet, hogy a munkaterület helyett egy régióban csatolja a tárfiókokat. A metaadatokat, például a metrikákat a munkaterület régiójában tárolja a rendszer.

Regionális kiszolgálás: A gépi tanulási szolgáltatások a célközönség tartózkodási helyéhez közel telepítenek. Ha például a célfelhasználók Ausztráliában vannak, és a fő tárolási és kísérletezési régió Nyugat-Európa, helyezze üzembe a gépi tanulási munkaterületet a kísérletezéshez Nyugat-Európában. Ezután egy AKS-fürtöt helyez üzembe a következtetési végpont üzembe helyezéséhez Ausztráliában.

Ennek a beállításnak az előnyei az új adatok betöltésére szolgáló adatközpontban történő következtetés lehetősége, a késés és az adatáthelyezés minimalizálása, valamint a helyi előírásoknak való megfelelés.

Ezzel a megközelítéssel a többrégiós beállítás számos előnnyel jár, de több többletterhelést is jelent a kvóta- és a számításkezelésben. Ha követelménye van a kötegelt következtetéshez, a regionális kiszolgálás több munkaterületes üzembe helyezést igényelhet. Előfordulhat, hogy a következtetési végpontokon keresztül gyűjtött adatokat át kell vinni a régiók között az újratanítási forgatókönyvekhez.

Regionális finomhangolás: Egy alapmodell betanít egy kezdeti adatkészletet, például a nyilvános adatokat vagy az összes régióból származó adatokat, és később egy regionális adatkészlettel finomhangolja. A regionális adathalmaz csak egy adott régióban létezhet megfelelőségi vagy adatáthelyezési korlátozások miatt. Előfordulhat például, hogy alapmodell-betanításra van szükség az A régióban lévő munkaterületen, míg a finomhangolás a B régió egyik munkaterületén történik.

Ennek a beállításnak az az előnye, hogy megfelelő módon kísérletezhet abban az adatközpontban, ahol az adatok találhatók. Az alapmodellek betanítását egy korábbi folyamatszakasz nagyobb adathalmazán is kihasználhatja.

Ez a megközelítés támogatja az összetett kísérletezési folyamatokat, de további kihívásokat is jelenthet. Ha például régiók közötti kísérleteredményeket hasonlít össze, az nagyobb többletterhelést jelenthet a kvóta és a számításkezelés számára.

Referenciaimplementáció

Az Azure Machine Tanulás nagyobb környezetben való üzembe helyezésének szemléltetéséhez ez a szakasz bemutatja, hogyan állítja be a Contoso az Azure Machine-Tanulás a szervezeti korlátozások, a jelentéskészítés és a költségvetés-készítés követelményei alapján:

• A Contoso megoldási alapon hoz létre erőforráscsoportokat költségkezelési és jelentéskészítési okokból.
• A rendszergazdák csak a költségvetési követelményeknek megfelelő, támogatott megoldásokhoz hoznak létre erőforráscsoportokat és erőforrásokat.
• A Adattudomány felderítő és bizonytalan jellege miatt a felhasználóknak szükségük van egy olyan helyre, ahol kísérleteznek és dolgozhatnak a használati esetek és az adatfeltárás érdekében. A feltáró munka gyakran nem társítható közvetlenül egy adott használati esethez, és csak egy R&D költségvetéshez társítható. A Contoso olyan gépi tanulási erőforrásokat szeretne központilag finanszírozni, amelyeket bárki felhasználhat feltárási célokra.
• Ha egy gépi tanulási használati eset sikeresnek bizonyul a feltáró környezetben, a csapatok erőforráscsoportokat kérhetnek. A vállalat például beállíthatja a Dev, a QA és a Production elemet az iteratív kísérletezési projektmunkához, és hozzáférhet az éles adatforrásokhoz.
• Az adatok elkülönítésére és a megfelelőségi követelményekre vonatkozó követelmények nem teszik lehetővé az élő éles adatok fejlesztői környezetekben való meglétét.
• A különböző felhasználói csoportokra különböző RBAC-követelmények vonatkoznak a környezetenkénti informatikai szabályzatok szerint, például a hozzáférés szigorúbb az éles környezetben.
• Minden adat, kísérletezés és következtetés egyetlen Azure-régióban történik.

A fenti követelményeknek való megfelelés érdekében a Contoso az alábbi módon állítja be erőforrásait:

• Az Azure Machine Tanulás projektenként hatókörbe tartozó munkaterületeket és erőforráscsoportokat a költségvetés-készítés és az esetelkreditálási követelmények betartása érdekében.
• Az Azure Machine Tanulás és a kapcsolódó erőforrások többkörnyezetes beállítása a költségkezelés, az RBAC és az adathozzáférési követelmények kezeléséhez.
• Egyetlen erőforráscsoport és gépi tanulási munkaterület, amely a feltáráshoz van dedikáltan.
• Felhasználói szerepkörök és környezetek szerint eltérő Microsoft Entra-csoportok. Az adatelemzők által éles környezetben elvégezhető műveletek például eltérnek a fejlesztési környezettől, és a hozzáférési szintek megoldásonként eltérőek lehetnek.
• Egyetlen Azure-régióban létrehozott összes erőforrás.

További lépések

Ismerje meg a DevOps és az Azure Machine Tanulás gépi tanulásának ajánlott eljárásait.

A gépi tanulás DevOps-útmutatója

Megismerheti a költségvetések, kvóták és költségek Azure Machine-Tanulás történő kezelése során figyelembe vett szempontokat.

Költségvetések, költségek és kvóták kezelése a szervezeti szintű Azure Machine Learning esetében