Exportálás Azure Blob Storage
Fontos
A (klasszikus) Machine Learning Studio támogatása 2024. augusztus 31-én megszűnik. Javasoljuk, hogy addig térjen át az Azure Machine Learning használatára.
2021. december 1-től kezdve nem fog tudni létrehozni új (klasszikus) Machine Learning Studio-erőforrásokat. 2024. augusztus 31-ig továbbra is használhatja a meglévő (klasszikus) Machine Learning Studio-erőforrásokat.
- További információ a gépi tanulási projektek a ML Studióból a klasszikusból a Azure Machine Learning.
- További információ a Azure Machine Learning.
A (klasszikus) ML Studio dokumentációjának kivezetése folyamatban van, és a jövőben nem várható a frissítése.
Ez a cikk bemutatja, hogyan használhatja az Exportálás Azure Blob Storage lehetőséget az Adatok exportálása modulban a Machine Learning Studio (klasszikus) modulban.
Megjegyzés
A következőkre vonatkozik: Machine Learning Studio (klasszikus)
Hasonló húzással használható modulok érhetők el Azure Machine Learning tervezőben.
Ez a lehetőség akkor hasznos, ha gépi tanulási kísérletből szeretne adatokat exportálni a Azure Blob Storage. Előfordulhat például, hogy meg szeretné osztani a gépi tanulási adatok kimenetét más alkalmazásokkal, vagy köztes adatokat vagy megtisztított adatkészleteket szeretne tárolni más kísérletekben való használatra.
Az Azure-blobok bárhonnan elérhetők HTTP vagy HTTPS használatával. Mivel Azure Blob Storage strukturálatlan adattár, különböző formátumokban exportálhatja az adatokat. Jelenleg a CSV-, TSV- és ARFF-formátumok támogatottak.
Ha az adatokat azure-blobba exportálja más alkalmazások számára, az Adatok exportálása modullal mentheti az adatokat a Azure Blob Storage. Ezután bármely olyan eszközt használhat, amely adatokat tud beolvasni az Azure Storage-ból (például Excel, felhőalapú tárolási segédprogramok vagy más felhőszolgáltatások), hogy betöltse és használja az adatokat.
Megjegyzés
Az Adatok importálása és az Adatok exportálása modul csak a klasszikus üzembe helyezési modellel létrehozott Azure-tárolóból tud adatokat olvasni és írni. Más szóval az új Azure Blob Storage fióktípus, amely a tárolás és a tárolás hozzáférési rétegét kínálja, még nem támogatott.
Általában az erre a szolgáltatásra való lehetőség elérhetővé váltása előtt esetlegesen létrehozott Azure Storage-fiókokat ez nem érinti.
Ha azonban új fiókot kell létrehoznia az Machine Learning-hez, javasoljuk, hogy válassza a Klasszikus lehetőséget az üzembe helyezési modellhez , vagy használja a Resource Managert, a Fióktípus mezőben pedig válassza az Általános célú lehetőséget a Blob Storage helyett.
Adatok exportálása Azure Blob Storage
Az Azure Blob szolgáltatás nagy mennyiségű adat, köztük bináris adatok tárolására szolgál. A blobtárolóknak két típusa van: a nyilvános blobok és a bejelentkezési hitelesítő adatokat igénylő blobok.
Adja hozzá az Adatok exportálása modult a kísérlethez. Ezt a modult a Studio (klasszikus) Adatbemenet és -kimenet kategóriájában találja.
Csatlakozás exportálja az adatokat az exportálni kívánt adatokat az Azure Blob Storage.
Nyissa meg az Adatok exportálása panel Tulajdonságok panelét. Az adatcélnál válassza a Azure Blob Storage.
A Hitelesítés típusa mezőben válassza a Nyilvános (SAS URL) lehetőséget, ha tudja, hogy a tároló támogatja a SAS URL-címen keresztüli hozzáférést.
A SAS URL egy speciális URL-típus, amely egy Azure Storage-segédprogrammal generálható, és csak korlátozott ideig érhető el. A hitelesítéshez és letöltéshez szükséges összes információt tartalmazza.
Az URI mezőbe írja vagy illessze be a fiókot és a nyilvános blobot meghatározó teljes URI-t.
Privát fiókok esetén válassza a Fiók lehetőséget, és adja meg a fiók nevét és a fiókkulcsot, hogy a kísérlet írni tudja a tárfiókba.
Fiók neve: Írja vagy illessze be annak a fióknak a nevét, ahová az adatokat menteni szeretné. Ha például a tárfiók teljes URL-címe
https://myshared.blob.core.windows.net, akkor a következőt kell begépelni:myshared.Fiókkulcs: Illessze be a fiókhoz társított tárelérési kulcsot.
Tároló, könyvtár vagy blob elérési útja: Írja be annak a blobnak a nevét, amelyben az exportált adatok tárolva lesznek. Ha például a kísérlet eredményeit egyresults01.csvnevű új blobba szeretné menteni egy mymldata nevű fiók tároló-előrejelzéseibe, a blob teljes URL-címe a következő lesz:
https://mymldata.blob.core.windows.net/predictions/results01.csv.Ezért a Tároló, könyvtár vagy blob elérési útja mezőben a tároló és a blob nevét a következőképpen kell megadni:
predictions/results01.csvHa olyan blob nevét adja meg, amely még nem létezik, az Azure létrehozza a blobot.
Meglévő blobba való íráskor megadhatja, hogy a blob aktuális tartalma felül legyen írva a tulajdonság beállításával, Azure Blob Storage írási módban. Alapértelmezés szerint ez a tulajdonság Hiba, ami azt jelenti, hogy hiba történik, ha már létezik azonos nevű blobfájl.
A Blobfájl fájlformátuma beállításnál válassza ki azt a formátumot, amelyben az adatokat tárolni kell.
CSV: Az alapértelmezett tárolási formátum a vesszővel elválasztott értékek (CSV). Ha az oszlopfejléceket az adatokkal együtt exportálja, válassza a Blobfejléc írása lehetőséget. A formátumban használt vesszővel tagolt formátummal kapcsolatos további Machine Learning: Átalakítás CSV formátumba.
TSV: A tabulátott értékek (TSV) formátuma számos gépi tanulási eszközzel kompatibilis. Ha az oszlopfejléceket az adatokkal együtt exportálja, válassza a Blobfejléc írása lehetőséget. A formátumban használt tabulátott formátummal kapcsolatos további Machine Learning: Convert to TSV (Átalakítás TSV-ké).
ARFF: Ez a formátum támogatja a Fájlok mentését a Weka eszközkészlet által használt formátumban. Ez a formátum sas URL-címben tárolt fájlok esetén nem támogatott. Az ARFF formátumról a Convert to ARFF (Átalakítás ARFF-gé) oldalon található további információ.
Gyorsítótárazott eredmények használata: Válassza ezt a lehetőséget, ha szeretné elkerülni az eredmények blobfájlba való újraírását a kísérlet minden futtatásakor. Ha a modulparaméterek nem módosulnak, a kísérlet csak a modul első futtatásakor vagy az adatok módosításakor írja az eredményeket.
Példák
Az Adatok exportálása modul használatára vonatkozó példákért tekintse meg a Azure AI Gallery:
Adatkészlet konvertálása VW formátumba: Ez a kísérlet Python-szkriptet és az Adatok exportálása modult használja a Vowpal Wabbit által használható adatok létrehozásához.
Prediktív elemzési folyamatok beállítása a Azure SQL Data Warehouse: Ez a forgatókönyv az adatok több összetevő közötti mozgását írja le, beleértve a Machine Learning és SQL Data Warehouse.
Kód nélkül végzett kötegelt pontozás: Ez az oktatóanyag bemutatja, hogyan automatizálhatja az Azure Logic Apps-t a kísérletek által használt adatok importálásának és a kísérletek eredményeinek Blob Storage-tárolóba való írásának automatizálására.
Azure ML-megoldás üzembe SQL Server helyszíni SQL Server-val az Azure Data Factory használatával: Ez a cikk egy összetettebb folyamatot ismertet, amely adatokat küld vissza egy helyszíni SQL Server-adatbázisba, és átmeneti fázisként blobtárolót használ. A helyszíni adatbázisok használatához konfigurálni kell egy adatátjárót, de a példa ezen részét kihagyhatja, és csak a Blob Storage-et használhatja.
Technikai megjegyzések
Ez a szakasz az implementáció részleteit, a tippeket és a gyakori kérdésekre adott válaszokat tartalmazza.
Gyakori kérdések
Hogyan kerülendő el az adatok írása, ha a kísérlet nem változott?
Amikor a kísérlet eredménye megváltozik, az Adatok exportálása mindig menti az új adatkészletet. Ha azonban többször futtatja a kísérletet anélkül, hogy módosítanának a kimeneti adatokat, kiválaszthatja a Gyorsítótárazott eredmények használata lehetőséget.
A modul ellenőrzi, hogy a kísérlet korábban ugyanazokkal az adatokkal és beállításokkal futott-e, és ha egy korábbi futtatás található, az írási művelet nem ismétlődik meg.
Menthetek adatokat egy másik földrajzi régióban található fiókba?
Igen, írhat adatokat különböző régiókban található fiókokba. Ha azonban a tárfiók a gépi tanulási kísérlethez használt számítási csomóponttól eltérő régióban van, az adatelérés lassabb lehet. Az előfizetésbe való be- és ki- és be bejövő adatbelépésekért is díjat kell fizetnie.
Modulparaméterek
Általános beállítások
| Name | Tartomány | Típus | Alapértelmezett | Description |
|---|---|---|---|---|
| Adatforrás | Lista | Adatforrás vagy fogadó | Azure Blob Storage | A cél lehet egy fájl az Azure BLOB Storage-ban, egy Azure-tábla, egy tábla vagy nézet egy Azure SQL Database vagy egy Hive-tábla. |
| Gyorsítótárazott eredmények használata | IGAZ/HAMIS | Logikai | HAMIS | A modul csak akkor lesz végrehajtva, ha nem létezik érvényes gyorsítótár; ellenkező esetben használjon gyorsítótárazott adatokat az előző végrehajtásból. |
| Adja meg a hitelesítés típusát | SAS/Fiók | AuthenticationType (Hitelesítés típusa) | Fiók | Azt jelzi, hogy sas- vagy fiók-hitelesítő adatokat kell-e használni a hozzáférés-engedélyezéshez |
Nyilvános vagy SAS – Nyilvános tárolási lehetőségek
| Name | Tartomány | Típus | Alapértelmezett | Description |
|---|---|---|---|---|
| SAS URI a blobhoz | bármelyik | Sztring | Nincs | A írni kívánt blob SAS URI-ja (kötelező) |
| SAS-fájl fájlformátuma | ARFF CSV TSV |
LoaderUtils.FileTypes | CSV | Azt jelzi, hogy a fájl CSV, TSV vagy ARFF. (kötelező) |
| SAS-fejlécsor írása | IGAZ/HAMIS | Logikai | HAMIS | Azt jelzi, hogy az oszlopfejléceket a fájlba kell-e írni |
Fiók – Privát tárolási lehetőségek
| Name | Tartomány | Típus | Alapértelmezett | Description |
|---|---|---|---|---|
| Azure-fiók neve | bármelyik | Sztring | Nincs | Azure-beli felhasználói fiók neve |
| Azure-fiókkulcs | bármelyik | SecureString (Biztonságos karakterlánc) | Nincs | Azure Storage-kulcs |
| Blob elérési útja a tárolótól kezdve | bármelyik | Sztring | Nincs | A blobfájl neve, a tároló nevével kezdve |
| Azure Blob Storage írási mód | Lista: Hiba, Felülírás | enum:BlobFileWriteMode | Hiba | A blobfájlok írási módszerének kiválasztása |
| Blobfájl fájlformátuma | ARFF CSV TSV |
LoaderUtils.FileTypes | CSV | Azt jelzi, hogy a blobfájl CSV, TSV vagy ARFF |
| Blobfejléc sorának írása | IGAZ/HAMIS | Logikai | HAMIS | Azt jelzi, hogy a blobfájlnak fejlécsorral kell-e lennie |
Kivételek
| Kivétel | Description |
|---|---|
| 0027-es hiba | Kivétel akkor fordul elő, ha két objektumnak azonos méretűnek kell lennie, de nem azok. |
| 0003-as hiba | Kivétel történik, ha egy vagy több bemenet null vagy üres. |
| 0029-es hiba | Kivétel történik, ha érvénytelen URI-t ad át. |
| 0030-as hiba | kivétel akkor fordul elő, ha nem lehet letölteni egy fájlt. |
| 0002-es hiba | Kivétel történik, ha egy vagy több paramétert nem lehetett a megadott típusból a cél metódus által megkövetelt típusra átalakítani. |
| 0009-es hiba | Kivétel történik, ha az Azure Storage-fiók neve vagy a tároló neve helytelenül van megadva. |
| 0048-as hiba | Kivétel akkor fordul elő, ha nem lehet megnyitni egy fájlt. |
| 0046-os hiba | Kivétel akkor fordul elő, ha nem lehet könyvtárat létrehozni a megadott elérési úton. |
| 0049-es hiba | Kivétel akkor fordul elő, ha nem lehet egy fájlt elemezni. |
A Studio (klasszikus) moduljaival kapcsolatos hibák listájáért tekintse meg a Machine Learning hibakódokat.
Az API-kivételek listáját a hibakódok Machine Learning REST API.
Lásd még
Adatok importálása
Adatok exportálása
Exportálás Azure SQL Database
Exportálás Hive-lekérdezésbe
Exportálás Azure Table-be