Adatelemzés Windows Data Science Virtual Machine

  • Cikk
  • 14 perc alatt elolvasható

A Windows Data Science Virtual Machine (DSVM) egy hatékony adatelemzési fejlesztési környezet, amelyben adatfeltárási és modellezési feladatokat hajthat végre. A környezet már számos népszerű adatelemzési eszközzel rendelkezik, amelyek megkönnyítik a helyszíni, felhőbeli vagy hibrid környezetek elemzésének megkezdését.

A DSVM szorosan együttműködik az Azure-szolgáltatásokkal. Képes az Azure-ban már tárolt adatok olvasására és feldolgozására az Azure Synapse (korábban SQL DW), az Azure Data Lake, az Azure Storage vagy az Azure Cosmos DB szolgáltatásban. Más elemzési eszközök, például a Azure Machine Learning is kihasználhatók.

Ebből a cikkből megtudhatja, hogyan használhatja a DSVM-et adatelemzési feladatok végrehajtására és más Azure-szolgáltatásokkal való interakcióra. A DSVM-en többek között az alábbi műveleteket végezheti el:

  • Egy Jupyter Notebook használatával kísérletezhet az adataival egy böngészőben a Python 2, Python 3 és a Microsoft R használatával (a Microsoft R az R nagyvállalati használatra kész verziója, amelyet teljesítményre terveztek.)

  • Adatok feltárása és modellek helyi fejlesztése a DSVM-en Microsoft Machine Learning Server és Python használatával.

  • Azure-erőforrások felügyelete a Azure Portal vagy a PowerShell használatával.

  • Bővítse a tárterületet, és ossza meg a nagy méretű adathalmazokat/kódokat a teljes csapatban, ha egy Azure Files megosztást hoz létre csatlakoztatható meghajtóként a DSVM-en.

  • Kódot oszthat meg a csapatával GitHub használatával. Az adattárat az előre telepített Git-ügyfelekkel érheti el: a Git Bash és a Git GUI használatával.

  • Hozzáférhet az Olyan Azure-beli adat- és elemzési szolgáltatásokhoz, mint az Azure Blob Storage, az Azure Cosmos DB, a Azure Synapse (korábban SQL DW) és a Azure SQL Database.

  • Jelentéseket és irányítópultot készíthet a DSVM-en előre telepített Power BI Desktop-példány használatával, és üzembe helyezheti őket a felhőben.

  • Telepítsen további eszközöket a virtuális gépre.

Megjegyzés

A cikkben felsorolt számos adattárolási és elemzési szolgáltatásra további használati díjak vonatkoznak. Részletekért tekintse meg az Azure díjszabási oldalát.

Előfeltételek

Megjegyzés

Ez a cikk az Azure Az PowerShell-modult használja, amely az Azure-ral való interakcióhoz ajánlott PowerShell-modul. Az Az PowerShell-modul használatának megkezdéséhez lásd az Azure PowerShell telepítését ismertető szakaszt. Az Az PowerShell-modulra történő migrálás részleteiről lásd: Az Azure PowerShell migrálása az AzureRM modulból az Az modulba.

A Jupyter-notebookok használata

A Jupyter Notebook böngészőalapú IDE-t biztosít az adatfeltáráshoz és modellezéshez. A Python 2, Python 3 vagy R Jupyter Notebook is használható.

A Jupyter Notebook elindításához válassza a Jupyter Notebook ikont a Start menü menüben vagy az asztalon. A DSVM parancssorában futtathatja a parancsot jupyter notebook abból a könyvtárból is, ahol már rendelkezik jegyzetfüzetekkel, vagy ahol új jegyzetfüzeteket szeretne létrehozni.

A Jupyter elindítása után keresse meg a címtárat, például a /notebooks DSVM-be előre csomagolt jegyzetfüzeteket. Ezután:

  • Válassza ki a jegyzetfüzetet a kód megtekintéséhez.
  • Futtassa az egyes cellákat a Shift+Enter billentyűkombinációval.
  • Futtassa a teljes jegyzetfüzetet aCellafuttatás> gombra kattintva.
  • Új jegyzetfüzet létrehozásához válassza a Jupyter ikont (a bal felső sarokban), válassza a jobb oldalon az Új gombot, majd válassza ki a jegyzetfüzet nyelvét (más néven kerneleket).

Megjegyzés

Jelenleg Python 2.7- Python 3.6-os, R-, Julia- és PySpark-kernelek támogatottak a Jupyterben. Az R kernel támogatja a programozást a nyílt forráskódú R-ben és a Microsoft R-ben is.

A jegyzetfüzetben megvizsgálhatja az adatokat, elkészítheti a modellt, és tesztelheti a modellt a választott kódtárak használatával.

Adatok megismerése és modellek fejlesztése a Microsoft Machine Learning Server

Megjegyzés

Az önálló Machine Learning Server támogatása 2021. július 1-jére megszűnik. Június 30. után eltávolítjuk a DSVM-rendszerképekből. A meglévő üzemelő példányok továbbra is hozzáférhetnek a szoftverhez, de az elért támogatási befejezési dátum miatt 2021. július 1. után nem lesz támogatás.

Az R és Python nyelvekkel közvetlenül a DSVM-en végezheti el az adatelemzést.

Az R-hez az R Tools for Visual Studio használható. A Microsoft további kódtárakat biztosított a nyílt forráskódú CRAN R-re, hogy lehetővé tegye a skálázható elemzést, és hogy a párhuzamos adattömbök elemzéséhez engedélyezett memóriaméretnél nagyobb adatokat elemezhessen.

A Python a Visual Studio Community Editionhez hasonló IDE-t használhat, amelyen előre telepítve van a Python Tools for Visual Studio (PTVS) bővítmény. Alapértelmezés szerint csak Python 3.6-os, a Conda gyökérkörnyezete van konfigurálva a PTVS-en. Az Anaconda Python 2.7 engedélyezéséhez hajtsa végre a következő lépéseket:

  1. Hozzon létre egyéni környezeteket az egyes verziókhoz a Tools Python Tools Python Environments (Eszközök>>Python Környezetek területen, majd válassza az + Egyéni lehetőséget Visual Studio Community Edition kiadásban.
  2. Adjon meg egy leírást, és állítsa be a környezeti előtag elérési útját c:\anaconda\envs\python2 for Anaconda Python 2.7 formátumban.
  3. A környezet mentéséhez válassza az Automatikus észlelés>alkalmazás lehetőséget.

A Python környezetek létrehozásával kapcsolatos további részletekért tekintse meg a PTVS dokumentációját.

Most egy új Python projekt létrehozására van beállítva. Nyissa meg azÚj>fájl>Project>Python lehetőséget, és válassza ki a Python alkalmazást, amit létrehoz. Az aktuális projekt Python környezetét beállíthatja a kívánt verzióra (Python 2.7-es vagy 3.6-os verzióra). Ehhez kattintson a jobb gombbal Python környezetekre, majd válassza a Python-környezetek hozzáadása/eltávolítása parancsot. A PTVS használatával kapcsolatos további információkat a termékdokumentációban talál.

Azure-erőforrások kezelése

A DSVM nem teszi lehetővé az elemzési megoldás helyi összeállítását a virtuális gépen. Emellett az Azure-felhőplatformon elérhető szolgáltatásokat is lehetővé teszi. Az Azure számos számítási, tárolási, adatelemzési és egyéb szolgáltatást biztosít, amelyeket felügyelhet és elérhet a DSVM-ből.

Az Azure-előfizetés és a felhőbeli erőforrások felügyeletéhez két lehetősége van:

Tárterület bővítése megosztott fájlrendszerek használatával

Az adattudósok nagy adathalmazokat, kódot vagy más erőforrásokat oszthatnak meg a csapaton belül. A DSVM körülbelül 45 GB szabad területtel rendelkezik. A tárterület bővítéséhez használhatja a Azure Files, és csatlakoztathatja egy vagy több DSVM-példányhoz, vagy egy REST API-n keresztül érheti el. A Azure Portal vagy a Azure PowerShell használatával további dedikált adatlemezeket is hozzáadhat.

Megjegyzés

A Azure Files megosztás maximális területe 5 TB. Az egyes fájlok méretkorlátja 1 TB.

Ezzel a szkripttel Azure PowerShell Azure Files-megosztást hozhat létre:

# Authenticate to Azure.
Connect-AzAccount
# Select your subscription
Get-AzSubscription –SubscriptionName "<your subscription name>" | Select-AzSubscription
# Create a new resource group.
New-AzResourceGroup -Name <dsvmdatarg>
# Create a new storage account. You can reuse existing storage account if you want.
New-AzStorageAccount -Name <mydatadisk> -ResourceGroupName <dsvmdatarg> -Location "<Azure Data Center Name For eg. South Central US>" -Type "Standard_LRS"
# Set your current working storage account
Set-AzCurrentStorageAccount –ResourceGroupName "<dsvmdatarg>" –StorageAccountName <mydatadisk>

# Create an Azure Files share
$s = New-AzStorageShare <<teamsharename>>
# Create a directory under the file share. You can give it any name
New-AzStorageDirectory -Share $s -Path <directory name>
# List the share to confirm that everything worked
Get-AzStorageFile -Share $s

Most, hogy létrehozott egy Azure Files-megosztást, csatlakoztathatja azt bármely Azure-beli virtuális géphez. Javasoljuk, hogy a késési és adatátviteli költségek elkerülése érdekében helyezze a virtuális gépet ugyanabba az Azure-adatközpontba, mint a tárfiók. Az alábbi Azure PowerShell parancsokkal csatlakoztathatja a meghajtót a DSVM-hez:

# Get the storage key of the storage account that has the Azure Files share from the Azure portal. Store it securely on the VM to avoid being prompted in the next command.
cmdkey /add:<<mydatadisk>>.file.core.windows.net /user:<<mydatadisk>> /pass:<storage key>

# Mount the Azure Files share as drive Z on the VM. You can choose another drive letter if you want.
net use z:  \\<mydatadisk>.file.core.windows.net\<<teamsharename>>

Most már ugyanúgy elérheti ezt a meghajtót, mint bármely normál meghajtót a virtuális gépen.

Kód megosztása GitHub

GitHub egy kódtár, ahol a fejlesztői közösség által megosztott technológiák használatával különböző eszközökhöz találhat kódmintákat és forrásokat. A Gitet használja a kódfájlok verzióinak nyomon követésére és tárolására. GitHub egy olyan platform is, ahol létrehozhatja saját adattárát a csapat megosztott kódjának és dokumentációjának tárolásához, verziókövetés implementálásához, valamint annak szabályozásához, hogy kinek van hozzáférése a kód megtekintéséhez és közreműködéséhez.

A Git használatával kapcsolatos további információért látogasson el a GitHub súgóoldalára. A GitHub egyik módja a csapattal való együttműködésnek, a közösség által fejlesztett kód használatának és a kódnak a közösséghez való visszatérésének.

A DSVM ügyféleszközökkel van betöltve a parancssorban és a grafikus felhasználói felületen az GitHub-adattár eléréséhez. A Gittel és GitHub használható parancssori eszköz neve Git Bash. Visual Studio a DSVM-en van telepítve, és Git-bővítményekkel rendelkezik. Ezekhez az eszközökhöz ikonokat talál a Start menü menüben és az asztalon.

Ha egy GitHub-adattárból szeretne kódot letölteni, használja a git clone parancsot. Ha például le szeretné tölteni a Microsoft által közzétett adatelemzési adattárat az aktuális könyvtárba, futtassa a következő parancsot a Git Bashben:

git clone https://github.com/Azure/DataScienceVM.git

A Visual Studio ugyanezt a klónozási műveletet hajthatja végre. Az alábbi képernyőkép bemutatja, hogyan érheti el a Git és GitHub eszközöket Visual Studio:

Screenshot of Visual Studio with the GitHub connection displayed

Az GitHub-adattár gittel való használatáról a github.com elérhető forrásokból talál további információt. Hasznos referencia a hasznos tanácsok közül.

Azure-beli adat- és elemzési szolgáltatások elérése

Azure Blob Storage

Az Azure Blob Storage egy megbízható, gazdaságos felhőtárhely-szolgáltatás, amely nagy és kis méretű adatok tárolására szolgál. Ez a szakasz azt ismerteti, hogyan helyezhet át adatokat a Blob Storage-ba, és hogyan férhet hozzá az Azure-blobokban tárolt adatokhoz.

Előfeltételek

  • Hozza létre Azure Blob Storage-fiókját a Azure Portal.

    Screenshot of the storage account creation process in the Azure portal

  • Győződjön meg arról, hogy az AzCopy parancssori eszköz előre telepítve van: C:\Program Files (x86)\Microsoft SDKs\Azure\AzCopy\azcopy.exe. A azcopy.exe tartalmazó könyvtár már szerepel a PATH környezeti változóban, így az eszköz futtatásakor elkerülheti a teljes parancsútvonal beírását. Az AzCopy eszközzel kapcsolatos további információkért tekintse meg az AzCopy dokumentációját.

  • Start menü a Azure Storage Explorer eszközt. A Storage Explorer weblapról töltheti le.

    Screenshot of Azure Storage Explorer accessing a storage account

Adatok áthelyezése virtuális gépről Azure-blobba: AzCopy

Ha adatokat szeretne áthelyezni a helyi fájlok és a Blob Storage között, használhatja az AzCopyt a parancssorban vagy a PowerShellben:

AzCopy /Source:C:\myfolder /Dest:https://<mystorageaccount>.blob.core.windows.net/<mycontainer> /DestKey:<storage account key> /Pattern:abc.txt

Cserélje le a C:\myfolder elemet a fájl elérési útjára, a mystorageaccount kifejezést a Blob Storage-fiók nevére, a mycontainer helyére a tároló nevét, a tárfiók kulcsát pedig a Blob Storage hozzáférési kulcsára. A tárfiók hitelesítő adatait a Azure Portal találja.

Futtassa az AzCopy parancsot a PowerShellben vagy egy parancssorból. Íme néhány példa az AzCopy-parancs használatára:

# Copy *.sql from a local machine to an Azure blob
"C:\Program Files (x86)\Microsoft SDKs\Azure\AzCopy\azcopy" /Source:"c:\Aaqs\Data Science Scripts" /Dest:https://[ENTER STORAGE ACCOUNT].blob.core.windows.net/[ENTER CONTAINER] /DestKey:[ENTER STORAGE KEY] /S /Pattern:*.sql

# Copy back all files from an Azure blob container to a local machine

"C:\Program Files (x86)\Microsoft SDKs\Azure\AzCopy\azcopy" /Dest:"c:\Aaqs\Data Science Scripts\temp" /Source:https://[ENTER STORAGE ACCOUNT].blob.core.windows.net/[ENTER CONTAINER] /SourceKey:[ENTER STORAGE KEY] /S

Miután futtatta az AzCopy parancsot egy Azure-blobba való másoláshoz, a fájl megjelenik Azure Storage Explorer.

Screenshot of the storage account, displaying the uploaded CSV file

Adatok áthelyezése virtuális gépről Azure-blobba: Azure Storage Explorer

A virtuális gép helyi fájljából is feltölthet adatokat a Azure Storage Explorer:

  • Ha adatokat szeretne feltölteni egy tárolóba, válassza ki a céltárolót, és válassza a Feltöltés gombot.Screenshot of the upload button in Azure Storage Explorer
  • Kattintson a Fájlok mezőtől jobbra található három pontra (...), jelöljön ki egy vagy több feltöltendő fájlt a fájlrendszerből, majd válassza a Feltöltés lehetőséget a fájlok feltöltésének megkezdéséhez.Screenshot of the Upload files dialog box

Adatok beolvasása Azure-blobból: Python ODBC

A BlobService kódtár használatával közvetlenül beolvashatja az adatokat egy Jupyter Notebook vagy egy Python programban lévő blobból.

Először importálja a szükséges csomagokat:

import pandas as pd
from pandas import Series, DataFrame
import numpy as np
import matplotlib.pyplot as plt
from time import time
import pyodbc
import os
from azure.storage.blob import BlobService
import tables
import time
import zipfile
import random

Ezután csatlakoztassa a Blob Storage-fiók hitelesítő adatait, és olvassa be az adatokat a blobból:

CONTAINERNAME = 'xxx'
STORAGEACCOUNTNAME = 'xxxx'
STORAGEACCOUNTKEY = 'xxxxxxxxxxxxxxxx'
BLOBNAME = 'nyctaxidataset/nyctaxitrip/trip_data_1.csv'
localfilename = 'trip_data_1.csv'
LOCALDIRECTORY = os.getcwd()
LOCALFILE =  os.path.join(LOCALDIRECTORY, localfilename)

#download from blob
t1 = time.time()
blob_service = BlobService(account_name=STORAGEACCOUNTNAME,account_key=STORAGEACCOUNTKEY)
blob_service.get_blob_to_path(CONTAINERNAME,BLOBNAME,LOCALFILE)
t2 = time.time()
print(("It takes %s seconds to download "+BLOBNAME) % (t2 - t1))

#unzip downloaded files if needed
#with zipfile.ZipFile(ZIPPEDLOCALFILE, "r") as z:
#    z.extractall(LOCALDIRECTORY)

df1 = pd.read_csv(LOCALFILE, header=0)
df1.columns = ['medallion','hack_license','vendor_id','rate_code','store_and_fwd_flag','pickup_datetime','dropoff_datetime','passenger_count','trip_time_in_secs','trip_distance','pickup_longitude','pickup_latitude','dropoff_longitude','dropoff_latitude']
print 'the size of the data is: %d rows and  %d columns' % df1.shape

Az adatok adatkeretként lesznek beolvasva:

Screenshot of the first 10 rows of data

Azure Synapse Analytics és adatbázisok

Azure Synapse Analytics egy rugalmas adattárház, amely nagyvállalati szintű SQL Server rendelkezik szolgáltatásként.

Az Azure Synapse Analytics kiépítéséhez kövesse az ebben a cikkben található utasításokat. A Azure Synapse Analytics kiépítése után az útmutató segítségével adatfeltöltést, feltárást és modellezést végezhet Azure Synapse Analyticsben lévő adatok használatával.

Azure Cosmos DB

Az Azure Cosmos DB egy NoSQL-adatbázis a felhőben. Segítségével olyan dokumentumokkal dolgozhat, mint a JSON, valamint tárolhatja és lekérdezheti a dokumentumokat.

Az Azure Cosmos DB DSVM-ből való eléréséhez kövesse az alábbi előfeltétel-lépéseket:

  1. Az Azure Cosmos DB Python SDK már telepítve van a DSVM-en. A frissítéséhez futtassa pip install pydocumentdb --upgrade egy parancssorból.

  2. Hozzon létre egy Azure Cosmos DB-fiókot és -adatbázist a Azure Portal.

  3. Töltse le az Azure Cosmos DB adatmigrálási eszközt a Microsoft letöltőközpontból , és bontsa ki egy tetszőleges könyvtárba.

  4. Importálja a nyilvános blobban tárolt JSON-adatokat (vulkánadatokat) az Azure Cosmos DB-be a következő parancsparaméterekkel a migrálási eszközbe. (Használja dtui.exe abból a könyvtárból, ahová az Azure Cosmos DB adatmigrálási eszközt telepítette.) Adja meg a forrás és a cél helyét az alábbi paraméterekkel:

    /s:JsonFile /s.Files:https://data.humdata.org/dataset/a60ac839-920d-435a-bf7d-25855602699d/resource/7234d067-2d74-449a-9c61-22ae6d98d928/download/volcano.json /t:DocumentDBBulk /t.ConnectionString:AccountEndpoint=https://[DocDBAccountName].documents.azure.com:443/;AccountKey=[[KEY];Database=volcano /t.Collection:volcano1

Az adatok importálása után megnyithatja a Jupytert, és megnyithatja a DocumentDBSample című jegyzetfüzetet. Python kódot tartalmaz az Azure Cosmos DB eléréséhez és néhány alapszintű lekérdezéshez. Az Azure Cosmos DB-ről a szolgáltatás dokumentációs oldalán tudhat meg többet.

Power BI jelentések és irányítópultok használata

Az előző Azure Cosmos DB-példa vulkáni JSON-fájljának vizualizációja Power BI Desktop az adatok vizuális elemzéséhez. A részletes lépéseket a Power BI cikkben találja. Íme a magas szintű lépések:

  1. Indítsa el a Power BI Desktopot, majd válassza az Adatok beolvasása lehetőséget. Adja meg az URL-címet a következő módon: https://cahandson.blob.core.windows.net/samples/volcano.json.
  2. A listaként importált JSON-rekordokat látnia kell. Alakítsa át a listát táblázattá, hogy Power BI képes legyen dolgozni vele.
  3. Bontsa ki az oszlopokat a kibontás (nyíl) ikonra kattintva.
  4. Figyelje meg, hogy a hely egy Rekord mező. Bontsa ki a rekordot, és csak a koordinátákat jelölje ki. A koordináta egy listaoszlop.
  5. Adjon hozzá egy új oszlopot a listakoordináta-oszlop vesszővel tagolt LatLong-oszlopmá alakításához. Fűzze össze a koordinátalistamező két elemét a képlet Text.From([coordinates]{1})&","&Text.From([coordinates]{0})használatával.
  6. Alakítsa át a Jogosultságszint-emelési oszlopot decimálissá, és válassza a Bezárás és alkalmazás gombot.

Az előző lépések helyett az alábbi kódot illesztheti be. Az Power BI Speciális szerkesztő lépéseit szkripteli le az adatátalakítások lekérdezési nyelven történő megírásához.

let
    Source = Json.Document(Web.Contents("https://cahandson.blob.core.windows.net/samples/volcano.json")),
    #"Converted to Table" = Table.FromList(Source, Splitter.SplitByNothing(), null, null, ExtraValues.Error),
    #"Expanded Column1" = Table.ExpandRecordColumn(#"Converted to Table", "Column1", {"Volcano Name", "Country", "Region", "Location", "Elevation", "Type", "Status", "Last Known Eruption", "id"}, {"Volcano Name", "Country", "Region", "Location", "Elevation", "Type", "Status", "Last Known Eruption", "id"}),
    #"Expanded Location" = Table.ExpandRecordColumn(#"Expanded Column1", "Location", {"coordinates"}, {"coordinates"}),
    #"Added Custom" = Table.AddColumn(#"Expanded Location", "LatLong", each Text.From([coordinates]{1})&","&Text.From([coordinates]{0})),
    #"Changed Type" = Table.TransformColumnTypes(#"Added Custom",{{"Elevation", type number}})
in
    #"Changed Type"

Most már megvannak az adatok a Power BI adatmodellben. A Power BI Desktop példánynak a következőképpen kell megjelennie:

Power BI Desktop

Az adatmodell használatával megkezdheti a jelentések és vizualizációk készítését. A jelentés létrehozásához kövesse Power BI cikkben található lépéseket.

A DSVM dinamikus skálázása

A DSVM vertikális fel- és leskálázható a projekt igényeinek megfelelően. Ha este vagy hétvégén nem kell használnia a virtuális gépet, a virtuális gépet a Azure Portal is leállíthatja.

Megjegyzés

Számítási költségek merülnek fel, ha csak a virtuális gép operációs rendszerének leállítás gombját használja. Ehelyett fel kell szabadítania a DSVM-et a Azure Portal vagy a Cloud Shell használatával.

Előfordulhat, hogy nagy léptékű elemzést kell kezelnie, és több processzor-, memória- vagy lemezkapacitásra van szüksége. Ha igen, választhat a virtuálisgép-méretek közül a processzormagok, a GPU-alapú mélytanulási példányok, a memóriakapacitás és a számítási és költségvetési igényeknek megfelelő lemeztípusok (beleértve a SSD-meghajtókat is). A virtuális gépek teljes listája az óránkénti számítási díjszabással együtt az Azure Virtual Machines díjszabási oldalán érhető el.

További eszközök hozzáadása

A DSVM-be előre összeállított eszközök számos gyakori adatelemzési igény kielégítésére képesek. Ezzel időt takaríthat meg, mivel nem kell egyenként telepítenie és konfigurálnia a környezeteket. Emellett pénzt takarít meg, mivel csak az Ön által használt erőforrásokért fizet.

A cikkben ismertetett egyéb Azure-adat- és elemzési szolgáltatások használatával javíthatja az elemzési környezetet. Bizonyos esetekben további eszközökre lehet szüksége, beleértve néhány saját fejlesztésű partnereszközt is. A szükséges új eszközök telepítéséhez teljes körű rendszergazdai hozzáféréssel rendelkezik a virtuális gépen. További csomagokat is telepíthet Python és R környezetben, amelyek nincsenek előre telepítve. A Python a condapipvagy a . R esetén használhatja install.packages() az R-konzolt, vagy használhatja az IDE-t, és kiválaszthatja a Csomagok>telepítése csomagok lehetőséget.

Deep learning

A keretrendszeralapú mintákon kívül a DSVM-en érvényesített átfogó útmutatók is elérhetők. Ezek az útmutatók segítenek a mélytanulási alkalmazások fejlesztésének megkezdésében olyan területeken, mint a képek és a szöveg/nyelv megértése.

  • Neurális hálózatok futtatása különböző keretrendszerekben: Ez az útmutató bemutatja, hogyan migrálhatja a kódot az egyik keretrendszerből a másikba. Azt is bemutatja, hogyan hasonlíthatja össze a modelleket és a futtatókörnyezet teljesítményét a keretrendszerek között.

  • Útmutató a képeken belüli termékek észlelésére szolgáló végpontok közötti megoldás létrehozásához: A képészlelés egy olyan technika, amely képes megkeresni és besorolni a képeken belüli objektumokat. Ez a technológia hatalmas jutalmakat hozhat számos valós üzleti területen. A kiskereskedők például ezt a technikát használhatják annak meghatározására, hogy az ügyfél melyik terméket vette fel a polcról. Ezek az információk viszont segítenek az áruházaknak a termékleltár kezelésében.

  • Mély tanulás hanghoz: Ez az oktatóanyag bemutatja, hogyan taníthat be egy mélytanulási modellt a hangesemények észlelésére a városi hangadatkészleten. Emellett áttekintést nyújt a hangadatok használatáról.

  • Szöveges dokumentumok besorolása: Ez az útmutató két neurális hálózati architektúra felépítését és betanítását mutatja be: Hierarchical Attention Network és Long Short Term Memory (LSTM) hálózat. Ezek a neurális hálózatok a Keras API-t használják a szövegdokumentumok besorolásához a mély tanuláshoz.

Összefoglalás

Ez a cikk a Microsoft Data Science Virtual Machine néhány műveletet ismertet. A DSVM-et számos más műveletet is elvégezhet, hogy hatékony elemzési környezetet alakítson ki.