Mi a Machine Learning-szolgáltatások az Azure HDInsightWhat is ML Services in Azure HDInsight

Microsoft Machine Learning-kiszolgáló telepítési beállításként érhető el, az Azure HDInsight-fürtök létrehozásakor.Microsoft Machine Learning Server is available as a deployment option when you create HDInsight clusters in Azure. A fürt típusát, amely ezt a lehetőséget biztosít nevezzük ML szolgáltatásokkal.The cluster type that provides this option is called ML Services. Ez a képesség nyújt, az adatszakértők, statisztikusok és R-programozók skálázható, igény szerinti hozzáféréssel rendelkező elosztott elemzési a HDInsight módszereket.This capability provides data scientists, statisticians, and R programmers with on-demand access to scalable, distributed methods of analytics on HDInsight.

Machine Learning szolgáltatások a HDInsight betölti az Azure Blob vagy a Data Lake storage gyakorlatilag bármilyen méretű adatkészletek a legújabb funkciókat az R-alapú elemzési nyújt.ML Services on HDInsight provides the latest capabilities for R-based analytics on datasets of virtually any size, loaded to either Azure Blob or Data Lake storage. Machine Learning-szolgáltatások fürt nyílt forráskódú R épül, mivel az R-alapú alkalmazásokat fejleszt kihasználhatják a 8000-es + nyílt forráskódú R csomagok.Since ML Services cluster is built on open-source R, the R-based applications you build can leverage any of the 8000+ open-source R packages. A feladatok az ScaleR, a Microsoft big data analytics csomag is rendelkezésre állnak.The routines in ScaleR, Microsoft’s big data analytics package are also available.

A fürt élcsomópontjához kényelmes megoldás az R-szkriptek futtatása és a fürthöz való csatlakozáshoz.The edge node of a cluster provides a convenient place to connect to the cluster and to run your R scripts. Az élcsomópont lehetősége van a futó párhuzamos működésű elosztott funkcióit ScaleR a Processzormagok száma, a peremhálózati kiszolgáló között.With an edge node, you have the option of running the parallelized distributed functions of ScaleR across the cores of the edge node server. Is futtathatja őket a fürt csomópontjai között ScaleR a Hadoop Mapreduce vagy az Apache Spark számítási környezetek használatával.You can also run them across the nodes of the cluster by using ScaleR’s Hadoop Map Reduce or Apache Spark compute contexts.

A modellek vagy elemzési eredő előrejelzéseket letölthető a helyszíni használatra.The models or predictions that result from analysis can be downloaded for on-premises use. Ezek is is kell üzembe helyezte azt máshol az Azure-ban, különös tekintettel keresztül Azure Machine Learning Studio webszolgáltatás.They can also be operationalized elsewhere in Azure, in particular through Azure Machine Learning Studio web service.

Machine Learning Services a HDInsight használatának első lépéseiGet started with ML Services on HDInsight

Az Azure HDInsight egy Machine Learning-szolgáltatások-fürt létrehozásához válassza a Machine Learning-szolgáltatások fürt típusát az Azure portal használatával egy HDInsight-fürt létrehozásakor.To create an ML Services cluster in Azure HDInsight, select the ML Services cluster type when creating an HDInsight cluster using the Azure portal. A Machine Learning-szolgáltatások fürttípus ML Server is tartalmaz, az adatcsomópontok a fürt és a egy élcsomópontot, szolgál a Machine Learning-alapú elemzési alkotóelemeit zónának.The ML Services cluster type includes ML Server on the data nodes of the cluster and on an edge node, which serves as a landing zone for ML Services-based analytics. Lásd: Machine Learning Services a HDInsight használatának első lépései bemutató hogyan hozhat létre a fürtöt.See Getting Started with ML Services on HDInsight for a walkthrough on how to create the cluster.

Miért válassza ki a Machine Learning-szolgáltatások, a HDInsight?Why choose ML Services in HDInsight?

Machine Learning szolgáltatások a HDInsight az alábbi előnyöket nyújtja:ML Services in HDInsight provides the following benefits:

A Microsoft és a nyílt forráskódú AI innovációAI innovation from Microsoft and open-source

Machine Learning-szolgáltatások tartalmaz nagy mértékben skálázható, elosztott algoritmusokkal például RevoscaleR, revoscalepy, és microsoftML -nál nagyobb méretű adatokkal is dolgozhat, amely a fizikai memória, és futtassa a számos különböző platformok elosztott módon mérete.ML Services includes highly scalable, distributed set of algorithms such as RevoscaleR, revoscalepy, and microsoftML that can work on data sizes larger than the size of physical memory, and run on a wide variety of platforms in a distributed manner. Ismerje meg, további információt a Microsoft gyűjteményét címzettjének egyéni R-csomagok és Python-csomagok a termékhez mellékelt.Learn more about the collection of Microsoft's custom R packages and Python packages included with the product.

Machine Learning-szolgáltatások áthidalja ezeket a Microsoft innovációkat, és a hozzájárulások származó összes felett egy egyetlen vállalati szintű platform a nyílt forráskódú Közösség (R, Python és AI-eszközkészlettel).ML Services bridges these Microsoft innovations and contributions coming from the open-source community (R, Python, and AI toolkits) all on top of a single enterprise-grade platform. Bármely R vagy Python nyílt forráskódú gépi tanulási csomagot minden olyan szellemi tulajdont képező innováció a Microsoft párhuzamosan lesz képes együttműködni.Any R or Python open-source machine learning package can work side by side with any proprietary innovation from Microsoft.

Egyszerű, biztonságos és nagy méretű operacionalizálás és felügyeletSimple, secure, and high-scale operationalization and administration

A hagyományos paradigmákat és környezetek függő vállalatok fektet mennyi idő és munka, operacionalizálás felé.Enterprises relying on traditional paradigms and environments invest much time and effort towards operationalization. Ez a felfújt költségeket eredményez, és később, beleértve a fordítási idő modellek, az ismétlések, hogy érvényes és aktuális, szabályozási jóváhagyási és a porttovábbításon keresztül engedélyek kezelése.This results in inflated costs and delays including the translation time for models, iterations to keep them valid and current, regulatory approval, and managing permissions through operationalization.

Machine Learning-szolgáltatásokat kínál a nagyvállalati szintű operacionalizálás, abban, hogy egy machine learning-modellek befejezése után csupán néhány kattintással web services API-k létrehozásához vesz igénybe.ML Services offers enterprise grade operationalization, in that, after a machine learning model is completed, it takes just a few clicks to generate web services APIs. Ezek webszolgáltatások kiszolgáló rácshoz a felhőben üzemeltetett és integrálható az üzletági alkalmazások.These web services are hosted on a server grid in the cloud and can be integrated with line-of-business applications. Helyezze üzembe a kötegelt és valós idejű pontozási egyaránt üzleti igényeinek megfelelő, zökkenőmentes méretezése, egy rugalmas grid lehetővé teszi lehetővé teszi.The ability to deploy to an elastic grid lets you scale seamlessly with the needs of your business, both for batch and real-time scoring. Útmutatásért lásd: Machine Learning-szolgáltatások üzembe helyezése a HDInsight.For instructions, see Operationalize ML Services on HDInsight.

A Machine Learning szolgáltatások a HDInsight fő funkciókKey features of ML Services on HDInsight

A Machine Learning szolgáltatások a HDInsight a következő szolgáltatásokat tartalmazza.The following features are included in ML Services on HDInsight.

A szolgáltatás kategóriaFeature category LeírásDescription
R-enabledR-enabled R-csomagok egy nyílt forráskódú R-t és a parancsprogramok futtatásához futásidejű infrastruktúra eloszlása az R nyelven írt megoldásokhoz.R packages for solutions written in R, with an open source distribution of R, and run-time infrastructure for script execution.
Python-kompatibilisPython-enabled Python-modulok pythonban írt, egy nyílt forráskódú elosztásáról, Python és a parancsprogramok futtatásához futásidejű infrastruktúra-megoldások számára.Python modules for solutions written in Python, with an open source distribution of Python, and run-time infrastructure for script execution.
Előre betanított modellekPre-trained models Vizuális elemzéshez és szöveg hangulatelemzése készen áll az adatok pontozása, adja meg.For visual analysis and text sentiment analysis, ready to score data you provide.
Üzembe helyezése és felhasználásaDeploy and consume A kiszolgáló üzembe helyezése és webszolgáltatásként helyezhet üzembe megoldásokat.Operationalize your server and deploy solutions as a web service.
Távoli végrehajtásRemote execution Indítsa el a távoli asztali munkamenetek a Machine Learning-szolgáltatások fürt ügyfél a munkaállomáson a hálózaton.Start remote sessions on ML Services cluster on your network from your client workstation.

A HDInsight Machine Learning-szolgáltatások adatok tárolási lehetőségekData storage options for ML Services on HDInsight

Alapértelmezett tároló a HDInsight-fürtök a HDFS-fájlrendszer vagy egy Azure Storage-fiókot, vagy egy Azure Data Lake Storage társítható.Default storage for the HDFS file system of HDInsight clusters can be associated with either an Azure Storage account or an Azure Data Lake Storage. Ez a társítás biztosítja, hogy feltöltött adatokat a fürthöz a tároló elemzése során állandó történik, és az adatok érhető el a fürt törlése után is.This association ensures that whatever data is uploaded to the cluster storage during analysis is made persistent and the data is available even after the cluster is deleted. Az adatok átvitelét a beállítást választ ki, beleértve a portálalapú feltöltési funkció a storage-fiók kezeléséhez különféle eszközök és a AzCopy segédprogramot.There are various tools for handling the data transfer to the storage option that you select, including the portal-based upload facility of the storage account and the AzCopy utility.

Lehetősége van további Blob való hozzáférés engedélyezése, és a Data lake tárolja az folyamat függetlenül használja az elsődleges tárolási lehetőség fürtkiépítési során.You have the option of enabling access to additional Blob and Data lake stores during the cluster provisioning process regardless of the primary storage option in use. Lásd: Machine Learning Services a HDInsight használatának első lépései való hozzáadásáról a hozzáférés további fiókokra.See Getting started with ML Services on HDInsight for information on adding access to additional accounts. Lásd: Azure tárolási lehetőségei Machine Learning-szolgáltatások HDInsight cikk további több tárfiók használatával kapcsolatban.See Azure Storage options for ML Services on HDInsight article to learn more about using multiple storage accounts.

Is Azure Files tárolási beállításként való használatra az élcsomóponti operacionalizáláshoz.You can also use Azure Files as a storage option for use on the edge node. Az Azure Files lehetővé teszi az Azure Storage-ban a Linux fájlrendszerbe létrehozott fájlmegosztást.Azure Files enables you to mount a file share that was created in Azure Storage to the Linux file system. HDInsight-fürtön a Machine Learning Services ezen adatok tárolási lehetőségekről további információkért lásd: Azure tárolási lehetőségei Machine Learning-szolgáltatások HDInsight.For more information about these data storage options for ML Services on HDInsight cluster, see Azure Storage options for ML Services on HDInsight.

Hozzáférés a Machine Learning-szolgáltatások élcsomóponthozAccess ML Services edge node

Csatlakozhat a Microsoft ML Server, az élcsomóponton, egy böngészővel.You can connect to Microsoft ML Server on the edge node using a browser. Telepíti a rendszer alapértelmezés szerint a fürt létrehozásakor.It is installed by default during cluster creation. További információkért lásd: lekérése és a gépi Tanulási szolgáltatások HDInsight stared.For more information, see Get stared with ML Services on HDInsight. Akkor is csatlakozhat a fürt határcsomópontjához a parancssorból az R-konzol eléréséhez az SSH és PuTTY használatával.You can also connect to the cluster edge node from the command line by using SSH/PuTTY to access the R console.

Fejlesztés és R-szkriptek futtatásaDevelop and run R scripts

Az R-szkriptek létrehozása és futtatása bármelyikét használhatja a 8000-es + nyílt forráskódú R-csomagok mellett a rendelkezésre álló párhuzamos és elosztott rutinokat a ScaleR-könyvtárban.The R scripts you create and run can use any of the 8000+ open-source R packages in addition to the parallelized and distributed routines available in the ScaleR library. A Machine Learning-szolgáltatásokkal, az élcsomóponton futtatott parancsfájl általában az R-értelmező belül futtatja, ezen a csomóponton.In general, a script that is run with ML Services on the edge node runs within the R interpreter on that node. A kivételek közé tartoznak, amely egy beállított számítási környezet ScaleR függvény meghívásához szükséges lépések, Hadoop Mapreduce (RxHadoopMR) vagy a Sparkkal (RxSpark).The exceptions are those steps that need to call a ScaleR function with a compute context that is set to Hadoop Map Reduce (RxHadoopMR) or Spark (RxSpark). Ebben az esetben a függvény fut egyszerre egy elosztott módon ezen adatok (feladat) csomópontok, a fürt, amely a hivatkozott adatokkal vannak társítva.In this case, the function runs in a distributed fashion across those data (task) nodes of the cluster that are associated with the data referenced. A különböző számítási környezeti beállítások kapcsolatos további információkért lásd: számítási környezeti beállítások a Machine Learning-szolgáltatásokhoz a HDInsight.For more information about the different compute context options, see Compute context options for ML Services on HDInsight.

Modell üzembe helyezéseOperationalize a model

Ha elkészült az adatmodellezés, működésbe hozhat a modellt, hogy az új adatok vagy az Azure-ban vagy a helyi adatokat.When your data modeling is complete, you can operationalize the model to make predictions for new data either from Azure or on-premises. Ez a folyamat pontozási néven ismert.This process is known as scoring. A pontozás elvégezhető a HDInsight, Azure Machine Learning vagy a helyszínen.Scoring can be done in HDInsight, Azure Machine Learning, or on-premises.

A HDInsight pontszámScore in HDInsight

A pontszám a HDInsight, egy R-függvényt, amely meghívja ezt a modellt, hogy egy új adatfájlt a tárfiók betöltött adatokat írni.To score in HDInsight, write an R function that calls your model to make predictions for a new data file that you've loaded to your storage account. Mentse az előrejelzés térjen vissza a tárfiók.Then, save the predictions back to the storage account. Rendszeres igény szerinti, az élcsomóponton, a fürt vagy egy ütemezett feladat használatával futtathatja.You can run this routine on-demand on the edge node of your cluster or by using a scheduled job.

Az Azure-ban pontszám a Machine Learning (AML)Score in Azure Machine Learning (AML)

Pontszámot rendelni az Azure Machine Learning segítségével, használja a nyílt forráskódú Azure Machine Learning R csomag néven AzureML közzététele a modell egy Azure-webszolgáltatásként.To score using Azure Machine Learning, use the open-source Azure Machine Learning R package known as AzureML to publish your model as an Azure web service. Az egyszerűség kedvéért ez a csomag az élcsomóponti operacionalizáláshoz előzetesen már telepítve.For convenience, this package is pre-installed on the edge node. Ezután egy felhasználói felületet a webszolgáltatás létrehozásához használja az a funkciók az Azure Machine Learning, és majd hívja meg a webszolgáltatás pontozó igény szerint.Next, use the facilities in Azure Machine Learning to create a user interface for the web service, and then call the web service as needed for scoring.

Ha ezt a lehetőséget választja, minden ScaleR adatmodell-objektumokat kell konvertálnia egyenértékű nyílt forráskódú modellobjektumokat a webszolgáltatáshoz való használatra.If you choose this option, you must convert any ScaleR model objects to equivalent open-source model objects for use with the web service. Használjon ScaleR-függvényei kényszert, például as.randomForest() ensemble-alapú modell az átalakításhoz.Use ScaleR coercion functions, such as as.randomForest() for ensemble-based models, for this conversion.

Helyszíni pontszámScore on-premises

A modell létrehozása után helyszíni pontozásához, szerializálni a modell az R, töltse le, deszerializálható, és majd használni az új adatok pontozásához.To score on-premises after creating your model, you can serialize the model in R, download it, de-serialize it, and then use it for scoring new data. Ön is a korábban ismertetett megközelítés az új adatok pontozása HDInsight pontszámot vagy webszolgáltatások.You can score new data by using the approach described earlier in Score in HDInsight or by using web services.

A fürt kezeléseMaintain the cluster

Telepítse és R-csomagok kezeléseInstall and maintain R packages

Az R-csomagok használata a legtöbb óta a lépések többségét, az R-szkriptek futtatása van az élcsomópontra van szükség.Most of the R packages that you use are required on the edge node since most steps of your R scripts run there. További R csomagokat telepíteni az élcsomóponton, használhatja a install.packages() metódus az R.To install additional R packages on the edge node, you can use the install.packages() method in R.

Ha rutinokat a ScaleR-erőforrástárból a fürtben csak használja, akkor sem általában kell további R csomagokat telepítenie az adatcsomópontok.If you are just using routines from the ScaleR library across the cluster, you do not usually need to install additional R packages on the data nodes. Azonban szükség lehet további csomagok használatát támogató rxExec vagy RxDataStep végrehajtás a data-csomópontokon.However, you might need additional packages to support the use of rxExec or RxDataStep execution on the data nodes.

Ezekben az esetekben a további csomagok telepíthetők szkriptműveletet a fürt létrehozása után.In such cases, the additional packages can be installed with a script action after you create the cluster. További információkért lásd: Machine Learning Services kezelése a HDInsight-fürt.For more information, see Manage ML Services in HDInsight cluster.

Az Apache Hadoop MapReduce memória beállításainak módosításaChange Apache Hadoop MapReduce memory settings

A fürt módosíthatók, ha az egy MapReduce-feladatot a Machine Learning-szolgáltatások rendelkezésre álló memória mennyiségének módosítása.A cluster can be modified to change the amount of memory that is available to ML Services when it is running a MapReduce job. A fürt módosításához használja az Apache Ambari felhasználói felületén, amely a fürt számára az Azure portal paneljén érhető el.To modify a cluster, use the Apache Ambari UI that's available through the Azure portal blade for your cluster. A fürt Ambari felhasználói felületén elérésével kapcsolatos útmutatásért lásd: kezelése a HDInsight-fürtök az Ambari webes kezelőfelületen.For instructions about how to access the Ambari UI for your cluster, see Manage HDInsight clusters using the Ambari Web UI.

Az is lehet módosítani a hívást a Hadoop-kapcsolók használatával Machine Learning-szolgáltatások rendelkezésre álló memória mennyisége RxHadoopMR módon:It is also possible to change the amount of memory that is available to ML Services by using Hadoop switches in the call to RxHadoopMR as follows:

hadoopSwitches = "-libjars /etc/hadoop/conf -Dmapred.job.map.memory.mb=6656"  

Fürt méretezéseScale your cluster

Machine Learning Services meglévő fürt a HDInsight méretezhetők felfelé és lefelé a portálon keresztül.An existing ML Services cluster on HDInsight can be scaled up or down through the portal. Vertikális felskálázásával számára nagyobb feldolgozási feladatok szükség lehet további kapacitást szerezhet, vagy csökkenthetjük a fürt amikor nem használja azt.By scaling up, you can gain the additional capacity that you might need for larger processing tasks, or you can scale back a cluster when it is idle. Fürt horizontális fel-kapcsolatos útmutatásért lásd: kezelése a HDInsight-fürtök.For instructions about how to scale a cluster, see Manage HDInsight clusters.

A rendszer karbantartásaMaintain the system

Operációsrendszer-javítások és egyéb frissítés alkalmazásához karbantartása munkaidőn kívül Linuxos virtuális gépeken az alapul szolgáló egy HDInsight-fürtön történik.Maintenance to apply OS patches and other updates is performed on the underlying Linux VMs in an HDInsight cluster during off-hours. Általában karbantartási történik hajnalban 3:30-kor (a virtuális gép a helyi ideje alapján) minden hétfőjén és csütörtökén.Typically, maintenance is done at 3:30 AM (based on the local time for the VM) every Monday and Thursday. Frissítések oly módon, hogy azok ne befolyásolják a fürt több mint egy negyedév egyszerre történik.Updates are performed in such a way that they don't impact more than a quarter of the cluster at a time.

Az átjárócsomópontokhoz redundáns, és nem minden adatcsomópontok érinti, mivel ez idő alatt futó feladatok lelassíthatják.Since the head nodes are redundant and not all data nodes are impacted, any jobs that are running during this time might slow down. Azonban azok továbbra is fusson befejezését.However, they should still run to completion. Bármilyen egyéni szoftver vagy a helyi adatok, amely rendelkezik a rendszer megőrzi ezeket a karbantartási események között, kivéve, ha egy végzetes hiba bekövetkezése, amely egy fürt Újraépítés igényel.Any custom software or local data that you have is preserved across these maintenance events unless a catastrophic failure occurs that requires a cluster rebuild.

A HDInsight IDE Machine Learning-szolgáltatások beállításaiIDE options for ML Services on HDInsight

A HDInsight-fürt Linux peremhálózati csomópont R-alapú elemzési alkotóelemeit zónáját.The Linux edge node of an HDInsight cluster is the landing zone for R-based analysis. HDInsight újabb verzióiban az RStudio Server alapértelmezett telepítést biztosítanak az élcsomóponton, a böngésző alapú IDE.Recent versions of HDInsight provide a default installation of RStudio Server on the edge node as a browser-based IDE. RStudio Server használatát a fejlesztési IDE és R-szkriptek végrehajtása jelentősen hatékonyabban dolgozhat, mint az R-konzol csak használatával is lehet.Use of RStudio Server as an IDE for the development and execution of R scripts can be considerably more productive than just using the R console.

Emellett telepíteni egy asztali IDE, és használhatja azokat a fürt eléréséhez az távoli MapReduce vagy a Spark számítási környezetek használatával.Additionally, you can install a desktop IDE and use it to access the cluster through use of a remote MapReduce or Spark compute context. Lehetőségek a Microsoft R Tools for Visual Studio (RTVS), az RStudio és Walware céljai az Eclipse-alapú StatET.Options include Microsoft’s R Tools for Visual Studio (RTVS), RStudio, and Walware’s Eclipse-based StatET.

Emellett hozzáférhet a peremhálózati csomópont R-konzol beírásával R keresztül az SSH- vagy putty-t kapcsolódás után Linux parancs parancssorba.Additionally, you can access the R console on the edge node by typing R at the Linux command prompt after connecting via SSH or PuTTY. Ha a konzol felhasználói felületén, célszerű a R-szkript fejlesztői egy szövegszerkesztőbe futtassa egy másik ablakban, és a Kivágás, és illessze be a szkript szakaszok az R-konzolról, igény szerint.When using the console interface, it is convenient to run a text editor for R script development in another window, and cut and paste sections of your script into the R console as needed.

DíjszabásPricing

Az árak egy Machine Learning-szolgáltatások HDInsight-fürthöz társított hasonlóan minden olyan HDInsight-fürt esetében a díjak a struktúrája.The prices that are associated with an ML Services HDInsight cluster are structured similarly to the prices for other HDInsight cluster types. Azok a neve, az adatok és élcsomópontok egy magóra kicsivel igény szerinti hozzáadásával az alapul szolgáló virtuális gépek méretezési alapulnak.They are based on the sizing of the underlying VMs across the name, data, and edge nodes, with the addition of a core-hour uplift. További információkért lásd: HDInsight díjszabása.For more information, see HDInsight pricing.

További lépésekNext steps

Machine Learning-szolgáltatások HDInsight-fürtökön való használatával kapcsolatos további tudnivalókért lásd a következő témaköröket:To learn more about how to use ML Services on HDInsight clusters, see the following topics: