Wat is een Azure Machine Learning-rekeninstantie?
Een Azure Machine Learning compute-exemplaar is een beheerd cloudwerkstation voor gegevenswetenschappers.
Met reken-exemplaren kunt u eenvoudig aan de slag met Azure Machine Learning en beheer- en enterprise-gereedheidsmogelijkheden bieden voor IT-beheerders.
Gebruik een reken-exemplaar als uw volledig geconfigureerde en beheerde ontwikkelomgeving in de cloud voor machine learning. Ze kunnen ook worden gebruikt als een rekendoel voor training en deferencing voor ontwikkelings- en testdoeleinden.
Voor het trainen van een model op productiekwaliteit gebruikt u Azure Machine Learning rekencluster met schaalmogelijkheden voor meerdere knooppunt. Gebruik voor de implementatie van het productiemodel Azure Kubernetes Service cluster.
Zorg ervoor dat websockockecommunicatie niet is uitgeschakeld om de Jupyter-functionaliteit van het reken exemplaar te laten werken. Zorg ervoor dat uw netwerk websocket-verbindingen met *.instances.azureml.net en *.instances.azureml.ms.
Belangrijk
Items die in dit artikel zijn gemarkeerd (preview) zijn momenteel beschikbaar als openbare preview. De preview-versie wordt aangeboden zonder Service Level Agreement en wordt niet aanbevolen voor productieworkloads. Misschien worden bepaalde functies niet ondersteund of zijn de mogelijkheden ervan beperkt. Zie Supplemental Terms of Use for Microsoft Azure Previews (Aanvullende gebruiksvoorwaarden voor Microsoft Azure-previews) voor meer informatie.
Waarom een reken-exemplaar gebruiken?
Een reken-exemplaar is een volledig beheerd cloudwerkstation dat is geoptimaliseerd voor machine learning ontwikkelomgeving. Dit biedt de volgende voordelen:
| Belangrijkste voordelen | Beschrijving |
|---|---|
| Productiviteit | U kunt modellen bouwen en implementeren met behulp van geïntegreerde notebooks en de volgende hulpprogramma's in Azure Machine Learning Studio: - Jupyter - JupyterLab - VS Code (preview) - RStudio (preview) Het reken exemplaar is volledig geïntegreerd met Azure Machine Learning werkruimte en studio. U kunt notebooks en gegevens delen met andere gegevenswetenschappers in de werkruimte. U kunt VS Code ook gebruiken met reken-exemplaren. |
| Beheerde & beveiligd | Verklein uw beveiligingsvoetafdruk en voeg naleving toe aan de beveiligingsvereisten van de onderneming. Reken-exemplaren bieden robuust beheerbeleid en veilige netwerkconfiguraties, zoals: - Automatisch inbouwen vanuit Resource Manager-sjablonen of Azure Machine Learning SDK - Op rollen gebaseerd toegangsbeheer van Azure (Azure RBAC) - Ondersteuning voor virtuele netwerken - SSH-beleid voor het in-/uitschakelen van SSH-toegang - Geen openbaar IP-adres biedt u de mogelijkheid om een veilige connectiviteitsoplossing in te stellen zonder afhankelijk te zijn van een openbaar IP-adres- TLS 1.2 ingeschakeld |
| Vooraf geconfigureerd voor ML | Bespaar tijd op installatietaken met vooraf geconfigureerde en up-to-date ML pakketten, deep learning-frameworks, GPU-stuurprogramma's. |
| Volledig aanpasbaar | Brede ondersteuning voor Azure-VM-typen, waaronder GPU's en persistente aanpassingen op laag niveau, zoals het installeren van pakketten en stuurprogramma's, maakt geavanceerde scenario's eenvoudig. |
- Uw reken-exemplaar beveiligen met Geen openbaar IP-adres (preview)
- De reken-instantie is ook een beveiligd trainingsrekendoel dat vergelijkbaar is met rekenclusters, maar het is één knooppunt.
- U kunt zelf een reken-exemplaar maken of een beheerder kan namens u een reken-exemplaar maken.
- U kunt ook een installatiescript (preview) gebruiken voor een geautomatiseerde manier om de reken-instantie aan te passen en te configureren op basis van uw behoeften.
- Als u kosten wilt besparen, maakt u een planning (preview) om de reken-instantie automatisch te starten en te stoppen.
Hulpprogramma's en omgevingen
Azure Machine Learning compute-exemplaar kunt u modellen maken, trainen en implementeren in een volledig geïntegreerde notebookervaring in uw werkruimte.
U kunt Jupyter-notebooks uitvoeren in VS Code met behulp van het reken-exemplaar als de externe server zonder dat SSH nodig is. U kunt vs Code-integratie ook inschakelen via de externe SSH-extensie.
U kunt pakketten installeren en kernels toevoegen aan uw reken-exemplaar.
De volgende hulpprogramma's en omgevingen zijn al geïnstalleerd op het reken-exemplaar:
| Algemene hulpprogramma'& omgevingen | Details |
|---|---|
| Stuurprogramma's | CUDAcuDNNNVIDIABlob FUSE |
| Intel MPI-bibliotheek | |
| Azure CLI | |
| Azure Machine Learning voorbeelden | |
| Docker | |
| Nginx | |
| NCCL 2.0 | |
| Protobuf |
| R-hulpprogramma'& omgevingen | Details |
|---|---|
| RStudio Server Open Source Edition (preview) | |
| R-kernel |
| PYTHON-hulpprogramma'& omgevingen | Details |
|---|---|
| Anaconda Python | |
| Jupyter en extensies | |
| Jupyterlab en extensies | |
| Azure Machine Learning-SDK voor Pythonvan PyPI | Bevat de meeste extra azureml-pakketten. Als u de volledige lijst wilt zien, opent u een terminalvenster op uw reken-exemplaar en voer u uit conda list -n azureml_py36 azureml* |
| Andere PyPI-pakketten | jupytexttensorboardnbconvertnotebookPillow |
| Conda-pakketten | cythonnumpyipykernelscikit-learnmatplotlibtqdmjoblibnodejsnb_conda_kernels |
| Deep Learning-pakketten | PyTorchTensorFlowKerasHorovodMLFlowpandas-mlscrapbook |
| ONNX-pakketten | keras2onnxonnxonnxconverter-commonskl2onnxonnxmltools |
| Azure Machine Learning Python-voorbeelden |
Python-pakketten worden allemaal geïnstalleerd in de Python 3.8 - AzureML-omgeving. Het reken-exemplaar heeft Ubuntu 18.04 als basis os.
Toegang tot bestanden
Notebooks en R-scripts worden opgeslagen in het standaardopslagaccount van uw werkruimte in de Azure-bestands share. Deze bestanden bevinden zich in de map Gebruikersbestanden. Met deze opslag kunt u eenvoudig notebooks delen tussen reken-exemplaren. Het opslagaccount houdt uw notebooks ook veilig bewaard wanneer u een reken-exemplaar stopt of verwijdert.
Het Azure-bestandsdeelaccount van uw werkruimte wordt als een station aan de reken-instantie toegevoegd. Dit station is de standaarddirectory voor Jupyter, Jupyter Labs en RStudio. Dit betekent dat de notebooks en andere bestanden die u maakt in Jupyter, JupyterLab of RStudio automatisch worden opgeslagen op de bestands share en ook beschikbaar zijn voor gebruik in andere reken-exemplaren.
De bestanden in de bestands share zijn toegankelijk vanuit alle reken-exemplaren in dezelfde werkruimte. Eventuele wijzigingen in deze bestanden op het reken-exemplaar worden op betrouwbare wijze opgeslagen in de bestands share.
U kunt ook de meest recente voorbeelden Azure Machine Learning naar uw map onder de map gebruikersbestanden in de bestands share van de werkruimte.
Het schrijven van kleine bestanden kan langzamer zijn op netwerkstations dan het schrijven naar de lokale schijf van het reken exemplaar. Als u veel kleine bestanden schrijft, kunt u een map rechtstreeks op het reken-exemplaar gebruiken, zoals een /tmp map. Houd er rekening mee dat deze bestanden niet toegankelijk zijn vanaf andere reken-exemplaren.
Sla geen trainingsgegevens op in de bestands share notebooks. U kunt de map /tmp op de reken-instantie gebruiken voor uw tijdelijke gegevens. Schrijf echter geen zeer grote bestanden met gegevens op de besturingssysteemschijf van de reken-instantie. De besturingssysteemschijf op het reken-exemplaar heeft een capaciteit van 128 GB. U kunt ook tijdelijke trainingsgegevens opslaan op een tijdelijke schijf die is bevestigd op /mnt. Tijdelijke schijfgrootte kan worden geconfigureerd op basis van de gekozen VM-grootte en kan grotere hoeveelheden gegevens opslaan als er een VM van een hogere grootte wordt gekozen. U kunt ook gegevensstores en gegevenssets mounten. Alle softwarepakketten die u installeert, worden opgeslagen op de besturingssysteemschijf van het reken-exemplaar. Houd er rekening mee dat versleuteling van door de klant beheerde sleutels momenteel niet wordt ondersteund voor de besturingssysteemschijf. De besturingssysteemschijf voor het reken exemplaar wordt versleuteld met door Microsoft beheerde sleutels.
Een rekenproces maken
Als beheerder kunt u een reken-exemplaar maken voor anderen in de werkruimte (preview).
U kunt ook een installatiescript (preview) gebruiken voor een geautomatiseerde manier om de reken-instantie aan te passen en te configureren.
Als u zelf een reken-exemplaar wilt maken, gebruikt u uw werkruimte in Azure Machine Learning Studio, maakt u een nieuw reken exemplaar vanuit de sectie Compute of in de sectie Notebooks wanneer u klaar bent om een van uw notebooks uit te voeren.
U kunt ook een exemplaar maken
- Rechtstreeks vanuit de geïntegreerde notebookervaring
- In Azure Portal
- Vanuit Azure Resource Manager sjabloon. Zie voor een voorbeeldsjabloon de sjabloon een Azure Machine Learning reken-exemplaar maken.
- Met Azure Machine Learning SDK
- Vanuit de CLI-extensie voor Azure Machine Learning
De toegewezen kernen per regio per VM-familiequotum en het totale regionale quotum, dat van toepassing is op het maken van een rekenproces, worden samengevoegd en gedeeld met Azure Machine Learning training van rekenclusterquota. Als u de reken-instantie stopt, wordt er geen quotum uitgebracht om ervoor te zorgen dat u de reken-instantie opnieuw kunt starten. Stop de reken-instantie niet via de os-terminal door een sudo-uitschakeling uit te gaan.
Rekenkracht wordt geleverd met P10-besturingssysteemschijf. Het type tijdelijke schijf is afhankelijk van de gekozen VM-grootte. Op dit moment is het niet mogelijk om het type besturingssysteemschijf te wijzigen.
Rekendoel
Reken-exemplaren kunnen worden gebruikt als een trainingsrekendoel dat vergelijkbaar is Azure Machine Learning rekentrainingsclusters.
Een reken-exemplaar:
- Heeft een taakwachtrij.
- Taken worden veilig uitgevoerd in een virtuele netwerkomgeving, zonder dat ondernemingen de SSH-poort moeten openen. De taak wordt uitgevoerd in een containeromgeving en verpakt uw modelafhankelijkheden in een Docker-container.
- Kan meerdere kleine taken parallel uitvoeren (preview). Eén taak per kern kan parallel worden uitgevoerd terwijl de rest van de taken in de wachtrij staan.
- Ondersteunt gedistribueerde trainingstaken met meerdere GPU's met één knooppunt
U kunt het rekenincident gebruiken als een lokaal deferencing-implementatiedoel voor test-/foutopsporingsscenario's.
Tip
Het reken-exemplaar heeft een besturingssysteemschijf van 120 GB. Als u geen schijfruimte meer hebt en in een onwerkbare toestand komt, verwijdert u ten minste 5 GB schijfruimte op de besturingssysteemschijf (aan /) via de terminal van het reken exemplaar door bestanden/mappen te verwijderen en vervolgens te sudo reboot doen. Als u toegang wilt krijgen tot de terminal, gaat u naar de pagina met de lijst met berekeningen of de pagina details van het rekenin exemplaar en klikt u op terminalkoppeling. U kunt de beschikbare schijfruimte controleren door uit te gaan df -h op de terminal. Leeg ten minste 5 GB ruimte voordat u sudo reboot doet. Stop of start de reken-instantie niet opnieuw via Studio totdat 5 GB schijfruimte is geweed.
Volgende stappen
- Een reken-exemplaar maken en beheren
- Zelfstudie: Train uw eerste ML model laat zien hoe u een reken-exemplaar gebruikt met een geïntegreerd notebook.