Co je výpočetní instance služby Azure Machine Learning?
Výpočetní Azure Machine Learning je spravovaná cloudová pracovní stanice pro datové vědce.
Výpočetní instance umožňují snadno začít s vývojem Azure Machine Learning a poskytují správcům IT možnosti správy a podnikové připravenosti.
Výpočetní instanci můžete použít jako plně nakonfigurované a spravované vývojové prostředí v cloudu pro strojové učení. Lze je také použít jako cílový výpočetní objekt pro trénování a odvozování pro účely vývoje a testování.
Pro trénování modelů na produkční úrovni použijte Azure Machine Learning výpočetní cluster s možnostmi škálování s více uzly. Pro nasazení modelu na produkční úrovni použijte Azure Kubernetes Service cluster.
Aby funkce Jupyter výpočetní instance fungovala, ujistěte se, že není zakázaná komunikace webového soketu. Ujistěte se, že vaše síť umožňuje připojení websocketu k *.instances.azureml.net a *.instances.azureml.ms.
Důležité
Položky označené v tomto článku (Preview) jsou aktuálně ve verzi Public Preview. Verze Preview se poskytuje bez smlouvy o úrovni služeb a nedoporučuje se pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.
Proč používat výpočetní instanci?
Výpočetní instance je plně spravovaná cloudová pracovní stanice optimalizovaná pro vývojové prostředí strojového učení. Poskytuje následující výhody:
| Klíčové výhody | Popis |
|---|---|
| Produktivita | Modely můžete vytvářet a nasazovat pomocí integrovaných poznámkových bloků a následujících nástrojů v Azure Machine Learning Studio: – Jupyter – JupyterLab – VS Code (Preview) – RStudio (Preview) Výpočetní instance je plně integrovaná s pracovním Azure Machine Learning a studio. Poznámkové bloky a data můžete sdílet s dalšími datovými vědci v pracovním prostoru. Můžete také použít VS Code s výpočetními instancemi. |
| Zabezpečení & spravovaných dat | Snižte nároky na zabezpečení a přidejte dodržování předpisů s podnikovými požadavky na zabezpečení. Výpočetní instance poskytují robustní zásady správy a zabezpečené konfigurace sítě, jako jsou: – Automatické zřizování z Resource Manager šablon nebo Azure Machine Learning SDK - Řízení přístupu na základě role v Azure (Azure RBAC) - Podpora virtuálních sítí – Zásady SSH pro povolení nebo zakázání přístupu SSH - Žádná veřejná IP adresa vám dává možnost povolit řešení zabezpečeného připojení bez závislosti na veřejné IP adrese.– Povolený protokol TLS 1.2 |
| Předkonfigurované pro ML | Díky předem nakonfigurované a aktuální balíčky pro ML, architektury hlubokého učení a ovladačů GPU šetříte čas. |
| Plně přizpůsobitelné | Široká podpora typů virtuálních počítače Azure, včetně GPU a trvalého přizpůsobení na nízké úrovni, jako je instalace balíčků a ovladačů, je pro pokročilé scénáře snadné. |
- Zabezpečení výpočetní instance bez veřejné IP adresy (Preview)
- Výpočetní instance je také zabezpečeným trénovacím cílovým výpočetním objektem podobným výpočetním clusterům, ale je to jeden uzel.
- Výpočetní instanci můžete vytvořit sami nebo ji může vytvořit správce vaším jménem.
- Můžete také použít instalační skript (Preview) pro automatizovaný způsob přizpůsobení a konfigurace výpočetní instance podle vašich potřeb.
- Pokud chcete ušetřit náklady, vytvořte plán (Preview) pro automatické spuštění a zastavení výpočetní instance.
Nástroje a prostředí
Azure Machine Learning instance umožňuje vytvářet, trénovat a nasazovat modely v plně integrovaném prostředí poznámkového bloku ve vašem pracovním prostoru.
Poznámkové bloky Jupyter můžete spouštět v VS Code výpočetní instance jako vzdálený server bez potřeby SSH. Můžete také povolit integraci VS Code prostřednictvím vzdáleného rozšíření SSH.
Můžete nainstalovat balíčky a přidat do výpočetní instance jádra.
Na výpočetní instanci jsou už nainstalované následující nástroje a prostředí:
| Obecné nástroje & prostředí | Podrobnosti |
|---|---|
| Ovladače | CUDAcuDNNNVIDIABlob FUSE |
| Knihovna Intel MPI | |
| Azure CLI | |
| Azure Machine Learning ukázky | |
| Docker | |
| Nginx | |
| NCCL 2.0 | |
| Protobuf |
| Nástroje R & prostředí | Podrobnosti |
|---|---|
| RStudio Server Open Source Edition (Preview) | |
| Jádro R |
| Nástroje PYTHON & prostředí | Podrobnosti |
|---|---|
| Anaconda Python | |
| Jupyter a rozšíření | |
| Jupyterlab a rozšíření | |
| Sada Azure Machine Learning SDK pro Pythonz PyPI | Zahrnuje většinu dalších balíčků azureml. Pokud chcete zobrazit úplný seznam, otevřete ve výpočetní instanci okno terminálu a spusťte příkaz . conda list -n azureml_py36 azureml* |
| Další balíčky PyPI | jupytexttensorboardnbconvertnotebookPillow |
| Balíčky Conda | cythonnumpyipykernelscikit-learnmatplotlibtqdmjoblibnodejsnb_conda_kernels |
| Balíčky hlubokého učení | PyTorchTensorFlowKerasHorovodMLFlowpandas-mlscrapbook |
| Balíčky ONNX | keras2onnxonnxonnxconverter-commonskl2onnxonnxmltools |
| Azure Machine Learning ukázek Pythonu |
Všechny balíčky Pythonu se instaluje v prostředí Python 3.8 – AzureML. Výpočetní instance má jako základní operační systém Ubuntu 18.04.
Přístup k souborům
Poznámkové bloky a skripty jazyka R se ukládají ve výchozím účtu úložiště vašeho pracovního prostoru ve sdílené složky Azure. Tyto soubory jsou umístěné v adresáři Uživatelské soubory. Toto úložiště usnadňuje sdílení poznámkových bloků mezi výpočetními instancemi. Účet úložiště také uchovává poznámkové bloky, když zastavíte nebo odstraníte výpočetní instanci.
Účet sdílené složky Azure vašeho pracovního prostoru se připojí jako jednotka výpočetní instance. Tato jednotka je výchozím pracovním adresářem pro Jupyter, Jupyter Labs a RStudio. To znamená, že poznámkové bloky a další soubory, které vytvoříte v Jupyteru, JupyterLabu nebo RStudiu, se automaticky ukládají do sdílené složky a jsou dostupné i pro použití v jiných výpočetních instancích.
Soubory ve sdílené složky jsou přístupné ze všech výpočetních instancí ve stejném pracovním prostoru. Jakékoli změny těchto souborů ve výpočetní instanci budou spolehlivě zachovány zpět do sdílené složky.
Můžete také naklonovat nejnovější ukázky Azure Machine Learning do vaší složky v adresáři uživatelských souborů ve sdílené složce pracovního prostoru.
Zápis malých souborů může být na síťových jednotkách pomalejší než zápis na místní disk výpočetní instance. Pokud píšete mnoho malých souborů, zkuste použít adresář přímo ve výpočetní instanci, například /tmp adresář. Tyto soubory nebudou přístupné z jiných výpočetních instancí.
Neukládejte trénovací data do sdílené složky s poznámkovými bloky. Pro dočasná /tmp data můžete použít adresář ve výpočetní instanci. Nezapisování velmi velkých souborů dat na disk s operačním systémem výpočetní instance. Disk s operačním systémem v instanci COMPUTE má kapacitu 128 GB. Do dočasného disku připojeného k/mnt. můžete také ukládat dočasná školicí data. Velikost dočasného disku je konfigurovatelná na základě zvolené velikosti virtuálního počítače a může ukládat větší objemy dat, pokud je zvolen virtuální počítač s vyšší velikostí. Můžete také připojit úložiště dat a datové sady. Všechny softwarové balíčky, které nainstalujete, se uloží na disk s operačním systémem výpočetní instance. Poznamenejte si prosím šifrování spravovaného klíče zákazníka, které se v tuto chvíli nepodporuje pro disk s operačním systémem. Disk s operačním systémem pro výpočetní instanci je zašifrovaný pomocí klíčů spravovaných Microsoftem.
Vytvoření výpočetní instance
Jako správce můžete vytvořit výpočetní instanci pro ostatní v pracovním prostoru (Preview).
Pro automatizovaný způsob přizpůsobení a konfigurace výpočetní instance můžete použít také instalační skript (Preview) .
pokud chcete vytvořit výpočetní instanci pro sebe, použijte svůj pracovní prostor v Azure Machine Learning studiu, vytvořte novou výpočetní instanci z oddílu compute nebo v části poznámkové bloky , až budete připraveni spustit jeden z vašich poznámkových bloků.
Můžete také vytvořit instanci.
- Přímo z prostředí integrovaných poznámkových bloků
- V Azure Portal
- Z šablony Azure Resource Manager. příklad šablony najdete v tématu vytvoření Azure Machine Learning šablony výpočetních instancí.
- s Azure Machine Learning SDK
- Z rozšíření CLI pro Azure Machine Learning
vyhrazená jádra na jednu oblast a kvótu pro rodinu virtuálních počítačů, která platí pro vytváření výpočetních instancí, jsou sjednocená a sdílená s Azure Machine Learning školením kvóty výpočetních clusterů. Zastavení výpočetní instance neuvolní kvótu, aby bylo zajištěno, že budete moci restartovat výpočetní instanci. Zastavte prosím výpočetní instanci prostřednictvím terminálu operačního systému pomocí sudo vypnutí.
Instance COMPUTE se dodává s diskem s operačním systémem P10. Typ dočasného disku závisí na zvolené velikosti virtuálního počítače. V současné době není možné změnit typ disku operačního systému.
Cílový výpočetní objekt
výpočetní instance se dají použít jako školicí cíl Azure Machine Learning pro výpočetní prostředky, podobně jako clustery výpočetního školení.
Výpočetní instance:
- Má frontu úloh.
- Spustí úlohy bezpečně ve virtuálním síťovém prostředí, aniž by museli podniky otevřít port SSH. Úloha se spustí v kontejnerovém prostředí a zabalí závislosti vašich modelů v kontejneru Docker.
- Může spustit více malých úloh paralelně (ve verzi Preview). Jedna úloha na jádro může běžet paralelně, zatímco zbývající úlohy jsou zařazeny do fronty.
- Podpora distribuovaných školicích úloh s jedním uzlem
Výpočetní instanci můžete použít jako cíl nasazení místní Inferencing pro scénáře testování a ladění.
Tip
Výpočetní instance má 120GB disk s operačním systémem. Pokud vyčerpáte volné místo na disku a nemůžete se dostat do nepoužitelného stavu, vymažte prosím na disku s operačním systémem aspoň 5 GB místa na disku (připojené k/) pomocí terminálu výpočetních instancí odebráním souborů nebo složek a potom udělejte sudo reboot . Pro přístup k terminálu přejděte na stránku COMPUTE list nebo Podrobnosti instance COMPUTE a klikněte na odkaz terminálu . Můžete kontrolovat dostupné místo na disku spuštěním df -h v terminálu. Před provedením vymažte aspoň 5 GB volného místa sudo reboot . Neodstraňujte ani nerestartujte výpočetní instanci prostřednictvím studia, dokud nebude vymazáno 5 GB místa na disku.
Další kroky
- Vytvoření a Správa výpočetní instance
- kurz: analýza prvního MLho modelu ukazuje, jak používat výpočetní instanci s integrovaným poznámkovým blokem.