Jaké nástroje jsou součástí Azure Data Science Virtual Machine?
Data Science Virtual Machine je snadný způsob, jak prozkoumat data a strojové učení v cloudu. Virtual Machines pro datové vědy jsou předem nakonfigurované s úplným operačním systémem, opravami zabezpečení, ovladači a oblíbeným vědeckým a vývojovým softwarem pro práci s daty. Můžete zvolit hardwarové prostředí v rozsahu od méně nákladných počítačů orientovaných na CPU až po velmi výkonné počítače s více GPU, NVMe úložištěm a velkým objemem paměti. Pro počítače s grafickými procesory jsou nainstalované všechny ovladače, všechny architektury strojového učení mají pro kompatibilitu GPU stejný verze a akcelerace je povolená na všech aplikačních aplikacích, které podporují GPU.
Data Science Virtual Machine se dodává s nejužitečnější nástroji pro datové vědy, které jsou předem nainstalované.
Vytváření řešení pro hloubkové učení a strojové učení
| Nástroj | Windows Server 2019 DSVM | Ubuntu 18,04 DSVM | Poznámky k použití |
|---|---|---|---|
| CUDA, cuDNN, ovladač NVIDIA | ✅ | ✅ | CUDA, cuDNN, ovladač NVIDIA na DSVM |
| Horovod | ❌ | ✅ | Horovod na DSVM |
| Rozhraní NVIDIA – SMI (System Management Interface) | ✅ | ✅ | NVIDIA-SMI na DSVM |
| PyTorch | ✅ | ✅ | PyTorch na DSVM |
| TensorFlow | ✅ | ✅ | TensorFlow na DSVM |
| integrace s Azure Machine Learning (Python) | ✅ (Python SDK, ukázky) | ✅ (Python SDK, CLI, ukázky) | sada Azure ML SDK |
| XGBoost | ✅ (Podpora CUDA) | ✅ (Podpora CUDA) | XGBoost na DSVM |
| Vowpal Wabbit | ✅ | ✅ | Pro dostupné na DSVM |
| Weka | ❌ | ❌ | |
| LightGBM | ❌ | ✅ (GPU, podpora MPI) | |
| H2O | ❌ | ✅ | |
| CatBoost | ❌ | ✅ | |
| Intel MKL | ❌ | ✅ | |
| OpenCV | ❌ | ✅ | |
| Dlib | ❌ | ✅ | |
| Docker | ✅ (pouze kontejnery Windows) |
✅ | |
| Nccl | ❌ | ✅ | |
| Rattle | ❌ | ✅ | |
| Modul runtime ONNX | ❌ | ✅ |
Ukládání, načítání a manipulace s daty
| Nástroj | Windows Server 2019 DSVM | Ubuntu 18,04 DSVM | Poznámky k použití |
|---|---|---|---|
| Relační databáze | SQL Server 2019 Developer Edition |
SQL Server 2019 Developer Edition |
SQL Server na DSVM |
| Databázové nástroje | SQL Server Management Studio Služba SSIS (SQL Server Integration Services) bcp, sqlcmd |
SQuirreL SQL (nástroj pro dotazování), bcp, sqlcmd Ovladače ODBC/JDBC |
|
| Azure Storage Explorer | ✅ | ✅ | |
| Azure CLI | ✅ | ✅ | |
| AzCopy | ✅ | ❌ | AzCopy na DSVM |
| Ovladač Blob FUSE | ❌ | ✅ | blobfuse na DSVM |
| Nástroj pro migraci dat Azure Cosmos DB | ✅ | ❌ | Cosmos DB na DSVM |
| Nástroje příkazového řádku pro UNIX/Linux | ❌ | ✅ | |
| Apache Spark 3,1 (samostatný) | ✅ | ✅ |
Program v Pythonu, R, Helena a Node.js
| Nástroj | Windows Server 2019 DSVM | Ubuntu 18,04 DSVM | Poznámky k použití |
|---|---|---|---|
| Cran-R s předinstalovanými oblíbenými balíčky | ✅ | ✅ | |
| Anaconda Python s předinstalovanými oblíbenými balíčky | ✅ Miniconda |
✅ Miniconda | |
| Helena (Julialang) | ✅ | ✅ | |
| JupyterHub (Server poznámkového bloku pro více uživatelů) | ❌ | ✅ | |
| JupyterLab (Server poznámkového bloku pro více uživatelů) | ✅ | ✅ | |
| Node.js | ✅ | ✅ | |
| Jupyter notebook Server s následujícími jádry: | ✅ | ✅ | Ukázky Jupyter Notebook |
| Í | Ukázky R Jupyter | ||
| Python | Ukázky Jupyter Pythonu | ||
| Helena | Příklady Helena Jupyter | ||
| PySpark | Ukázky pySpark Jupyter |
Ubuntu 18,04 DSVM a Windows Server 2019 DSVM mají následující jádra Jupyter:-
- Python 3,8 – výchozí
- Python 3,8 – PyTorch
- Python 3,8 – TensorFlow
- Python 3,6-AzureML-TensorFlow
- Python 3,6-AzureML-PyTorch
- Python 3,6 – AzureML – AutoML
- R
- Python 3,7 – Spark (místní)
- Helena 1.2.0
- R Spark – HDInsight
- Scala Spark – HDInsight
- Python 3 Spark – HDInsight
Ubuntu 18,04 DSVM a Windows Server 2019 DSVM mají následující prostředí conda:-
- py38_default
- py38_tensorflow
- py38_pytorch
- azureml_py36_tensorflow
- azureml_py36_pytorch
- azureml_py36_automl
Použití preferovaného editoru nebo integrovaného vývojového prostředí
| Nástroj | Windows Server 2019 DSVM | Ubuntu 18,04 DSVM | Poznámky k použití |
|---|---|---|---|
| Poznámkový blok + + | ✅ | ❌ | |
| Nano | ✅ | ❌ | |
| edice Community Visual Studio 2019 | ✅ | ❌ | Visual Studio na DSVM |
| Visual Studio Code | ✅ | ✅ | Visual Studio Code na DSVM |
| RStudio Desktop | ✅ | ✅ | RStudio Desktop na DSVM |
| RStudio Server (ve výchozím nastavení zakázáno) |
❌ | ✅ | |
| PyCharm Community Edition | ✅ | ✅ | PyCharm na DSVM |
| IntelliJ IDEA | ❌ | ✅ | |
| Vim | ❌ | ✅ | |
| Emacs | ❌ | ✅ | |
| Git a Git Bash | ✅ | ✅ | |
| OpenJDK 11 | ✅ | ✅ | |
| .NET Framework | ✅ | ❌ | |
| Azure SDK | ✅ | ✅ |
Uspořádání & prezentovat výsledky
| Nástroj | Windows DsVM s Serverem 2019 | Ubuntu 18.04 DSVM | Poznámky k využití |
|---|---|---|---|
| Microsoft 365 (Word, Excel, PowerPoint) | ✅ | ❌ | |
| Microsoft Teams | ✅ | ❌ | |
| Power BI Desktop | ✅ | ❌ | |
| Prohlížeč Microsoft Edge | ✅ | ✅ |