Konfigurowanie CNTK za pomocą skryptu na Windows

Artykuł
03/07/2018

Jeśli chcesz skompilować CNTK z kodu źródłowego i chcesz użyć skryptu Zainstaluj dewelopera, ta strona jest dla Ciebie.

Jeśli szukasz innego rodzaju wsparcia podczas konfigurowania CNTK środowiska kompilacji lub instalowania CNTK w systemie, należy zamiast tego przejść tutaj.

Aby wziąć pod uwagę twoją uwagę

Poniżej przedstawiono zalecenia, aby upewnić się, że można pomyślnie skompilować CNTK:

Ustawienia regionalne systemu na maszynie kompilacji powinny być ustawione na język z "łacińskim" zestawem znaków.
Unikaj bardzo długich nazw ścieżek. Procedura kompilacji używa operacji kopiowania (XCOPY), które mogą napotkać problemy z wyrażeniem ścieżki o długości ponad 256 znaków.

64-bitowy system operacyjny

CNTK wymaga 64-bitowej instalacji Windows. Przetestowaliśmy proces kompilacji na Windows 8.1, Windows 10 i Windows Server 2012 R2 i nowszych. Inne środowiska nie są oficjalnie obsługiwane. Aby uzyskać informacje o problemach ze zgodnością, sprawdź konfigurację kompilacji i testowania w środowisku produkcyjnym CNTK.

Przygotowanie

Istnieją kroki wymagane do utworzenia środowiska deweloperskiego CNTK na maszynie:

Instalacja wymaganych narzędzi
- Visual Studio 2017
- NVIDIA CUDA 9.0
- Git
- Klonowanie kodu źródłowego CNTK
Uruchamianie skryptu instalacji dewelopera
- Ustawianie opcji wiersza polecenia w celu skonfigurowania operacji skryptu
- Wykonywanie skryptu
Skompiluj i testuj

Ta strona przeprowadzi Cię przez wszystkie te kroki. Instalacja oparta na skrycie spowoduje utworzenie środowiska programistycznego ze wszystkimi opcjonalnymi składnikami, w tym narzędziami FIRMY NVIDIA, środowiskiem języka Python, bibliotekami OpenCV i kompresji. Skrypt obsługuje opcjonalne parametry w celu dostosowania instalacji do systemu (na przykład katalogu instalacyjnego programu Anaconda itp.), szczegóły są dostępne tutaj

Instalacja wymaganych narzędzi

Visual Studio 2017

Zainstaluj Microsoft Visual Studio 2017 dla Windows. Link do pobierania można znaleźć tutaj. Będziesz potrzebować konta Microsoft i bezpłatnego członkostwa w subskrypcji Visual Studio Dev Essentials lub prawidłowej subskrypcji MSDN. Jeśli nie masz konta Microsoft, wymagane członkostwo w subskrypcji lub obie te subskrypcje zostaną oferowane do zarejestrowania.

Wersja Community Visual Studio 2017 jest wystarczająca do utworzenia CNTK.

Podczas procesu instalacji wybierz pozycję "platforma uniwersalna systemu Windows programowanie", "Programowanie aplikacji klasycznych na platformie .NET", "Programowanie aplikacji klasycznych za pomocą języka C++" i "Programowanie w języku Python":

im1

Poza tym na ekranie poszczególnych składników upewnij się, że do instalacji dodano zestaw narzędzi "VC++ 2017 w wersji 15.4 w wersji 14.11" i "Środowisko uruchomieniowe Visual C++ dla platformy UWP":

im1

Na koniec dodaj element "Windows 10 SDK (10.0.16299.0) dla języka C++ dla komputerów stacjonarnych [x86 i x64]":

im1

Poprzednia instalacja Visual Studio 2017

Wymagany jest zestaw narzędzi "VC++ 2017 w wersji 15.4 w wersji 14.11", "Środowisko uruchomieniowe Visual C++ dla platformy UWP" i "Windows 10 SDK (10.0.16299.0) dla programu Desktop C++ [x86 i x64]" zainstalowane w systemie. Aby sprawdzić, czy otwórz Windows "Panel sterowania —> Programy i> funkcje" i wybierz pozycję "Visual Studio Community 2017" z listy zainstalowanych programów. Spowoduje to ponowne uruchomienie konfiguracji Visual Studio i pozwala upewnić się, że wyżej wymienione składniki są zainstalowane w systemie (zobacz obraz powyżej).

Uwaga

Jeśli VS2017INSTALLDIR zmienna środowiskowa nie została ustawiona przez instalatora Visual Studio, ustaw ją ręcznie. Dokładny katalog instalacyjny zależy od wersji (w tym przypadku 2017) i oferty (Community, Enterprise itp.) Visual Studio, zgodnie z następującym wzorcem: C:\Program Files (x86)\Microsoft Visual Studio\<version>\<offering>.

W przypadku wersji Enterprise Visual Studio 2017 uruchom polecenie:

setx VS2017INSTALLDIR "C:\Program Files (x86)\Microsoft Visual Studio\2017\Enterprise"

W przypadku wersji Community Visual Studio 2017 uruchom:

setx VS2017INSTALLDIR "C:\Program Files (x86)\Microsoft Visual Studio\2017\Community"

NVIDIA CUDA 9

Ważne

Jeśli masz instalację Visual Studio 2017 po raz pierwszy zgodnie z powyższym opisem, musisz zainstalować teraz narzędzie NVIDIA CUDA 9, nawet jeśli masz już istniejącą instalację CUDA 9! Instalacja NVIDIA CUDA 9 dodaje obsługę narzędzi programistycznych FIRMY NVIDIA do środowiska Visual Studio, które jest wymagane do pomyślnego utworzenia CNTK.

CNTK jest ustawiona na kompilację za pomocą interfejsu CUDA 9.0. Pobierz i zainstaluj zestaw narzędzi NVIDIA CUDA 9.0 Toolkit:

Pobierz wymagany pakiet ze strony pobierania
Uruchamianie procedury instalacji

Uwaga: W przypadku, gdy nie masz systemu z kartą graficzną ZGODNą z procesorem NVIDIA CUDA 9.0, instalator CUDA wyświetli ostrzeżenie. Kontynuuj instalatora, jeśli otrzymasz to ostrzeżenie, narzędzia CUDA zostaną zainstalowane i możesz utworzyć wersję z obsługą procesora GPU FIRMY NVIDIA CNTK w systemie.

Git

Usługa Git jest wymagana do sklonowania bazy kodu CNTK. Dostępne są różne narzędzia klienckie usługi Git. Możesz również pracować z usługą Git bezpośrednio z poziomu Visual Studio. W tym miejscu założono, że zainstalowano usługę Git dla Windows. Załóżmy, że zainstalowano usługę Git przy użyciu opcji domyślnych w instalatorze Git (szczególnie "Użyj narzędzia Git z wiersza polecenia Windows" i z włączoną opcją "Wyewidencjonuj Windows stylu, zatwierdź zakończenie wiersza system UNIX stylu" w wierszu "Konfigurowanie zakończeń wierszy".

Klonowanie kodu źródłowego CNTK

Utworzymy klon kodu źródłowego CNTK w pliku c:\repos\cntk. Jeśli wolisz inną lokalizację, musisz odpowiednio dostosować polecenia.

Otwórz standardową powłokę poleceń systemu Windows i wykonaj następujące polecenie

c: && md \repos && cd \repos
git clone --recursive https://github.com/Microsoft/cntk
cd cntk

Moduł podrzędny Multiverso służy do włączania funkcji DataParallelASGD na potrzeby trenowania. Jeśli nie potrzebujesz obsługi usługi DataParallelASGD, dodaj zmienną środowiskową CNTK_ENABLE_ASGD i ustaw jej wartość na false. Na przykład uruchom je w wierszu polecenia cmD, a następnie otwórz ponownie powłoki CMD i Visual Studio, aby pobrać zmianę:

setx CNTK_ENABLE_ASGD false

Uruchamianie skryptu instalacji dewelopera

Skrypt instalacji dewelopera (devInstall.ps1) to skrypt programu PowerShell znajdujący się w podkatalogu w tools katalogu głównym repozytorium CNTK. Zainstaluje wszystkie wymagane i opcjonalne narzędzia do tworzenia CNTK w systemie. Spowoduje to również utworzenie wymaganych ustawień środowiska lokalnego użytkownika. Po uruchomieniu skryptu nie trzeba wprowadzać dodatkowych danych wejściowych użytkownika, chociaż konieczne będzie potwierdzenie instalacji programów lub tworzenia zmiennych środowiskowych, w zależności od ustawienia "Kontrola konta użytkownika".

Opcje konfiguracji

Domyślnie do uruchomienia skryptu instalacji nie są wymagane żadne dodatkowe opcje. Istnieją różne dodatkowe opcje dostosowywania funkcji skryptu do wymagań. Więcej szczegółów znajduje się tutaj.

Uruchamianie skryptu instalacji

Domyślnie program PowerShell nie zezwala na wykonywanie żadnych skryptów. Aby umożliwić wykonywanie skryptu instalacyjnego ze standardowej powłoki poleceń Windows, uruchom program PowerShell przez:

start powershell -executionpolicy remotesigned

Przy założeniu, że sklonowany kod źródłowy CNTK do c:\repos\cntk katalogu, przejdź do katalogu w sesji programu PowerShell za pomocą skryptu instalacji w sklonowanym repozytorium CNTK i uruchom instalatora w tym katalogu:

cd C:\repos\cntk\Tools\devInstall\Windows
.\DevInstall.ps1

Skrypt sprawdzi system i określi wymagania wstępne, których brakuje. Otrzymasz powiadomienie o proponowanych krokach instalacji. Jeśli proponowane zmiany są zadowalające, możesz przejść do rzeczywistej instalacji. Aby uzyskać więcej informacji na temat opcji wiersza polecenia, zobacz tutaj.

Skrypt pobierze potrzebne składniki z Internetu, dlatego wymagane jest połączenie z Internetem. Spowoduje to wykonanie tych składników, a zgodnie z ustawieniem kontroli konta użytkownika w systemie zostanie wyświetlony monit o potwierdzenie wykonania i instalacji tych składników.

W zależności od szybkości systemu i połączenia internetowego cały proces może potrwać od 20 do 30 minut. Szczególnie instalacja anaconda3 jest bardzo czasochłonna bez żadnego wskazania postępu, proszę być cierpliwym. Pobrane pliki z Internetu są buforowane w katalogu c:\installCacheCntk i umożliwiają ponowne uruchomienie instalatora bez konieczności ponownego pobierania składnika. W przypadku problemów, które można ponownie uruchomić instalatora, nie zostanie ona ponownie zainstalowana ponownie. Uwaga: Jeśli instalator zostanie przerwany, może być konieczne ponowne uruchomienie programu PowerShell w celu propagowania nowych zmiennych środowiskowych.

Skompiluj i testuj

W tym momencie wszystkie wymagane składniki do skompilowania CNTK w systemie są zainstalowane. Możesz wykonać kroki opisane tutaj, aby skompilować i przetestować CNTK.