Testowanie różnych konfiguracji

  • Artykuł

Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019

Użytkownicy prawdopodobnie zainstalują lub uruchomą aplikację w wielu różnych konfiguracjach, takich jak różne systemy operacyjne, przeglądarki internetowe i inne odmiany. Należy uruchomić co najmniej niektóre testy na etapach, które mają te różne konfiguracje.

Użyj planów testów, aby zdecydować, które testy mają być uruchamiane na których konfiguracjach. Musisz upewnić się, że podczas uruchamiania testów, które zostały skonfigurowane dla potrzebnych konfiguracji.

Możesz narysować schematową macierz kombinacji, które chcesz przetestować:

Macierz testowa konfiguracji przeglądarki i systemu operacyjnego

Następnie możesz wykonać następujące czynności:

Wymagania wstępne

  • Musisz nawiązać połączenie z projektem. Jeśli nie masz jeszcze projektu, utwórz go.
  • Musisz zostać dodany do projektu. Aby dodać, dodaj użytkowników do projektu lub zespołu.
  • Aby wyświetlić lub dodać konfiguracje testowe, musisz mieć dostęp podstawowy lub wyższy.
  • Aby dodać konfiguracje testów, musisz mieć uprawnienie Zarządzanie konfiguracjami testów na poziomie projektu ustawionym na wartość Zezwalaj. Domyślnie to uprawnienie jest przyznawane członkom grup współautorów i Administracja istratorów projektu.

Aby dowiedzieć się więcej, zobacz Ręczne testowanie dostępu i uprawnień.

Praca z narzędziem wiersza polecenia TCM

Aby użyć narzędzia wiersza polecenia TCM, musisz mieć następujące elementy:

  • Zainstalowano program Visual Studio 2017 Professional lub starszą wersję. Dostęp do usługi TCM można uzyskać z poziomu wiersza polecenia i następujących katalogów:

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • Aby uruchomić polecenie TCM, określ /collection parametry i /teamproject zgodnie /login z potrzebami.

    Parametr Opis
    /Kolekcji:CollectionURL Wymagany. Określa identyfikator URI kolekcji projektów zespołowych. Format identyfikatora URI jest następujący:
    — Dla usług Azure DevOps Services: http://dev.azure.com/OrganizationName
    — Dla serwera Azure DevOps: http://ServerName:Port/VirtualDirectoryName/CollectionName. Jeśli nie jest używany żaden katalog wirtualny, format identyfikatora URI jest następujący:http://ServerName:Port/CollectionName
    /teamproject:project Wymagany. Nazwa projektu zawierającego obiekty testowe, do których chcesz sklonować lub zaimportować testy automatyczne.
    /login:username,[password] Opcjonalny. Określa nazwę i hasło prawidłowego użytkownika usługi Azure DevOps oraz kto ma uprawnienia do uruchamiania polecenia. Użyj tej opcji, jeśli poświadczenia systemu Windows nie mają odpowiednich uprawnień lub używasz uwierzytelniania podstawowego lub nie masz połączenia z domeną.

  • Musisz być prawidłowym członkiem co najmniej jednego projektu, do którego chcesz uzyskać dostęp i mieć wymagane uprawnienia na podstawie uruchamianych poleceń. Aby uzyskać więcej informacji, zobacz Ręczne testowanie dostępu i uprawnień.

  • Aby dodać plany testów i zestawy testów do klonowania lub importowania obiektów testowych, musisz mieć te same poziomy dostępu.

Wyświetlanie konfiguracji i zmiennych

Często chcesz zobaczyć konfiguracje, które są już dostępne do uruchamiania testów.

Listę konfiguracji testów i zmiennych konfiguracji można wyświetlić na stronie Konfiguracje .

W projekcie wybierz pozycję Konfiguracje planów>testów w obszarze nawigacji po lewej stronie. W tym miejscu zobaczysz wszystkie konfiguracje testów i zmienne, które są obecnie dostępne dla planów testów.

Zrzut ekranu przedstawiający Edytor Power Query, Plany testów zapytań.

Wybierz konfigurację lub zmienną, aby wyświetlić więcej informacji o niej w oknie po prawej stronie.

Tworzenie konfiguracji i zmiennych

Konfiguracja testowa jest kombinacją wartości zmiennych konfiguracji. Zmienne konfiguracji mogą być na przykład system operacyjny, przeglądarka, typ procesora CPU, baza danych. Konfiguracją może być "Procesor z systemem Windows 8 + 32-bitowy" lub "Procesor z systemem Windows 10 + 64-bitowy".

Najpierw utwórz zmienne konfiguracji. Następnie połącz wiele wartości zmiennych, aby utworzyć konfigurację.

  1. Otwórz stronę Konfiguracje w portalu internetowym Plany testów, wybierz ikonę + i wybierz pozycję Nowa zmienna konfiguracji.

    Zrzut ekranu przedstawia opcję Nowa zmienna konfiguracji w menu Nowy.

  2. Wpisz nazwę zmiennej, taką jak Przeglądarka i opis. Wybierz pozycję Dodaj nową wartość, a następnie dodaj wartość. Dodaj dowolną liczbę wartości do zmiennej konfiguracji, a następnie zapisz ją.

    Zrzut ekranu przedstawiający dodawanie wartości do nowej zmiennej konfiguracji.

  3. Powtórz kroki, aby utworzyć inne potrzebne zmienne konfiguracji. Na przykład utwórz zmienną konfiguracji o nazwie System operacyjny z nazwami każdego systemu operacyjnego, na którym chcesz przetestować.

    Zrzut ekranu przedstawia ustawienie wartości zmiennej konfiguracji systemów operacyjnych.

  4. Wybierz ikonę + i wybierz pozycję Nowa konfiguracja testu.

    Zrzut ekranu przedstawia opcję Nowa konfiguracja testu w menu Nowy.

  5. Wpisz nazwę konfiguracji testu i dodaj utworzone zmienne konfiguracji. Wybierz wartość dla każdej zmiennej dla tej konfiguracji.

    Zrzut ekranu przedstawiający dodawanie zmiennych do nowej konfiguracji testu.

    Upewnij się, że opcja Przypisz do nowych planów testów jest zaznaczona, aby ustawić tę konfigurację jako domyślną dla wszystkich nowo utworzonych planów testów.

  6. Zapisz nową konfigurację testu.

Konfiguracja testowa jest kombinacją wartości zmiennych konfiguracji. Zmienne konfiguracji mogą być na przykład system operacyjny, przeglądarka, typ procesora CPU, baza danych. Konfiguracją może być "Procesor z systemem Windows 8 + 32-bitowy" lub "Procesor z systemem Windows 10 + 64-bitowy".

Najpierw należy utworzyć zmienne konfiguracji. Następnie połącz wiele wartości zmiennych, aby utworzyć konfigurację.

  1. Otwórz stronę Konfiguracje w portalu internetowym Plany testów, wybierz ikonę Nowa… i wybierz pozycję Nowa zmienna konfiguracji.

    Dodawanie nowej zmiennej konfiguracji

  2. Wpisz nazwę zmiennej, taką jak Przeglądarka, i wpisz wartość. Dodaj dowolną liczbę wartości do zmiennej konfiguracji, a następnie zapisz ją.

    Ustawianie wartości nowej zmiennej konfiguracji

  3. Powtórz kroki, aby utworzyć inne potrzebne zmienne konfiguracji. Na przykład utwórz zmienną konfiguracji o nazwie System operacyjny z nazwami każdego systemu operacyjnego, na którym chcesz przetestować.

    Ustawianie wartości zmiennej konfiguracji systemów operacyjnych

  4. Wybierz ikonę Nowa… i wybierz pozycję Nowa konfiguracja testu.

    Dodawanie nowej konfiguracji testu

  5. Wpisz nazwę konfiguracji testu i dodaj utworzone zmienne konfiguracji. Wybierz wartość dla każdej zmiennej dla tej konfiguracji.

    Dodawanie zmiennych do nowej konfiguracji testu

    Upewnij się, że opcja Przypisz do nowych planów testów jest zaznaczona, aby ustawić tę konfigurację domyślną dla wszystkich nowo utworzonych planów testów.

  6. Zapisz nową konfigurację testu.

Przypisywanie konfiguracji do planów testów i zestawów

Konfiguracje można przypisać do zestawu testów lub pojedynczego przypadku testowego. Konfiguracje przypisane do zestawu testów mają zastosowanie do wszystkich testów lub zestawów w nim.

  1. Aby przypisać konfigurację do zestawu testów, na stronie Plany testów wybierz plan. W obszarze Zestawy testów wybierz zestaw testów i wybierz pozycję Więcej opcji lub kliknij prawym przyciskiem myszy, aby otworzyć menu kontekstowe, a następnie wybierz pozycję Przypisz konfigurację.

    Zrzut ekranu przedstawiający opcję menu Przypisywanie konfiguracji.

    Jeśli dodasz wiele konfiguracji do zestawu testów, przypadki testów będą powtarzane przy użyciu każdej z przypisanych konfiguracji.

    Zrzut ekranu przedstawiający wiele przypisań konfiguracji do zestawu testów.

  2. W razie potrzeby przesłoń konfigurację domyślną przypisaną do przypadku testowego i przypisz wymaganą konfigurację. Wybierz co najmniej jeden przypadek testowy, otwórz menu kontekstowe i wybierz pozycję Przypisz konfigurację.

    Zrzut ekranu przedstawiający przypisywanie konfiguracji przypisanej do przypadku testowego.

  3. Wyszukaj i wybierz konfiguracje, które mają zostać przypisane do przypadków testowych.

    Zrzut ekranu przedstawia ustawienia konfiguracji przypadku testowego.

Konfiguracje można przypisać do planu testu, zestawu testów lub pojedynczego przypadku testowego. Konfiguracje przypisane do planu testu lub zestawu testów mają zastosowanie do wszystkich testów lub zestawów w nim.

  1. Aby przypisać konfigurację do planu testowego, na stronie Plany testów otwórz menu skrótów dla planu i wybierz pozycję Przypisz konfigurację do planu testowego.

    Przypisywanie konfiguracji do planu testowego

  2. Aby przypisać konfigurację do zestawu testów, otwórz menu skrótów dla pakietu i wybierz pozycję Przypisz konfigurację do zestawu testów.

    Przypisywanie konfiguracji do zestawu testów

    W przypadku dodawania wielu konfiguracji do planu lub zestawu testów przypadki testów są powtarzane w planie lub zestawie z każdą przypisaną konfiguracją.

    Wiele przypisań konfiguracji do zestawu testów

  3. W razie potrzeby przesłoń konfigurację domyślną przypisaną do przypadku testowego i przypisz wymaganą konfigurację. Wybierz co najmniej jeden przypadek testowy, otwórz menu skrótów i wybierz pozycję Przypisz konfiguracje.

    Zastępowanie domyślnej konfiguracji przypisanej do przypadku testowego

  4. Wyszukaj i wybierz konfiguracje, które mają zostać przypisane do tych przypadków testowych.

    Ustawianie wymaganych konfiguracji dla przypadku testowego

Uruchamianie testów z każdą konfiguracją

Skonfiguruj platformę testową dla określonej konfiguracji, taką jak testowanie aplikacji przy użyciu przeglądarki Google Chrome w systemie Windows 10.

  1. Wybierz i uruchom test z przypisaną tą konfiguracją.

    Zrzut ekranu przedstawia test z określoną konfiguracją i wybraną opcją Uruchom dla aplikacji internetowej.

    Podczas uruchamiania testu na pasku stanu pojawia się przypomnienie o konfiguracji.

    Zrzut ekranu przedstawiający konfigurację tego testu na pasku stanu.

  1. Skonfiguruj platformę testową dla określonej konfiguracji, taką jak testowanie aplikacji przy użyciu przeglądarki Google Chrome w systemie Windows 10.

  2. Wybierz i uruchom test z przypisaną tą konfiguracją.

    Uruchamianie testu z przypisaną konfiguracją

    Podczas uruchamiania testu przypomnienie o wymaganej konfiguracji na pasku stanu okna Moduł uruchamiający testy.

    Wymagana konfiguracja zostanie wyświetlona w oknie Moduł uruchamiający testy

Śledzenie wyników testów dla każdej konfiguracji

  1. Otwórz stronę Wykresy dla zestawu testów, wybierz pozycję Nowy, a następnie wybierz pozycję Nowy wykres wyników testu.

    Zrzut ekranu przedstawia opcję menu Nowy wykres wyników testu.

  2. Wybierz typ wykresu, taki jak wykres kołowy lub słupkowy, a następnie wybierz pozycję Grupuj według>konfiguracji i wybierz przycisk OK.

    Zrzut ekranu przedstawiający wybieranie opcji konfiguracji dla grupy według w oknie dialogowym Konfigurowanie wykresu.

    Zostanie utworzony wykres, który może pomóc w śledzeniu testów na podstawie konfiguracji. Możesz przypiąć ten wykres do pulpitu nawigacyjnego.

    Zrzut ekranu przedstawia wykres słupkowy z wartościami Nie uruchamiane, Przekazywane i Niepowodzenie.

Jeśli masz przypadek testowy wyświetlany w kilku zestawach testów, możesz ustawić różne konfiguracje dla każdego pakietu. Ten sam przypadek testowy może mieć różne ustawienia konfiguracji w różnych zestawach testów i planach testów.

  1. Otwórz stronę Wykresy dla planu testu lub zestawu testów, wybierz pozycję Nowy, a następnie wybierz pozycję Nowy wykres wyników testu.

    Tworzenie nowego wykresu wyników testu

  2. Wybierz wymagany typ wykresu, wybierz pozycję Konfiguracja na liście Grupuj według , a następnie wybierz przycisk OK.

    Wybieranie wymaganego typu wykresu

    Zostanie utworzony wykres, który może pomóc w śledzeniu testów na podstawie konfiguracji. Możesz przypiąć ten wykres do pulpitu nawigacyjnego.

    Wykres wyników testu konfiguracji

Jeśli masz przypadek testowy, który pojawia się w kilku planach testów i zestawach testów, możesz ustawić różne konfiguracje dla każdego z nich. Ten sam przypadek testowy może mieć różne ustawienia konfiguracji w różnych zestawach testów i planach testów.