Különböző konfigurációk tesztelése

Azure DevOps Services | Azure DevOps Server 2022 – Azure DevOps Server 2019

A felhasználók valószínűleg számos különböző konfigurációban, például különböző operációs rendszereken, webböngészőkben és más változatokban telepítik vagy futtatják az alkalmazást. Legalább néhány tesztet olyan fázisokban szeretne futtatni, amelyek különböző konfigurációkkal rendelkeznek.

A teszttervekkel eldöntheti, hogy mely teszteken szeretné futtatni a konfigurációkat. A tesztek futtatásakor meg kell győződnie arról, hogy beállította a szükséges konfigurációk fázisait.

A tesztelni kívánt kombinációk sémamátrixát rajzolhatja meg:

Böngésző- és operációsrendszer-konfigurációk tesztelési mátrixa

Ezután a következőt teheti:

Előfeltételek

  • Csatlakoznia kell egy projekthez. Ha még nem rendelkezik projektel, hozzon létre egyet.
  • Hozzá kell adnia egy projekthez. A hozzáadáshoz vegye fel a felhasználókat egy projektbe vagy csapatba.
  • Tesztkonfigurációk megtekintéséhez vagy hozzáadásához alapszintű hozzáféréssel vagy magasabb szintű hozzáféréssel kell rendelkeznie.
  • Tesztkonfigurációk hozzáadásához a projektszintű Felügyeleti tesztkonfigurációk engedélyezése engedéllyel kell rendelkeznie. Alapértelmezés szerint ez az engedély a Közreműködők és a Project Rendszergazda istrator csoportok tagjai számára van megadva.

További információ: Manuális teszthozzáférés és engedélyek.

A TCM parancssori eszköz használata

A TCM parancssori eszköz használatához a következő elemeket kell használnia:

  • Telepített Visual Studio 2017 Professional vagy korábbi verzió. A TCM-et a parancssorból és a következő könyvtárakból érheti el:

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
  • TCM-parancs futtatásához adja meg a paramétereket és /teamproject/login a /collection szükséges paramétereket.

    Paraméter Leírás
    /Gyűjtemény:CollectionURL Szükséges. Megadja a csapatprojekt-gyűjtemény URI-ját. Az URI formátuma a következő:
    – Az Azure DevOps Services esetében: http://dev.azure.com/OrganizationName
    - Az Azure DevOps Server esetében: http://ServerName:Port/VirtualDirectoryName/CollectionName. Ha nem használ virtuális könyvtárat, akkor az URI formátuma a következő:http://ServerName:Port/CollectionName
    /teamproject:project Szükséges. Annak a projektnek a neve, amely tartalmazza azokat a tesztobjektumokat, amelyekbe automatikus teszteket szeretne klónozni vagy importálni.
    /login:username,[password] Opcionális. Egy érvényes Azure DevOps-felhasználó nevét és jelszavát adja meg, aki rendelkezik a parancs futtatásához szükséges engedélyekkel. Ezt a lehetőséget akkor használja, ha a Windows-hitelesítő adatai nem rendelkeznek a megfelelő engedélyekkel, vagy alapszintű hitelesítést használ, vagy nem csatlakozik tartományhoz.
  • Egy vagy több elérni kívánt projekt érvényes tagjának kell lennie, és a futtatott parancsok alapján rendelkeznie kell a szükséges engedélyekkel. További információ: Manuális teszthozzáférés és engedélyek.

  • A tesztobjektumok klónozásához vagy importálásához ugyanazokat a hozzáférési szinteket kell megadnia, mint a tesztcsomagok és tesztcsomagok hozzáadásához.

Konfigurációk és változók megtekintése

Gyakran látni szeretné azokat a konfigurációkat, amelyek már elérhetők a tesztek futtatásához.

A tesztkonfigurációk és konfigurációs változók listáját a Konfigurációk lapon tekintheti meg.

A projektben válassza a Csomagkonfigurációk> tesztelése lehetőséget a bal oldali navigációs területen. Itt láthatja a tesztcsomagokhoz jelenleg elérhető összes tesztkonfigurációt és változót.

Képernyőkép a Lekérdezésszerkesztő lekérdezési tesztcsomagjairól.

Válasszon ki egy konfigurációt vagy változót, ha további információt szeretne látni róla a jobb oldali ablakban.

Konfigurációk és változók létrehozása

A tesztkonfiguráció a konfigurációs változók értékeinek kombinációja. A konfigurációs változók lehetnek például az operációs rendszer, a böngésző, a CPU típusa, az adatbázis. A konfiguráció lehet "Windows 8 + 32 bites CPU" vagy "Windows 10 + 64 bites CPU".

Először hozza létre a konfigurációs változókat. Ezután több változóérték kombinálásával hozzon létre egy konfigurációt.

  1. Nyissa meg a Konfigurációk lapot a Teszttervek webes portálon, válassza az ikont, és válassza az +Új konfigurációs változó lehetőséget.

    Képernyőkép az Új menü Új konfigurációváltozó lehetőségről.

  2. Írja be a változó nevét, például a Böngészőt és a leírást. Válassza az Új érték hozzáadása lehetőséget, majd adjon hozzá egy értéket. Adjon hozzá annyi értéket, amennyit csak szeretne a konfigurációs változóhoz, majd mentse.

    Képernyőkép az értékek új konfigurációs változóhoz való hozzáadásáról.

  3. Ismételje meg a lépéseket a szükséges egyéb konfigurációs változók létrehozásához. Hozzon létre például egy operációs rendszer nevű konfigurációs változót az egyes tesztelni kívánt operációs rendszerek nevével.

    Képernyőkép az operációs rendszerek konfigurációs változóinak értékének beállításával.

  4. Válassza az ikont, és válassza az +Új tesztkonfiguráció lehetőséget.

    Képernyőkép az Új menü Új tesztkonfiguráció lehetőségről.

  5. Írja be a tesztkonfiguráció nevét, és adja hozzá a létrehozott konfigurációs változókat. Válasszon egy értéket a konfiguráció minden változója számára.

    Képernyőkép változók hozzáadásáról az új tesztkonfigurációhoz.

    Győződjön meg arról, hogy az új tesztcsomagokhoz való hozzárendelés be van jelölve, hogy ez a konfiguráció legyen az alapértelmezett az összes létrehozott új tesztcsomag esetében.

  6. Mentse az új tesztkonfigurációt.

A tesztkonfiguráció a konfigurációs változók értékeinek kombinációja. A konfigurációs változók lehetnek például az operációs rendszer, a böngésző, a CPU típusa, az adatbázis. A konfiguráció lehet "Windows 8 + 32 bites CPU" vagy "Windows 10 + 64 bites CPU".

Először létre kell hoznia a konfigurációs változókat. Ezután több változóérték kombinálásával hozzon létre egy konfigurációt.

  1. Nyissa meg a Konfigurációk lapot a Teszttervek webes portálon, válassza az ikont, és válassza az Új... Új konfigurációs változó lehetőséget.

    Új konfigurációs változó hozzáadása

  2. Írja be a változó nevét (például a Böngészőt), és írjon be egy értéket. Adjon hozzá annyi értéket, amennyit csak szeretne a konfigurációs változóhoz, majd mentse.

    Új konfigurációs változó értékeinek beállítása

  3. Ismételje meg a lépéseket a szükséges egyéb konfigurációs változók létrehozásához. Hozzon létre például egy operációs rendszer nevű konfigurációs változót az egyes tesztelni kívánt operációs rendszerek nevével.

    Operációsrendszer-konfigurációs változó értékeinek beállítása

  4. Válassza az ikont, és válassza az Új...Új tesztkonfiguráció lehetőséget.

    Új tesztkonfiguráció hozzáadása

  5. Írja be a tesztkonfiguráció nevét, és adja hozzá a létrehozott konfigurációs változókat. Válasszon egy értéket a konfiguráció minden változója számára.

    Változók hozzáadása az új tesztkonfigurációhoz

    Győződjön meg arról , hogy az új tesztcsomagokhoz való hozzárendelés be van jelölve, hogy ez legyen az összes létrehozott új tesztcsomag alapértelmezett konfigurációja.

  6. Mentse az új tesztkonfigurációt.

Konfigurációk hozzárendelése csomagok és csomagok teszteléséhez

Konfigurációkat rendelhet egy tesztcsomaghoz vagy egy egyéni tesztesethez. A tesztcsomaghoz rendelt konfigurációk a benne lévő összes tesztre vagy csomagra vonatkoznak.

  1. Ha konfigurációt szeretne hozzárendelni egy tesztcsomaghoz, a Tesztcsomagok lapon válasszon ki egy csomagot. A Tesztcsomagok területen válasszon ki egy tesztcsomagot, és válassza a További beállítások lehetőséget, vagy kattintson a jobb gombbal a helyi menü megnyitásához, majd válassza a Konfiguráció hozzárendelése lehetőséget.

    Képernyőkép a Konfiguráció hozzárendelése menüről.

    Ha több konfigurációt ad hozzá egy tesztcsomaghoz, a teszteseteket a rendszer minden hozzárendelt konfigurációval megismétli.

    Képernyőkép egy tesztcsomaghoz való több konfigurációs hozzárendelésről.

  2. Szükség esetén felülbírálja a tesztesethez rendelt alapértelmezett konfigurációt, és rendelje hozzá a szükséges konfigurációt. Jelöljön ki egy vagy több tesztesetet, nyissa meg a helyi menüt, és válassza a Konfiguráció hozzárendelése lehetőséget.

    Képernyőkép egy tesztesethez rendelt konfiguráció hozzárendelésével.

  3. Keresse meg és válassza ki a tesztesetekhez hozzárendelni kívánt konfigurációkat.

    Képernyőkép egy teszteset konfigurációinak beállításával.

Konfigurációkat rendelhet egy teszttervhez, egy tesztcsomaghoz vagy egy egyéni tesztesethez. A tesztcsomaghoz vagy tesztcsomaghoz rendelt konfigurációk a benne lévő összes tesztre vagy csomagra érvényesek.

  1. Ha konfigurációt szeretne hozzárendelni egy teszttervhez, nyissa meg a csomag helyi menüjét, és válassza a Konfiguráció hozzárendelése teszttervhez lehetőséget.

    Konfiguráció hozzárendelése teszttervhez

  2. Ha konfigurációt szeretne hozzárendelni egy tesztcsomaghoz, nyissa meg a csomag helyi menüjét, és válassza a Konfiguráció hozzárendelése a tesztcsomaghoz lehetőséget.

    Konfiguráció hozzárendelése tesztcsomaghoz

    Ha több konfigurációt ad hozzá egy tesztcsomaghoz vagy csomaghoz, a tesztesetek ismétlődnek a csomagban vagy a csomagban az egyes hozzárendelt konfigurációkkal együtt.

    Több konfigurációs hozzárendelés tesztcsomaghoz

  3. Szükség esetén felülbírálja a tesztesethez rendelt alapértelmezett konfigurációt, és rendelje hozzá a szükséges konfigurációt. Jelöljön ki egy vagy több tesztesetet, nyissa meg a helyi menüt, és válassza a Konfigurációk hozzárendelése lehetőséget.

    Tesztesethez rendelt alapértelmezett konfiguráció felülbírálása

  4. Keresse meg és válassza ki a teszteset(ek)hez hozzárendelni kívánt konfigurációkat.

    Tesztesethez szükséges konfigurációk beállítása

Tesztek futtatása minden konfigurációval

Állítson be egy tesztelési platformot egy adott konfigurációhoz, például tesztelje az alkalmazást a Google Chrome-tal Windows 10-en.

  1. Válasszon ki és futtasson egy tesztet, amelyhez ez a konfiguráció van hozzárendelve.

    Képernyőkép egy adott konfigurációval rendelkező tesztről, és a webalkalmazás futtatása lehetőség ki van választva.

    A teszt futtatásakor megjelenik egy emlékeztető a konfigurációról az állapotsoron.

    Képernyőkép a teszt konfigurációjáról az állapotsoron.

  1. Állítson be egy tesztelési platformot egy adott konfigurációhoz, például tesztelje az alkalmazást a Google Chrome-tal Windows 10-en.

  2. Válasszon ki és futtasson egy tesztet, amelyhez ez a konfiguráció van hozzárendelve.

    A teszt futtatása a hozzárendelt konfigurációval

    A teszt futtatásakor emlékeztető a szükséges konfigurációról a Tesztfuttató ablak állapotsávjában.

    A szükséges konfiguráció megjelenik a Tesztfuttató ablakban

Az egyes konfigurációk teszteredményeinek nyomon követése

  1. Nyissa meg a tesztcsomag Diagramok lapját, válassza az Új, majd az Új teszteredmény-diagram lehetőséget.

    Képernyőkép az Új teszt eredménydiagram menüjéről.

  2. Válasszon ki egy diagramtípust, például kördiagramot vagy sávdiagramot, majd válassza a Csoportosítás konfiguráció szerint>lehetőséget, és válassza az OK gombot.

    Képernyőkép a csoport konfigurációs beállításának kiválasztásáról a diagram konfigurálása párbeszédpanelen.

    Létrejön egy diagram, amely segít nyomon követni a teszteket a konfigurációk alapján. Ezt a diagramot rögzítheti az irányítópulton.

    Képernyőkép egy sávdiagramról, amelyen a Nem futtatás, a Pass és a Failed értékek láthatók.

Ha több tesztcsomagban is megjelenik egy teszteset, beállíthatja az egyes csomagok különböző konfigurációit. Ugyanannak a tesztesetnek különböző konfigurációs beállításai lehetnek különböző tesztcsomagokban és tesztcsomagokban.

  1. Nyissa meg a tesztterv vagy a tesztcsomag Diagramok lapját, válassza az Új lehetőséget, majd az Új teszteredmény-diagramot.

    Új teszteredmény-diagram létrehozása

  2. Válassza ki a kívánt diagramtípust, válassza a Csoportosítás lista Konfiguráció elemét, majd az OK gombot.

    A kívánt diagramtípus kiválasztása

    Létrejön egy diagram, amely segít nyomon követni a teszteket a konfigurációk alapján. Ezt a diagramot rögzítheti az irányítópulton.

    A konfigurációs teszt eredménydiagramja

Ha több tesztcsomagban és tesztcsomagban is megjelenik egy teszteset, mindegyikhez beállíthatja a különböző konfigurációkat. Ugyanannak a tesztesetnek különböző konfigurációs beállításai lehetnek különböző tesztcsomagokban és tesztcsomagokban.