Przykładowy raport trendu wykonywania testów ręcznych

  • Artykuł

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

W tym artykule pokazano, jak uzyskać stan wykonywania co najmniej jednego planu testów w usłudze Power BI. Wygenerowany raport jest podobny do poniższego obrazu i wykresu trendu wyniku raportu Postęp.

Zrzut ekranu przedstawiający raport trendu skumulowanego planu testów usługi Power BI.

Raport przedstawia wykres trendu, który zawiera podsumowanie liczby i stanów wyników planów testów wykonanych w określonym przedziale czasu.

  • Passed: Liczba przypadków testowych zakończonych powodzeniem.
  • Niepowodzenie: liczba przypadków testowych zakończonych niepowodzeniem.
  • NotApplicable: liczba przypadków testowych
  • Zablokowane: liczba przypadków testowych zablokowanych do uruchomienia.
  • NotExecuted: liczba zdefiniowanych przypadków testowych, ale nie jest wykonywana.

Pytania dotyczące odpowiedzi na raport

Ten raport pomaga śledzić postęp zespołu w odniesieniu do planowanego testowania produktu lub usługi, odpowiadając na następujące pytania:

  • Ile testów zostało ukończonych?
  • Jaki jest bieżący stan testów zakończonych powodzeniem, niepowodzeniem lub zablokowaniem?
  • Ile testów przechodzi i jaki trend wskazuje na jakość oprogramowania?
  • Ile testów kończy się niepowodzeniem?
  • Ile testów jest zablokowanych i co wskazuje trend?

Raport trendu wykonywania testów w dobrej kondycji przedstawia stały postęp w planach testów uruchomionych i przekazywanych. W idealnym przypadku raport przedstawia stosunkowo płaską liczbę przypadków testowych dla danego planu. W miarę postępu cyklu programowania liczba przypadków testowych z przekazywaniem powinna wzrosnąć, a liczba przypadków testowych w innych stanach powinna spaść.

Ważne

Integracja usługi Power BI i dostęp do źródła danych OData usługi Analytics są ogólnie dostępne dla usług Azure DevOps Services i Azure DevOps Server 2020 i nowszych wersji. Przykładowe zapytania podane w tym artykule są prawidłowe tylko w przypadku usługi Azure DevOps Server 2020 i nowszych wersji oraz zależą od wersji 3.0 w wersji zapoznawczej lub nowszej. Zachęcamy do korzystania z tych zapytań i przekazywania opinii.

Wymagania wstępne

  • Aby wyświetlić dane analizy i wykonać zapytanie dotyczące usługi, musisz być członkiem projektu z dostępem podstawowym lub większym. Domyślnie wszyscy członkowie projektu otrzymują uprawnienia do wykonywania zapytań w usłudze Analytics i definiowania widoków analizy.
  • Aby dowiedzieć się więcej o innych wymaganiach wstępnych dotyczących włączania usługi i funkcji oraz ogólnych działań śledzenia danych, zobacz Uprawnienia i wymagania wstępne dotyczące dostępu do analizy.

Uwaga

W tym artykule założono, że znasz artykuł Omówienie przykładowych raportów przy użyciu zapytań OData i masz podstawową wiedzę na temat usługi Power BI.

Aby raport wygenerował przydatne dane, zespół musi wykonać następujące działania w celu zarządzania planami testów:

  • Definiowanie planów testów, zestawów testów i przypadków testowych. Określ ich stan. Aby można było uruchomić pakiet testów, musi być w stanie W toku. Aby można było uruchomić przypadek testowy, musi być w stanie Gotowe. Aby uzyskać szczegółowe informacje, zobacz Tworzenie planów testów i zestawów testów oraz Tworzenie ręcznych przypadków testowych.

  • Uruchom testy ręczne i zweryfikuj wyniki. Oznacz wyniki każdego kroku weryfikacji w przypadku testowym jako z powodzeniem lub niepowodzeniem. Aby uzyskać szczegółowe informacje, zobacz Uruchamianie testów ręcznych.

    Uwaga

    Testerzy muszą oznaczyć krok testu ze stanem, jeśli jest to krok testu weryfikacji. Ogólny wynik testu odzwierciedla stan wszystkich kroków testowych, które zostały oznaczone. W związku z tym test będzie miał stan niepowodzenia, jeśli jakikolwiek krok testu zostanie oznaczony jako niepowodzenie lub nie zostanie oznaczony.

Przykładowe zapytania

Następujące zapytania zestawu jednostek umożliwiają tworzenie różnych, ale podobnych raportów trendów TestPointHistorySnapshot wykonywania planu testów.

Uwaga

Aby określić dostępne właściwości dla celów filtru lub raportu, zobacz Dokumentacja metadanych dla analiz planów testów. Możesz filtrować zapytania lub zwracać właściwości przy użyciu dowolnej z Property wartości dostępnych EntityType w elemecie EntitySetlub NavigationPropertyBinding Path . Każda z nich EntitySet odpowiada elementowi EntityType. Aby dowiedzieć się więcej o typie danych każdej wartości, przejrzyj metadane podane dla odpowiedniego EntityTypeelementu .

Możesz wkleić zapytanie usługi Power BI wymienione poniżej bezpośrednio w oknie Pobieranie zapytania pustego> danych. Aby uzyskać więcej informacji, zobacz Omówienie przykładowych raportów przy użyciu zapytań OData.

let 
    Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v3.0-preview/TestPointHistorySnapshot?" 
        &"$apply=filter((TestSuite/TestPlanTitle eq '{testPlanTitle}') and (DateSK ge {startDate} and DateSK le {endDate}))" 
        &"/groupby(" 
            &"(DateSK)," 
            &"aggregate(" 
                &"$count as TotalCount," 
                &"cast(ResultOutcome  eq 'Passed', Edm.Int32) with sum as Passed," 
                &"cast(ResultOutcome  eq 'Failed', Edm.Int32) with sum as Failed," 
                &"cast(ResultOutcome eq 'Blocked', Edm.Int32) with sum as Blocked," 
                &"cast(ResultOutcome eq 'NotApplicable', Edm.Int32) with sum as NotApplicable," 
                &"cast(ResultOutcome eq 'None', Edm.Int32) with sum as NotExecuted," 
                &"cast(ResultOutcome ne 'None', Edm.Int32) with sum as Executed 
            ) 
        )", null, [Implementation="2.0"]) 
in 
    Source

Ciągi podstawienia i podział zapytań

Zastąp następujące ciągi wartościami. Nie dołączaj nawiasów {} do podstawienia. Na przykład jeśli nazwa organizacji to "Fabrikam", zastąp Fabrikamciąg {organization} , a nie {Fabrikam}.

  • {organization} — Nazwa organizacji
  • {project} — Nazwa projektu zespołowego lub całkowicie pomiń "/{project}" dla zapytania obejmującego wiele projektów
  • {testPlanTitle} - Tytuł planu testowego. Przykład: Fabrikam test plan.
  • {startDate} i {endDate} — zakres zainteresowań daty. Daty można wprowadzić w formacie RRRRMDD. Na przykład 20220815 dla 15 sierpnia 2022 r.

Podział zapytań

W poniższej tabeli opisano każdą część zapytania.

Część kwerendy

Opis

filter((TestSuite/TestPlanTitle eq '{testPlanTitle}'))

Zwraca dane tylko dla wybranego planu testowego. Możesz dodać wiele planów z klauzulą podobną do filter((TestSuite/TestPlanTitle eq '{testPlanTitle1}' lub TestSuite/TestPlanTitle eq '{testPlanTitle2}')). W tym miejscu można również zastosować inne filtry związane z zestawami testów i konfiguracjami testów.

and (DateSK ge {startDate} and DateSK le {endDate})

Zakres dat zainteresowania. Daty można wprowadzić w YYYYMMDD formacie.

/groupby((DateSK)

Grupuj dane w pojemniki o tej samej dacie. Tworzy jeden zestaw wartości dziennie w danym zakresie dat.

/aggregate($count as TotalCount,

Agregowanie danych w przefiltrowanych punktach testowych z liczbą jako TotalCount.

cast(LastResultOutcome eq 'Passed', Edm.Int32) with sum as Passed,

Podczas agregowania punkty testowe rzutowania typu mają najnowszy wynik wykonania "Passed" do 1 i sumują je jako Passed metrykę.

(Opcjonalnie) Zmienianie nazwy zapytania

Możesz zmienić nazwę domyślnej etykiety zapytania Query1 na bardziej zrozumiałą. Po prostu wprowadź nową nazwę w okienku Zapytanie Ustawienia.

Zrzut ekranu przedstawiający opcje menu zapytania usługi Power BI, zmień nazwę zapytania.

Zmienianie typu danych kolumny

W Edytor Power Query wybierz kolumnę TotalCount i wszystkie inne kolumny, a następnie wybierz pozycję Typ danych z menu Przekształć, a następnie wybierz pozycję KtoTo le Liczba. Aby dowiedzieć się więcej na temat zmiany typu danych, zobacz Przekształcanie danych analizy w celu generowania raportów usługi Power BI, Przekształcanie typu danych kolumny.

(Opcjonalnie) Zmienianie nazwy pól kolumn

Możesz zmienić nazwy pól kolumn. Możesz na przykład zmienić nazwę kolumny NotApplicable na Not Applicable, lub TotalCount na Total Count. Aby dowiedzieć się, jak to zrobić, zobacz Zmienianie nazwy pól kolumn.

Zamknij zapytanie i zastosuj zmiany

Po zakończeniu wszystkich przekształceń danych wybierz pozycję Zamknij i zastosuj z menu Narzędzia główne , aby zapisać zapytanie i wrócić do karty Raport w usłudze Power BI.

Zrzut ekranu przedstawiający opcję zamknij i zastosuj Edytor Power Query.

Tworzenie skumulowanego raportu wykresu warstwowego

  1. W usłudze Power BI w obszarze Wizualizacje wybierz raport Skumulowany wykres warstwowy. Zrzut ekranu przedstawiający wybrane pola wizualizacji dla raportu przebiegu trendu wykonywania planu testowego.

  2. Przeciągnij i upuść element DateSK na oś X.

  3. Przeciągnij i upuść wartość Passed, Failed, Blocked, NotApplicable i NotExecuted na oś Y.

Raport powinien wyglądać podobnie do poniższej ilustracji.

Zrzut ekranu przedstawiający raport trendu skumulowanego planu testów usługi Power BI.