Testar diferentes configurações

Azure DevOps Services | Azure DevOps Server | 2020 Azure DevOps Server | 2019 TFS 2018

Os seus utilizadores provavelmente irão instalar ou executar a sua aplicação numa grande variedade de configurações, tais como diferentes sistemas operativos, navegadores web e outras variações. Vai querer executar pelo menos alguns dos seus testes em fases que têm configurações diferentes.

Utilize os seus planos de teste para decidir quais os testes que pretende realizar em que configurações. Tem de se certificar de que, quando realiza os seus testes, definiu as suas fases para as configurações de que necessita.

Pode desenhar uma matriz esquemática das combinações que pretende testar:

Test matrix of browser and operating system configurations

Então pode:

Pré-requisitos

  • Tens de te ligar a um projeto. Se ainda não tem um projeto, crie um.
  • Deve ser adicionado a um projeto. Para ser adicionado, Adicione os utilizadores a um projeto ou equipa.
  • Para visualizar ou adicionar configurações de teste, tem de ter acesso Básico ou superior.
  • Para adicionar configurações de teste, tem de ter a permissão de teste de gestão de nível de projeto definida para Permitir. Por defeito, esta permissão é concedida aos membros dos grupos de Contribuintes e Project Administrador.

Para saber mais, consulte o acesso manual e permissões.

Trabalhar com a ferramenta de linha de comando TCM

Para exercer a ferramenta de linha de comando TCM, deve ter o seguinte no lugar:

  • Instalado Visual Studio versão profissional ou anterior de 2017. Aceda à TCM a partir da solicitação de comando e dos seguintes diretórios: %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • Para executar um comando TCM, especifique os /collection parâmetros e /teamproject os parâmetros, e /login se necessário.

    Parâmetro Description
    /coleção:CollectionURL Obrigatório. Especifica o URI da coleção de projetos da equipa. O formato para o URI é o seguinte:
    - Para serviços Azure DevOps: http://dev.azure.com/OrganizationName
    - Para Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Se não for utilizado nenhum diretório virtual, então o formato para o URI é o seguinte:http://ServerName:Port/CollectionName
    /projeto de equipa:project Obrigatório. O nome do projeto que contém os objetos de teste que pretende clonar ou importar testes automatizados.
    /login:username,[password] Opcional. Especifica o nome e a palavra-passe de um utilizador válido do Azure DevOps e que tem permissões para executar o comando. Utilize esta opção se as suas credenciais Windows não tiverem as permissões apropriadas, ou se estiver a utilizar a autenticação básica, ou se não estiver ligado a um domínio.
  • Você deve ser um membro válido do(s) projeto(s) que pretende aceder e ter as permissões necessárias com base nos comandos que executar. Para saber mais, consulte o acesso manual e permissões.

  • Para clonar ou importar objetos de teste, deve ter-lhe sido concedido os mesmos níveis de acesso necessários para adicionar planos de teste e suítes de teste, conforme descrito nos Pré-requisitos.

Ver configurações e variáveis

Muitas vezes deseja ver as configurações que já estão disponíveis para executar os seus testes.

Pode ver uma lista de configurações de teste e variáveis de configuração a partir da página Configurações .

Enquanto está no seu projeto, selecione TestPlansConfigurations> da área de navegação esquerda. Aqui verá todas as configurações e variáveis de teste atualmente disponíveis para os seus planos de teste.

Screenshot of Query Editor, Query test plans.

Selecione uma configuração ou variável para ver mais informações sobre o mesmo na janela para a direita.

Criar configurações e variáveis

Uma configuração de teste é uma combinação de valores variáveis de configuração. As suas variáveis de configuração podem ser, por exemplo, sistema operativo, navegador, tipo CPU, base de dados. Uma configuração pode ser "CPU Windows 8 + 32 bits" ou "CPU Windows 10 + 64 bits".

Crie primeiro as variáveis de configuração. Em seguida, combine vários valores variáveis para criar uma configuração.

  1. Abra a página Configurações no portal ' Planos de Teste ', selecione o + ícone e selecione nova variável de configuração.

    Screenshot shows the New configuration variable option in New menu.

  2. Digite um nome para a variável, como Browser, e uma descrição. Selecione Adicionar novo valor e, em seguida, adicionar um valor. Adicione os valores que desejar à variável de configuração e, em seguida, guarde-o.

    Screenshot shows adding values to a new configuration variable.

  3. Repita os passos para criar quaisquer outras variáveis de configuração necessárias. Por exemplo, crie uma variável de configuração chamada Sistema operativo com os nomes de cada sistema operativo no qual pretende testar.

    Screenshot shows setting the values for an Operating Systems configuration variable.

  4. Selecione o + ícone e selecione Nova configuração de teste.

    Screenshot shows the New test configuration option in the New menu.

  5. Digite um nome para a configuração do teste e adicione as variáveis de configuração que criou. Escolha um valor para cada variável para esta configuração.

    Screenshot shows adding variables to the new test configuration.

    Certifique-se de que a Atribuição a novos planos de teste é verificada para tornar esta configuração o padrão para todos os novos planos de teste que cria.

  6. Guarde a sua nova configuração de teste.

Uma configuração de teste é uma combinação de valores variáveis de configuração. As suas variáveis de configuração podem ser, por exemplo, sistema operativo, navegador, tipo CPU, base de dados. Uma configuração pode ser "CPU Windows 8 + 32 bits" ou "CPU Windows 10 + 64 bits".

Primeiro, tem de criar as variáveis de configuração. Em seguida, combine vários valores variáveis para criar uma configuração.

  1. Abra a página configurações no portal ' Planos de Teste ', escolha o new ícone e selecione nova variável de configuração.

    Adding a new configuration variable

  2. Digite um nome para a variável, como browser, e escreva um valor. Adicione os valores que desejar à variável de configuração e, em seguida, guarde-o.

    Setting the values for a new configuration variable

  3. Repita os passos para criar quaisquer outras variáveis de configuração necessárias. Por exemplo, crie uma variável de configuração chamada Sistema operativo com os nomes de cada sistema operativo no qual pretende testar.

    Setting the values for an Operating Systems configuration variable

  4. Escolha o new ícone e selecione nova configuração de teste.

    Adding a new test configuration

  5. Digite um nome para a configuração do teste e adicione as variáveis de configuração que criou. Escolha um valor para cada variável para esta configuração.

    Adding variables to the new test configuration

    Certifique-se de que a atribuição de novos planos de teste é verificada para fazer desta a configuração padrão para todos os novos planos de teste que cria.

  6. Guarde a sua nova configuração de teste.

Atribuir configurações para planos de teste e suítes

Pode atribuir configurações a uma suíte de teste ou a um caso de teste individual. As configurações atribuídas a uma suíte de teste aplicam-se a todos os testes ou suites no seu interior.

  1. Para atribuir uma configuração a uma suíte de teste, na página de planos de Teste , selecione um plano. Na área de Test Suites , selecione uma suíte de teste e selecione Mais opções ou clique à direita para abrir o menu de contexto e, em seguida, selecione Configuração de Atribuição.

    Screenshot shows Assign configuration menu option.

    Se adicionar várias configurações a uma suíte de teste, os casos de testes são repetidos com cada uma das configurações que atribuiu.

    Screenshot shows multiple configuration assignment to a test suite.

  2. Se necessário, substitua a configuração predefinida atribuída a uma caixa de teste e atribua a configuração de que necessita. Selecione um ou mais casos de teste, abra o menu de contexto e selecione Configuração De atribuir.

    Screenshot shows assigning a configuration assigned to a test case.

  3. Procure e selecione as configurações para atribuir aos casos de teste.

    Screenshot shows setting configurations for a test case.

Pode atribuir configurações a um plano de teste, a uma suíte de teste ou a um caso de teste individual. As configurações atribuídas a um plano de teste ou suíte de teste aplicam-se a todos os testes ou suites no seu interior.

  1. Para atribuir uma configuração a um plano de teste, na página de planos de teste , abra o menu de atalho para o plano e escolha a configuração de Atribuição para plano de teste.

    Assigning a configuration to a test plan

  2. Para atribuir uma configuração a uma suíte de teste, abra o menu de atalho para a suite e escolha a configuração De atribuir para testar a suite.

    Assigning a configuration to a test suite

    Se adicionar múltiplas configurações a um plano de teste ou a uma suite, os casos de testes são repetidos no plano ou na suite com cada uma das configurações que atribuiu.

    Multiple configuration assignment to a test suite

  3. Se necessário, substitua a configuração predefinida atribuída a uma caixa de teste e atribua a configuração de que necessita. Selecione uma ou mais caixas de teste, abra o menu de atalho e escolha configurações de Atribuição.

    Overriding the default configuration assigned to a test case

  4. Procure e selecione as configurações a atribuir a estes casos de teste.

    Setting the required configurations for a test case

Executar testes com cada configuração

Crie uma plataforma de teste para uma configuração específica, como testar a aplicação usando o Google Chrome em Windows 10.

  1. Selecione e execute um teste que tenha esta configuração atribuída.

    Screenshot shows a test with a specific configuration and the Run for web application option selected.

    Ao executar o teste, aparece um lembrete da configuração na barra de estado.

    Screenshot shows the configuration for this test in the status bar.

  1. Crie uma plataforma de teste para uma configuração específica, como testar a aplicação usando o Google Chrome em Windows 10.

  2. Selecione e execute um teste que tenha esta configuração atribuída.

    Running the test with the configuration assigned

    Ao realizar o teste, lembre-se da configuração necessária mostrada na barra de estado da janela Test Runner.

    The required configuration appears in the Test Runner window

Resultados do teste de rastreio para cada configuração

  1. Abra a página 'Gráficos' para a sua suíte de teste, selecione New e selecione Novo gráfico de resultados de teste.

    Screenshot shows the New test result chart menu option.

  2. Escolha um tipo de gráfico, como um gráfico de tartes ou gráfico de barras, e, em seguida, selecione Grupo por>Configuração e escolha OK.

    Screenshot shows choosing a configuration option for group by in the configure chart dialog box.

    É criado um gráfico que pode ajudá-lo a rastrear os seus testes com base em configurações. Pode fixar este gráfico no seu painel de instrumentos.

    Screenshot shows a bar chart with values for Not run, Passed, and Failed.

Se tiver uma caixa de teste que apareça em várias suítes de teste, pode definir as diferentes configurações para cada suite. O mesmo caso de teste pode ter configurações diferentes em diferentes suítes de teste e planos de teste.

  1. Abra a página 'Gráficos' para o seu plano de teste ou suíte de teste, escolha New e selecione novo gráfico de resultados de teste.

    Creating a new test result chart

  2. Escolha o tipo de gráfico que necessita, selecione Configuração no Grupo por lista e escolha OK.

    Choosing the type of chart you require

    É criado um gráfico que pode ajudá-lo a rastrear os seus testes com base em configurações. Pode fixar este gráfico no seu painel de instrumentos.

    The configuration test result chart

Se tiver uma caixa de teste que apareça em vários planos de teste e suítes de teste, pode definir as diferentes configurações para cada uma delas. O mesmo caso de teste pode ter configurações diferentes em diferentes suítes de teste e planos de teste.