Este artigo foi traduzido por máquina.

Visual Studio 2012

Novidades do Microsoft Test Manager 2012

Michael aprendeu
Sudheer Adimulam
Tim Star

 

Neste artigo, apresentaremos alguns dos novos recursos no Microsoft Test Manager 2012 (MTM) que são usados e "dogfooded" por Visual Studio ALM Rangers.

Para recapitular, os ALM Rangers são um grupo de especialistas que promovem a colaboração entre o grupo de produtos do Visual Studio, Microsoft Services e a Comunidade do Microsoft Most Valuable Professional (MVP) por endereçamento funcionalidades ausentes, removendo bloqueadores de adopção e publicação de práticas recomendadas e diretrizes com base nas experiências do mundo real.

A seguir estão as discussões de vários recursos da MTM 2012.

Teste exploratório isso é às vezes referido como "teste ad hoc", definido como executar software de testes sem um script definido. A idéia é inclinar-se sobre a criatividade do testador para ajudar a erros de superfícies contra ter um caso de teste com script passo a passo para cada execução de teste e o cenário. Na primeira versão da MTM, lançado em 2010, teste exploratório foi ativada através de um bug"exploratório" via Microsoft Test Runner. A ferramenta permitiu que os usuários executar um conjunto de ações em um fluxo de trabalho improvisado, e depois que foi encontrado um bug, o testador pode optar por cortar para baixo as ações gravadas para uma quantidade adequada de etapas a serem incluídos no bug que foi arquivado.

A idéia era que um testador pode gastar uma quantidade considerável de tempo explorando o aplicativo antes de encontrar um bug, e, em seguida, a capacidade de reduzir os passos daria o testador a liberdade de criar o bug com as etapas de reprodução mais ou menos baseadas em conhecer o contexto em um determinado cenário. Esta funcionalidade deu a capacidade de executar livremente um teste executado em um estilo improvisado de fluxo de trabalho e ainda aproveitar os recursos para a criação de um bug com as etapas de reprodução exata de testadores. Testadores também poderiam criar casos de teste dessas etapas, para que a correção do bug pode ser validada posteriormente, executando novamente o caso com scripts de teste.

A experiência de teste exploratória foi muito melhorada com o lançamento de 2012. Na versão anterior, primeiro depósito um bug exploratório necessário ter um caso de teste para executar do Microsoft Test Runner. Usuários poderiam criar um caso de teste "fictício" e, por exemplo, o nome "Explorando" ou apenas aproveitar algum caso de teste existente. Ambas as opções pareciam um tanto desajeitado e feito teste exploratório apresenta-se um pouco difícil de descobrir. A versão 2012 da MTM, um caso de teste não é mais necessário para fazer o teste exploratório, e há algumas maneiras diferentes para iniciar sessões de testes exploratórios. Para iniciar, basta botão direito do mouse um conjunto de testes no plano de teste e escolha "Explorar". Os usuários também podem associar o esforço de teste exploratório uma exigência, que permite que ligando os erros e casos de teste que são criados para os itens de trabalho do requisito. Para fazer isso, inicie a sessão exploratória de MTM 2012 a partir de um item de lista de pendências, como mostrado na Figura 1.

Figura 1 etapas para teste exploratório usando MTM

Enquanto estiver executando a sessão de testes exploratória, testadores podem criar dados adicionais para os erros na forma de imagens, comentários e anexos de arquivo. A janela de teste exploratória mostrada na Figura 2 oferece uma experiência agradável para testadores. A fazer de ícones grandes, fácil criar bugs e casos de teste e você pode digitar e formatar notas em um campo de forma livre. As notas que você digitar — e todos os dados capturados pelos testadores, como screenshots — perfeitamente obter adicionado ao bug ou caso de teste, como criá-los. Os usuários têm a capacidade de adicionar e remover etapas para desviar o que foi capturado durante as ações gravadas.

Figura 2 sessão de teste exploratória em MTM

Criar novos bugs e casos de teste a partir de uma sessão de teste exploratória é um exemplo de um fluxo de trabalho comum, mas os usuários podem também abrir e atualizar bugs e casos de teste manuais existente.

Cenários de teste exploratório em 2012 MTM a experiência do usuário é rápido e fluido com teste exploratório em 2012 de MTM. Testadores têm a capacidade de pausar e continuar o teste, o que torna a experiência geral do usuário extremamente flexível. Um cenário usado por muitas organizações para oferecer suporte a aplicativos de software é para chamadas de telefone do cliente campo, durante a qual suporte agentes muitas vezes caminhar através do aplicativo com um usuário final para tentar reproduzir um bug. Muitas vezes o profissional de suporte pode tomar notas e screenshots e enviar mais tarde o bug para os desenvolvedores. Os recursos de testes exploratórios de MTM 2012 teoricamente habilitar os profissionais de suporte percorrer o aplicativo através de uma sessão de teste exploratório enquanto no telefone com um usuário final e, em seguida, alimentam as equipes de desenvolvimento os bugs ricos, acionáveis eficientemente. Uma vez fora da chamada, profissionais de suporte do telefone podem terminar a sessão de teste e começar uma nova sessão com a próxima chamada.

Muitas vezes, antes de lançar um aplicativo ou novas funcionalidades para um aplicativo, os proprietários do produto querem testar os aplicativos cuidadosamente para garantir que erros não são liberados. Utilizando o teste exploratório, organizações podem remover a sobrecarga de criação de casos de teste com scripts para cada cenário. Um grupo de testadores poderia gastar tempo explorando o aplicativo e arquivo bugs e casos de teste, como eles são encontrados. Esse teste de forma livre pode ajudar a reduzir a sobrecarga de mais definido esforços de teste.

Outro exemplo, os usuários talvez queira testar um aplicativo sem a sobrecarga de casos de teste definidos simplesmente por causa de problemas de recursos temporários.

Melhor desempenho de este foi dos principais objetivos para o novo lançamento, e a equipe de produto tem feito muito trabalho nesta área. Conectando-se a um plano de teste, exibir testes dentro de uma suíte, lançamento Microsoft Test Runner, guardar itens de trabalho e criando ambientes de laboratório melhoraram. Além destas melhorias, suporte a proxy Visual Studio Team Foundation Server (TFS) foi habilitado para anexos para que equipes que usam o TFS Proxy e MTM 2012 agora verá benefícios de desempenho semelhantes aos de operações de controle de origem. Especificamente, anexos vão ser armazenada em cache no servidor proxy, salvando cada consumidor do acessório de ter que esperar para o anexo para ser baixado do TFS. Um par de outros timesavers pequenas incluem a adição de uma "lista usada mais recentemente" que você pode selecionar um usuário sem passar por uma lista completa. Também, a atribuir configurações é mais fácil fornecendo uma lista de configurações a escolher ao invés de uma coluna separada para cada um.

Melhorias do Editor de caso de teste apesar de não ser óbvio, o teste etapas de grade (mostrado na Figura 3) foi totalmente reescrito. Recursos anteriormente disponíveis via pacotes de hotfix e o recurso estão agora disponíveis no produto por padrão. A grade de etapas de teste oferece suporte a rich text e as etapas de teste de várias linhas. Além disso, copiar e colar do Microsoft Excel ou Microsoft Word, incluindo etapas de várias linhas e texto rico, é suportado. Tela imobiliário também é melhor gerenciado, eliminando os quadros em torno os campos de caso de teste na parte superior da tela e fornecendo um divisor entre a grade de etapas de teste e a região de parâmetros na parte inferior.

Figura 3 teste caso Editor melhorias

Clonagem de conjuntos de teste em outros planos para novas iterações tem sido uma pergunta comum dos usuários da MTM, "Como para copiar um plano de teste sem perder a rastreabilidade?" A versão de 2010 da MTM admitidos planos de teste a serem copiados, que significava que um novo plano de teste foi criado, mas novos casos de teste não foram criados. Em vez disso, os casos de teste existentes eram "referenciados" pelo novo plano de teste. Isso significava que a alteração de um caso de teste de um plano também mudou o caso de teste no outro plano. Este não era um comportamento desejável para as equipes que necessário rastreabilidade absoluta. Os times tiveram que usar utilitários de terceiros ou recorrer a algum nível baixo TFS API de programação para alcançar os resultados desejados.

A clonagem de um plano de teste é agora uma característica do TCM, a ferramenta de linha de comando do gerenciamento de caso de teste. A clonagem de um plano de teste irá clonar os casos de teste, etapas compartilhadas, test suites, atribuído testadores, gravações de ação, configurações, configurações de teste, anexos e links. Configurações de teste, resultados de testes e ensaios não são clonados. Além disso, suites com base em requisito não são clonados. Clonagem requisitos originais e associando-os a novos casos de teste ou associando os novos casos de teste para os requisitos de idade é uma operação manual.

Realizar uma operação de clonagem é feito TCM dentro do prompt de comando do Visual Studio. Você deve especificar a coleção, suites de origem e de destino e um valor para o novo plano de teste do destino. Opcionalmente, pode usar os parâmetros overridefieldname e overridefieldvalue para especificar um novo caminho de área ou iteração, ou usar os campos personalizados do caso de teste que foram adicionados para o modelo de item de trabalho do caso de teste.

O formato do comando do TCM suites é a seguinte:

TCM suites /clone CollectionURI /teamproject:project /suiteid: /destinationsuiteid de identificação: /overridefieldname de identificação: fieldName /overridefieldvalue: FieldValue

A seguinte linha de comando irá copiar uma suíte com uma identificação de 100 em uma suíte com uma identificação de 115:

TCM suites /clone /Server: / / myTFS:8080/tfs/sampleTPC /teamproject:sampleTeamProject /suiteid:100 /destinationsuiteid:115 /overridefieldname: "Caminho de iteração" /overridefieldvalue: "areapath\sprint 2"

A coleção de projeto de equipe é chamada "sampleTPC", e o projeto de equipe é denominado "sampleTeamProject." O novo caminho de iteração será "areapath\sprint 2."

Observação: Você pode encontrar o ID de suite de teste destacando o suite de teste no conteúdo do plano e exibindo o ID ao lado do nome do suite do lado direito no cabeçalho acima da lista de casos de teste.

Link para uma versão somente leitura de um caso de teste isso agora é fornecido no Microsoft Test Runner.Além disso, o campo de descrição de teste Microsoft Test Runner oferece suporte a rich text, como mostrado na Figura 4.

Figura 4 Microsoft Test Runner melhorias

Aprimoramentos de gravação de vídeo o gravador de vídeo não requer uma instalação separada, e os usuários agora podem opcionalmente habilitar gravação áudio também.Gravação de áudio pode ser habilitada ou desabilitada no adaptador de dados de diagnóstico para o gravador de vídeo, como mostrado na Figura 5.

Figura 5, que permite a gravação de áudio

Navegação em MTM isso foi melhorado em algumas maneiras.Você notará que há um botão de Copiar Link, espalhado por todo o produto, como mostrado na Figura 6.

Figura 6 botão de Link copiar

Clicando neste link irá copiar uma URL para a área de transferência para que você pode e-mail alguém um hiperlink para o item que você está vendo.

Clicando em um hiperlink que contém este endereço irá lançar MTM 2012 e trazer o usuário diretamente para o resultado do teste identificado com uma ID e ID, que estão incluídos no hiperlink.

Seleção de plano de teste também foi melhorada.A seleção de um plano na tela de lançamento poderia ser dolorosa na versão anterior, quando um grande número de planos estavam na lista.Em vez de percorrer a longa lista, basta digitar as primeiras letras no plano para saltar rapidamente para o apro­Quad local na lista de plano.

Sempre houve uma hiperligação no canto superior direito da MTM que permite aos usuários saltar para a lista do plano.Esse recurso ainda existe, mas agora há um hiperlink para o projeto da equipe também.Saltar para uma tela de seleção de projetos de equipe também é agora um único clique de distância.

Conectando-se ao TFS 2010 a maioria dos recursos da MTM — tais como o planejamento de teste e execução, coleta de dados e utilização de ambientes de laboratório — funcionam bem entre versões incompatíveis do MTM e o TFS.Para usar MTM 2012, você precisará instalar o TFS 2010 SP1 e as atualizações de software.Contudo, novos recursos como teste exploratório não funcionarão até que você atualizar o TFS 2010 para TFS 2012.

Relatórios MTM fornece vários tipos de relatórios para acompanhar e medir a eficácia dos testes.A ajuda de relatórios que você descobrir quais casos de teste foram passados, falhado ou bloqueados.MTM 2012 permite que você visualize os resultados na guia de plano.Há uma opção para Ver os resultados, o que dá uma boa visão do status de resultado do plano de teste.Você pode exibir os resultados com base na configuração de teste ou o conjunto de teste para o qual você deseja ver os resultados.Além disso, os usuários também podem ver os resultados com base no testador.Para exibir os resultados na guia do plano, clique no link de resultados conforme Figura 7.Isto irá abrir os resultados para a execução de teste mais recente.

Figura 7 resultados de plano de teste

Teste de redução de dados para reduzir a carga no armazenamento de TFS em MTM 2010, por padrão, quando os resultados de testes automatizados são publicados no TFS 2010, itens de implantação e binários de todas execuções de teste são enviados.Estas podem ser usadas mais tarde novamente os testes e analisar falhas.Esta abordagem tem uma grande sobrecarga em termos de problemas de desempenho e de armazenamento de banco de dados do TFS no lado do cliente, ao abrir os resultados do teste.Em 2012 a MTM, por padrão, somente os arquivos de resultados de teste e outros acessórios de coletor de dados são enviados para o banco de dados do TFS.Somente quando a análise de impacto de teste ou de cobertura de código é habilitado são os binários enviados para TFS 2012.Esses binários são necessários para análise de código.

Marcação de resultados de teste caso MTM sem lançamento Microsoft Test Runner em MTM 2010, não há nenhuma opção para a marcação de vários casos de teste, como aprovação ou reprovação.O testador só é capaz de definir o status de um único caso de teste, e isso tem que ser feito na janela Microsoft Test Runner, que é um trabalho tedioso.Com MTM 2012, testadores podem marcar uma passagem de caso de teste, falhar ou bloquear diretamente da tela de executar testes do guia de teste.O testador tem também a opção de marcar um único caso de teste ou de vários casos de teste como teste de Pass, Fail test ou teste de bloco, ou redefinir o teste ativo (ver Figura 8).

Figura 8 resultados de caso de teste de marca em MTM

Teste manual de aplicações da loja do Windows MTM 2012 ajuda a melhorar a eficiência dos testes manuais de apps da loja do Windows.Usando MTM 2012, você pode testar aplicativos de armazenamento do Windows que estão executando em um remoto dispositivo de Windows 8, como um tablet PC ou Windows 8.Você pode executar as etapas de teste do dispositivo remoto do Windows 8 e ao mesmo tempo marcar as etapas como aprovação ou reprovação em MTM 2012 em sua máquina local.MTM 2012 irá ajudá-lo a gerar logs de ação rico — com um vídeo e descrições de texto e imagem de suas ações — que são representações de passo a passo as ações que você executou no dispositivo remoto.

Manual de testes de aplicativos de armazenamento do Windows consiste em três etapas.O primeiro passo é instalar o depurador remoto, que consiste no serviço de adaptador de ferramentas de teste do Microsoft.O segundo passo é ligar para o dispositivo remoto usando MTM 2012.A terceira etapa está em execução os casos de teste a partir de 2012 de MTM.

Antes de testar aplicativos de armazenamento do Windows, certifique-se de que o serviço adaptador de ferramentas de teste do Microsoft está habilitado.Uma vez que o serviço está habilitado, em 2012 a MTM, ligue para o plano de teste onde você tem seu conjunto de teste.No centro de teste, clique no link de modificar ao lado de "executar manual testes usando" para especificar o dispositivo remoto em que a execução de testes manuais (ver Figura 9).Selecione a opção "Dispositivo remoto..." e digite o nome ou o endereço IP do dispositivo que você deseja testar.Clique em testar para testar a conexão e, em seguida, salve as alterações.

Figura 9 teste Manual de aplicações de armazenamento do Windows

Uma vez que a conectividade é estabelecida, você pode executar o caso de teste manual.Microsoft Test Runner abre uma caixa de diálogo "executar manual testes usando" com opções para iniciar o teste ou instalar o aplicativo.Instalar aplicativo vai fazer uma instalação remota do app Store do Windows no dispositivo de Windows 8, que é um processo de três etapas de copiar arquivos, instalação de certificados e instalar o aplicativo.Clicando na opção Iniciar exibirá as etapas de teste na janela MTM, onde você pode marcá-los como aprovação ou reprovação.Ao executar as etapas no computador remoto, você pode tirar screenshots dos bugs e criar bugs.

Reforçada ação Logs para Windows Apps da loja com MTM 2012, você gerar logs de ação rico com descrições de texto e a imagem das ações executadas sobre as aplicações de armazenamento Windows ou Internet Explorer 10.Os arquivos de log de ação contém screenshots de cada etapa da ação realizada durante a execução do teste, e os arquivos são salvos como arquivos. html e podem ser vistos no navegador.Pairando sobre qualquer miniatura no log de ação imagem exibirá uma imagem de tela cheia da acção realizada (ver Figura 10).O log de ação reforçada facilita a reprodução de erros.O usuário pode ver as etapas exatas tomadas pelo testador, e esses registros são exibidos quando um bug é enviado através de Microsoft Test Runner ou a janela de teste exploratória.

Figura 10 reforçada Logs de ação para Windows Store Apps (fonte: Visual Studio ALM + Team Foundation Server Blog em bit.ly/NV0Eru.)

Certifique-se de explorar estes e muitos mais recursos em 2012 de MTM, especialmente se você é responsável por elevar a fasquia de qualidade das soluções e testá-las.

Sudheer Adimulam é um consultor de teste com o Microsoft Services-entrega Global e funciona como Visual Studio ALM Ranger.Ele tem mestrado em aplicações de computador e é ISTQB, CSQA, MCSD e MCTS.

Michael Learned é um desenvolvedor de engenheiro sênior campo premier com Microsoft e funciona como Visual Studio ALM Ranger.Ele se concentra em ajudar os clientes da Microsoft com o gerenciamento de ciclo de vida de desenvolvimento e aplicação de .net Framework.Ele pode ser alcançado em seu blog em tfsmentor.com ou no Twitter em twitter.com/mlhoop.

Tim Star é um consultor principal com Intertech Inc., com foco em treinamento, consultoria e Visual Studio ALM.Ele tem uma diploma de bacharel em engenharia elétrica e é um MCPD, MCTS, MCT, Visual Studio ALM externo Ranger e destinatário do três vezes MVP award.

Agradecemos aos seguintes especialistas técnicos pela revisão deste artigo: Mathew Aniyan, Cláudia Sofia Bawa, Willy-Peter Schaub e Charles Sterling