Executar testes manuais

Azure DevOps Services | Azure DevOps Server | Azure DevOps Server 2022

Execute seus testes manuais e registre os resultados de cada etapa de teste usando o Microsoft Test Runner. É possível executar testes para aplicativos Web e aplicativos da área de trabalho.

O Test Runner permite que você execute todos os testes ativos como um lote ou casos de teste específicos. Modifique os testes durante sua execução. É possível executar testes para uma build específica.

Durante o teste, reúna informações como uma captura de tela ou suas ações de teste. Se você encontrar um problema durante o teste, use o Test Runner para criar um bug. Inclua etapas de teste, capturas de tela e comentários no bug.

Clientes compatíveis e opções de execução

Além de executar testes para uma build específica, as opções de execução dão suporte a vários cenários de teste. Para ver as opções, na guia Executar, selecione um teste e então selecione Executar com opções.

Selecione o tipo de teste e o executor oferece estas opções:

• Testes manuais usando o executor baseado em navegador da Web Você pode selecionar uma build específica para testar, conforme descrito em Executar testes para uma build. Selecione Localizar builds para abrir a caixa de diálogo Localizar builds e procure um build para testar.

• Testes manuais usando o cliente do Test Runner Você pode executar testes manuais para aplicativos da área de trabalho usando o cliente do Test Runner. Se for necessário, instale o cliente para desktop do Test Runner.

• Testes automatizados usando o estágio de lançamento Para executar testes usando um estágio de lançamento, selecione um build. Selecione um pipeline de lançamento e um estágio para consumir os artefatos do build. Para obter mais informações, consulte Executar testes automatizados de planos de teste.

• Testes manuais usando o cliente do Microsoft Test Manager 2017 Coleta dados de um computador local. Selecione um build. Selecione um ou mais coletores de dados: Log de ações, Log de eventos, Gravador de tela e de voz e Informações do sistema.

• Testes manuais usando o cliente do Microsoft Test Manager 2015 ou anterior

O Centro de Testes no cliente do Microsoft Test Manager é uma solução de teste manual baseada em área de trabalho. Os testadores podem usar esse recurso para atender a necessidades de teste manual. Para obter mais informações, consulte Orientações sobre o uso do Microsoft Test Manager. Para obter o Microsoft Test Manager, instale o Visual Studio Enterprise ou o Visual Studio Test Professional.

Pré-requisitos

Pré-requisitos para a ferramenta de linha de comando do TCM

Executar testes para aplicativos Web

Siga estas etapas para executar testes para aplicativos Web.

1. No portal da Web, abra seu projeto e selecione Planos de teste>Planos de teste.

2. Se você ainda não tiver feito isso, crie seus testes manuais.

3. Selecione Meu ou Tudo, ou use Filtrar por título para encontrar seu plano de teste e selecioná-lo. Selecione a guia Executar.

   

4. Selecione um ou mais testes ou todos os testes de um conjunto de testes. Em seguida, selecione Executar para aplicativo Web.

   

   O Microsoft Test Runner é aberto e executado em um novo navegador.

5. Inicie o aplicativo que você deseja testar.

   

   Seu aplicativo não precisa ser executado no mesmo computador que o Test Runner. Você usa o Test Runner apenas para registrar quais etapas de teste são aprovadas ou reprovadas enquanto executa um teste manualmente.

   Por exemplo, você pode executar o Test Runner em um computador desktop e executar seu aplicativo da loja para Windows 8 que você testa em um tablet com Windows 8.

6. Marque cada etapa de teste como aprovada ou reprovada com base nos resultados esperados.

   

   Se uma etapa de teste falhar, você poderá inserir um comentário sobre o motivo da falha ou coletar dados de diagnóstico do teste. Você também Pode criar ou adicionar a um bug.

   Importante

   Qualquer etapa de teste que tenha um resultado esperado é chamada de etapa de teste de validação. Os testadores devem marcar uma etapa de teste com um status se for uma etapa de teste de validação. O resultado geral de um caso de teste reflete o status de todas as etapas de teste que o testador marcou. Portanto, o caso de teste tem um status de falha se o testador marcou qualquer etapa de teste como falha ou não marcada.

Criar ou adicionar a um bug

Se uma etapa de teste falhar, insira um comentário sobre o comportamento e colete dados de diagnóstico. É possível criar um bug para capturar e rastrear o problema. Também é possível atualizar um bug existente com informações sobre a falha.

1. Quando uma etapa falhar, insira um comentário e selecione Criar bug.

   

   Observação

   Se o botão Criar bug não iniciar um item de trabalho de bug, verifique as configurações da equipe nos níveis de área e iteração:

   1. Vá para Configurações do projeto>Equipe e verifique se a equipe correta está definida como padrão.
   2. Selecione o link iterações e caminhos de área ao lado do nome da equipe para abrir a página de configuração da equipe.
   3. Verifique se as Iterações, Padrão e Iterações do Backlog correspondem com a equipe para o caso de teste.
   4. Na página configuração da equipe, selecione Áreas e verifique se a área Padrão corresponde à equipe para o caso de teste.

2. Na caixa de diálogo Novo bug, insira um nome para o bug.

   

   As etapas e seus comentários são adicionados ao bug automaticamente. Se o Test Runner estiver em execução em uma janela do navegador da Web, você poderá copiar uma captura de tela da área de transferência diretamente para o bug.

3. Você pode atribuir o bug, inserir comentários ou vincular a outros problemas. Selecione Salvar e Fechar quando terminar. O caso de teste é vinculado ao bug que você criou.

Você pode ver todos os bugs relatados durante a sessão de teste.

Em vez de criar um bug, é possível atualizar um bug existente com informações sobre esta etapa. Selecione Adicionar ao bug existente no menu suspenso Criar bug.

Salve os resultados, feche a sessão e revise os resultados

Depois de concluir o teste, salve os resultados, feche a sessão e revise os resultados do teste.

1. Quando todos os testes forem executados, selecione Salvar e fechar. Todos os resultados do teste são armazenados no Azure Test Plans.

2. Visualize o status de teste do seu conjunto de testes. Você verá os resultados mais recentes de cada teste.

   

   Se você ainda não executou um teste, seu estado está ativo. Redefina o estado de um teste para Ativo se quiser executá-lo novamente.

3. Abra um conjunto de testes e escolha o caso de teste na seção Trabalho Relacionado . Em seguida, use os links filho na seção Trabalho Relacionado desse item de trabalho para exibir os bugs arquivados pelo testador.

   

É possível executar testes offline e importar os resultados. Para obter mais informações, consulte a extensão Execução de Teste Offline.

Executar testes para aplicativos da área de trabalho

Se você quiser coletar mais dados de diagnóstico para seu aplicativo da área de trabalho, execute seus testes usando o cliente do Test Runner.

1. No portal da Web, abra seu projeto e selecione Planos de teste>Planos de teste.

2. Selecione Meu ou Tudo, ou use Filtrar por título para encontrar seu plano de teste e selecioná-lo. Selecione a guia Executar.

   

3. Inicie o Test Runner a partir do Azure Test Plans selecionando Executar para o aplicativo da área de trabalho no menu suspenso.

   

4. Se necessário, baixe e instale o cliente do Test Runner para área de trabalho.

   

   Observação

   • Verifique se o cliente do Test Runner está disponível para sua plataforma. No momento, o cliente do Test Runner está disponível apenas para x64.
   • O Azure Test Runner pode não funcionar se sua organização usar uma política de acesso condicional por meio do Microsoft Entra. Para obter mais informações, consulte Decisões comuns de acesso condicional

5. Selecione Iniciar e comece a testar conforme descrito na seção anterior. Para obter mais informações sobre a coleta de dados, consulte Coletar dados de diagnóstico durante o teste.

Executar todos os testes

É possível executar todos os testes em um conjunto de testes de uma só vez.

Selecione um conjunto de testes e selecione Executar para aplicativo Web ou Executar para aplicativo da área de trabalho para executar todos os testes ativos.

Executar testes para um build

Escolha um build para testar.

1. No menu suspenso, selecione Executar com opções.

   

2. Na caixa de diálogo Executar com opções, selecione o build desejado.

   

   Observação

   O build selecionado deve ser do projeto no qual os testes são definidos.

Você pode selecionar um build para as seguintes opções:

• Testes manuais que usam o executor baseado em navegador da Web
• Testes automatizados que usam o estágio de lançamento
• Testes manuais que usam o cliente do Microsoft Test Manager 2017

Os campos que a caixa de diálogo oferece diferem dependendo da opção selecionada. Para obter mais informações, consulte Clientes e opções de execução com suporte.

Todo bug registrado durante a execução é associado ao build selecionado. O resultado do teste é publicado em relação a esse build.

Modificar uma etapa de teste durante uma execução de teste

Corrija problemas com as etapas de teste enquanto o teste ainda está em execução. Selecione o ícone Editar etapa do teste.

Você pode inserir, reordenar ou excluir etapas. Também é possível editar o texto em si.

Capturar dados de diagnóstico avançados

Ao executar seus testes, é possível adicionar capturas de tela, capturar ações como um registro e gravar vídeo ou voz.

Adicionar uma captura de tela

Adicione uma captura de tela aos resultados do teste durante a execução de um teste.

Se você usa o Google Chrome ou o Firefox, use o executor da Web para fazer capturas de tela do aplicativo Web durante o teste. Para os navegadores Microsoft Internet Explorer ou Microsoft Edge, ou para testes de aplicativo da área de trabalho, use o Cliente da área de trabalho do Test Runner.

Para obter mais informações, consulte Coletar dados de diagnóstico.

Capturar ações a partir de um teste

Capture suas ações no aplicativo como um log.

Se você usa o Google Chrome ou o Firefox, use o executor da web para capturar suas ações no aplicativo Web como logs de imagem durante o teste. Para os navegadores Microsoft Internet Explorer ou Microsoft Edge, ou para testes de aplicativo da área de trabalho, use o Cliente da área de trabalho do Test Runner.

Para obter mais informações, consulte Coletar dados de diagnóstico.

Capture gravações de tela do seu aplicativo que está sendo testado

Capture gravações de tela do meu aplicativo durante o teste.

Caso você use o Google Chrome ou o Firefox, use o executor da Web para capturar gravações de tela de seus aplicativos Web e de área de trabalho durante o teste. Para os navegadores Microsoft Internet Explorer ou Microsoft Edge, ou para testes de aplicativo da área de trabalho, use o Cliente da área de trabalho do Test Runner.

Para obter mais informações, consulte Coletar dados de diagnóstico.

Executar testes com TCM

Você pode executar testes que fazem parte de um plano de teste usando a ferramenta de linha de comando TCM. Essa ferramenta permite criar e iniciar uma execução de teste e então gerenciar todas as execuções de teste existentes. Use os comandos tcm documentados aqui para realizar essas tarefas.

Listar execuções de teste | Criar execuções de teste | Realizar execuções de teste | Abortar execuções de teste | Excluir execuções de teste | Exportar execuções de teste | Publicar execuções de teste

Listar execuções de teste

Use tcm run /list para listar as execuções disponíveis em um plano de teste e para mostrar seu ID. O ID corresponde ao ID do item de trabalho definido quando a execução foi criada.

tcm run /list /collection:teamprojectcollectionurl /teamproject:project 
           [/planid:id  |  /querytext:query] [/login:username,[password]]

Para obter descrições dos parâmetros /collection, /teamproject e /login consulte Trabalhar com a ferramenta de linha de comando TCM.

Exemplo

O comando a seguir lista as execuções de teste definidas para o projeto Fabrikam Fiber hospedado na organização fabrikamprime. O ID e o Título correspondem ao ID do item de trabalho e ao título definidos para a execução do teste. Por exemplo, o teste de execução 1000052 é intitulado Plano de teste para o ciclo 1 (manual).

tcm run /list /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Id        Title                              Owner               Date Completed
--------- ---------------------------------- ------------------- -----------
1000006   Sprint 2 (Manual)                  Thomas Margand      11/5/2021
1000032   33 : Change initial view (Manual)  Danielle Brasseur   11/11/2021
1000040   Sprint 2 (Manual)                  Thomas Margand      11/16/2021
1000042   Sprint 3 (Manual)                  Thomas Margand      11/16/2021
1000046   Special testing (Manual)           Nicoletta Guibord   11/18/2021
1000052   Test Plan for Cycle 1 (Manual)     Bukhosi Bhengu      12/1/2021
1000060   Game Shopping (Manual)             Bukhosi Bhengu      12/6/2021

Criar execuções de teste

Use tcm run /create para criar uma execução de teste associada ao plano de teste especificado. Além do plano de teste, você também define o conjunto de testes e a configuração que deseja usar com base no ID correspondente. Você pode coletar esses ID usando os comandos tcm plans /list, tcm suites /list e tcm configs /list

tcm run /create /title:title /planid:id /collection:CollectionURL /teamproject:project 
            (suiteid:id /configid:configid | /querytext:query) 
            [/settingsname:name] [/owner:owner] [/builddir:directory]  
            [/testenvironment:name] [/login:username,[password]] [/include]

Para obter descrições dos parâmetros /collection, /teamproject e /login consulte Trabalhar com a ferramenta de linha de comando TCM.

Exemplo

O comando a seguir cria uma execução de teste chamada MyTestRun no plano de teste com ID77. A execução usa o conjunto de testes com ID161 e a configuração de teste com ID9. A execução é definida para o projeto Fabrikam Fiber hospedado na organização fabrikamprime.

Neste exemplo, uma execução de teste é criada com um ID de 1000082.

tcm run /create /title:MyTestRun /planid:77 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber" /suiteid:161 /configid:9

Run created with ID: 1000082.

Realizar execuções de teste

Use tcm run /execute para iniciar uma das execuções em seu plano de teste. O ID que você especifica corresponde ao ID do item de trabalho definido quando a execução foi criada. Você pode ver uma lista de todos os IDs de execução de teste com o comando tcm run /list.

tcm run /execute /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]

Para obter descrições dos parâmetros /collection, /teamproject e /login consulte Trabalhar com a ferramenta de linha de comando TCM.

Exemplo

O comando a seguir inicia uma execução de teste para o ID1000082 para o projeto Fabrikam Fiber hospedado na organização fabrikamprime. Os resultados são retornados na janela CLI.

tcm run /execute /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Executing run: MyTestRun

Results
------------------------
Total:                   2
Passed:                  1
Failed:                  1
Inconclusive:            0

Abortar execuções de teste

Use tcm run /abort para cancelar uma execução de teste que está em andamento. O ID que você especifica corresponde ao ID do item de trabalho definido quando a execução foi criada.

tcm run /abort /id:id /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]

Para obter descrições dos parâmetros /collection, /teamproject e /login consulte Trabalhar com a ferramenta de linha de comando TCM.

Exemplo

O comando a seguir interrompe a execução de teste com o ID1000082 para o projeto Fabrikam Fiber hospedado na organização fabrikamprime. Os resultados confirmam a ID e o título da execução cancelada.

tcm run /abort /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Run with ID [1000082] and title [MyTestRun] has been aborted.

Excluir execuções de teste

Use tcm run /delete para excluir uma execução de teste do seu plano de teste. O ID que você especifica corresponde ao ID do item de trabalho definido quando a execução de teste foi criada.

tcm run /delete /id:id [/noprompt] /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]

Para obter descrições dos parâmetros /collection, /teamproject e /login consulte Trabalhar com a ferramenta de linha de comando TCM.

Exemplo

O comando a seguir interrompe a exclusão de teste com o ID1000082 para o projeto Fabrikam Fiber hospedado na organização fabrikamprime. O usuário é solicitado a confirmar que deseja excluir a execução de teste especificada e o resultado é fornecido.

tcm run /delete /id:1000082 /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Are you sure you want to delete run [MyTestRun]? (Yes/No) y

Run [MyTestRun] has been deleted.

Exportar execuções de teste

Use tcm run /export para exportar uma execução de teste para um local especificado. O ID que você especifica corresponde ao ID do item de trabalho definido quando a execução foi criada.

tcm run /export /id:id /resultsfile:path /collection:teamprojectcollectionurl /teamproject:project [/login:username,[password]]

Para obter descrições dos parâmetros /collection, /teamproject e /login consulte Trabalhar com a ferramenta de linha de comando TCM.

Exemplo

O comando a seguir especifica que a execução de teste com o ID1000082 para o projeto Fabrikam Fiber na organização fabrikamprime é exportado para c:\temp\ResultsForDeveloper.trx.

tcm run /export /id:1000082 /resultsfile:"c:\temp\ResultsForDeveloper.trx" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Publicar execuções de teste

Use tcm run /publish para publicar os resultados de um arquivo de resultados de execução de teste do Visual Studio para um plano de teste especificado.

tcm run /publish /suiteid:id /configid:id /resultowner:owner /resultsfile:path 
            /collection:teamprojectcollectionurl /teamproject:project [/title:runtitle] 
            [/runowner:owner] [/build:buildnumber /builddefinition:builddefinition] 
            [/flavor:flavor] [/platform:platform] [/assignfailurestouser:user] 
            [/login:username,[password]] [/buildverification]

Para obter descrições dos parâmetros /collection, /teamproject e /login consulte Trabalhar com a ferramenta de linha de comando TCM.

Exemplo

O seguinte comando publica uma execução de teste para o conjunto de testes com ID161 e configuração de teste com ID9 e reatribui o proprietário. Isso atualiza os pontos de teste existentes para os casos de teste no conjunto de testes que está emparelhado com essa configuração e publica os resultados no arquivo .trx especificado. E todos os testes com falha na execução do teste são atribuídos ao usuário especificado.

tcm run /publish /suiteid:167 /configid:9 /resultowner:"Thomas Margand" /resultsfile:"c:\temp\ResultsForDeveloper.trx" /assignfailurestouser:"Bukhosi Bhengu" /collection:https://fabrikamprime.visualstudio.com /teamproject:"Fabrikam Fiber"

Perguntas frequentes

Confira algumas dúvidas comuns.

P: Como faço para executar novamente um teste?

R: Basta selecionar qualquer teste e escolher Executar.

P: Posso executar todos os testes em um conjunto de testes juntos?

R: Sim, selecione um conjunto de testes e escolha Executar. Essa opção executa todos os testes ativos no conjunto de testes. Se você ainda não executou um teste, seu estado está ativo. Você pode redefinir o estado de um teste para ativo se quiser executá-lo novamente.

P: Posso escolher um build para executar testes?

R: Sim, escolha Executar e então selecione Executar com opções.

Selecione o build desejado na lista suspensa.

Qualquer bug arquivado durante a execução é automaticamente associado ao build selecionado. O resultado do teste é publicado para esse build.

P: Posso corrigir minhas etapas de teste enquanto estou executando um teste?

R: Sim, se você tiver Planos de Teste do Azure para Azure DevOps. É possível inserir, mover ou excluir etapas. Ou você pode editar o texto em si. Use o ícone de edição ao lado do número da etapa de teste.

A ferramenta para editar as etapas de teste é exibida.

P: Posso adicionar uma captura de tela aos resultados do teste ao executar um teste?

R: Se você usa o Google Chrome ou o Firefox, use o executor da Web para fazer capturas de tela do aplicativo Web durante o teste. Para os navegadores Microsoft Internet Explorer ou Microsoft Edge, ou para testes de aplicativo da área de trabalho, você pode baixar e usar o Cliente da área de trabalho do Test Runner.

Para obter mais informações, consulte Coletar dados de diagnóstico.

P: Posso registrar minhas ações no aplicativo como um log?

R: Se você usa o Google Chrome ou o Firefox, use o executor da web para capturar suas ações no aplicativo Web como logs de imagem durante o teste. Para os navegadores Microsoft Internet Explorer ou Microsoft Edge, ou para testes de aplicativo da área de trabalho, você pode baixar e usar o Cliente da área de trabalho do Test Runner.

Para obter mais informações, consulte Coletar dados de diagnóstico.

P: Posso registrar gravações de tela do meu aplicativo?

A: Caso você use o Google Chrome ou o Firefox, use o executor da Web para capturar gravações de tela de seus aplicativos Web e de área de trabalho durante o teste. Para os navegadores Microsoft Internet Explorer ou Microsoft Edge, ou para testes de aplicativo da área de trabalho, baixe e use o Cliente da área de trabalho do Test Runner.

Para obter mais informações, consulte Coletar dados de diagnóstico.

P: Alguns dos anexos para a execução do teste não estão mostrando a opção de visualização?

R: Você só pode visualizar arquivos com extensões txt e log. Selecione a opção de visualização para arquivos com extensão txt ou log, e uma nova interface do usuário será aberta, com o campo suspenso exibindo todos os anexos da execução do teste. Se você selecionar um arquivo com um tipo de extensão diferente de txt ou log, a seguinte mensagem será exibida: "Você só pode visualizar arquivos com extensões txt e log, clique aqui para baixar o anexo"

P: Como controlar por quanto tempo mantenho meus dados de teste?

R: Para obter mais informações, consulte Definir políticas de retenção de teste.

P: Onde posso baixar o cliente do Test Runner?

R: Baixe o Cliente de área de trabalho do Test Runner.

P: Quais são os sistemas operacionais compatíveis com o cliente do Test Runner?

R: No momento, o cliente de área de trabalho do Test Runner é compatível somente com a plataforma Windows x64.

P: Estou observando falhas de execução de teste ao usar o cliente da área de trabalho do Executor de Teste do Azure.

A: Verifique se você está usando a versão mais recente do cliente desktop do Test Runner. Baixe o Cliente de área de trabalho do Test Runner

P: O cliente da área de trabalho do Azure Test Runner funciona em dispositivos com o Acesso Condicional do Microsoft Entra habilitado?

R: O Azure Test Runner pode não funcionar se sua organização usar uma política de acesso condicional por meio do Microsoft Entra. Para obter mais informações, consulte Decisões comuns de acesso condicional. Essa experiência é uma limitação conhecida e nossa recomendação é usar o web runner neste cenário.

P: Posso recusar a telemetria para o cliente do Test Runner?

R: Não. O cliente da área de trabalho do Test Runner não coleta nenhum dado identificável pelo usuário. Nenhum mecanismo de recusa é disponibilizado. Para obter mais informações, confira Política de privacidade da Microsoft.

P: Posso executar testes offline e importar os resultados?

R: Sim, consulte a Extensão Execução de Teste Offline.

Próxima etapa

Conteúdo relacionado

• Perguntas frequentes sobre testes manuais
• Coletar dados de diagnóstico durante testes
• Testes exploratórios com a extensão Testes e Feedback no modo Conectado
• Executar testes automatizados dos planos de teste
• Executar testes manuais com o Microsoft Test Manager