O plano do teste de usabilidade contém diretrizes de realização, como a escolha do local ou o detalhamento dos recursos necessários, e serve como veículo de comunicação entre avaliadores, desenvolvedores e demais stakeholders do projeto.
O plano de teste varia de acordo com o tipo de teste e o grau de formalidade necessário ao produto digital a ser testado. Inclui:

A proposição geral e objetivos. Os motivos para realizar um teste naquela etapa do projeto, os aspectos a observar e investigar, o grau de aprofundamento e a formalidade das abordagens e atividades a realizar.

Procura respostas para questões gerais do uso, como:

A interface permite a realização dos objetivos dos usuários?

A interface tem uso intuitivo e de fácil aprendizado?

Os usuários encontram logo as principais informações publicadas?

Os botões oferecem área útil para serem selecionados e acionados?

Os bancos de dados respondem rapidamente quando solicitados?

O que impede os usuários de realizar as tarefas a que se propõem?

O teste se propõe a testar uma hipótese, procedimento específico (vendas, assinatura), sujeito a uma série de regras? Que variáveis serão consideradas?

Porque um produto ou serviço funciona de tal maneira e o do competidor parece funcionar melhor? Que recurso ou elemento faz a diferença?

Entre as variáveis a serem testadas, quais independem do usuário (como a ordem dos botões em um layout) e quais dependem dos usários (o tempo, a precisão de realização de tarefas)?

A equipe de projeto deve concordar com estes objetivos e, se possível, participar da sua descrição.

Perfil dos participantes. Descrição dos usuários da interface a ser testada. A participação das equipes de marketing e comunicação ajudam muito neste desenvolvimento.

Perfil dos realizadores. Devem haver pelo menos duas pessoas na aplicação dos testes, um facilitador, que fará a interlocução direta com o participante, e uma pessoa para tomar notas. desta maneira, o facilitador pode se concentrar no seu roteiro e na observação direta das ações.

Método. Como o teste será realizado. Descrição das ações, para que se possa providenciar a infra-estrutura e o material necessários. Prevê o número de participantes, o grau de consistência e de rigor (passo-a-passo, listas de checagem, número de avaliadores). Descreve se os testes serão presenciais ou remotos, individuais ou em grupo, se verificarão diversas opções de layout ou de estrutura, o tempo médio de realização das ações (será permitida a intervenção do facilitador para completar uma tarefa?)

Pode ser necessário prever algum preparo ou treinamento dos usuários antes do teste, caso a interface ou produto testado não tenham uso intuitivo imediato. Vai depender de como o programa real será utilizado, se for uma máquina de emitir bilhetes, não será necessário preparo prévio; se for um sistema cirúrgico, sim.

Lista de tarefas. Descreve as tarefas que os usuários vão realizar durante o teste, como e em quanto tempo, os materiais e dispositivos necessários.

A escolha de tarefas obedece a critérios como:

A frequência com que serão realizadas pelos visitantes da mídia digital quando este estiver publicada.

Grau de importância para o negócio/ atividade prioritária.

Grau de importância para que os visitantes realizem as funcionalidades propostas.

Grau de vulnerabilidade de um aspecto identificado (layout da interface, arquitetura da informação).

Estágio de preparo no projeto. Elementos considerados “prontos” ou “quase prontos” priorizados em relação a outros ainda em preparo.

O avaliador testa as tarefas a serem realizadas durante os testes, para ver se não há problemas, links e telas inesperadas que comprometam sua realização.

Ambiente de testes. Descrição do ambiente, do equipamento a ser usado e do protótipo ou modelo a ser testado, para que se aproxime da situação de uso da maioria dos participantes.

O ambiente precisa ser compatível com o contexto de uso. Se a interface será usada em local de trabalho, os testes podem ser realizados no próprio local de trabalho. Se for usada em movimento, num metrô ou na fila de um banco, deve-se procurar aproximar o teste destas circunstâncias.

Se os computadores dos usuários médios têm telas não muito grandes e os processadores não são muito rápidos, é preciso procurar equipamentos com características semelhantes.

Métricas para a avaliação. Visão geral e listagem das métricas utilizadas, com aspectos quantitativos, como:

Número de tarefas realizadas de maneira satisfatória

Precisão – Quantos enganos as pessoas cometem, seu grau de importância, se foram facilmente corrigidos

Tempo de conclusão de uma tarefa

Número de elementos da interface selecionados incorretamente

Número de elementos da barra de navegação selecionados incorretamente

Número de comentários negativos ou positivos

E aspectos qualitativos, como:

Como as tarefas realizadas interagem com outras tarefas

Utilidade do elemento testado

Atendimento das expectativas

Facilidade de uso

Facilidade de aprendizado

Facilidade de acesso

Satisfação como a pessoa se sentiu a respeito das tarefas concluídas? Estava confiante, estava estressada, desconfiada?

Teste piloto. Teste do teste, avalia os estudos antes dos participantes, para verificar os desvios no plano de pesquisa. É comum nesses testes a verificação de bugs que podem comprometer o resultado.

Para maior garantia de sucesso, pode-se realizar na verdade dois testes pilotos, um deles com um colega que já conheça a interface, como forma de definir bem as atividades. E em seguida outro piloto, com um usuário real, que ajudará a verificar se todos os aspectos estão cobertos e aplicados adequadamente.

Modo de coleta dos resultados. Serão anotadas à mão, num laptop? As seções serão gravadas em vídeo, para facilitar o registro e o compartilhamento de observações com a equipe de projeto? As telas de teste serão gravadas? Será solicitado que os usuários pensem em voz alta enquanto estão respondendo às perguntas ou solicitações do teste?

Conteúdo do relatório e da apresentação dos resultados. Aspectos a ser contemplados no relatório final do teste, como serão comunicados à equipe.

O plano de teste provê uma visão geral dos processos e resultados a ser contemplados, bem como da sua própria validade interna se for realizado em outro dia, com outros participantes, retornaria o mesmo resultado? Testes constituem ferramenta potentes de planejamento que ajudam a criar consenso e a estabelecer uma visão comum sobre a abordagem dos dados a serem coletados. (Publicado em 5.10.2008. Atualizado em 20.9.2015)

Referências

Research logistics, de Demetrius Madrigal (Boxes and Arrows, acesso em 8.1.2010) Livro: Handbook of usability testing – How to plan, design and conduct effective tests, de Jeffrey Rubin. New York: Wiley, 1994. Livro: Doing psychology experiments, de David Martin. Manhasset: Wadsworth, 2007. How to experiment, de Philip Hodgson (Usefocus, acesso em 21.4.2014) Interviewing users (Alertbox, acesso em 26.7.2010) Should designers and developers do usability? (AlertBox, acesso em 28.6.2007) Fast, cheap, and good: Yes, you can have it all, de Jakob Nielsen, sobre a relação entre preço, qualidade e tempo de realização de testes de usuários (AlertBox, acesso em 2.1.2007)