Depois de realizar os testes de usabilidade chega a hora de transformar os dados coletados em informação útil para o aperfeiçoamento da mídia digital em projeto ou em manutenção evolutiva.

Esse processo, que se adapta aos prazos da produção do layout, das funcionalidades, do conteúdo do canal digital, gera informações que contemplam aspectos a ser ajustados. Mas se demorar muito a gerar resultados, pode acabar perdendo sua razão de ser.

De modo geral, a análise dos resultados dos testes inclui:

■ Uma primeira reunião com a equipe e os observadores do teste, para a criar consenso sobre as recomendações mais urgentes e o diagnóstico preliminar que permitirá ajustar o produto enquanto é feita a análise aprofundada.

■ Compilação e o resumo dos dados coletados, que começa durante a realização do teste. Inclui a digitação e organização dos dados anotados a mão ou gravados, e a geração de sumários descritivos, como:

◊ Resumo dos dados dos formulários entregues aos participantes, entregues no início do teste, sobre sua formação e experiência, e entregues de volta no final, para o registro de impressões sobre o teste e o produto.

◊ Resumo dos dados de desempenho, como o tempo médio que os participantes levaram para realizar tarefas, o desvio padrão no tempo médio de realização das tarefas, o número de vezes que as tarefas foram (ou não) realizadas.

◊ Grau de precisão com que as tarefas foram realizadas, que pode ser avaliado pela contagem dos erros durante a execução. Ou pela verificação da relação do tempo de realização com um tempo ideal estabelecido a priori, antes dos testes.

■ Análise dos dados, com o uso de todos os dados coletados e organizados (incluindo os guardados na memória e registrados em conversas com os observadores), para a identificação das tarefas nas quais os participantes sentiram mais dificuldade ou que não completaram de modo satisfatório.

Pode-se fazer uma representação gráfica dos dados numericamente mensuráveis, para sintetizar o que foi registrado.

Jeffrey Rubin (1) considera que se 70% dos participantes não realizaram satisfatoriamente uma tarefa, esta pode ser considerada como “difícil.”

Esse processo inclui também a identificação da origem dos erros registrados, seja um fator ou um conjunto de fatores combinados, para entender que aspectos do produto causam os principais problemas de desempenho ou afetam a experiência do participante.

Os aspectos mais críticos são priorizados a partir da combinação do grau de importância do problema com as chances de que vá realmente ocorrer – pode-se inclusive perguntar aos participantes do teste quais as situações que considerou mais críticas (se houver consenso, pode-se considerar essas indicações como as mais críticas).

■ Criação das recomendações, a partir dos dados coletados e da análise dos dados, priorizando as soluções abrangentes, que influenciarão o produto, como navegação, layout, funcionalidades da interface em processos críticos (como as vendas em um site de comércio, por exemplo), acessibidade.

Mesmo que alguns pontos não possam ser resolvidos a curto prazo, é importante explicitá-los para desenvolvimento posterior.

As recomendações precisam se manter neutras em relação as aspectos políticos internos da organização que produz o produto digital. Como os testes de usabilidade se concentram mais nos interesses dos usuários finais, pode ser necessário propor mudanças na cultura organizacional para fortalecer esta priorização.

A criação das recomendações pode ser feita em equipe com os desenvolvedores, designers, arquitetos de informação e outros profissionais relacionados diretamente ao projeto do produto. A modelagem de personas é um exercício que ajuda a formalizar as recomendações criando consenso em torno das características dos usuários. Este pode ser um processo simples, que apenas define o nome, o comportamento, ações, necessidades e objetivos das personas.

■ Formalização das recomendações num relatório, mesmo que os principais aspectos observados no teste já estejam sendo ajustados pela equipe de desenvolvimento.

As recomendações são catalizadoras de mudanças e orientam as ações necessárias para que o produto final alcance seus objetivos. Técnicas que ilustrem os resultados, como a narrativa de casos de uso (fictícios ou não) ou a descrição de detalhes de uso coletados, facilitam a compreensão dos problemas estruturais registrados nesse documento.

Eventualmente podem ser produzidos dois documentos como parte desse relatório, um com os resultados objetivos e outro com observações e impressões mais subjetivas, que ajudam a ajustar o layout, a arquitetura da informação, a estrutura de dados.

O(s) relatório(s) dos testes são redigidos e apresentados em linguagem e formato adequados a seu público, para ajudar a tomada de decisões e estimular o processo criativo de soluções, quando necessário.

■ Pode-se fazer em seguida um MVP (minimum viable product) tipo Mágico de Oz, para testar manualmente hipóteses sobre funcionalidades e recursos da interface, em um produto mais bem acabado que um protótipo, para simular as soluções oferecidas pelo serviço proposto. O usuário não saberá que os resultados são obtidos manualmente, em vez de processados segundo algoritmos e cruzamento de dados, receberá o resultado/produto como esperaria de um produto automatizado. MVPs costumam ser feitos mais na etapa de conceituação, mas podem ser parte também do desenvolvimento incremental do produto. Essa é uma técnica muito usada em projetos que usam Lean Startup, mas aplicada desde 1975 por J. F. Kelley. (2)

■ Apresentação e discussão dos resultados, para garantir que as recomendações sejam compreendidas e, as mais importantes, priorizadas.

A apresentação também provê retorno sobre os próprios testes e sua realização, bem como sobre a análise e a apresentação dos resultados.

■ Depois do lançamento do canal, comparar os resultados dos testes com as observações em tempo real das condutas dos usuários, em que as interfaces são usadas em contextos caóticos e não controlados. As observações levam a aperfeiçoamentos incrementais que vão aos poucos melhorando a qualidade dos relacionamento dos produtos digitais com o público.

(Publicado em 2.11.2008. Atualizado em 20.12.2017)

 

Referências

2) Concierge vs. Wizard of Oz Test, Tristan Kromer (Grasshoper Herder, acesso em 20.12.2017)

→ Evangelising user research (Userfocus, acesso em 10.4.2015)

→ Livro: Storytelling for user experience – crafting stories for better design, de Whitney Quesenbery e Kevin Brooks. New York: Rosenfeld Media, 2010

1) Livro: Handbook of usability testing – How to plan, design and conduct effective tests, de Jeffrey Rubin. New York: Wiley, 1994.

→ Quick turnaround usability testing (Boxes and Arrows, acesso em 20.9.2008)

→ Practical statistics to HCI, Jacob Wobbrock Washington University, acesso em 17.08.2014

→ 7 Things your company gets wrong about user research (Wired, acesso em 29.6.2014)

→ How to experiment, de Philip Hodgson (Usefocus, acesso em 21.4.2014)

→ Should designers and developers do usability? (AlertBox, acesso em 28.6.2007)

→ Fast, cheap, and good: Yes, you can have it all, de Jakob Nielsen, sobre a relação entre preço, qualidade e tempo de realização de testes de usuários (AlertBox, acesso em 2.1.2007)