Testes com usuários apresentam benefícios e limitações, que variam de acordo com o escopo e os objetivos do veículo, o ideal seria que possem realizados em todos os projetos de mídias digitais.

Benefícios dos testes

 Diminuem a incerteza causada pela tomada de decisões baseada na opinião da equipe de projeto, bem como no briefing do cliente. Ajudam também a fundamentar o produto para as altas instâncias de poder, caso haja interferências que gerem impacto direto sobre os rumos do projeto.  Levam ao  aperfeiçoamento de uma interface a um patamar competitivo que influencia a atribuição de valor à marca. Os testes permitem a diferenciação em relação a outros canais digitais com objetivos semelhantes – a qualidade da interface e da experiência de uso  são importantes diferenciais na internet. Diminuem os riscos do produto não atender às necessidades de uso. A verificação de problemas a partir do uso pelos usuários finais depois do lançamento leva a ajustes muitas vezes mais caros do que o conjunto de medidas necessárias à sua prevenção. Criam referências de usabilidade e de desenvolvimento, úteis para a realização de novos projetos da mesma natureza. Desta maneira, novos produtos podem ser aperfeiçoados a partir das realizações anteriores, sem necessidade da equipe começar o aprendizado a partir do zero. Em mídias digitais com muita demanda de contato direto pelo público, os testes dos serviços de suporte online levam ao aperfeiçoamento das interfaces, reduzindo o número de chats, mensagens, chamadas, e permitindo a redução significativa dos custos do atendimento.  Nos sites de comércio, a maior satisfação com a experiência de uso aumenta a credibilidade tanto do veículo quanto da empresa que o veicula, e leva ao aumento das vendas e da taxa de retorno dos compradores. Além disso, a satisfação dos usuários potencializa as chances de divulgarem o site para amigos e colegas, futuros compradores em potencial.

Limitações dos testes

 Embora procurem chegar ao ambiente de uso e às circunstâncias de acesso mais próximas da maioria dos usuários, os testes reproduzem situações artificiais. O local e as condições de realização afetam os resultados.  Por mais minuciosos e cuidadosos que sejam os testes, seu resultado não garante em termos absolutos que o produto vai funcionar. Há sempre fatores cuja recepção pelo público pode gerar reações subjetivas – muitas vezes relacionadas a contextos culturais específicos, impossíveis de prever ou controlar. É difícil conseguir participantes que representem o público-alvo com total fidelidade. A seleção de participantes é um reflexo da percepção da equipe de projeto ou de recrutamento sobre o público final, portanto sujeita a desvios e erros de avaliação.
Em 2015, a Etsy criou múltiplas plataformas de testes e pediu para os próprios usuários darem retorno sobre as soluções. (ReadWrite, 8.2.15)
Nem sempre constituem a melhor técnica para avaliar um produto, uma solução tecnológica ou de uso. Em algumas situações, a opinião de um especialista, a observação in loco do uso ou a consulta a dados gerados automaticamente podem trazer informações mais esclarecedoras que um teste com usuários. (Publicado em 21.9.2008. Atualizado em 8.9.2015)  

Referências

Livro: Handbook of usability testing – How to plan, design and conduct effective tests, de Jeffrey Rubin. New York: Wiley, 1994. 55 Google website optimizer tips and tricks – dicas sobre o uso do Google Website Optimizer (Conversion Rate Optimization, acesso em 7.12.2009) Otimizador de website do Google – ferramenta que permite a designers e gestores testar o acesso a variações de páginas web com o mesmo endereço e verificar quais geram maior número de conversões