Sim, envolva usuários reais nos testes
Quando você não envolve usuários reais você corre o risco de lançar algo em produção que não é amigável ao usuário (não é user friendly). Testes com usuários não são caros; e você pode conduzir isso dentro de sua empresa com foco na simplicidade, como demonstrado de forma excelente no guia de como fazer, de Steve Krugg, chamado Rocket Surgery Made Easy (um guia faça você mesmo para encontrar e corrigir problemas de usabilidade).
A ressalva é que você precisa conduzir testes com os usuários o mais cedo possível. Não há porque fazer testes com o usuário se isso não resultar em mudanças úteis, e o quanto antes você os fizer mais facilmente você será capaz de mudar.
Você nem mesmo precisa ter telas de alta fidelidade para conduzir testes com os usuários. Telas de baixa fidelidade são frequentemente suficientes para obter feedback dos usuários reais sobre usabilidade e conceitos críticos.
Não envolva usuários reais nos testes
O problema de envolver usuários reais nos testes é o risco de que sua organização irá usar isso como uma oportunidade de ouvir os que os usuários querem.
E ouvir o que os usuários querem é perigoso. Isso, pois os usuários pensam nas coisas de forma incremental, em vez de pensar em termos revolucionários. Os usuários não sabem como perguntar por algo que nunca foi concebido. Ouvir o feedback dos usuários vai produzir melhorias incrementais (‘fazer esse botão verde’), mas isso não tem correlação alguma em entregar algo que os usuários realmente precisem.
Alister Scott conta, que nos dias de universidade pré-MP3, ele tinha uma larga coleção de CDs de audio. Ele trabalhou duro em um emprego casual e salvou dinheiro para comprar um empilhador de CDs da Pioneer, o qual ele achava o máximo, pois podia-se ouvir 25 CDs de forma aleatória. Ele conta, que se lhe perguntassem o que podia ser ainda melhor para ouvir música, ele teria dito: “um empilhador de 100 CDs!” Alguns anos depois a Apple lançou o primeiro iPod, um pequeno dispositivo capaz de guardar 1000 albuns. Se a Apple tivesse ouvido a usuários como Scott naquela época, eles poderiam ter construído um tocador de CD mais rápido, maior e melhor. Mas ao em vez disso eles projetaram algo que naquela época Scott não tinha nem mesmo a capacidade de ter pensado que poderia existir. Ele estava pensando de forma incremental, enquanto que a Apple pensou de forma revolucionária.
É melhor em entender quais são as motivações dos usuários e então construir algo que satisfaça-as, do que envolve-los nos testes. Portanto, entenda quais problemas seus usuários possuem e resolva-os.
TALKING ABOUT TESTING 
Bem…. vou usar minha referencia como criador de jogos de tabuleiro e cartas, ao invés de usar o pouco que sei da rotina de testes de software.
Acho que a visão do usuário é importante, mas o desenvolvedor tem que ter o bom senso de ver que o que pode ser aproveitado ou não, e não ter aquilo como uma referencia suprema, pois isso o limita e muito, como o caso mostrado dos cds.
A muitos anos atrás estava criando um jogo de cartas sobre artes marciais com mais dois amigos, obviamente durante a criação nós jogávamos bastante entre, com o intuito de achar erros, estratégias muito desequilibradas…coisas do gênero, mas foi no primeiro playtest que nós fizemos com vários jogadores que nós percebemos um problema grave, nós estávamos muito acostumados com jogos em geral, e com o jeito que o nosso foi crescendo, quando aquele bando de gente pegou as cartas…..acharam tudo muito confuso, um ou outro conseguiu entender as regras rápidos e já montou baralhos extremamente fortes, enquanto outros só montavam com cartas que gostavam “ahh quero dar essa voadora pq parece legal”….
Conclusão, percebemos que muitas vezes não temos a mesma visão que o usuário vai ter, por mais que tentemos pensar como eles, temos nossa própria experiência, e tentar ignorar ela é bem diferente de não ter essa experiencia. Depois dessa situação mudamos o jogo, simplificamos ele, e ele ficou muito mais divertido e dinâmico, tanto pra quem é experiente quando pra quem nunca jogou nenhum jogo de cartas, a diferença foi que nós prestamos atenção nas sugestões dos usuários, mas principalmente observamos como foi a experiência para eles, e usamos os nossos conhecimentos para melhorarmos nosso projeto 🙂
acho que dá pra fazer um comparativo com softwares né? rs
Abraços
Muito boa comparação Diego, é por aí mesmo!