El cuarto error más común es decidirse a realizar un test de usuarios sin definir de manera exacta las tareas a realizar y las medidas de usabilidad a tomar. Muchos test de usuarios ponen a interactuar a los usuarios con el sitio de manera "natural", es decir, son los propios usuarios deciden sus tareas y se supone que la interacción es la cotidiana y normal en el sitio (por ejemplo en
The Truth About Download Time∞). En otros casos se encargan tareas vagas y no se definen medidas claras.
En esas condiciones realizar una grabación en vídeo como garantía total de recogida de información es irónico. Si no se encargan tareas concretas, ni se toman medidas especificas, los resultados del test se reducirán a la mera especulación.
Los videos son apropiados para confirmar los resultados o ilustrarlos gráficamente, pero el análisis profundo de un vídeo requiere mucho tiempo y no se le puede considerar la base del test sino solo un complemento.
Para obtener medidas fiables se debe pedir a los usuarios completar diferentes tareas que simulen su comportamiento real: comprar un producto determinado, buscar una determinada información o responder a una pregunta que implique buscar y comparar información, etc.
Medidas objetivas de usabilidad son la tasa de finalización de la tarea, el tiempo, el número de errores, la memoria, etc.