Errores frecuentes en los test de usuarios - Las comparaciones de sitios web

El primero de estos errores intentar comparar varias versiones de un sitio web (o sitios diferentes) para averiguar cual de ellas es la que mejor funciona. En muchos casos se realiza una nueva versión del sitio web y se compara la versión vieja con la nueva o dos nuevas versiones entre si.

---

Una comparación puede ser útil para convencer a un cliente de los beneficios de la usabilidad, pero no es lo más adecuado para mejorar la usabilidad del sitio. Realizar una comparación es un derroche de recursos. Aunque siempre se debe testar el nuevo diseño de un sitio, no tiene sentido testar la antigua versión del sitio para poder tener una referencia en la comparación.

---

Generalmente la antigua versión suele tener muchos errores y la nueva añade o suprime funcionalidades, lo que hace que la compración entre ambas no aporte información.

---

La comparación también es inadecuada desde el punto de vista de la validez de los resultados. En la mayoría de los casos los sitios que se comparan son muy diferentes. Si el resultado del estudio es que el sitio A es más usable o gusta más a los usuarios que el sitio B, ¿en qué es mejor el sitio A que el sitio B?. En otras palabras, ¿qué ha producido unos mejores resultados en el sitio A? No posible saberlo con certeza. Quizás en la nueva versión se ha mejorado la navegación, pero empeorado la estructura de la información. El resultado de una comparación tan grosera puede no indicar nada e incluso producir una gran confusión.

---

La comparación como método para obtener conclusiones tiene su fortaleza cuando los sitios comparados son idénticos y solo difieren en una sola característica, es decir, la característica que estamos comparando. Por ejemplo, cambiar la barra de navegación de posición, en lugar de arriba en horizontal a la izquierda en vertical, pero sin cambiar el resto de elementos. Pero en ese caso dla comparación es muy ineficiente porque crear dos sitios idénticos variando solo una característica es un proceso demasiado largo y costoso.

---

Además las comparaciones requieren un mayor número de sujetos para los test de usuarios para que no estén contaminados por efectos de aprendizaje. No es posible hacer un diseño intra-sujetos (el mismo sujeto testea varias versiones del sitio), sino únicamente entre-sujetos (un sujeto testea un sola versión), lo que requiere el doble de sujetos y el consiguiente aumento en los costes.

---

El único uso adecuado de la comparación como herramienta de la usabilidad es durante la fase de creación de prototipos ∞de bajo coste. Es posible crear dos prototipos idénticos que solo varíen en una característica y realizar test de usuarios sobre ellos. Los prototipos deben ser meros cascarones vacíos, de elaboración rápida y bajo coste.

---

Lo más aconsejable es definir la creación de un sitio web como un proceso iterativo donde se debe seguir un solo camino. Se deben enfocar todos los recursos disponibles al desarrollo de una única versión que se va testando sobre la marcha y refinando. La elaboración de varias versiones diferentes de un sitio web y su comparación a posteri supone el desaprovechamiento del trabajo de la versión (o versiones) descartada(s), trabajo que podría haber sido invertido en la mejora de una única versión.