Un test es una prueba real de mercado, donde se prueba la efectividad de dos o más variables, dejando el resto intactas. El cliente no sabe que está recibiendo un test, por lo tanto, su respuesta o ausencia de respuesta, es decir, su veredicto, es totalmente objetivo y no basado en opiniones.

Gorka Garmendia

De la brillante definición de Gorka Garmendia, podemos empezar sacando conclusiones de lo que es un test y de lo que no. ¿Qué condiciones hacen falta para considerar que estamos realizando un test?

1) Que sea una prueba real de mercado. Es decir, que lo probemos sobre clientes o usuarios reales en un entorno de mercado. Que las decisiones que tomen dichas personas lo hagan de manera real. No sería por tanto un test una encuesta o una dinámica de grupo, sin querer decir con ello que no puedan ser métodos válidos para obtener  conclusiones de valor.

2) Que, salvo la variable que se va a analizar, el resto se mantengan intactas. De lo contrario, no podríamos saber si los resultados del test se deben a la variación en la variables analizada o al resto de variables. En la práctica, será realmente muy complicado conseguir aislar totalmente una variable manteniendo las demas intactas, pero hay que tratar de aproximarse en la mayor medida posible a este principio.

Pongamos un ejemplo. Queremos analizar si en una landing page de una oferta de un producto concreto, donde el precio tiene un protagonismo importante, funciona mejor mostrar el descuento en tanto por ciento o, por el contrario, en la cantidad de euros que se ahorra el cliente. Creamos dos versiones de la landing page (las versiones A y B) exáctamente iguales y únicamente cambiando la forma en que mostramos el descuento. Durante un mes mostramos a todos nuestros usuarios la versión A. El mes siguiente cambiamos y mostramos a todos nuestros usuarios la versión B.

Al finalizar el segundo mes, tras haber probado las dos landing pages, nos damos cuenta de que la versión B, la del descuento en euros, tiene un 20% más de conversiones. ¿Podemos afirmar entonces que mostrar el descuento en euros es más eficiente de cara a conseguir la conversión? La respuesta es NO.

harrypotter

¿Qué por qué no? Porque no hemos mantenido el resto de variables intactas. En el ejemplo, hemos mostrado una landing page durante un mes y la otra durante el mes siguiente. ¿Y si simplemente durante el segundo mes la demanda de dicho producto ha crecido y por tanto no es un efecto producido por la forma en que hemos mostrado el descuento sino por el propio mercado? Hay productos cuya compra es estacional, no se compran tantos libros de texto en octubre, cuando ya ha empezado el curso, que en septiembre. Ni se compran tantos bañadores en septiembre, cuando ya está finalizando el veranito, que en agosto.

Por tanto, en el ejemplo no estaríamos realizando un test, sino simplemente probando cosas al tun tun, sin rigor y sin la seguridad de estar obteniendo conclusiones válidas.

3) Que el cliente no sepa que está siendo “víctima” de un test. Ya que en caso contrario entraría en juego la subjetividad y los clientes podrían modificar su conducta a como lo harían en condiciones normales.

Definiendo el test A/B de un site antes de realizarlo

Antes de ponernos a realizar un test debemos tener claro por qué lo estamos realizando y qué buscamos conseguir, para lo que es recomendable seguir los siguientes pasos:

  1. Realizarse una pregunta. Por ejemplo, ¿por qué el call to action de una landing page concreta tiene un CTR muy inferior al del resto de lading pages del site mientras que el porcentaje de rebote no es alto? Sin una pregunta real detrás de un test obtendremos curiosidades, no respuestas.
  2. Poner en contexto. Una vez tenemos formulada nuestra pregunta debemos tratar de entender el comportamiento de nuestros usuarios a través de herramientas analíticas, lo que nos llevará al siguiente paso
  3. Definir una hipótesis. Por ejemplo, el call to action tiene un CTR tan bajo porque los usuarios no tienen la información suficiente para tomar la decisión de compra
  4. Proponer una solución. Por ejemplo, si añadimos un video a la landing page daremos al usuario toda la información que necesita sin que abandonen la landing page. Esta solución será la variable que vamos a cambiar y, por tanto, probar, manteniendo todas las demás constantes.
  5. Definir cual o cuales van a ser los KPI’s que sirvan para determinar que variación del test resulta ganadora.
  6. Definir la muestra. Debemos definir si el test lo realizaremos a la totalidad de los usuarios o únicamente a una parte, teniendo en cuenta que para que el test tenga valor hay que realizarlo a una muestra que sea representativa de lo que queremos analizar. Debemos en este sentido
  7. Definir cuando se termina el test. Se trata de definir una duración mínima y/o una duración máxima y/o qué resultados van a hacer que demos por ganador una variación u otra, algo que lo normal es hacerlo atendiendo a criterios de relevancia estadística

No podemos debemos testarlo todo

Una vez que alguien empieza a adentrarse en el mundo de los tests, y comprueba su potencial, se corre el riesgo de empezar a querer testarlo todo.

Dependiendo del volumen de visitas de un site y de lo que estemos midiendo, los tests llevan más o menos tiempo. El hecho de que un test se alargue en el tiempo puede hacer que sus resultados pierdan relevancia. Del mismo modo, los tests llevan un coste asociado, ya sea por software, por gastos de personal o, muy importante y a veces ignorado, por el coste de oportunidad (el tiempo que le dedicamos a un test se lo quitamos a otro).

Así que tengamos en cuenta algunos aspectos:

  • Pequeños cambios suelen llevar aparejados pequeñas variaciones en los resultados… y pueden hacer que los tests se alarguen demasiado en el tiempo. Esto no siempre tiene que ser así, pero salvo que tengamos perfectamente definida la hipótesis no deberíamos perder el tiempo probado pequeños detalles
  • Siguiendo la Ley de Pareto, el 20% de tus páginas (anuncios, keywords, etc) producen el 80% de tus beneficios. Vale, es obvio que la ley 80-20 no tiene por qué cumplirse, pero siempre hay elementos que reportan mayores beneficios y es en ellos en los que poner el foco.

Además, hay que entender que realizar un test A/B lleva aparejado alguna serie de riesgos:

  • Pérder de conversiones: Si la variación que tratamos de analizar resulta que no solo no mejora los resultados sino que los empeora, entonces mientas dure el test estaremos perdiendo rentabilidad
  • Molestar a usuarios o pérdida de imagen: Si los cambios son muy bruscos puede que eso disguste a ciertos usuarios o que tenga consecuencias negativas en la imagen de la web. Por ello, cuando los cambios sean muy radicales es conveniente que el test se realice a un pequeña muestra del total de usuarios.
  • Afectar negativamente al SEO: Si un test no se realiza prestando atención al SEO, se corre el riesgo de ser detectado por Google contenido duplicado o encubrimiento
  • No obtener resultados: Que al finalizar el test no podamos determinar una versión ganadora ni obtener ninguna conclusión de valor. Lo cual, dicho a las bravas, es un fastidio.

Por tanto, realicemos tests, sí, pero con sentido.

Conclusión

A pesar de los riesgos mencionados, los beneficios de realizar tests son enormes y es un factor de éxtio clave en Internet. Del aprendizaje de los tests surge la mejora continua. Y es que no hay que tener miedo a equivocarse al plantear un hipótesis para un test ya que de las equivocaciones también se aprende. El verdadero error es realizar tests sin la metodología adecuada o, peor aún, no realizar tests.

¿Qué opinas?

 

Uso de cookies

Este sitio web utiliza cookies de Google Analytics con el único objetivo de obtener datos estadísticos sobre la navegación de los usuarios. Puede ampliar información sobre las cookies, su uso en este sitio y el modo de desactivarlas pinchando en este enlace

ACEPTAR