Blog de DeInterfaz

Analizar y representar gráficamente los resultados de un card sorting

12 de diciembre de 2008 — Iván Marnet

Hay muy buenos artículos y guías en Internet donde se puede obtener información de cómo abordar un card sorting con usuarios,  por lo que no va a ser el objetivo de éste artículo, aunque es posible que algún día desarrollemos una completa guía de cómo hacer un card sorting. Lo que me gustaría plasmar en este artículo es la forma de analizar los resultados que se obtienen y cómo representarlos para comunicarlos de forma eficiente.

El refrán “En casa del herrero, cuchillo de palo” es más frecuente de lo que a muchos nos gustaría. Y digo esto, porque la forma en la que comunicamos los resultados que se obtienen de algunas pruebas o técnicas complejas que utilizamos, no siempre va en concordancia con la filosofía de la facilidad de uso, comprensión o usabilidad que predicamos.

En el artículo consejos para presentar los resultados de un test de usabilidad, ya hablaba de que a la hora de comunicar los resultados de una prueba, lo primero que tenemos que hacer, es pensar muy bien a quién vas a dirigirte y en función de ello, adaptar la forma de comunicar los resultados a un público objetivo. Claramente, esta regla es aplicable para cualquier entregable.

Los primeros datos que se obtienen de un card sorting

Normalmente y según el método de card sorting que empleemos (abierto o cerrado) e independientemente de la forma que utilicemos para recoger los datos, al final obtendremos solo números, que normalmente recogeremos en hojas de cálculo. Estos números o datos hay que representarlos en matrices simétricas, las cuales significan el primer paso para el análisis de los resultados que hemos obtenido.

Matrices simétricas, datos absolutos y distancias entre términos

Para poder manejar este tipo de datos es necesario tener algunos conocimientos de estadística, en concreto de técnicas de clustering o análisis de conglomerados. Antes de continuar, deberíamos tener claros, al menos, algunos conceptos fundamentales sobre cómo y qué datos vamos a manejar.

Matriz simétrica: es una tabla de datos generada en una hoja de cálculo que muestra el número de veces o co-ocurrencias que se dan para un determinado término. Es decir, el número de veces que los diferentes participantes durante la prueba han agrupado un término junto a otro.

Para diseñar la matriz solo es necesario poner tantas filas y columnas como categorías o términos estemos estudiando. Imaginemos un ejemplo sencillo en el que estemos estudiando solo 4 términos. La matriz quedaría de la siguiente forma:

Datos absolutos: en la matriz que acabamos de ver como ejemplo, los datos absolutos serían las propias co-ocurrencias entre dos términos. Por ejemplo, los términos “Bujías” y “Motor” han sido clasificados en el mismo grupo 17 veces. Éste, es un dato absoluto.

Matriz de distancias: es otro tipo de matriz simétrica, solo que los datos en lugar de ser absolutos, reflejan la distancia entre dos términos, de forma que podemos saber la cercanía que hay entre ellos. Cuanto más cercano al valor 1, mayor será concordancia y menor la distancia entre los dos términos. Veamos un ejemplo con los mismos términos:

Ésta forma de representar los datos puede ser comprensible para quien tenga ciertos conocimientos de lo que está haciendo, pero resultaría un tanto engorrosa para alguien que no dispone de los conocimientos necesarios, o simplemente alguien que lo que quiere ver son conclusiones y no una gran cantidad de datos que luego tenga que analizar e interpretar.

Representación gráfica de los datos: dendogramas y MDS

Para una mejor compresión de todos estos datos y realizar una análisis de forma adecuada, es necesario representarlos de forma gráfica. Existen dos formas de representación gráfica que nos permitirán analizar y decidir los grupos de términos que podemos formar:

1. Dendograma
2. Gráfico de Escalado Multidimensional (MDS)
   

Dendogramas

El dendograma es el tipo de gráfico más común para representar la cercanía entre los términos que hemos elegido testar con los usuarios, generando de forma automática grupos lógicos de términos, que por ejemplo, podrían formar parte de una sección o subsección:

Así, como podemos ver en la imagen, los términos que son más cercanos entre sí, se agrupan en conjuntos de colores. Esto significaría que según los usuarios, cada uno de éstos grupos de términos podrían formar parte de una misma sección o subsección. La línea roja indica el límite para crear las agrupaciones.

La imagen anterior muestra el número de grupos creados con una distancia x entre los términos, pero se pueden formar más o menos grupos de términos para valorar otras posibles agrupaciones.

En la siguiente imagen podemos ver como se forman 3 grupos en lugar de 4:

La decisión de la distancia y el número de grupos con los que nos quedemos, forma parte del análisis que tiene que hacer el arquitecto de información, en función de los objetivos del proyecto.

Los dendogramas son útiles y muy comprensibles cuando los resultados son muy claros, es decir, cuando las distancias entre los términos son mínimas y se forman los grupos sin dejar lugar a dudas.

MDS: Gráfico de Escalado Multidimensional

MDS es el acrónimo de Escalado Multidimensional (en inglés: Multidimensional Scaling), otra técnica estadística utilizada para representar los datos en dos dimensiones, de tal forma que se puede apreciar mejor la cercanía entre términos o elementos.

La gran ventaja del gráfico MDS frente al dendograma es que al representarse los datos sobre dos ejes, se puede apreciar físicamente la cercanía entre los términos, creando grupos de forma mucho más visual y comprensible. En la siguiente imagen podemos ver un ejemplo de un gráfico MDS utilizando los mismos términos de los ejemplos anteriores.

Visualmente vemos que queda mucho más claro los grupos de términos que se forman por la cercanía física entre ellos en el espacio bidimensional. En el siguiente ejemplo podemos ver los grupos formados rodeados por un círculo, para crear y definir los grupos de términos:

¿Cómo genero los dendogramas y los gráficos MDS?

Para la generación de este tipo de gráficos es necesario disponer de algún software estadístico tipo SPSS Statisctis que ya poseen los algoritmos necesarios para generar los gráficos. Solo es necesario importar las matrices simétricas desde Excel a SPSS por ejemplo, y aplicar el tipo de análisis necesario para generar los gráficos.

Si utilizas herramientas específicas para realizar pruebas de card sorting, todas ellas creo que dan la opción de generar dendogramas y creo recordar que solo alguna (las menos) los gráficos MDS.  Rosenfeld publicó hace unos años una recopilación de aplicaciones para realizar card sorting , aunque quizá algo desactualizada ya.

Mi consejo si utilizas alguna de estas herramientas, es que recojas los datos en un formato de archivo que te genere las tablas en una hoja de cálculo y los explotes después de forma independiente con alguna herramienta estadística. Aunque también he de decir que no he probado muchas de ellas y quizás alguna valga la pena de verdad. Si alguien ha probado alguna que merezca la pena, que deje un comentario.

¿Qué tipo de representación gráfica elijo para comunicar los resultados?

Nuevamente, ésta es una cuestión en la que tienes que tener en cuenta a quién vas a dirigir tus resultados, por lo que tendrás que valorar que representación es la más comprensible para el público al que te vas a dirigir.

Si vas a escribir un informe completo de resultados, puedes combinar ambos tipos de gráficos e intentar en la medida de los posible reflejar una explicación o ayuda de como interpretar cada uno de ellos.

Si vas a hacer una presentación, lo mejor es que utilices los gráficos MDS, ya que son mucho más visuales y comprensibles que los dendogramas.

Conclusiones

Si no tienes conocimientos de estadística, investiga y lee un poco sobre el tema, no te llevará mucho tiempo familiarizarte con los análisis de clustering, escalado multidimensional, matrices simétricas y similares.

Utiliza herramientas que te permitan recoger los datos de forma automática para exportarlos a una hoja de cálculo. Si lo haces de forma manual puede ser una auténtica pesadilla y perderías demasiadas horas en la recogida y tabulación de los datos.

Explota los datos en una aplicación estadística que te permita importar las matrices desde la hoja de cálculo para crear los gráficos.

Valora la mejor forma de representar los datos en función de lo que tengas que contar y a quién. Recomiendo utilizar siempre MDS por ser más visual y comprensible por cualquier modelo mental.

Clasificado en: Arquitectura de información, Diseño de información, Técnicas

Etiquetas: card sorting, evaluación, organización