Donner aux clients un "score d'utilisabilité"?
Donner à un produit (logiciel) un score d'utilisation numérique est une pensée que j'ai eue dans bon nombre de mes projets antérieurs. Avoir un verdict final sous la forme d'une valeur en% ou d'une note me donnerait une certaine comparabilité entre les projets et certains clients préféreraient ce type de "certificat" plutôt que (juste) un texte élaboré. Bien que pour les examens complets, je préfère toujours l'approche qualitative et informelle, ce résumé officiel pourrait être appliqué lorsqu'un examen complet n'est pas demandé.
Userfocus.co.uk a un Nice exemple pour cela; les directives peuvent être vérifiées (3 niveaux: non conforme, conforme et type de conformité) et le XLS affichera rapidement un% -score pour tous les 9 sujets, avec un beau graphique en toile d'araignée.
Je l'ai essayé sur le site Web de mon entreprise. Mes impressions étaient mitigées, cela a fourni certaines tendances où sont les principaux problèmes, mais la valeur statistique était très douteuse à mes yeux. Certains des sujets ne comportaient que quelques points de contrôle pertinents pour le site Web et certaines des questions étaient très subjectives pour anser. Par exemple. le sujet "Formulaires et saisie de données" a un taux de 100% mais principalement parce que seulement 6 des 23 réponses ont été données.
Qu'est-ce que tu penses? Cette approche quantitative a-t-elle une valeur pour l'évaluation? Pourrait-il être fait correctement pour obtenir un résultat significatif et statistiquement valide?
Une seule évaluation ne peut pas être statistiquement significative. Si vous avez besoin d'une signification statistique, vous ne devriez pas faire une évaluation heuristique ou un examen par des experts.
Cela ne signifie pas que donner une réponse numérique n'a pas de valeur pour une évaluation heuristique ou un examen d'expert. Il a de la valeur en tant qu'outil de communication, c'est ce que vous dites que vos clients demandent. Les nombres présentent également des risques en tant qu'outils de communication. Nous supposons que les nombres sont absolus, donc quelque chose qui a un score de 7 sur une échelle de 10 points est nettement meilleur que quelque chose qui a un score de 5 sur cette même échelle. De plus, toute échelle proche d'une échelle utilisée dans le classement scolaire présente également des risques en raison de la signification implicite de ces chiffres (par exemple, une échelle de 4,0 ou une échelle de 100 points a une signification implicite pour un public américain).
Je ne pense pas qu'un score d'utilisation numérique soit formel et qu'un rapport textuel soit informel. L'objectif du rapport, quel que soit son format, est de communiquer avec les parties prenantes ce qui fonctionne et ce qui ne fonctionne pas dans une conception donnée. Un numéro n'est pas un moyen formel de communiquer ces informations à vos parties prenantes, et l'hypothèse de la part de quiconque qu'un numéro est plus formel que le texte est un autre risque de rapporter un numéro. De plus, la communication d'un nombre ne signifie pas que vous effectuez un travail quantitatif. Au lieu de cela, vous attribuez une signification qualitative à un nombre (ou une plage de nombres), ce qui peut créer une confusion quant à savoir si le travail que vous avez effectué est de nature qualitative ou quantitative.
Si la signification statistique est une exigence, je recommande la lecture de "Mesurer l'expérience utilisateur" par Thomas Tullis et William Albert. Cela signifie que vous ne faites plus d'évaluations heuristiques, mais il existe des méthodes relativement rapides et peu coûteuses pour collecter des données statistiquement significatives.
Personnellement, je ne trouve pas les avis d'experts ou les avis heuristiques utiles comme outils généraux. Il y a trop d'exceptions et de problèmes liés au contexte.
Par exemple, dans le sondage, vous pointez l'une des questions: "Les pages de navigation uniquement (telles que la page d'accueil) peuvent être consultées sans défilement", ce qui me demande immédiatement:
- En faisant défiler quoi (téléphone? Tablette? Netbook? Ordinateur portable?)
- Qu'en est-il des longues pages de référence que mon expérience avec les tests utilisateur me dit que les gens sont susceptibles de préférer.
- Quelle est la solution? Diviser une IA mal conçue de sorte que de longues pages de liens soient poussées vers de nombreuses petites pages de liens aggravera probablement les choses.
Il existe des problèmes similaires avec bon nombre des questions.
Si vous voulez un nombre - regardez des choses comme échelle de convivialité du système ou Net Promoter Score qui sont basées sur ce que les utilisateurs pensent du système, plutôt que des heuristiques que nous espérons bien corrélé avec ce que les utilisateurs pensent du système.
Je dirais que c'est une bonne idée. Bien que dans le passé, une méthode à cinq départs ait tout aussi bien fonctionné pour moi (avec peut-être des demi-étoiles). Il est également courant d'utiliser un système de feux tricolores pour montrer ce qui est bien, d'accord mais doit être peaufiné et mal.
Dans les avis d'experts antérieurs donnant différents aspects, un score génère un ensemble de résultats qui peuvent être consultés en un coup d'œil. Pour que cela ait plus de sens, la comparaison de l'expérience du produit donné avec d'autres sur le marché montre qui est bien/mal le produit examiné.
Les critères d'un examen par des experts devraient correspondre au problème. Dans le passé, j'ai divisé les avis en domaines de fonctionnalité, puis j'ai chevauché cela avec des problèmes généraux tels que la concentration, la cohérence, le contenu, la langue, etc.