Les tests A / B valent-ils la dépense et le temps supplémentaires?
Un client souhaite obtenir des informations sur les tests fractionnés A/B en aveugle pour une application en ligne principalement axée sur la convivialité de la conception et du flux de travail de l'application. Une personne du bureau du client a lu un article sur la façon dont toutes les grandes agences testent les concepts A/B avant de les mettre en service .... il est donc important qu'elles le fassent aussi!
--edit-- À propos de l'application: il s'agit d'une application destinée au public, mais les utilisateurs seront des membres rémunérés. Par conséquent, ce n'est pas gratuit, à la consommation ouverte. Les utilisateurs seront des clients directs, qui revendront à leur tour le produit à leurs clients. Le trafic aux heures de pointe serait probablement de +1 000 utilisateurs; certains d’entre eux seraient des utilisateurs quotidiens, alors qu’une petite portion ne serait que 1X/semaine. --modifier--
Les résultats ont-ils justifié les dépenses et les efforts supplémentaires?
J'espère comprendre votre situation correctement. Si ce n'est pas le cas, laissez un commentaire et je vais tout nettoyer.
Dans votre cas, je ne sais pas si les tests A/B fonctionneront. Je suis préoccupé par le fait de pouvoir obtenir des résultats utilisables. Deux problèmes doivent être résolus: obtenir des résultats statistiquement valables, puis les comprendre.
Le premier problème que vous devez savoir est que les quelque 1 000 personnes qui utilisent votre service ne constituent pas votre base d'utilisateurs dans son ensemble et vous ne pouvez pas être sûr qu'elles représentent bien vos utilisateurs. Ce n'est pas parce que ces 1 000 utilisateurs affichent certaines tendances dans les tests A/B que d'autres groupes d'utilisateurs auront également ces tendances. Et je pense que cela nuit également à la validité statistique des résultats, car vous avez des échantillons inappropriés.
Vous avez également deux catégories de personnes qui utilisent votre service particulier et qui sait combien utilisent les systèmes revendus. Dans votre système, vous avez les utilisateurs fréquents et les utilisateurs peu fréquents. Mais qu'en est-il des autres déploiements? Si vos modifications les affectaient également, vous pourriez affecter leur capacité à atteindre leurs objectifs avec absolument aucune donnée sur leur expérience utilisateur dans A ou B.
Et il sera difficile de comprendre les résultats que vous obtiendrez, en particulier si vous déployez vos tests A/B sur plusieurs déploiements de votre service. Si vous collectez des données auprès de plusieurs populations distinctes, vous constaterez peut-être que vous obtenez les résultats souhaités avec A chez certains et B chez d'autres. Vous devez ensuite décider si cela est vraiment exact, puis décider quoi en faire.
Honnêtement, dans ce cas, je recommanderais des sondages. Découvrez le profil de vos utilisateurs - tranche d'âge, sexe, expérience informatique, profession - et comment ils utilisent le logiciel. Ensuite, déterminez quelles fonctionnalités ils aiment ou non, quelles fonctionnalités sont faciles à utiliser ou non, etc. Cette enquête devrait s’adresser au plus grand nombre de personnes possible, qu’elles utilisent votre déploiement ou d’autres déploiements.
Le test A/B a sa place mais il nécessite certaines choses à tenir. Plus important encore, vous avez besoin d’un indicateur de réussite clair. C'est à dire. il doit être facile de déterminer lequel a obtenu les meilleurs résultats pour A ou B. Cela s'applique principalement si votre site est orienté vers un objectif commercial spécifique (par exemple, incitez les internautes à passer des commandes, incitez les internautes à cliquer sur des liens de publicité, etc.).
Vous avez également besoin d'alternatives claires pour tester et d'une base utilisateur suffisamment grande pour pouvoir obtenir des résultats statistiquement valides pour chaque couplage A/B. Le nombre d'appariements et la durée des tests jouent également un rôle.
Si vous êtes plus intéressé par l'amélioration de la convivialité globale, vous feriez mieux de faire une évaluation coopérative de l'utilisabilité (rencontrer des utilisateurs test et les observer parcourent une liste de tâches, en notant les problèmes). C'est moins cher et produit des résultats très utiles.
En fin de compte, tout dépend de ce que vous essayez d'accomplir.
Une personne du bureau du client a lu un article sur la façon dont toutes les grandes agences testent les concepts A/B avant de les mettre en service .... il est donc important qu'elles le fassent aussi!
Tout va bien si vous êtes payé par une grosse agence pour les résultats d'une grande agence sur un site de grande agence ... malheureusement, comme l'ont noté Kris et Thomas Owens, l'échantillonnage statistique n'échelle pas bas très bien.
Les utilisateurs qui ont payé pour le service sont pas les tests multivariés de personnes sont généralement axés sur (et judicieusement) - l’idée est de trouver comment convertir les personnes qui ne sont pas abonnés parce qu’ils sont plus nombreux et que leur attention vaut plus que la confusion potentielle pour les abonnés existants qui ont déjà signé de toute façon.
Si vous rencontrez une situation dans laquelle les développeurs/gestionnaires ont plusieurs choses à l'esprit pour une page donnée, les tests A/B avec suffisamment de trafic utilisateur sont un bon moyen de décider de ce qui fonctionne le mieux.
Si les décisions sont obligatoires et qu'il n'y a pas beaucoup de marge de manœuvre pour expérimenter (la vérité de la plupart des sites WebDev), les tests A/B superficiels n'apporteront pas les résultats escomptés.
L'astuce des tests A/B consiste à obtenir suffisamment de données statistiques, puis à analyser les résultats, où l'analyse est la partie la plus difficile. Donc, configurer A/B ne prend pas tout ce temps, à part le temps nécessaire pour comprendre les données.
Vous pouvez également envisager d’utiliser des tests d’utilisation en direct, décrits sur seit.com .
Ou même des outils automatisés comme ClickTale qui vous montreront comment les utilisateurs utilisent vos pages.
Les tests A/B sont relativement peu coûteux et faciles à faire de nos jours. Vous pouvez utiliser l'Optimiseur de Site Google, qui est gratuit, ou quelque chose comme l'optimiseur de site virtuel, dont les plans vont jusqu'à 50 $/mois. Je recommande A/B de tester toutes les tâches axées sur les objectifs (conversions, abonnements, etc.). Dans le pire des cas, vous ne gagnerez pas de statistiques et vous gaspillerez 50 $ au mieux. Vous améliorerez les taux de conversion et votre client gagnera plus d'argent.
En regardant votre description, il semble qu’ils recherchent des tests de convivialité plutôt que l’optimisation de la conversion. Si c'est le cas, j'ai utilisé à la fois clicktale (déjà mentionné ci-dessus) et usertesting.com, qui valent bien l'argent, selon mon expérience. ustertesting.com facilite les tests généraux d’utilisabilité et clicktale vous permet de voir ce que font les utilisateurs.
Vous pouvez exécuter à la fois des tests A/B et des tests d’utilisabilité pour un total inférieur à 500 USD. Si le budget est là et que vous avez des objectifs clairs, cela en vaut la peine.