Comment mesurer le sérieux d'un utilisateur lors du remplissage d'un formulaire en ligne?

Question

Je vais mesurer le sérieux d'un utilisateur tout en remplissant un formulaire. Un exemple de méthode consiste à calculer le temps entre le début du sondage et sa soumission. En considérant ce temps, nous pouvons éliminer certains utilisateurs qui terminent l'enquête trop rapidement. Je pourrais également enregistrer les actions de l'utilisateur (clics et mouvements de la souris) ainsi que l'horodatage tout en répondant aux questions.

Je dois éliminer les utilisateurs qui soumettront le formulaire sans fournir de réponses sérieuses. Existe-t-il des techniques pour mesurer le sérieux d'un utilisateur tout en remplissant un formulaire?

Limitations:

• Le calcul peut être effectué jusqu'à ce que l'utilisateur clique sur le bouton Soumettre.
• Nous ne considérons pas les réponses.

Sérieux de l'utilisateur

Certains utilisateurs remplissent le formulaire sans comprendre ou lire correctement les questions. Ils le remplissent juste.

Les questions peuvent être des questions à choix unique, des questions à choix multiples, des questions ouvertes, etc.

Answer 1

Je pense qu'il n'y a pas de méthode à 100% pour déterminer si un utilisateur était sérieux en remplissant le formulaire. Un utilisateur peut remplir certains champs sérieusement, mais certains champs - pas sérieusement. De plus, certains domaines sont plus importants, d'autres moins.

Pour chaque champ de votre formulaire, définissez un niveau d'importance (1 - moins important, 2 - plus important, 3 - encore plus important, etc.) pour ce champ, et une période pour remplir ce champ. Enregistrez le temps d'entrée et de sortie pour chaque champ. Si l'utilisateur a pris moins de temps que prévu pour remplir un champ, marquez ce champ comme suspicious.

Supposons que nous ayons un champ TextArea (commentaires) dans notre formulaire. Et un utilisateur entré manuellement 150 symboles dans ce champ juste pendant 3 secondes. Il est temps de marquer ce champ comme suspect.

Et nous avons le champ texte passportNumber, et l'utilisateur a entré la valeur manuellement pendant 1 seconde. Prenez en compte les actions de copier/coller.

• comments a un poids important 1 et est suspect.
• passportNumbera un niveau d'importance: 10 et est suspect.

Si vous avez un tas de champs suspects non importants, mais que tous les champs importants ne sont pas suspects, vous pouvez considérer votre formulaire comme rempli par un utilisateur sérieux. Au contraire, si vous avez trop de champs suspects et importants, alors votre formulaire est rempli par un utilisateur non sérieux.

Answer 2

Une chose que vous devez prendre en considération est si certaines parties du formulaire sont remplies automatiquement, c'est-à-dire lorsque vous demandez des informations de base telles que le nom, l'e-mail, etc. Tous ces champs peuvent être remplis instantanément et en même temps. Donc, pour mesurer comme vous le souhaitez, ne demandez pas ce genre d '"informations standard".

Et enfin, mais peut-être le plus important de tous, vous devez définir la gravité afin de pouvoir la mesurer.

Bonne chance!

Answer 3

Je pense que vous devriez combiner 2 mesures: subjective et objective. Vous devez ensuite effectuer une analyse basée sur les deux. Voici une proposition:

Questionnaire subjectif - après la tâche

Une fois que les utilisateurs ont rempli les formulaires, demandez-leur simplement si les réponses qu'ils ont données étaient correctes. Si l'utilisateur dit: "Non, je viens de les remplir pour se débarrasser de la tâche", demandez-lui de préciser quelles questions n'étaient pas des réponses valides. Cela fournira une base pour l'analyse.

Mesures objectives - temps entre les réponses à différentes questions

Vous devez non seulement enregistrer le temps nécessaire pour remplir l'ensemble du questionnaire, mais également le temps entre la réponse à une question et le temps de réponse à la suivante. Ici, vous pouvez identifier la fenêtre de temps dont les utilisateurs ont généralement besoin pour répondre à une question.

Analyse

Lorsque vous avez obtenu les 2 types de données, vous pouvez effectuer une analyse du temps dont les utilisateurs ont besoin pour donner une réponse valide. Si ce délai est inférieur à un certain montant, cette question est probablement invalide. Par exemple, à la fin, vous pouvez dire si l'utilisateur passe moins de 3 secondes sur une réponse, c'est probablement une réponse non valide ou non sérieuse.

Answer 4

Votre définition du sérieux est en fait assez difficile à mesurer, car vous la définissez comme si l'utilisateur a lu correctement la question ou l'a comprise.

Il est presque impossible de savoir si quelqu'un a bien lu la question, à moins que la seule façon de répondre correctement à la question est de suivre la question exactement et de l'interpréter correctement. Même alors, quelqu'un pourrait avoir de la chance et arriver à le remplir correctement (ou le remplissage automatique pourrait faire un très bon travail). En outre, la seule façon de tester si quelqu'un a compris la question est de savoir si la question est si difficile qu'il est impossible de la deviner facilement (par exemple, une question à choix multiples et à sélection multiple). Vous verrez pourquoi c'est le cas lorsque vous essayez de mesurer la compréhension (il en va de même pour la compréhension de la question) en utilisant certaines des méthodes les plus courantes, à la fois quantitativement et qualitativement.

1. Mesurer la compréhension à l'aide de métriques quantitatives - vous pouvez peut-être affirmer que pour qu'une personne lise correctement la question, cela prend un certain temps, vous devez donc définir la vitesse de lecture moyenne d'une personne. Mais ensuite, vous devez ajuster cette moyenne en fonction de variables telles que l'âge de la personne, si l'anglais est leur première langue, le type de contenu de la question, etc. Mais cela signifie-t-il que vous devez exclure la réponse de quelqu'un si elle est inférieure ou au-dessus de la moyenne? Que se passe-t-il s'ils sont un lecteur rapide, ou s'ils ont déjà fait beaucoup de formulaires similaires, etc.? Si vous avez un échantillon suffisamment grand, vous pouvez exclure les personnes qui sont deux ou trois fois au-dessus de l'écart-type, mais encore une fois, cela devient un peu plus délicat que vous ne le pensez.
2. Mesurer la compréhension à l'aide de métriques semi-quantitatives - vous pouvez peut-être modéliser le comportement d'un utilisateur typique lors du remplissage d'un formulaire en ligne (par exemple, plus lent au début et plus rapide vers la fin à mesure qu'il devient un peu s'ennuyer, par exemple pour une forme longue) et chercher à voir si le modèle se maintient ou s'en écarte pour évaluer s'ils ont passé le même temps à lire et à remplir une question (pour chaque type de question) que les autres utilisateurs.
3. Mesurer la compréhension à l'aide de métriques qualitatives - vous devez capturer des métriques quantitatives pour ce faire, mais vous pouvez demander aux utilisateurs à la fin s'ils ont trouvé les questions faciles à remplir ou à comprendre, puis les comparer à toutes les autres les utilisateurs qui ont également pensé que la question était facile et comparent leur temps moyen pour lire et répondre aux questions. Encore une fois, ce n'est pas une mesure très précise, mais quelqu'un qui dit que les questions sont faciles mais prennent beaucoup de temps pour le remplir ou quelqu'un qui dit que les questions sont difficiles mais prend très peu de temps pour les compléter peut être exclu.
4. Mesurer la compréhension par la conception des questions de formulaire - vous pouvez facilement rendre votre analyse plus confuse en insérant des `` questions de contrôle '', c'est-à-dire des questions qui tentent d'évaluer si la personne a répondu différemment à une question de même nature. Cela donnerait à penser qu'ils ne sont pas sûrs ou qu'ils n'ont pas lu correctement la première ou la deuxième question, entraînant ainsi des réponses différentes à la même question.

Ce que je suggérerais en fait si vous essayez d'améliorer la qualité des réponses dans le formulaire en ligne, c'est d'examiner les choses qui sont sous votre contrôle, telles que:

• Présentation du formulaire: le rendre propre et simple afin que les gens puissent le lire et comprendre le contenu facilement. Vous pouvez également organiser les champs du formulaire afin que les gens ne le parcourent pas trop rapidement (par exemple, placez l'étiquette au-dessus du champ plutôt que sur la même ligne/ligne)
• Langue du formulaire: encore une fois, rendez-le facile et simple afin que les gens puissent le lire et comprendre le contenu facilement.
• Faites attention à la façon dont vous utilisez les incitations: les gens réagissent de différentes manières aux incitations (et au type d'incitations), alors n'utilisez-les que lorsqu'ils sont déjà prêts à faire la tâche comme motivation supplémentaire pour bien le faire
• Calibrez vos mesures: donc si vous voulez mesurer le sérieux des utilisateurs, ayez un élément de question standard que vous pouvez utiliser comme référence pour chaque type de question.

Answer 5

Une façon très simple de le faire est semblable à la façon dont StackOverflow gère la file d'attente de révision. De temps en temps, une question "expérimentale" aléatoire est posée - dont la bonne réponse est prédéterminée.

S'ils l'obtiennent correctement, alors vous savez qu'ils sont sérieux et font attention. Sinon, vous leur donnez peut-être x nombre d'essais avant de manipuler l'utilisateur non sérieux.

MODIFIER:

Exemple de SO Triage.

Maintenant, je ne préconise pas nécessairement d'afficher un message comme celui-ci pour chaque application, mais il était assez simple de cliquer sur un bouton de leur question de test. La question test ressemblait beaucoup au reste des questions. Bien que les captchas ne soient pas les plus amusants, si l'objectif est d'éliminer les utilisateurs non sérieux comme OP l'a déclaré, alors vous devez prendre des mesures plus sérieuses et le rendre aussi convivial que possible.