Qu'attendent les utilisateurs d'une question à réponses multiples?
J'ai plusieurs systèmes de test/enquête. L'un des grands débats est de savoir comment traiter les questions qui nécessitent plusieurs réponses.
Configuration # 1
L'utilisateur doit avoir coché les cases exactes. S'ils le font, ils obtiennent "1" point, sinon, ils obtiennent "0" points.
Configuration # 2
L'utilisateur obtiendrait des points pour chaque bonne réponse qu'il choisit. S'il y avait deux bonnes réponses sur quatre, chacune valait "0,5". Et puis l'auteur de la question pourrait donner des points négatifs aux autres réponses (vous ne pouvez jamais obtenir un score pire qu'un "0" sur une question). Donc, si les deux autres réponses étaient "-.5" et que l'utilisateur sélectionnait les deux bonnes réponses et une mauvaise réponse, il obtiendrait ".5" points sur 1 pour la question.
Configuration #
Identique à # 2 sauf qu'une mauvaise réponse signifie que vous obtenez un "0". Ils conserveraient donc la moitié du crédit s'ils marquaient seulement 1 des 2 bons choix.
Quelle est la façon la plus précise de suivre les scores? Et qu'attendent les utilisateurs lorsqu'ils répondent à plusieurs réponses? De mon point de vue, toute la raison d'utiliser des réponses multiples est de créer une question plus difficile.
C'est une question intéressante, et je pense que vous devriez également considérer la réponse du point de vue de la conception d'apprentissage/pédagogique plutôt que du seul point de vue de l'utilisateur.
Configuration # 1 suggère qu'il n'y a que de bonnes et de mauvaises réponses et rien entre les deux, donc les questions devront correspondre à cette philosophie. Je pense que cela s'applique assez bien lorsque les détails sont peut-être assez importants et que vous ne pouvez pas obtenir quelque chose de "presque correct", comme c'est le cas pour les informations liées à la sécurité.
Configuration # suggère qu'il existe une réponse optimale, mais il n'est pas nécessaire de tout obtenir correctement dans un résultat valide, donc les questions sont idéalement structurées pour essayer de différencier les personnes qui couvrent les choses plus en profondeur et les connaissances par rapport à ceux qui ne couvrent que le large aperçu des choses.
Configuration # 2 est intéressant car il attribue des scores négatifs pour les réponses incorrectes, et il est donc plus difficile dans le sens où vous pouvez obtenir les scores les plus bas de toutes les configurations et donc les plus puissants pour segmenter le étudiants de capacités différentes.
Bien que je ne pense pas qu'il existe une configuration optimale, l'accent devrait être mis sur le fait que le type de notation correspond à l'intention de la question. En fait, je recommanderais même probablement une configuration mixte si le but est vraiment de s'assurer que les élèves atteignent leurs objectifs d'apprentissage plutôt que d'essayer de les séparer très clairement en fonction de leurs capacités d'apprentissage.
En fait, il est également intéressant de savoir si vous révélez la configuration de notation pour chaque question, car les étudiants opteront également pour différentes stratégies pour répondre à la question en fonction de leur propre confiance pour obtenir la bonne réponse.
De mon point de vue, toute la raison d'utiliser des réponses multiples est de créer une question plus difficile.
Les réponses ouvertes sont les types de questions les plus difficiles car elles ont besoin de plus précision sur les réponses. Cependant, l'évaluation de ces questions est difficile pour les machines.
si vous devez lier plusieurs types de questions et si votre objectif est de rendre la question plus difficile, la stratégie tout ou rien conviendra à votre solution.
En plus de cela, la stratégie de récompense et de punition peut également fonctionner, mais trop de points négatifs peuvent également avoir des effets négatifs sur la motivation à continuer le reste des questions ou à créer un comportement indésirable comme redémarrer le test.