Comment intégrer le clavier de prédiction Word dans le système BCI (interface ordinateur cerveau) basé sur P300?
Voir cette question dans Sciences cognitives .
Un BCI basé sur P300 est conçu pour que les patients enfermés puissent communiquer, le P300 est une onde cérébrale provoquée dans le processus de prise de décision. Farwell et Donchin (1988) ont décrit un système avec une matrice d'orthographe 6x6, et diverses colonnes ou rangées sont mises en évidence. "Lorsqu'une colonne ou une ligne contient le caractère qu'un sujet désire communiquer, la réponse P300 est déclenchée (puisque ce caractère est" spécial "c'est le stimulus cible décrit dans le paradigme typique de l'oddball). La combinaison de la ligne et de la colonne qui a évoqué la réponse localise le caractère souhaité. "(voir un exemple sur la figure 1.). Comme l'a commenté Rumi P., vous pouvez voir ce système comme une boîte noire, mais un affichage clignotant est nécessaire pour déclencher un stimulus (P300) chez l'utilisateur (commentaire de Jayfang) car les utilisateurs cibles sont des patients enfermés. Le but d'ajouter la prédiction de Word est d'augmenter sa vitesse, actuellement, les patients peuvent épeler avec précision 3,4 à 4,3 caractères/min.
Selon ce système, une seule cible peut être détectée à chaque fois, donc un seul groupe clignotant (lignes et colonnes) à l'écran. Si nous utilisons le clavier de prédiction de mots dans ce système, une fois qu'une lettre est sélectionnée, les mots prédits apparaissent à l'écran. Si les mots prévus clignotent avec les lignes et les colonnes, le système n'est pas en mesure de dire lequel (mots ou lettres) sélectionner. Quelle est la meilleure façon d'intégrer le clavier de prédiction Word dans ce système? deux idées ci-dessous:
- pour que le clavier disparaisse après la sélection d'une lettre, ne laissez apparaître que les mots prévus à l'écran. Si rien n'est sélectionné dans un temps limité, supprimez les mots et le clavier revient, le sujet continue à épeler.
- même idée que ci-dessus, au lieu de retirer le clavier, juste pour empêcher le clavier de clignoter lorsque les mots prévus clignotent après la sélection d'une lettre. Cependant, les deux peuvent ralentir le processus d'orthographe si les sujets n'ont besoin que de mots de 3 lettres ou moins. D'autres idées?
Fig. 1. Un exemple du Brain-Computer Interface Laboratory à East Tennessee State University [Pour épeler le mot "DOG", alors que les lignes et les colonnes clignotent successivement, l'utilisateur doit compter combien de fois la lettre "D" (la cible ) clignote. Il en résulte qu'une réponse P300 est générée à chaque fois que la ligne ou la colonne contenant la cible clignote. La série de douze flashs est répétée un nombre prédéterminé de fois. Les réponses pour chaque ligne et colonne sont moyennées, et un classificateur est appliqué pour déterminer à quel point chaque réponse moyennée ressemble au P300. L'intersection de la ligne et de la colonne avec les valeurs de classification les plus élevées est sélectionnée. Dans ce cas, la ligne et la colonne contenant la lettre cible "D" seraient sélectionnées, et un "D" serait présenté comme rétroaction à l'utilisateur sur la ligne sous le mot "DOG" présenté en haut de la matrice.]
Farwell, L. A. et Donchin, E. (1988). Parler du haut de votre tête: vers une prothèse mentale utilisant les potentiels cérébraux liés à l'événement. Électroencéphalographie et neurophysiologie clinique, 70 (6), 510-523. doi: 10.1016/0013-4694 (88) 90149-6
Pas une réponse définitive, car je n'ai jamais travaillé avec ce type d'appareil. Mais c'est probablement une suggestion qui mérite d'être poursuivie si vous êtes dans ce domaine.
D'après ce que je comprends, le système sait quoi a été reconnu à cause du temps auquel il a été reconnu. L'utilisateur qui veut épeler "D" voit "D" clignoter, le système remarque que son cerveau a généré un P300 au moment où D a clignoté, le système conclut que l'utilisateur voulait épeler D. Vous ne pouvez pas mettre plus d'un stimulus "voulu" sur l'écran en même temps, car vous ne pouvez pas savoir lequel a déclenché le P300. Vous êtes donc obligé de montrer les stimuli en série et attendez une réaction.
En tant que spécialiste UX, ma première idée est de combiner le système avec un appareil d'enregistrement du regard. Ce sont des technologies assez courantes de nos jours, et leur prix sera probablement négligeable par rapport à votre configuration EEG. Leur résolution temporelle est suffisamment bonne pour pouvoir enregistrer des saccades individuelles.
Une décision a un certain retard neurologique, mais elle est de l'ordre de quelques centaines de millisecondes, et je pense que la variation n'est pas si terriblement élevée. Si l'on sait où le patient regardait au cours des dernières millisecondes, il devrait être possible de limiter les fixations du regard possibles qui ont déclenché la décision à un très petit nombre. Ainsi, vous devriez pouvoir afficher plusieurs stimuli sur le même écran et les distinguer (encore une fois en fonction de l'heure à laquelle ils ont été vus) comme déclencheur de la décision. Je pense que la raison pour laquelle les auteurs originaux n'y ont jamais pensé est simplement que la technologie de reconnaissance du regard était très primitive dans les années 80. S'ils le savaient, il n'offrait probablement pas une résolution temporelle et spatiale suffisante.
Veuillez consulter un neurologue sur la faisabilité de cette approche. Ma connaissance des neurosciences se limite à un matériel plus élémentaire, et il y a peut-être un problème évident que je néglige. J'espère que, lorsque vous travaillez sur un tel projet, vous avez accès à un expert en domaine.
Avez-vous envisagé d'augmenter simplement le nombre de lettres saisies avant d'afficher ou d'offrir le texte prédictif? En définissant une porte à - disons - trois lettres, vous évitez le court problème Word et réduisez considérablement la liste des réponses possibles pour vos sélections prédictives.
Après quoi, vous pouvez suivre votre propre suggestion de flasher le texte prédictif d'abord, puis de parcourir le contenu dans le modèle normal.