Mesures et évaluation UX en technologie éducative
Mattia A. Fritz
TECFA, Université de Genève
Technologie éducative
La technologie éducative étudie et développe l'usage systématique des procédés, théories et méthodes technologiques pour améliorer l'enseignement, l'apprentissage et les systèmes éducatifs (Bates & Bates, 2005 ; Weller, 2020).
- Elle scénarise une interaction avec la technologie qui sous-tend des processus d'apprentissage
- Elle vise un horizon plus large que l'apprentissage de la technologie elle-même
- Elle défère à la technologie une partie ou l'ensemble du contrat pédagogique (rapport effort/retour)
Avec une interface utilisateur
L'interface (1) numérise un processus cognitif, affectif ou social
de l'apprenant-e, (2) déclenche un traitement
algorithmique
et (3)restitue un état reflétant l'évolution du contrat
pédagogique.
Double perspective
Les éléments de l'interface permettent aux apprenant-es d'effectuer des actions sous-tendant des processus d'apprentissage, mais aussi de fournir des données utiles pour analyser ces processus.
Affordance
Traçage
Approches complémentaires
L'UX, les Learning Analytics et les mesures
psychométriques présentent des recouvrements et sont souvent
combinés dans la recherche en technologie éducative.
Perspectives principales
-
Mesures UX
Plutôt centrées sur l'outil et sur l'adéquation entre les objectifs, la tâche, et les connaissances de l'utilisateur, ainsi que sur la satisfaction de l'apprenant-e. -
Learning Analytics
Plutôt centrés sur les objectifs et la scénarisation pédagogiques, ainsi que sur l'identification de facteurs facilitant ou entravant le processus d'apprentissage. -
Mesures psychométriques
Plutôt centrées sur des facteurs latents, non observables directement, mais qui peuvent être inférés à partir d'indicateurs d'usage ou perception.
Exemple de recherche
Développement et évaluation d'un outil d'awareness émotionnelle dans des environnements d'apprentissage médiatisé par ordinateur.Définitions
Emotional awareness
Informations sur ses propres émotions ou sur celles des autres
qui sont instrumentales à la compréhension des causes et
conséquences d'une situation (Rimé, 2009; Scherer, 2005, 2019; Van
Kleef, 2018)
Dans les environnements d'apprentissage médiatisés
Absence des indices para-verbaux, mais possibilité d'exploiter le
numérique pour aller au-delà de la reproduction des interactions
en face-à-face (Cernea & Karren, 2015; Harley, 2017)
Emotional Awareness Tool (EAT)
Outil qui permet aux apprenant-es d'exprimer et monitorer leurs
propres émotions et/ou celles des collègues dans un environnement
médiatisé par ordinateur (Fritz, 2023; Fritz & Bétrancourt, 2025,
Lavoué et al., 2020)
-
Auto‑évaluation des émotions
Boehner et al., 2007; Fontaine et al., 2013; Lavoué et al., 2020 -
Disponible au fil du moment
Graesser et al., 2014; Molinari, Chanel, et al., 2013; Miller & Hadwin, 2015 -
Basé sur les théories de l'appraisal
Brosch et al., 2013; Pekrun, 2006; Scherer, 2005; Scherer & Fontaine, 2019
Fonctions d'un EAT
(Fritz, 2023)
Évaluation UX d'un EAT
-
Scénarisation dans plusieurs contextes d'utilisation
Usability test (N = 16; Fritz, 2015)
Expérience contrôlée (N = 48; Perrier, 2017; Fritz, 2023)
Outil de support dans un cours à distance (N = 33; Fritz, 2023)
Comparaison stratégies d'awareness (N = 40, Dados-Ribeiro, 2023) -
Mesures d'expression émotionnelle
Dimensions de l'appraisal; sentiment subjectif; modèle computationnel de suggestion -
Mesures de monitorage et intégration des émotions
Eye-tracking dans une expérience contrôlée -
Mesures de perception d'usabilité
System Usability Scale (Brooke, 1996)
Expérience contrôlée
Utilisation de l'outil en tant que facteur expérimental pour comparer trois modalitésRaison d'être de l'étude
L'awareness émotion. contribue à la modélisation mutuelle
Dillenbourg et al. 2016 ; Eligio et al. 2012 ; Molinari et
al. 2013
— Molinari, Chanel, et al., 2013
Conditions expérimentales
Un destinataire et un accès différent à l'information émotionnelle déterminent‑ils l'expression et le monitorage des émotions ?
Mutuel > Partenaire > Self dans l'expression et la perception des émotionsTâche expérimentale
Expression indépendante du type d'interface
| comparaison pairwise | estimation | p‑value |
|---|---|---|
| Self – Partenaire | ‑0,17 [‑6,28 ; 5,95] | 1,00 |
| Self – Mutuel | ‑3,14 [‑8,60 ; 2,31] | 0,34 |
| Partenaire – Mutuel | ‑2,98 [‑8,90 ; 2,95] | 0,44 |
Pas de pattern dans l'évaluation cognitive
Profils d'évaluation de la Valence et du Contrôle ressentis très
différents entre les participants. Ceci corrobore les théories de l'appraisal.
Monitorage semble orientée socialement
| pairwise | estimate | p.value |
|---|---|---|
| Self - Partner | -40.20 [-71.03, -9.37] | 0.01 |
| Self - Mutual | -31.81 [-59.31, -4.31] | 0.02 |
| Partner - Mutual | 8.39 [-21.47, 38.26] | 0.77 |
Partage de l'attention pendant la tâche
Monitorage effectué principalement dans les phases de lecture et
révélation de la solution. L'expression semble diminuer avec le
temps, tandis que le monitorage reste plutôt constant. N = 98'595 fixations longitudinales
Intégration de l'information émotionnelle
Plus de transitions entre expression et monitorage, ainsi que entre
monitorage et tâche dans la condition de modélisation mutuelle. N =
5'998 transitions entre AOI
Évaluation data-driven
Analyse secondaire de données depuis plusieurs contextes d'utilisationMesures d'adéquation de l'outil
System Usability Scale : M = 73.5 (12.8)
Plus bas du benchmark de 80 (Lewis & Sauro, 2018), mais plus
élevé d'un autre outil d'awareness émotionnelle proposé par
Feidakis et al. (2014), avec M = 67.8 (NA)
9 émotions sur 10 utilisent un label proposé L'espace affectif EATMINT semble proposer une gamme de sentiments subjectifs adéquate au contexte de l'apprentissage médiatisé par ordinateur.
3 émotions sur 4 utilisent l'un des boutons
Le mécanisme computationnel qui relie les dimensions de
l'appraisal et le sentiment subjectif semble être utile pour
prédire l'expérience émotionnelle des apprenant-es
Jusqu'ici, tout va bien ?
Limitations du modèle
Emotional Awareness Usefulness (EAU) Scale
Échelle provisoire : croisement de la littérature, des échelles existantes et du modèle abstrait| # | Dimension | Item |
|---|---|---|
| 1 | Fréquence | J'utilise l'outil fréquemment |
| 2 | Affordance | L'outil m'incite à partager mes émotions |
| 3 | Présence sociale | L'outil me permet de me sentir moins seul-e |
| 4 | Compréhension de soi | L'outil m'aide à mieux comprendre mes émotions |
| 5 | Compréhension d'autrui | L'outil m'aide à mieux comprendre les émotions de mes collègues |
| 6 | Comparaison soi‑autrui | L'outil me permet de comparer mes émotions à celles de mes collègues |
| 7 | Autorégulation | L'outil me permet de réguler mes émotions |
Propriétés psychométriques
| \(\omega_h\) | \(\alpha\) | \(\omega_{tot}\) | Uni |
|---|---|---|---|
| 0.6 | 0.86 | 0.9 | 0.86 |
Conclusion
Apports de la dimension UX dans une recherche en technologie éducativeTake-home messages
L'UI est le trait d'union
entre théorie et objectifs
Chaque élément de l'interface sous-tend un processus théorique
qui possède un objectif pédagogique et implémente un scénario
d'utilisation à évaluer.
Analyse en profondeur des indicateurs
Les mesures d'agrégation cachent souvent la complexité d'un
phénomène. Il est nécessaire de contextualiser et agir sur des
niveaux de granularité plus fins.
La perspective UX est pragmatique, mais pas simpliste
Le contrat pédagogique passe à travers l'utilisation (ou non
utilisation) de l'interface utilisateur, souvent négligée dans des
recherches avec un degré d'abstraction plus élevé.
Méta-UX avec une boîte à outils
Les chercheurs et les concepteurs pédagogiques peuvent créer et partager des instances de l'outil et recueillir des données. toolbox.dynamicemotionwheel.ch
