Moodle UCLouvain

Construire mon scénario pédagogique  :  Organiser un travail évalué par les pairs

Vous rêvez d'entraîner vos étudiants à la réponse à des questions ouvertes et vous ne pouvez pas assumer toutes les corrections pour votre groupe ? L'activité Atelier de Moodle vous permet d'organiser un travail évalué par les pairs.

Depuis février 2022, l'UCLouvain s'est dotée d'un autre outil qui permet de faire de l'évaluation par les pairs : Comproved.

Via cet outil, les étudiants doivent seulement faire des comparaisons de travaux deux à deux pour définir le travail de meilleure qualité et cela produit un classement général des travaux. L'enseignant corrige lui-même quelques travaux et les notes des autres travaux sont extrapolées.

Quel avantage pour Comproved ? Lorsqu'on utilise l'atelier plusieurs fois avec les étudiants, la moyenne des notes a tendance à augmenter car ils comprennent que le note finale est une moyenne des notes remises. Avec Comproved, on évite ce travers ...
Les activité Comproved peuvent par ailleurs être intégrées à Moodle via le protocole LTI.
Toutes les informations et l'aide sur Comproved dans un cours MoodleUCLouvain ...

Si vous recherchez un outil qui permette de stimuler les interactions entre pairs mais de manière plus formative et moins rigide, vous pouvez consulter la page Alimenter une banque de fiches didactiques qui vous présentera l'outil Base de données de Moodle.

Attention, il n'est pas aisé de récupérer les productions des étudiants dans un Atelier !
Si vous souhaitez télécharger les fichiers soumis, il faut le faire un à un !

NOUVEAU : possibilité de détecter le plagiat dans les productions étudiantes soumises à une activité Atelier !

Un exercice qui permet à l'étudiant d'intégrer les critères d'évaluation^

L'évaluation par les pairs est une solution considérée par les enseignants lorsqu'ils sont confrontés à de grands groupes d'étudiants. Dans la mesure où la modalité d'évaluation finale la plus courante est un examen écrit à questions ouvertes, il est très dommageable qu'un étudiant ne soit pas confronté à la rédaction d'une réponse à une question ouverte avant l'examen final. Si l'évaluation par les pairs est le seul moyen de proposer un exercice proche de l'examen aux étudiants, pourquoi ne pas l'envisager ?

Ce mode d'évaluation présente en outre certains atouts pédagogiques qui sont déjà bien connus de nos collègues anglo-saxons.

Lorsqu'un enseignant met en place une évaluation par les pairs, il met tout en oeuvre pour que l'exercice se rapproche au maximum de la situation d'évaluation finale. Il est donc obligé d'expliciter sa grille d'évaluation et de la céder aux étudiants pour qu'ils procèdent à l'évaluation de leurs pairs. En évaluant les travaux de leurs collègues, les étudiants sont ainsi amenés à s'approprier la grille d'évaluation de l'enseignant.

La consultation des copies de pairs permet aussi à l'étudiant d'observer des améliorations possibles pour ses productions.

L'exercice d'évaluation par les pairs permet donc aux étudiants de mieux cerner les attentes de l'enseignant et constitue donc une excellente préparation à l'évaluation finale.

Notez que vous pouvez aussi organiser des exercices d'évaluation par les pairs en classe, en constituant des groupes d'étudiants qui relisent chacun le travail des autres membres. Certains enseignants UCL ont testé l'évaluation en binôme de travaux de mémoire. L'activité instaure un dynamique d'échange très positive.

Plusieurs enseignants UCLouvain ont déjà expérimenté la pratique. Consultez leur Feedback sur quelques utilisations du peer review à l'UCLouvain.

N'hésitez pas à l'envisager, avec ou sans Moodle

Découvrir les possibilités de l'Atelier Moodle^

Le module Atelier de Moodle permet d'organiser des travaux individuels évalués par les pairs. Il permet de piloter tout le processus à l'aveugle : la remise de travaux, la répartition des travaux pour évaluation et la remise d'une note. Il est aussi possible de proposer aux étudiants l'évaluation préalable de travaux exemplaires, qui n'est pas prise en compte dans la note finale.

L'enseignant gère les différentes étapes de l'activité via un tableau de pilotage très clair mais nous soulignons une certaine rigidité de l'outil :

• si un étudiant fait une erreur sur le fichier remis, il n'y aucun moyen pour le remplacer, une fois la phase d'évaluation lancée;
  
• la gestion des étudiants retardataires est délicate;
  
• si un étudiant abandonne le cours, il est impossible de supprimer ses productions du processus.

Base de données

Comprendre les 5 phases d'un Atelier^

La première phase couvre la mise en place de l'activité et la préparation des travaux exemplaires.  Vous devez notamment rédiger les instructions pour la remise du travail, encoder les critères d'évaluation, rédiger les instructions pour l'évaluation des travaux, ... L'évaluation de travaux exemplaires est facultative mais conseillée. Les étudiants évaluent ces travaux puis sont informés de l'évaluation que l'enseignant a associé à ces travaux. Cette étape permet aux étudiants de prendre en main le logiciel, de découvrir la grille d'évaluation, de faire une première évaluation et de recevoir un retour sur leur manière de coter. Les résultats de cette étape préliminaire n'entrent pas en compte dans le calcul de la note finale de l'étudiant.

La seconde phase vise la remise du travail individuel, qui se déroule de la même manière que lorsqu'il s'agit d'un devoir à remettre à un enseignant. Il faut bien veiller a exiger des étudiants qu'ils soumettent un fichier anonyme.

Au cours de la troisième phase, les travaux sont répartis et soumis à évaluation :
• tous les travaux soumis sont répartis entre les étudiants pour évaluation;
• les travaux évalués sont anonymes;
• chaque travail est évalué par plusieurs étudiants (idéalement 5);
• pour évaluer les travaux, les étudiants reçoivent une liste de critères, dont la pondération est
fixée par l'enseignant (certains critères sont plus importants que d'autres);
• l'évaluation des travaux est un apprentissage en soi qui fait l'objet d'une évaluation.

Notez que l'enseignant dispose d'un tableau pour faire basculer l'activité d'une phase à l'autre :

La quatrième phase concerne la remise de la note à chaque étudiant. Nous expliquons comment la note d'un étudiant est calculée dans la section ci-dessous. Par sécurité, certains enseignants autorisent les étudiants à demander une révision de leur note, sur la base d'une argumentation. Ils doivent alors prendre le temps de trouver une solution pour traiter les cas litigieux.

La cinquième phase consiste en la clôture de l'activité.

Comprendre comment la note de l'étudiant est calculée^

Lors d'un travail d'évaluation par les pairs, la note finale d'un étudiant est la somme de deux notes : la première mesure la qualité du travail de l'étudiant et la seconde mesure la qualité de ses évaluations.

Il peut paraître surprenant que l'on mesure la qualité des évaluations de l'étudiant. Mais si la qualité des évaluations n'était pas mesurée, les étudiants pourraient bâcler ce travail et cela remettrait en question toute la fiabilité du processus.

Chaque enseignant peut choisir le poids de ces deux notes dans la note finale. La plupart du temps, l'évaluation se composera de 60 points sur 100 pour la qualité du travail de l'étudiant et de 40 points sur 100 pour l'évaluation de sa compétence d'évaluateur. Mais lorsque l'enseignement vise explicitement l'acquisition d'une compétence d'évaluation, on peut aussi s'attendre à une répartition 50-50 des deux notes dans la note finale.

Comment est calculée la mesure de la qualité du travail de l'étudiant ?

Le travail de chaque étudiant est évalué par plusieurs pairs, sur la base de critères définis par l'enseignant. L'enseignant décide aussi du poids de chaque critère. Chaque étudiant évaluateur complète donc une grille d'évaluation composée de plusieurs critères. Chaque évaluateur associe dès lors une note partielle au travail. Cette note partielle est calculée de manière habituelle, en faisant une moyenne des notes attribuées à chaque critère, avec la pondération définie par l'enseignant.
Lorsque tous les évaluateurs ont remis leurs notes partielles, la note finale de l'étudiant est calculée sur la base d'une moyenne des différentes notes partielles.

En résumé, chaque étudiant évaluateur remet une note partielle pour un travail et la note finale pour ce travail est la moyenne des notes partielles.

Comment est calculée la mesure de la qualité des évaluations d'un étudiant ?

La qualité des évaluations d'un étudiant est calculée sur la base des écarts entre les notes partielles qu'il a remises et les notes finales attribuées pour ces travaux.
Pour avoir le maximum de points pour une évaluation, l'évaluateur doit donc remettre une note partielle aussi proche que possible de la note finale (qui est la moyenne des notes partielles). S'il s'écarte trop de la note finale, il recevra une mauvaise note pour son évaluation. L'enseignant peut choisir de pénaliser les écarts de manière plus ou moins stricte, selon ses objectifs pédagogiques.
Notez que cette approche correspond à la "comparaison avec la meilleure évaluation" qui est implémentée par défaut.
L'approche d'évaluation par "comparaison avec l'évaluation la plus importante" exige que l'enseignant pondère chaque évaluation étudiante pour influencer le calcul (intéressant mais très lourd).
L'approche d'évaluation par "crédit de participation" permet que la note repose uniquement sur la participation des étudiants à la soumission et aux évaluations.

Moralité : puisque les deux notes sont calculées sur base de moyennes, il est essentiel que les travaux soient évalués par minimum 5 pairs !

Créer une activité d'Atelier^

Avant de vous lancer dans la création d'un Atelier, nous vous conseillons de visionner cette vidéo qui vous présente tout le déroulement de l'activité :

[VIDEO] Belle démonstration de l'atelier Moodle par l'IUT en ligne

L'activité Atelier de Moodle est de loin la plus complexe à configurer, mais elle offre un tableau de pilotage très clair qui vous guidera dans sa mise en place.

1. Évaluation cumulative : une note (obligatoire) et des commentaires (facultatifs) sont donnés sur différents aspects spécifiés.

2. Commentaires : des commentaires sont donnés sur différents aspects spécifiés, mais sans note.

3. Nombre d'erreurs : des commentaires sont donnés ainsi qu'une évaluation de type Oui/Non sur des affirmations spécifiées.

4. Critères : des évaluations de niveau (du type : "Tout à fait", "Plutôt oui", "Plutôt non"...) sont données sur différents critères spécifiés. Des niveaux de note sont associés aux critères.

Si vous souhaitez une présentation détaillée du paramétrage de l'activité Atelier, nous vous recommandons ce manuel en ligne :

[MANUEL] Manuel d'utilisation détaillé de l'atelier Moodle conçu par Mario Calabrese

Stimuler l'engagement des étudiants^

Les notes d'un  Atelier sont calculées sur base de moyennes, et les étudiants comprennent très vite qu'ils ont intérêt à surévaluer les productions.

Pour stimuler un véritable engagement des étudiants dans l'activité, nous vous suggérons de ne pas prendre en compte la note finale pour le travail ou de minimiser sa pondération. Vous pouvez par contre stimuler la participation des étudiants en leur attribuant une note pour avoir participé à l'activité. Exploitez pour cela le Suivi d'achèvement et le Rapport d'achèvement présentés dans la page de manuel Suivre le parcours des étudiants.

Gérer des groupes d'étudiants dans un Atelier^

Un Atelier permet d'organiser l'évaluation de productions individuelles entre pairs, mais, au fil des usages, nous avons dégagé 3 approches pour combiner l'activité à la gestion de groupes:

Evaluer des productions de groupes^

Même si l'activité Atelier est conçue pour fonctionner avec des productions individuelles, certains enseignants réussissent à l'exploiter pour des productions de groupes en nommant un responsable de l'activité par groupe. Cette personne est chargée de remettre le travail au nom du groupe et recevra les évaluations à réaliser au nom du groupe.

Attention, le paramètre Mode de groupe doit être conservé à sa valeur par défaut Aucun groupe sinon l'activité peut devenir dysfonctionnelle. Lisez les paragraphes suivants pour comprendre l'intérêt du mode de groupe dans un atelier.

Au moment de l'attribution des travaux, veillez alors à répartir les évaluations uniquement entre les étudiants qui ont remis un travail. Il vous suffit pour cela de vérifier que le paramètre "Les participants peuvent évaluer sans avoir remis de travail" est bien décoché dans le menu d'attribution des travaux.

Notez que ce cas d'usage détourné vous amènera à gérer la participation à l'activité et la note manuellement puisque un seul étudiants est responsable du travail pour un groupe.

Evaluer des productions individuelles en forçant la revue par groupes^

Si vos étudiants sont répartis en groupes, il est possible de forcer les attributions au sein des groupes d'étudiants.
Dans ce cas, veillez à configurer l'activité Atelier avec un Mode de Groupe à la valeur Groupes séparés.
Si vous utilisez plusieurs séries de groupes dans votre cours, précisez aussi le Groupement associé aux groupes ciblés.
Aucun autre paramétrage n'est nécessaire pour que la répartition se passe eu sein des étudiants d'un même groupe.

Evaluer des productions individuelles en forçant la revue par des pairs d'un autre groupe^

Si vos étudiants sont répartis en groupes, il est possible de forcer les attributions à des pairs d'un autre groupe.
Ce cas d'usage sera intéressant, par exemple, si chaque groupe d'étudiant analyse des thématiques différentes.
Dans ce cas, veillez à configurer l'activité Atelier avec un Mode de Groupe à la valeur Groupes visible.
Si vous utilisez plusieurs séries de groupes dans votre cours, précisez aussi le Groupement associé aux groupes ciblés.

Lorsque l'activité Atelier est configurée de cette manière, une nouvelle option d'attribution apparaît : "Empêcher les revues par des pairs du même groupe".
Veillez à cocher cette option avant de lancer les attributions.

Suite à cet échange dans les forums Moodle, nous avons appris que l'Atelier configuré avec le mode de groupe Groupes visibles et l'option Empêcher les revues par les pairs d'un même groupe mixait autant que possible les attributions à des groupes différents, tout en évitant les attributions au groupe d'appartenance.
Imaginons qu'il y a 5 groupes d'étudiants dénommés A, B, C, D et E et que chaque individu doit faire 4 relectures dans un Atelier configuré comme décrit ci-dessus. Un étudiant du groupe A recevra 1 relecture de chacun des groupes B, C, D, E, F. Si le nombre d'étudiants dans chaque groupe n'est pas équivalent, le mixage sera moins parfait. La meilleure situation pour l'algorithme de mixage est que les groupes comptent le même nombre de participants.