Manuel Moodle UCLouvain - Enseignants

Construire mon scénario pédagogique  :  Réguler la dynamique de groupes avec Dynamo ← NOUVEAU

Vous organisez des travaux de groupes et vous rêvez d'un outil qui vous indique les groupes en difficulté et qui vous donne une idée de l'implication de chacun? Le fond de développement pédagogique UCLouvain a financé le développement de l'activité dynamoDynamo à ces fins !

Le moteur de notre Dynamo : l'évaluation par les pairs ...^

L'outil  dynamo Dynamo est basé sur une évaluation de la dynamique de groupe par les pairs. Chaque étudiant est invité à évaluer les autres membres de son groupe d’apprentissage sur plusieurs dimensions (responsabilité, expertise, attitude, etc.), et à s’évaluer lui-même. Ces évaluations sont ensuite traitées afin de

dynamo
  • mettre à la disposition des enseignants des indicateurs leur permettant de diagnostiquer en un coup d’œil les groupes en difficulté et les dimensions de la collaboration à prendre en charge.

  • objectiver, sur la base d’autoévaluations et d’évaluations par les pairs, les conflits potentiels et le degré d’engagement de chaque membre dans un groupe ;

  • fournir aux enseignants des informations tangibles, ancrées dans les évaluations étudiantes, pour discuter avec eux des problèmes éventuellement rencontrés dans leur groupe au cours de la réalisation du travail ;

  • offrir aux enseignants, sur la base de ces mêmes évaluations, la possibilité de pondérer le travail collectif par une note individuelle rendant compte de la contribution apportée par chaque étudiant .


attentionAvertissement ! N'utilisez pas dynamo Dynamo seulement dans une logique certificative. Nous indiquons plus bas quelques pistes pour exploiter les résultats pour générer une note, mais il est essentiel de proposer cette activité plusieurs fois à des fins formatives, avant d'envisager de l'exploiter à des fins certificatives !

attentionAttention ! Ne lancez pas votre activité dynamo Dynamo si vos groupes ne sont pas stabilisés. Le plus sage pour gérer des déplacements de groupes est de retirer le ou les groupes visés du groupement, d'ajouter un ou deux nouveaux groupes au groupement, d'y verser les étudiants manuellement et d'inviter les étudiants à refaire les évaluations.


Découvrir comment fonctionne Dynamo en vidéo^

[Vidéo] Démonstration du fonctionnement et de l'exploitation de Dynamo


Parcourir la grille d'évaluation de la dynamique de groupe^

critères d'évaluation

La grille d'évaluation de la dynamique de groupe comporte des critères suivants (ils ont été légèrement reformulés suite aux retours des enseignants) :
  • icone de participationParticipation* : rencontres, ponctualité, respect des règles du groupe;
  • icone de responsabilitéResponsabilité* : accomplissement des tâches confiées par le groupe et respect des engagements (lectures, recherches, rédaction, etc);
  • icone d'expertise scientifiqueContribution scientifique* : richesse et qualité des recherches, rigueur dans l'utilisation et la formulation des idées et concepts scientifiques;
  • icone d'expertise techniqueContribution méthodologique* : capacité à utiliser les outils méthodologiques et techniques pour la réalisation des activités (logiciels ou matériel, méthode de recherche, protocoles, bibliographie, citation des sources…);
  • icone d'attitudeCollaboration* : esprit d'équipe, respect des personnes, contribution à la cohésion du groupe et à un bon climat de travail, qualité d'écoute et d'ouverture;
  • icone pour un critère personnaliséCritère personnalisé (facultatif) : l'enseignant peut définir un critère d'évaluation personnalisé spécifique au travail organisé, par exemple pour évaluer la qualité des échanges entre groupes.
* Les 5 premiers critères ont été sélectionnés sur base d'une veille pédagogique sur la dynamique de groupe. Ils sont obligatoires car la qualité des indicateurs générés en dépend. L'enseignant peut seulement ajouter des éléments personnalisés pour mieux décrire les critères imposés (visibles dans les infobulles d'information).

Les participants sont invités à évaluer chaque membre du groupe selon ces critères sur une échelle graduée à 5 niveaux. Ils doivent aussi s'auto-évaluer et, éventuellement,  évaluer leur groupe de manière globale selon les 5 (ou 6) critères.

Les individus sont aussi invités à compléter 2 champs de commentaires ouverts :
  • un commentaire sur leur contribution dans le groupe;
  • un commentaire sur le fonctionnement du groupe en général.
commentaires ouverts dans grille d'évaluation

Préparer le formulaire d'évaluation et récolter les réponses^

Parcourons à présent les paramètres à spécifier lorsque vous ajouter une activité dynamo Dynamo ...

Le plus important est d'avoir préalablement associé un groupement à la série de groupes qui devront participer à l'évaluation. C'est ce qui est conseillé de faire par défaut mais si vous découvrez cette pratique, référez-vous à la section du manuel qui correspond à votre situation :
Une fois le groupement spécifié, vous pouvez, pour chacun des critères d'évaluations imposé, personnaliser la description du critère selon les attentes spécifiques de vos travaux de groupes:
personnalisation critère Dynamo
Les descriptions des commentaires ouverts peuvent aussi être personnalisées et vous pouvez choisir si les étudiants doivent évaluer globalement leur groupe. L'auto-évaluation est par contre obligatoire car elle permet de générer des indicateurs très intéressants pour le suivi.

Une fois cette activité configurée, vous pouvez prévisualiser le formulaire via l'onglet Prévisualisation. Si tout est bien configuré, vous pouvez inviter les étudiants à compléter l'évaluation en veillant motiver la démarche formative pour assurer un taux de réponse aussi élevé que possible.

Au fil de la complétion des évaluations, vous verrez les résultats évoluer via les onglets Résultats et Rapport. Notez que le rapport "Liste des participants sans réponse" vous indique la liste des participants qui n'ont pas complété le formulaire d'évaluation, pour vous permettre d'effectuer des relances ciblées.
rapport des non réponses dynamo

Découvrir les indicateurs calculés par Dynamo^

Nouveaux indicateurs sur la dynamique de groupe depuis avril 2022 !

 dynamo Dynamo génère 5 types d'indicateurs :

Indicateurs Cible d'évaluation Interprétation Visuels
Implication relative*
individu
= 1   L'étudiant a contribué autant que les autres au travail.
< 1   L'étudiant a contribué moins que les autres.
> 1   L'étudiant a contribué plus que les autres.
bleuimplication relative supérieure ou égale à 1
orangeimplication relative entre 1 et 0.9
rougeimplication relative entre 0.9 et 0.8
noirimplication relative inférieure à 0.8
Assurance relative*
individu = 1  L'étudiant évalue correctement son niveau global.
< 1  L'étudiant se sous-évalue.
> 1  L'étudiant se surévalue.
bleuassurance relative inférieure ou égale à 1
orangeassurance relative entre 1 et 1.10
rougeassurance relative entre 1.10 et 1.25
noirassurance relative supérieure à 1.25
Cohérence**
dynamique de groupe Indique pour chaque étudiant s'il y a une cohérence/variance dans les évaluations des pairs
(pour la facilité de lecture, la variance a été amplifiée pour afficher un nombre de l'ordre de 1)
bleucohérence inférieure ou égale à 0.15
orangecohérence entre 0.15 et 0.25
rougecohérence entre 0.25 et 0.6
noircohérence supérieure à 0.6

Cohésion**
dynamique de groupe
Indique un degré de cohésion du groupe au travers d'indicateurs visuels (calculé sur base de la variance moyenne des étudiants du groupe)
cohésion parfaiteindique un groupe avec une cohésion parfaite (suspect, les étudiants peuvent s'être mis d'accord sur la note)
2 coeursindique un groupe où la cohésion est très bonne
cohésion faibleindique un groupe où la cohésion est faible
coeur briseindique un groupe où la cohésion est mauvaise
conflitindique un groupe qui est très probablement en conflit
Climat urgence d'intervention
Compile les 4 indicateurs précédents et leur niveau de gravité pour générer un indicateur visuel global qui indique le degré d'urgence d'intervention. 5 niveaux d'urgence, du moins grave au plus grave :
soleil  soleil et nuage  soleil pluie  pluie  orage
* Cet indicateur est un indicateur validé dans la littérature mais la manière dont nous définissions les seuils sera éprouvée durant l'année académique 2019-2010.  Plus d'informations sur le Normalized Invidual Weighting Factor (NIWF) utilisé pour notre taux d'implication relative ...
** Ces indicateurs ont été revus en avril 2022 pour présenter une information plus fiable : la variance sur les évaluations d'un étudiant.

Analyser les résultats et organiser le feedback^

Les étudiants n'ont aucun retour automatique sur les évaluations des groupes via la plateforme. Il nous paraît trop délicat de communiquer les indicateurs aux étudiants sans une discussion associée, en particulier en cas de difficulté. Il est donc important d'organiser un feedback pour les groupes, en veillant en particulier à fournir une régulation dans les groupes où la dynamique peut être améliorée.
Les Résultats (dans l'onglet de même nom) sont présentés en 3 vues :
  • Vue d'ensemble : ce tableau de pilotage qui présente la liste des groupes avec les indicateurs visuels synthétiques; chaque membre d'un groupe est représenté par une icône de personne et vous pouvez visualiser les noms et photos en survolant les icônes
    vue d'ensemble des résultats dynamo
  • Détails du groupe : présente les indicateurs pour analyser la dynamique du groupe et les commentaires ouverts, avec des graphiques qui comparent les évaluations de chacun avec les évaluations des pairs selon les différents critères d'évaluation;
vue d'ensemble des résultats dynamodétail du groupe partie 2 Dynamo
Détails du participant : présente toutes les données sur un individu.
détail du participant dynamoCAPTURE
Dans chacune de ces vues, les indicateurs préoccupants sont surlignés en couleur selon le degré de gravité.

dynamo Dynamo génère aussi divers Rapports (via l'onglet associé) :
rapport des assurances relatives dynamo
  • la liste des participants sans réponse (pour les relances);
  • le trombinoscope des groupes;
  • les rapports des groupes : affiche les rapports de tous les groupes sur une seule page (pour impression ou export pdf via le navigateur);
  • les rapports individuels : affiche tous les rapports individuels sur une seule page (pour impression ou export pdf via le navigateur);
  • le graphique des assurances relatives : met clairement en évidence les individus qui se surestiment dans le groupe (à rencontrer en priorité);
  • un export Excel : cet export permet un archihvage de toutes les données de l'activité Dynamo dans un seul fichier.

Pour organiser le feedback aux groupes,
  • nous vous conseillons de vous concentrer sur les groupes en difficulté sur base de la colonne "Climat" dans la vue d'ensemble. Vous pouvez trier votre liste de groupes sur base de ce critère;
  • pour ces groupes, analysez les résultats de groupe et individuels, vous pouvez aussi les imprimer (utilisez les possibilités d'impression en pdf de votre navigateur pour générer un fichier pdf);
  • consultez aussi les rapports (onglet Rapports) à titre informatif, notamment le trombinoscope qui peut être utile et le rapport des assurances relatives qui met clairement en évidence les étudiants qui se surestiment beaucoup;
  • rencontrez les groupes ou individus en difficulté.
attentionAttention, notez que les indicateurs et seuils critiques sont encore à valider, construisez vos feedbacks comme des discussions basées sur l'analyse retournée par dynamo Dynamo. Il peut aussi arriver que plusieurs individus s'associent pour donner un mauvais feedback sur une personne. C'est au travers d'une discussion que vous pourrez faire émerger les problèmes.

Les premières utilisations de dynamo Dynamo ont montré que souvent, quand il y a des difficultés dans un groupe, plusieurs indicateurs virent au orange ou au rouge. Un étudiant n'est pas assez présent, il se surévalue en espérant que son désinvestissement passe ainsi inaperçu, et tout cela compose pour générer des indicateurs de cohérence et de cohésion critiques ...

Exploiter les indicateurs pour adapter la note selon l'implication individuelle^

L'indicateur d'Implication relative a été conçu pour permettre aux enseignants de prendre la mesure de l'implication de chaque étudiant dans un travail de groupe. Cet indicateur a été construit sur base de références bibliographiques solides et il peut donc être utilisé pour adapter la note. La formule idéale pour l'exploiter est encore à construire ...

attention Attention ! L'utilisation de l'indicateur d'implication relative pour moduler la note suppose que vous veilliez à annoncer cette modalité d'évaluation dès le départ.


Mais voici les modalités d'usage conseillées :
  • savoir travailler en équipe fait partie des compétences transversales de nombreux programmes de cours, mais les étudiants doivent pouvoir bénéficier de feedbacks formatifs avant de recevoir une note associée; veillez donc à faire au moins une utilisation formative de dynamo Dynamo à mi-parcours et veillez à fournir du feedback aux groupes et/ou aux individus en difficulté, via une rencontre associée à une discussion;
  • prévoyez ensuite une activité dynamo Dynamo certificative en fin de parcours et prenez en compte l'implication relative pour pondérer la note de groupe pour générer une note individuelle pour le travail;
  • un exemple de formule utilisée par un enseignant pour atténuer l'impact de l'implication relative (pondération de 70% de la note) :
    Note individuelle = Note de groupe * [0.7 *  Implication relative + 0.3] 
  • certains enseignants visant explicitement l'acquisition de compétences de travail en équipe vont au-delà et proposent une pondération directe de la note par l'implication relative (pondération de 100% de la note) :
    Note individuelle = Note de groupe * Implication relative
  • d'autres prévoient une marge de correction maximale pour que la différence entre la note individuelle et la note de groupe reste de l'ordre 10% du score maximum (maximum 2 points d'écart pour une note sur 20);
  • pour exploiter facilement l'indicateur d'implication relative, utilisez l'export tableur export tableurdes données disponible via l'onglet Rapports. Les indicateurs individuels sont listés dans la seconde feuille du fichier tableur.

Exploiter les indicateurs pour générer une note pour la dynamique de groupe^

Si le travail en équipe figure dans la liste des compétences transversales à exercer et à évaluer dans votre cours, nous vous suggérons d'exploiter dynamo Dynamo à divers moments du travail de groupe pour réguler la dynamique des groupes.

Pour l'instant, il est assez délicat d'exploiter les indicateurs de cohérence et de cohésion à des fins certificatives car ils sont encore assez expérimentaux. Nous vous conseillons dès lors d'évaluer la progression des étudiants dans leur dynamique de groupe et leur prise en compte des feedbacks lors des différentes discussions de régulation.

Si vous trouvez une modalité d'évaluation qui vous paraît efficace, n'hésitez pas à nous le signaler à l'adresse moodle uclouvain contact knipoog

Exporter les résultats^

A la fin d'une année académique, vous devrez archiver les résultats des activités dynamo Dynamo de votre cours. Toutes les données sur l'activité sont reprises dans l'export tableur disponible via l'onglet Rapports > Export xls > export tableur.
Le document exporté contient 3 feuilles :
  • une feuille avec les indicateurs de groupe;
  • une feuille avec  les indicateurs individuels;
  • une feuille avec les données brutes.

Rapport d'analyse sur les usages de TeamUp et Dynamo^


Durant l'année académique 2021-2022, le Fond de développement pédagogique UCLouvain a financé une analyse des usages de TeamUp et Dynamo qui a permis de nourrir cette page de manuel.
N'hésitez pas à parcourir le rapport d'analyse sur les usages de TeamUp et Dynamo, basé sur des entretiens avec une dizaine d'enseignants utilisateurs.


Les personnes qui ont contribué à ce plugin^

Cette réalisation a été rendue possible grâce à la synergie d’une équipe pluridisciplinaire composée des personnes suivantes :

  • Bruno Schoumaker, au pilotage du projet et à la recherche d’un indicateur pour détecter les « passagers clandestins » ;

  • Philippe Bocquier, à la poursuite d’un indicateur d’implication individuelle pour pondérer les notes ;

  • Patrick Gerin, en quête d’indicateurs de conflits et de graphiques utiles pour les tuteurs ;

  • Andreia Lemaître, en quête d’indicateurs de feedbacks formatifs ;

  •  Séverine Gossiaux, à la veille pédagogique sur les critères d’évaluation des groupes ;

  • Marie Demoulin, pour l'enquête sur les usages de l'outil auprès des enseignants;

  • Dominique Palumbo, au clavier pour le développement sur Moodle ;

  • Isabelle Motte, au tableau pour le design des interfaces et la bonne intégration à Moodle.






Finalisé