Après que nous ayons passé deux semaines à collaborer à l’amélioration de deux livrets, tout en améliorant notre propre travail avec l’aide de deux autres relecteurs, les 10 derniers jours du Mooc ArchInfo 2016 de l’ENS de Lyon ont été consacrés à l’évaluation. Les 66 participants encore en lice, moi y compris, se sont donc vus confier quatre livrets tirés au sort parmi ceux de leurs pairs. Conséquence logique, chaque livret -dont le mien- a été confié à quatre évaluateurs, pour obtenir 4 notes et séries de commentaires.
1-Evaluer autrui
S’évaluer soi-même n’est pas chose aisée, mais évaluer le travail d’autrui quand on n’en a pas l’habitude, c’est très intimidant, malgré l’aide des directives de l’équipe pédagogique.
Le travail de relecture antérieur a facilité ma tâche d’évaluateur. Le fait d’avoir réfléchi aux thèmes abordés pendant la rédaction de mon propre livret était un premier élément. Si j’ai survolé un peu au hasard plusieurs livrets disponibles dans l’espace des livrets publics pour piocher des idées, devoir en commenter deux, donc les lire attentivement en se demandant comment les améliorer était un peu comme une évaluation sans note, seulement des appréciations.
Certains dans les discussions ont fait part de leur souci de légitimité comme néophytes face à un livret écrit par un spécialiste. Ce n’était pas mon cas : nous avions tous réfléchi plusieurs semaines durant sur les mêmes sujets, chacun avec notre vécu, notre expérience, notre ressenti, ce qui nous rendait tous également légitimes, d’autant que le produit fini devait rester accessible, tant pour le spécialiste que pour l’ex-néophyte. Dès ma première lecture en diagonale de mes quatre livrets, j’avais une idée des positions relatives de chacun d’entre eux. Si je n’ai pas eu de problème particulier pour livrer mes appréciations, il n’en a pas été de même pour les notes. Comment donner une note qui soit à la fois le reflet de la qualité d’un livret et qui soit aussi en accord avec les notes des autres évaluateurs, sans avoir les 66 livrets à sa disposition comme points de comparaison?
2-Une grille d’évaluation
10 jours pour évaluer quatre livrets, c’est amplement suffisant… Quand on a l’habitude. Je dois avouer que j’ai un peu procrastiné les premiers jours. Ce qui m’a débloqué, c’est la grille de notation proposée par Saintrapt, un apprenant très actif dans les discussions du Mooc, qui s’est inspiré des consignes de l’équipe pédagogique :
Pour juger de la qualité d’un livret, vous pouvez vous poser les questions suivantes :
- Les activités proposées dans chaque séquence ont-elles été réalisées ? Les réponses sont-elles pertinentes ? Les réponses sont-elles suffisamment explicites pour être convaincantes ?
- Le livret comprend-il d’autres éléments ? Si oui, sont-ils pertinents ? Leur présentation est-elle suffisamment explicite pour être exploitable par quelqu’un d’autre que l’auteur du livret ?
- La forme est-elle soignée ? Le livret comprend-il une couverture ? Une structure en sections ou chapitres facilitant la lecture ? Des illustrations agréables et parlantes ? La rédaction du texte est-elle claire et correcte ?
- La personnalité de l’auteur du livret ressort-elle à la lecture du livret ? Avez-vous été surpris(e) ou séduit(e) à la lecture du livre
Un échange s’en est suivi, qui m’a aidé à déterminer comment affiner mes notes. Les deux points les plus problématiques concernaient les livrets où il manquait des activités, et ceux pauvres en éléments extérieurs. On ne peut que regretter que nous n’ayons été que trois à réfléchir à voix haute (saintrapt, cfaureguichard et moi), alors qu’il restait 66 personnes avec des livrets sur les bras. Comment allaient noter ceux qui sont restés dans leur coin? Quelle proportion ont suivi les échanges sans intervenir? Dans quelle mesure en ont-ils tenu compte? On ne le saura jamais.
De cette discussion, j’ai retenu trois choses :
- Ceux qui n’ont pas fait toutes les activités auraient moins de points que ceux qui ont proposé une réponse aux six, qui seraient moins bien notés que les livrets soignés, structurés, pertinents et convaincants.
- Pour ne pas dégoûter du domaine de l’architecture de l’information ceux qui sont parvenus à la dernière étape, même les moins bons devaient avoir une attestation, mais avec le minium de points, pour ne pas léser les meilleurs.
- Inversement, on pourrait pousser vers 100% pour les meilleurs livrets : l’équipe pédagogique avait bien précisé que la perfection n’est pas de ce monde et qu’il fallait tenir compte du temps imparti.
Mon tableau pour évaluer mes quatre livrets, dérivé de celui de Saintrapt, a donc aboutit à ceci :
3-Attestations pour tous
Le barème était connu par tous ceux qui se sont lancés dans l’aventure. Pourtant, nombreux ont été ceux qui n’en ont absolument pas tenu compte : activités manquantes ou incomplètes, absence totale d’éléments extérieurs, des résultats pas du tout contextualisés, etc… Il ressort des discussions qu’il y a même eu un cas de plagiat et un autre de vol d’image entre livrets (sans l’attribuer à son auteur d’origine). Il a ainsi fallu se montrer plus que magnanime pour limiter le nombre de collés, sans pour autant léser les meilleurs livrets, qui eux eux étaient parvenus à un bon résultat dans le temps imparti, soit huit semaines. Difficile.
La note du livret était donc subdivisée en 4 critères qu’il nous revenait d’évaluer :
- Activités (50%)
- Eléments extérieurs (30%)
- Forme (10%)
- Personnalité (10%)
Mais la note du livret ne représentait qu’une partie de la note finale de la cadence 2 du Mooc ArchInfo, qui comprenait trois composantes :
- La note du livret (70%)
- La note de collaboration (relecture par les pairs, 20%)
- La note d’évaluation (évaluation par les pairs, 10%)
Pour s’accorder au second point qui avait émergé des discussions (attestations pour tous), il ne suffisait donc pas d’attribuer 50% à un livret évalué comme parmi les moins bons. 50% au livret (en admettant que les autres évaluateurs aient abouti au même chiffre), cela compte pour 35% au global (la moitié de 70), soit un ratio de 35/50=0,7. Il aurait alors fallu trouver 15 points sur les deux autres composantes pour obtenir l’attestation. La note d’évaluation représentant peu de points, c’est sur la note de collaboration que j’ai décidé de faire une conjecture. Si les deux livrets relus avaient juste la moyenne, ils rapportaient 10 points à la note globale (la moitié de 20).
4-Résultats
J’ai donc décidé de ne pas noter en dessous de 55% (arrondi de 53,5= 50+10×0,7/2). Les notes que j’ai attribuées ont finalement été les suivantes :
- 57 (deux activités manquantes)
- 59 et 62 (presque pas d’éléments extérieurs)
- 90 (le seul des quatre qui a vraiment joué le jeu)
Restait une question : comment les trois autres évaluateurs allaient noter ces quatre livrets? Voyez par vous même :
Quand je lis Saintrapt qui a eu des écart beaucoup plus importants en utilisant la même grille, je me dis que j’ai eu une bonne part de chance : mes trois co-évaluateurs avaient manifestement décidé de prendre à leur compte l’idée d’attribuer l’attestation à tous, qui avait émergé des discussions. D’ailleurs, c’est un parti-pris qui a bien infusé, car le bilan de J. M. Salaün indique que sur les 66 participants à la phase d’évaluation, 60 ont reçu l’attestation de suivi de projet délivrée par l’ENS de Lyon. Notre discussion à trois sur les notes aurait-elle finalement eu plus de portée que nous ne l’imaginions?
92% pour les quizz, 87,5% pour l’amélioration collaborative, 94% pour l’évaluation… Il reste une note à découvrir, celle de mon propre livret. Les commentaires de mes deux relecteurs avaient été encourageants. Mes quatre évaluateurs allaient-ils avoir le même avis? Encore un peu de patience, il me reste un billet à rédiger pour détailler mes résultats. Sans spoiler outre mesure, je peux déjà vous dire que j’ai eu l’attestation pour la cadence 2.
Aller plus loin :
- Quelques leçons du Mooc #Archinfo 2015 (3. Massive)
- Notation du MOOC Architecture de l’information
- Les Attestations du MOOC Architecture de l’Information
- MOOC et évaluation par les pairs : l’épineuse question du procédé de notation
- Évaluation par les pairs
- Quelques leçons de l’évaluation par les pairs (Mooc #Archinfo saison 2)
- La docimologie : Second ou avant dernier ? Admis à l’agrégation ou éliminé ?
Le dossier complet (en cours) :
Architecture de l’information?
- Architecte de l’information (2012)
- Mooc Archinfo 2016, Cadence 1
- Mooc Archinfo 2016, relecture par les pairs
- Mooc Archinfo 2016, évaluation par les pairs
- Mooc Archinfo 2016, une heureuse surprise
La réalisation d’un eBook
- Ecrire des epub avec Booktype
- Créer des epub avec un traitement de texte
- Lire les fichiers epub
Voyez aussi la page-feuilleton du Mooc ArchInfo :
https://infodocbib.net/mooc-archinfo/
Bonjour,
Si je comprends bien, vous n’avez pas noté les livrets en fonction de leur valeur, mais en fonction des notes qui vous paraissaient être les meilleures pour avoir vos points sur la composante « Note de collaboration ».
Je me pose donc cette question : que vaut une attestation de réussite du Mooc AI ? A mon avis, peu.
Bonne journée
Sylvie
Merci pour votre commentaire. L’attestation a en effet une valeur toute relative, puisque que hors DU de gestion de projet en AI, elle n’est reconnue ni par les employeurs, ni par les établissements de formation.
La note de collaboration concernait l’amélioration de deux livrets (20% de la note globale), je pense que vous voulez plutôt parler de la note d’évaluation (10% du global : ce n’est pas cela qui allait beaucoup peser face à la note du livret, 70% du global). L’équipe pédagogique a imposé cette note d’évaluation pour limiter les écarts trop importants : il ne serait pas équitable que certains soient notés sur des échelles trop différentes. Contrairement à ce que vous imaginez, j’ai moins pensé à ma note d’évaluation qu’à l’équité dans ma démarche, même si au final, les deux pouvaient se rejoindre.
Je vais faire un parallèle avec les concours de musique auxquels je participe. Les bagad sont des ensembles instrumentaux de musique bretonne qui comportent trois pupitres : cornemuse, bombardes, batterie. Il y a également des juges d’ensemble et des juges de terroir. Si un juge batterie, par exemple, note entre 8 et 18/20 tandis que ses collègues des autres critères ne notent qu’entre 13 et 15/20, le juge batterie pèse alors plus lourd, ce qui pénalise les groupes dont le point fort est un autre critère que la batterie : ce n’est pas équitable. Il s’agit d’un cas vécu. Pour limiter ce biais, le règlement du concours a été modifié : chaque note est désormais pondérée pour être ramenée entre 11 et 18, ce qui donne une valeur égale à chaque juge.
Concernant le Mooc, pour pouvoir donner les notes « qui me paraissaient les meilleures » pour ma propre note d’évaluation, il aurait fallu que j’aie des échos des autres participants. Or nous n’avons été que trois à réfléchir tout haut. Il y avait donc 63 participants qui se sont cantonnés à rester dans la majorité silencieuse.
Les trois en questions sommes arrivés à la conclusion qu’il ne fallait pas décourager les enthousiasmes pour l’architecture de l’information, d’où ma notation entre 55 et 100% (en fait c’est moi qui ai lancé l’idée). Il faut tout de même mettre les 66 finalistes en regard des 1750 participants à la cadence 1, et des 550 livrets ouverts durant le Mooc. Pour autant, il n’était pas du tout sûr que les 63 silencieux, dont mes trois co-évaluateurs inconnus, adoptent ce parti pris.
Néanmoins, il était encore possible d’échelonner les livrets selon leur valeur à l’intérieur de cet intervalle. L’attestation délivrée par l’ENS comporte la note obtenue. Il est donc facile de deviner qu’une attestation avec un 50% ou un 60% a moins de valeur qu’une attestation avec un 90%. Je rappelle que la sélection à l’entrée du DU de gestion de projet en Architecture de l’information tient compte de la note obtenue. Je pense qu’il y a eu suffisamment de 80-90% pour barrer la route aux 50-60%. Considérez que c’est comme certaines écoles qui ne sélectionnent que les bac avec telle ou telle mention. L’Université avec ses énormes taux d’échec parce qu’il n’y a pas de sélection à l’entrée autre que le bac, même mention « passable », donne une idée de la valeur variable du papier jaune délivré par l’Education Nationale. Sa valeur est fonction de la mention, pas du simple fait de l’avoir, puisque 80% des lycéens le décrochent. Considérez qu’il en est de même avec l’attestation de l’ENS, dans le cadre extrêmement restreint du DU en AI.