Date de l’atelier : 20 novembre 2025
Lieu : Université de Montréal
Animateur : Adrien Savard-Arseneault (de la revue *Sens Public*)
Participante intervenante : Lucia Cespedes (Réseau Circé)
Date du rapport : 1er décembre 2025

Résumé

Cet atelier, animé par Adrien Savard-Arseneault, s’est tenu le 20 novembre 2025 à l’Université de Montréal dans le cadre de la réunion plénière du projet « Revue 3.0 ». Centré sur les enjeux de l’évaluation par les pairs ouverte, il a combiné une présentation théorique fondée sur un rapport co-rédigé avec le réseau Circé, une étude de cas pratique (Sens Public), et une discussion collective avec les chercheur·e·s présent·e·s. Les échanges ont permis d’identifier les limites persistantes du modèle à l’aveugle, d’explorer les diverses modalités de l’ouverture et de confronter ces concepts à la réalité opérationnelle des revues, soulignant à la fois le potentiel transformateur et les défis pratiques de ces nouvelles pratiques.

Objectifs de l’atelier :

1. Présenter un cadre théorique et un état des lieux des pratiques d’évaluation ouverte, basés sur une recherche collaborative.
2. Partager une étude de cas concrète (la revue *Sens Public*) pour illustrer la mise en œuvre de ces pratiques et les enseignements tirés.
3. Engager un débat avec la communauté de recherche du projet Revue 3.0 sur les définitions d’une « bonne » évaluation et sur les futurs possibles de l’évaluation académique.

Synthèse des présentations

Cadrage théorique : les défis du modèle à l’aveugle et les modèles alternatifs

Présentation synthétique des conclusions du rapport du Réseau Circé portant sur les pratiques d’évaluation ouverte dans la revue Sens Public.

Les limites des évaluations à l’aveugle

1. Qualité inégale des évaluations
On constate une qualité variable voire mauvaise des évaluations dans ce dispositif. Les évaluations manquent de cohérence, voire se contredisent.

2. Déresponsabilitation des évaluateur·ice·s
Les évaluateur·ice·s ne sont pas “responsables” de leurs évaluations quant celles-ci sont faites à l’aveugle. Iels sont moins incité·e·s à défendre et étayer leur propos.

3. Pas de dialogue fluide entre les différents pôles
L’anonymat peut rompre le flux conversationnel entre auteur·ice·s, évaluateur·ice·s et éditeur·ice·s. Beaucoup de conversations importantes et sont ainsi perdues, et nombres remarques n’atteignent pas l’auteur.ice.

4. Problèmes pratiques
Anonymisation inefficace dans les champs spécialisés et délais d’évaluation allongés face à l’augmentation des refus.

Réflexion autour des pratiques d’évaluation ouverte

Pour définir l’évaluation ouverte, l’animateur de l’atelier s’est référé à la terminologie de Ross-Hellauer (Ross-Hellauer 2017) définissant les grandes modalités de celle-ci :

- Identités divulguées\

• Rapports publiés\
• Participation élargie\
• Interaction possible\
• Évaluation en prépublication\
• Évaluation post-publication\
• Plateformes d’évaluation

L’évaluation ouverte a le mérite de faire réfléchir les revues sur leurs pratiques, sans offrir une solution définitive. Le rapport du réseau Circé a fait le choix de se concentrer sur les 4 premiers points :

1. Identités divulguées : permet de valoriser le travail d’évaluation, de rendre visible les conflits d’intérêt et d’accroître responsabilité individuelle des l’évaluateurices. Cependant, cette pratique peut entraîner des évaluations moins critiques (quand les évaluations sont publiques, on observe que les évaluations sont plus “tendres”) et poser des questions de pouvoir.

2. Rapports publiés : modalité plutôt consensuelle assurant transparence du processus d’évaluation. Elle permet de s’assurer que les commentaires ne sont pas perdus et possède également une fonction pédagogique, rend visible les normes implicites des dispositifs d’évaluation. Mais elle est chronophage et nécessite des plateformes adaptées.

3. Participation élargie : faire appel à un public plus large lors de l’évaluation favorise l’inclusivité et la construction collective du savoir. Cependant, cela soulève des questions sur la pertinence des contributions et la définition de ce qu’est une communauté de « pairs ».

4. Interaction possible : elle transforme l’évaluation en un processus collectif et conversationnel. On remarque que l’implication des évaluateur.ice.s génère des rapports plus précis et plus pertinents. Cependant, elle exige un investissement important en termes de temps et l’établissement d’un cadre pour éviter les dérives et conflits.

Étude de cas : Retour d’expérience de la revue Sens Public

Modalité choisie : Annotation ouverte et publique des textes via la plateforme d’édition en ligne Stylo (Hypothes.is). Les interactions et commentaires sont visibles par tous les participants.

Enseignements clés :\

• L’adoption d’outils nouveaux peut être un obstacle pour certain·e·s évaluateur·ice·s.\
• Les interactions entre évaluateur·ice·s peuvent être riches (influence mutuelle positive, collaborations potentielles) mais nécessitent une modération et un cadrage.\
• On a observé finalement peu d’interactions entre les évaluateur·ice·s malgré la possibilité offerte, ce qui souligne un décalage entre le potentiel théorique et les pratiques établies.

Données quantitatives (2024) : Sur 70 sollicitations, 65 ont obtenu une réponse. La provenance des évaluateurices n’a aucune incidence sur leur éventuel acceptation ou refus Seulement 1 sollicitation sur 3 aboutit à une évaluation complète. Le manque de temps reste la principale raison de refus. D’autres évaluateurs ont indiqué comme raison leur manque d’expertise dans le sujet, ou leur manque d’intérêt pour le sujet de l’article.

Discussion

La discussion, modérée par l’animateur, a fait émerger les réflexions suivantes de la part des participant·e·s :

Redéfinition de l’autorité et du rôle de l’éditeur·ice (Servanne Monjour, Bertrand Gervais) : L’éditeur·ice doit endosser un rôle de diplomate et de garant du processus, surtout face à des évaluations hostiles ou lorsque les outils ne soutiennent pas les nouveaux workflows. Le travail éditorial, essentiel mais invisible, reste peu valorisé par les institutions.

Limites du modèle actuel (Bertrand Gervais) : Le modèle de l’évaluation fondé sur la « bonne foi » du chercheur bénévole est mis à mal par l’accélération généralisée du rythme de travail académique. Une minorité d’évaluateur·ice·s assume une charge disproportionnée, ce qui n’est pas viable.

L’évaluation comme construction collective (Nicolas Sauret) : Ouvrir l’évaluation à des praticien·ne·s est une manière de déplacer et d’enrichir l’autorité scientifique.

Qu’est-ce qu’une « bonne » évaluation ? (Marcello Vitali-Rosati) : Une bonne évaluation doit aller au-delà de la simple correction pour engager un dialogue scientifique rigoureux. Elle signale les faiblesses avec précision et justifie ses arguments.

Conclusions et perspectives

L’atelier a confirmé que l’évaluation ouverte n’est pas une solution unique mais un ensemble d’expérimentations visant à répondre aux crises de qualité, de délai et d’équité du système actuel.

- La transparence du processus (des identités et des rapports) est très demandée pour responsabiliser et valoriser le travail des éditeurices.\

• L’ouverture du processus d’évaluation génère des frictions (techniques, temporelles, sociales) qui doivent être anticipées et gérées.\
• Le rôle de l’équipe éditoriale est crucial comme médiatrice et garante de la qualité d’un processus plus fluide et potentiellement plus conflictuel.\
• Il n’existe pas de modèle idéal. L’adaptation aux spécificités disciplinaires, aux ressources et à la communauté de chaque revue est essentielle.

Pistes de réflexion :

1. Comment outiller et former les équipes éditoriales pour gérer ces nouveaux processus ?

2. Quels indicateurs et méthodes d’analyse développer pour pouvoir évaluer plus objectivement l’impact des différents modèles d’évaluation sur la qualité scientifique des travaux produits ?
3. Comment valoriser institutionnellement le travail d’évaluation et d’édition dans la recherche scientifique ?