Compte-rendu de l'atelier IA du 24 avril 2025 (Lise Verlaet, portail NumeRev)

Vidéo de l’atelier : https://api.nakala.fr/embed/10.34847/

Présentation

Usage de l’IA sur plateforme [numeRev](https://projet.numerev.com/) : plateforme d’édition scientifique mais pas éditeur -> outils d’édition et accompagnement pour des revues. Projet porté par la MSH Sud. Projet pérenne depuis titularisation de la developpeuse. Héberge environ 20 revues (dont la moitié sont des créations).

Les points suivants sont abordés:

  1. Comment l’IA est utilisée pour pallier le manque de personnel (surtout assistants d’édition) ?
  2. Retours d’une étude UX menée par les masterants du MAVINUM.

Projet "assistant d’édition scientifique" d’OpenIA : avec ChatGPT4.0 (OpenAI).

Tâches effectuées :

Les résumés et métadonnées sont proposés aux coordinateurs des revues, qui contactent les auteur·ice·s à leur tour pour validation.

-> ChatGPT4.0 fonctionne très bien sur ces tâches. Les sources bibliographiques sont bien saisies quand les sources sont bien connues et re-connues (mais ces limites sont aussi vraies pour les éditeur·ice·s).

Retours sur l’étude effectuée par les masterant·e·s aux utilisateur·ice·s de numerev

Question : Quelles fonctionnalités de l’IA pourraient aider à travailler un article scientifique

Réponses :

Mais tous restent préoccupés par la méthode de sélection utilisée par l’IA : ex pour les articles connexes, "si c’est juste lié au nombre de consultations, on est pas intéressé".

Question : Que pensez vous de l’intégration d’un chatbot sur la page d’article ?

Réponses : expression claire des doutes par rapport à l’automation de certaines tâches.

Explication possible de cette réponse : possible mauvaise connotation du terme chatbot associé à une forme de vulgarisation, à une paresse intellectuel.

Discussion

Frédéric Clavert : Les prompts influencent les résultats et les prestations des modèles. Quelle est la stratégie de prompting utilisée ?

Lise Verlaet: Dans le cas de ces expérimentations il n’y a pas eu de comparaison de modèles. Pas accès aux prompts qui ont été écrit par des stagiaires. Les prompts sont de type demande de résumé avec élément sur le fait de garder le style de l’auteur·ice. Pour les corrections orthographiques, le prompt reste simple et pourtant le modèle hallucine après 2 ou 3 pages. Ajout de bulletpoint et d’intertitres. Une solution est de limiter la quantité de texte donné en entrée. Ca peut être une question de prompt mais plusieurs méthodes d’insertion du texte (copier/coller, insertion du fichier) n’ont rien changé aux hallucinations.

Marcello Vitali-Rosati:

1. on automatise pas ce qu’on peut automatiser, mais ce qu’on veut automatiser. On trivialise d’autant plus les tâches qu’on dévalorise d’emblée. Est-ce que la stratégie en SHS ne devrait pas être de publier moins ?

2. Utilisation d’application commerciale : pourquoi utiliser l’interface chatbot ? il est possible d’utiliser un LLM de manière experte. Par exemple pour le résumé : on peut calculer le vecteur moyen plutôt que de générer un texte depuis un chatbot. Il y a bien sûr la question de la faisabilité, même s’il est plus "simple" d’utiliser le chatbot, il pourrait correspondre plus aux paradigmes épistémologiques de mettre en place des systèmes plus complexes.

Lise Verlaet : D’accord avec les 2 points soulevés, mais il faut souligner deux choses :

1. NumeRev n’a pas forcément les moyens. Les personnes qui travaillent avec et pour NumeRev n’ont pas forcément les connaissances poussées sur ce qu’est une revue scientifique, les bonnes pratiques de publication etc. (notamment en LLA). Les demandes de financement sont restées lettre morte, l’équipe est constituée de 3 personnes dont 1 developpeuse, et 2 personnes qui consacrent 10% de leur temps à NumeRev. Pour les revues qui n’ont pas les bonnes pratiques les IA permettent à ces revues d’exister et d’être indexées. Et cette utilisation est sans gêne, car elle vient de contraintes externes. Parfois l’utilisation des IA fait aussi se rendre compte que le travail est mieux fait par l’humain, et qu’il faut bien qu’il soit fait pour commencer (l’espoir est de faire noter aux auteur·ice·s l’importance de rédiger eux mêmes les résumés).

2. Pas de compétences techniques ni les bras pour travailler sur des modèles experts. Pour l’instant il faut faire avec les moyens du bord.

Suzanne Beth (Érudit) (dans le chat): pouvez-vous nous parler plus des revues que vous hébergez et aussi les liens avec Cairn / OpenEdition ?

Lise Verlaet: Les revues hébergées sont en libre accès diamant. La plateforme a un système d’export TEI-XML pour faciliter le process d’évaluation pour les coordinateur·ice·s de numéro. En bout de chaîne il y a l’export sur plateforme de diffusion (cairn et OpenEdition).

Suzanne Beth (dans le chat): est-ce que ce sont des revues liées aux chercheur-euses de votre université ?

Lise Verlaet : la moitié oui.

Alexia Schneider : est-ce que la réticence vient vraiment du terme chatbot ou de manière générale des techniques d’automatisation ?

Lise Verlaet: C’est une hypothèse : les réticences apparaissent vraiment seulement quand on mentionne un chatbot, mais les personnes interrogées sont partantes quand on présente la même utilisation sans le contexte d’implémentation chatbot. Les mémoires des étudiant.e.s en master sont en cours de rédaction et pourront être transmis. Mais les questions d’IA sont assez secondaires dans ces travaux.

Alexia Schneider : il peut être intéressant de voir comment ces questions sur les IA s’insèrent dans une réflexion plus générale pour les revues. Notamment parce que l’IA ne va pas mettre un point final à certaines des questions, certaines des tâches qui reviennent toujours pour les revues.

Lise Verlaet : Peut-être pas pour toutes les tâches, mais en ce qui concerne la découvrabilité par exemple, l’IA générative va remplacer sous peu tous les principes de filtres pour la recherche.

Alexia Schneider: Il y a d’autres façon de concevoir les IA au sujet de la découvrabilité en particulier. La découvrabilité proposée par les LLMs n’est peut-être pas si intéressante si elle se contente de prendre en compte le nombre de vues d’un article. Projet actuel sur l’exploration de corpus à l’aide d’une modélisation sémantique en IEML. Lien https://revue30.org/projets/ieml-dans-stylo/

Elisabeth Guérard (dans le chat) : Alexia j’ai entendu parler de ce futur projet LUMEN https://operas-eu.org/projects/lumen discovery assistant

Lise Verlaet: Consultation avec des enseignants/chercheurs de NuméRev (pas que des revues).

Alexia Schneider: Usage participatif de l’IA, c’est important pour comprendre les besoins, à quel point on peut déléguer certains tâches à l’IA, prise en compte des usages effectifs. Une interface chatbot peut aussi être une surcouche installée sur un modèle expert.

Frédéric Clavert: comparaison avec la perception des médias sociaux: défiance diffuse et a priori vis à vis de l’IA. Cette défiance est du à l’usage médiatique de l’IA (et des reseaux sociaux) qui ne correspond pas aux valeurs des communautés academiques.

Lise Verlaet: association à des usages non académiques, les mêmes personnes avaient des réticences à l’ajout de boutons de partages pour les réseaux sociaux.

Marcello Vitali-Rosati: crainte de "l’effet tronçonneuse" l’outil qui fait tout. C’est la concentration des usages sur un outil qui est bon pour à peu près tout faire mais n’a pas fondamentalemen été conçu pour faire tout ce que nous lui faisons faire d’où le problème des erreurs vraissemblantes. Les contraintes de temps et d’argent nous emmènent vers des usages de plus en plus uniformes. Est-ce que la solution n’est pas de changer de paradigme et de ne plus être dans le jeu de "gagner du temps", et de chercher plutôt à le reprendre l’enjeu du sens et de la qualité. Au lieu de faire faire de plus en plus, faire moins et mieux.

Lise Verlaet: Ce qui revient toujours c’est de "gagner du temps" : notamment pour les petites revues pour laquelle on veut pouvoir monter en qualité aussi. Ce sont des outils, comme Word etc. qui vont nous permettre d’aller plus loin dans ce que l’on sait déjà faire etc. La question est plutôt de savoir jusqu’où et jusqu’où sans contrôle humain.