Série d'ateliers "Connaître et évaluer les systèmes d'automatisation complexes pour les revues"

Intitulée "Connaître et évaluer les systèmes d'automatisation complexes pour les revues", cette nouvelle série d'ateliers-discussions est une réponse aux inquiétudes et besoins soulevées lors de la série d'ateliers qui a eu lieu à l'hiver 2025. Nous souhaitons offrir aux équipes des revues partenaires du projet l'opportunité de comprendre plus en profondeur les systèmes d'IA et de s'outiller concrètement à l'évaluation qualitative (et quantitative) des outils et algorithmes qui bouleversent les pratiques professionnelles. Chaque séance repose sur une présentation de 30min autour d'un thème illustré par des cas concernant directement la place des revues (ex: comprendre les architectures d'IA complexes comme le RAG et les IA agentiques, évaluer la production automatique d'abstracts, comprendre les mythes autour de l'IA).

Date et fréquence

Un jeudi par mois de 9h à 10h15 (Montréal) / 15h-16h15 (Paris)

Lien de la visio : https://bbb.futuretic.fr/rooms/up9-kkg-eld-jjl/join.

Calendrier

12 février : Introduction aux architectures de systèmes complexes intégrant de l'"IA" - Alexia Schneider

Cette première séance est une introduction théorique aux systèmes actuels intégrant des LLMs dans leur fonctionnement : la plupart des outils, du plus généraliste chatbot aux outils spécialisés de recherche d'information ou de correction de texte, mettent en oeuvre un traitement complexe de la demande de l'utilisateur.ice. Afin de cerner les enjeux de cette automatisation et comprendre où se joue l'évaluation de ces systèmes pour leurs utilisateur.ice.s, je présenterai deux des architectures dites "complexes" de systèmes intégrant des grands modèles de langue, à savoir les IA agentiques et le RAG.

19 mars (NB: de 14h à 15h15 heure de Paris) : Evaluating LLM-Written Abstracts with ChainForge. - Gauransh Kumar

This workshop introduces ChainForge through a hands-on demonstration of prompt testing and evaluation for scientific abstract generation. I will begin with a brief overview of ChainForge as a tool for comparing and analyzing LLM outputs, then show how a simple RAG pipeline can be used to generate abstracts from papers in PDF format. Finally, I will demonstrate how these outputs can be evaluated against prompt constraints such as word count, grammatical quality, and relevance to the original abstract. The workshop aims to provide a practical example of how quantitative and qualitative evaluation can be combined in a clear and reproducible workflow.

16 avril : Mythes de l'automatisation, exemple de la HTR (titre provisoire) - Alix Chagué

7 mai: Automatisation de la diffusion sur les réseaux sociaux pour une revue, exemple du JDH (titre provisoire) - Elisabeth Guérard, Marion Salaün