Vidéo de l’atelier : https://api.nakala.fr/embed/10.34847/nkl.aeccww5g/b3b6a86689093332dab79f42a64d8024fb2c8b3c

Présentation du projet sur la révision bibliographique assistée par IA

Le pink my pad du projet : https://pinkmypad.net/libreon/0p58JaDESASJRGwIm3YytQ

Retour d’expérience sur la révision bibliographique assistée par IA : projet de la revue Humanités Numériques

Centré sur la bibliographie car parait être une tâche plus simple grâce à la structure formelle dans un premier temps mais à terme pourra être étendu à d’autres éléments des articles.

L’objectif étant de réflechir à l’utilisation d’outils qui ne sont pas forcément mainstream et avant ça de comprendre les enjeux du travail de révision bibliographique.

Méthodologie :

- positionner la revue par rapport aux usages éditoriaux pressentisd des IAG.

- une enquête de terrain qui a pour but de baliser les fonctions du travail de révision bibliographiques et de modéliser ce travail

- tester plusieurs scénarios et outils IA en fonction des problèmes identifiés.

Origine du projet : Lors d’une ANF (Action Nationale de Formation) organisée par le CNRS et adressé à des éditeur·ice·s de revues savantes : incitation à lancer des projets où l’IA est employée, et le constat est que la plupart des projets proposés utilisent ChatGPT.

Exigences d’HN (ce projet a été l’occasion pour l’équipe de se questionner sur l’IA, autour de 4 points) :

- exigence éditoriale

- respect des conditions de travail

- enjeux écologiques (faire tourner en local par ex)

- enjeux pratiques : est-ce bien utile d’utiliser des IAG quand il existe des outils comme Zotéro etc.

3 types de vérifications effectuées pas Florence :

- révision de fond (exactitude des références)

- révision de forme (normes graphiques, ortographique)

- révision de concordance (s’assurer que les références ne sont pas superflues, qu’il n’y a pas de référence qui font doublon)

Entretiens mené à partir du travail de Florence Daniel pour identifier des scénarios d’utilisation:

Scénario 1 :

- l’auteur·ice envoie un docx, avec ou sans bibtex.

- travail de révision bibliographique effectué par l’auteur·ice.

Scénario 2:

- l’éditeur·ice réçoit un docx, mais sans bibtex.

- travail de révision bibliographique effectué par l’éditrice

Piste d’expérimentations :

- transformation d’une bibliographie mal structurée avec ChaptGPT directement

- Transformation avec des outils spécialisés comme AnyStyle, ReversedZotero.

- RAG pour vérifier les concordances (pas présenté ici)

Cas d’étude

Expérimentation sur cas de bibliographie de 15 réf qui ne correspondentn pas au style de HN. -> Travail manuel, méthode classique pour estimation du travail et des besoins et pour obtenir une vérité de terrain.

Env. 45 min de travail: modification de forme 15min et 30 min pour vérification des références.

Premier travail de révision en utilisant ChatGPT (o3-mini) et Duck.ia avec ce prompt :


-> temps de travail pas forcément réduit car:

- il faut diviser les instructions

- vérification des références encore + chronophage

- reproducibilité limitée (nb d’erreurs plus important avec les itérations)

2e stratégie : tenter une conversion authomatique en BibTeX, avec ResersedZotero et AnyStyle.

ReversedZotero : très mal fonctionné : inversion des noms et prénoms.

AnyStyle : a bien fonctionné.

-> Mais les résultats étaient inversés il y a quelques semaines et dans tous les cas il faut corriger le résultat.

Remarques :

- Le problème de la bibliographie est d’abord celui du désintérêt de l’auteur·ice.

- conséquence : ce désintérêt risque de jouer en faveur d’outils peu vertueux, à commencer par ChatGPT (que les auteur·ice·s utilisent déjà)

- invisibilisation des process techniques : invisibilisation des formats en plus du travail de recherche bibliographique.

-> Une interrogation plus profonde sur l’intérêt et les enjeux du travail de référence : quelle place occupe ce travail dans la conversion scientifique ?

Discussion

Marcello Vitali-Rosati : Citant Matteo Treleani sur le travail des archivistes par rapport au choix d’images télévisuelles ("archivistes" de Mediaset) : des archivistes "subalternes" font du remplissage, sélectionnent les images à partir de la thématique du jour (d’où les répétitions).

La condition fondamentale à l’utilisation de ChatGPT c’est le désintérêt des auteur.ice.s vis à vis du travail de révision bibliographique et la "trivialisation" du travail de révision.

Si la référence bibliographique est perçue comme du remplissage, comme les images sur les chaînes TV, alors personne ne s’y intéresse. Mais le style a été perçu pendant un temps comme un indicateur d’appartenance à une discipline et à une communauté scientifique, et respecter le style avait un enjeu scientifique. Ces pratiques nous questionnent sur le statut épistémologique/symbolique des références bibliographique et aussi : qu’est-ce que une référence bibliographique ?

Servanne Monjour: Le style a encore son importance, notamment en littérature : importance de la source n’est pas seulement symbolique. Une valeur pratique avant tout, et qui se perd peut-être.

Marcello Vitali-Rosati: à quoi sert la référence bibliographique ? S’il s’agit juste de retrouver la référence alors le DOI devrait suffire ? Est-ce que c’est esthétique ? Est-ce que c’est le fondement scientifique ?

Aurélien Berra : enjeu de reproductibilité certes, mais aussi construction d’un système de référence, construction d’autorité du discours, inscription du discours dans un système de connaissances, la bibliographie permet de situer le propos : un réseau mental apparaît par la référence. Une prise en compte du support et de l’usage humain : le style est important (dans la marge, en popup, en fin de document etc.) dans la manière de comprendre la référence.

Marcello Vitali-Rosati: Les citations permettent de situer, de faire une contextualisation sémantique d’une publication. Revenir sur le sens du geste de citation me parait essentiel. Est-ce que la bibliographie est la seule manière/la meilleure manière de mettre en contexte nos propos ?

Servanne Monjour: Au-delà du geste il y a la notion de lecture : qui lit les références bibliographiques ? Un professeur d’université enseignait, par provocation, que face à un gros ouvrage il suffisait de lire le résumé et la bibliographie. La dimension symbolique de la bibliographie (rigueur et autorité scientifique) peut se trouver singée par des personnes qui gonflent artificiellement leur bibliographie. Il peut être réducteur de limiter la scientificité de son propos à la seule référence bibliographique mais l’art se perd.

Margaux Jacques (dans le chat): J’ai l’impression d’avoir déjà rencontré cela effectivement, certains auteur qui doivent "obligatoirement" être cités dans une publication auteurs*

Tony Gheerart : dans les années 80-90 c’était très complique d’établir une bibliographie (source à la bibliographique, méthode, immagination, etc.). Aujourd’hui, on peut construire une bibliographie en quelque clics -> réduction de la valeur symbolique. 2 fonctions fondamentales de la bibliographie:

1. vérifier

2. offire la possibilité aux lecteurs de rebondir

Michael Sinatra : est-ce que vous avez gardé trace de l’évolution des versions proposées par ChatGPT et les autres outils?

Servanne Monjour : documentation précise des expériences : dates et outils doivent être mentionnés aussi. Il faudrait aussi des indicateurs énergétiques sur la consommation lors des tests. Pareil pour le temps.

Florence Daniel : Sur le temps engagé : 15min pour la forme, 30min pour vérification une à une des références. Cette deuxième partie du travail ne peut pas être complétée par ChatGPT. Mais pour remettre aux normes bibliographiques ça fonctionne bien et c’est effectivement un gain de temps. Vérification des liens etc reste nécessaire.

Marcello Vitali-Rosati : la différence entre les systèmes experts et les LLMs c,est que les résultats sont vraisemblables. Les "vieux" systèmes donnaient des résultats totalement faux et donc la correction était plus facile à identifier : ce travail de correction était aussi sous-valorisé. Ce que les LLMs pourraient changer pour le meilleur c’est une inversion du système de valeur associé à ces tâches.

Aurélien Berra: l’obscolescence des grands outils LLMs (ChatGPT, etc) est telle que, même si on documente les versions utilisées, on va bientôt perdre la possibilité de repliquer l’expérience. Question épistémologique : c’est quoi le sens de documenter nos sources, si elles vont disparaître en quelques semaines ?

Servanne Monjour : on retravaille déjà des textes et des bibliographies qui sont générées en partie au moins par des IAG. Les outils alternatifs demandent une certaine littéracie (ReversedZotero demande un temps d’adaptation et d’apprentissage non négligeable) : on utilise des outils complexes et lourds plutôt que d’utiliser des outils disponibles et fonctionnels.

Tony Gheeraert (dans le chat) : à mon sens il faut vérifier les interventions de l’IA par vérification humaine et/ou collationnement automatique (si on tient vraiment à utiliser l’IA, alors qu’à mon sens il faudrait perfectionner les regex). Les réticences à Zotéro sont peut-être à interroger. Et si elles étaient légitimes?

Marcello Vitali-Rosati : Pourquoi faire ces efforts de structuration ? il n’y a pas de standardisation de la structuration de la référence. La structure n’est pas utilisée non plus par les moissonneurs (ex: d’Isidore qui n’utilise pas les métadonnées des articles et produit les siennes). Les algorithmes nous poussent à nous demander pourquoi écrire une bibliographie ? et se poser la question de la valeur associée à la construction d’une bibliographie.

Florence Daniel : il faut aussi comprendre ce qu’on cherche à structurer : même remplir Zotéro demande une compréhension de la bibliographie et de la référence. Comprendre la différence entre les types de publication par exemple est essentiel.

Servanne Monjour : par rapport à l’enseignement, on n’apprend pas le sens de la référence bibliographique et de ses fonctions. Il faudrait peut-être questionner ces objets en tant que tel.

Appel au colloque sur la construction des bibliographies, suggéré par Servanne : https://ebdf.hypotheses.org/2540

Tony Gheeraert (dans le chat) : J’ai le droit de parler du plaisir de rédiger patiemment et une à une ses notes de bas de page, avec amour? 😉 . L’écriture de notes bibliographiques participe d’un rapport intime et personnel avec les oeuvres. Je n’ai pas envie que ma note soit générée sans contrôle complet sur chaque caractère de ma note. Outre que je travaille avec des oeuvres aux références exotiques qui n’entrent pas aisément dans les champs Zotéro. (ce qui ne m’empêche pas de faire cours sur Zotero, pour vous rassurer)

Tony Gheeraert : certains auteur·ice·s sont soucieux·se·s de leurs références bibliograpiques. Une passion presque philologique, qui n’empêche pas non plus le fait de promouvoir l’utilisation de Zotero.

Aurélien Berra : on ne peut pas se contenter de l’impératif déontologique qui consiste à dire qu’il faut faire ses bibliographies à la main. La science et les pratiques éditoriales sont en train d’évoluer pour la plus part en d’autres directions : automatisation de la structuration bibliographique.

Servanne Monjour : différents usages aussi de Zotero : les notes personnelles par exemple peuvent s,ajouter au seul outil de base de données. Si la conclusion est que la révision de forme est plus facile et efficace quand faite par des IAG, et si

Aurélien Berra : est-ce qu’il y a des IAG entraînées spécifiquement pour les révisions bibliographiques ?