Compte-rendu de l'atelier IA du 27 février 2025 (Gérald Kembellec et Joaquine Barbet)

Captation de l’atelier en intégralité

Introduction - Gérald Kembellec

La vision était assez orientée sur la qualité fond / forme et le rôle primodial de la relation "Auteur / éditeur / documentaliste" pour la documentarisation" sérielle des revues en lignes afin de permettre une bonne découvrabilité.

Projet en cours à l’INTD au CNAM : nouveaux modes éditoriaux, et notamment questionnement sur l’IA.

Intelligibilité multimodale de l’hypertexte érudit : le rôle du documentaliste. Une nécessaire collaboration pour la documentarisation sérielle dans la chaîne éditoriale scientifique. H2PTM, Oct 2021, Paris, France. hal-03419892

Sa posture en 2021 est celle présentée dans l’article cité. Une posture critique moins d’actualité et qui portait surtout sur l’opposition fond/forme, aujourd’hui remise en question car il s’agit d’outils de notre temps avec lesquels il faut quand même avancer.

L’atelier aborde deux points :

  1. Présentation par Joaquine Barbet des conclusions de son encadré par le Centre de Ressources et de Pédagogie Active (CREPAC) du CNAM Paris. Enjeu de Ressources Humaines : les indexeurs humains en charge de la synthèse ont été remplacé pour des raisons économiques, notamment car le positionnement des financeurs favorise les termes à la mode comme "data" plutôt que "archives". Projet de veille et d’expérimentation en bibliothéconomie/archivistique pour la question du résumé d’article. Suppléer à l’archive et à la production de résumés de manière automatique a produit des solutions, des pis-allers qu’il faut aussi observer.
  2. Un deuxième point sera abordé portant sur l’utilisation de modèles du web sémantique avec des méthodes d’ia selon une approche abordée par le Semantic publishing de David Shotton de 2009. Discussion proposée sur la production de publications scientifiques de qualité tant sur le fond que sur la forme et de faire de la knowledge discovery en prenant un engagement en terme de qualité.

Projet d’automatisation de la production de résumés - Joaquine Barbet

Barbet, Joaquine. "IA génératives : le futur des productions documentaires ? L’automatisation de résumé, Explorations et preuve de concept au sein du Crepac". Mémoire pour l’obtention du Titre à finalité professionnelle « Chef de projet en ingénierie documentaire », 2024. cf. fichiers joints.

Introduction et méthodologie

Joaquine Barbet: étude des potentiallités des IA génératives pour les productions documentaires, et en particulier pour la production de résumés d’articles scientifiques.

  1. veille sur les technologies
  2. mise en pratique, avec une étude de faisaibilité

Volonté de comprendre comment utiliser ces technologies dans le cadre des pratiques documentaires, quand on sait que l’industrie s’est emparée très vite de l’IA notamment comme argument marketing "\powered by IA**" : mais quelle place pour les professionnels de l’information ?

Au CREPAC le projet est effectué par une personne à temps plein pendant 3 mois. Travail exploratoire et expérimental sur l’automatisation du résumé d’articles. Contexte d’inflation documentaire et manque de moyens humains faisaient qu’il y avait du retard dans le traitement par les indexeurs.

Critères :

Objectifs :

Méthodologie :

Inspiration du laboratoire IA de la bibliothèque du congrès (Library of Congress). Stratégie "Understand, Experiment, Implement*"

Intégration des analystes dans la réflexion et l’évaluation des résultats des tests : production d’une grille d’évaluation pour déterminer la qualité des résumés produits par les IA, évaluation avec une échelle de Lickert (Une échelle qui vient des sciences de psycho et note de 1 à 5 un item : de "je ne suis pas d’accord du tout" à "j’approuve fortement" Lien.

Corpus : textes en français et en anglais car même si les résumés sont toujours en français les articles peuvent être en anglais voire en allemand. Textes de longeur différentes pour évaluer la performance des outils.

Outils testés :

Le prompt est retranscrit à la fin de ce document.

Frédéric Clavert (dans le tchat): Pas d’essai avec des modèles installables en local (type llama)

Marcello Vitali-Rosati (dans le tchat): ma question est aussi: vous avez utilisé le LLM ou l’application de chat basée sur l’LLM?

Questions juridiques : enjeu du droit d’auteur relatif aux résumés produits et des articles utilisés notamment dans l’utilisation des Chats d’OpenAI et Mistral. Quelle exploitation légale des textes couverts de droits d’auteur ? Cette exploitation est autorisée dans un usage non commercial. Pour prévenir tout conflit légal utilisation d’articles libre de droit.

Résultats

Joaquine Barbet : Les premiers tests semblent peut-être impressionnants mais la phase d’évaluation montre que si le rendu est formellement correct, ChatGPT tend à surinterpréter les textes.

Quel place on souhaite donner à l’IA générative ?

Hypothèse : la place occupée par des tâches « fastidieuses et automatisables ».

Donc : est-ce que la production des résumés est une tâche « fastidieuse et automatisable » ?

Gérald Kembellec (chat): Le documentaliste indexeur qui entraine le modèle pourrait se retrouver "ubérisé" par l’outil

Marcello Vitali-Rosati (chat): à mon avis la question n’est pas si l’ia "peut" remplacer. oui, elle peut, bien sûr. La question est: est-ce qu’on "veut" remplacer. La question n’est pas ce qui est automatisable, mais ce qu’on veut automatiser. Quelles sont les valeurs? Si on cherche la productivité, une machine sera plus rapide et performante, tjs. Mais par exemple: personne ne lira le texte. On va se réduire à écrire des bullet lists, demander à chatGPT de nous écrire un article et ensuite de l’autre côté demander à chatGPT de transformer l’article en bullet points...

Joaquine Barbet : Les outlis "clé en main" ont été abandonné rapidement car ces outils ne permettent pas la même modulation qu’un prompt. Automatisation de l’indexation et du résumé via un prompt adapté.

Gérald Kembellec: Utilisation de ce genre d’outil est viable si le prompt est rédigé par un spécialiste du sujet, car il faut ajuster aux besoins spécifiques.

Discussion

Marcello Vitali-Rosati:

Olivier Le Deuff (chat): Elle, elle l’aime : le LLM de l’amour !

Gérald Kembellec: Il est important de recentrer le débat, notamment parce que la tendance à vouloir appliquer aux sciences humaines la rationnalisation méthodologique des sciences dures justifie leur disparition. Ou en tout cas mène aux conclusions de Pierre Mounier. Mais nous sommes condamnés à nous adapter au exigences de productivité/réduction des coûts pour survivre en tant que institutions culturelles/académiques.

Joaquine Barbet : il ne s’agit pas de produire des résumés pour produire des résumés mais pour proposer un maximum d’articles aux étudiants et d’inviter à la lecture par ces résumés.

Gérald Kembellec: Les contraintes économiques priment malheureusement dans le débat.

Servanne Monjour: C’est quoi un résumé ? Le prompt le définit-il ? Percevez-vous un changement de fonction de l’objet résumé en tant que tel ? Notamment parce que les outils grand public comme ChatGPT tendent à faire un travail de pastiche, à déformer le texte, à adopter des fonctions de type journalistique. Observation dans des cas d’exercice effectués par des étudiants sur des articles journalistiques qui se servent de ChatGPT et où la notion de chute etc. n’est pas restituée clairement. Il y a a priori autant de façon de résumer qu’il y a de pratiques éditoriales (et de revues).

Olivier Le Deuff (chat): résumé indicatif qui indique le contenu du document

Gérald Kembellec (chat): tt à fait Olivier

Servanne Monjour (chat): ok, mais dans certaines disciplines, ce n’est pas toujours cela. En lettres, je vois souvent des résumés qui posent la problématique, sans les résultats.

Gérald Kembellec (chat): On est presque sur un plagiat méthodologique

Olivier Le Deuff (chat): avant dans les concours, si on faisait un mot de trop dans le résumé, c’était directement en dessous de la moyenne voire zéro pour certains correcteurs sévères. en fait, est-ce qu’à l’avenir les titres et les résumés vont être revus par les IA pour des raisons d’optimisation du référencement, un peu comme pour la presse en ligne.

Servanne Monjour (chat): oui, j’ai eu le même soucis avec un prof qui enlevait un point par point oublié sur les J.

Gérald Kembellec (chat) : La notion d’"autorité calculée"

Broudoux, Evelyne. « La prise de conscience du pouvoir de l’outil : l’auteur face à ses pratiques ». Billet. Autorités calculées (blog), 13 mai 2013. https://doi.org/10.58079/ahei.


Broudoux, Évelyne, et Madjid Ihadjadene. « Comment la confiance peut-elle s’exercer dans les « autorités calculées » ? » Hermès, La Revue 88, nᵒ 2 (16 décembre 2021): 202‑6.

Olivier Le Deuff (chat): sauf que ce n’est pas vraiment de l’autorité mais de la popularité à mon avis...

Joaquine Barbet : le prompt est basé sur le travail des indexeurs : résumés très courts. Définition d’un contexte (quel public, quel objectif) et d’un format avec des étapes de réalisation : analyse préalable avant de produire le résumé.

Marcello Vitali-Rosati : Pertinence définie par l’algo, ex des Page Ranks enforcé par Google. ici même logique : le "bon" résumé risque de devenir celui produit par ChatGPT, càd prophétie auto-réalisatrice.

Cardon, Dominique, et Liz Carey-Libbrecht. « Inside the Mind of PageRank:A study of Google’s algorithm ». Réseaux 177, nᵒ 1 (2013): 63‑95.

Olivier Le Deuff (chat): oui mais je suis en désaccord avec Cardon qui adopte le point de vue de google au final, moi je prends celui d’Arendt

Davin Baragiotta (chat, question rapportée à l’oral) :

Avec le constat de qualité moindre (ex.: surinterprétation par bot), quelle approche est prévue? l’accepter telle quelle (100% automatique), contrôle de qualité des résumés par documentaliste avant publication du résumé (semi-automatique, publication assistée)?

Joaquine Barbet : il s’agit en l’état d’un aide à la production de résumé qu’un remplacement total.

Marie-Alice Belle (directrice éditoriale révue Meta) (chat): Depuis quelques temps nous recevons des recensions de livres (book reviews) apparemment signées par des collègues mais qui donnent à penser qu’elles ont été en grande partie produites par une IA. Les enjeux sont différents de ceux de l’indexation mais il me semblait pertinent de mentionner la question de l’usage de ces technologies dans la diffusion des savoirs scientifiques.

Gérald Kembellec (chat): @Marie-Alice Belle : j’en reste sans voix

Olivier Le Deuff (chat): je vais faire la recension d’éloge du bug avec chatgpt, mais je le mettrai en cosignataire

Marcello Vitali-Rosati (chat) : ben non, c’est toi qui signe! si tu veux signer. l’idée est juste: tu signes ce dont tu assume la responsabilité (en citant les échanges d’ateliers précedents) : Du moment que quelcun signe, iel assume la responsabilité du contenu produit.

Olivier Le Deuff (chat): de toute manière, le mieux est d’écrire les recensions de ses propres bouquins et de les faire signer par d’autres

Gérald Kembellec (chat): Une co-autorialité. L’auteur aurait en fait une vision "éditoriale".

Frédéric Clavert : Du moment de la signatures, nous assumons la responsabilité juridique et intellectuelle du contenu (ChatGPT ne peut pas être co-signateurs). Dans ce cadre, la question de l’autorialité est la question de l’assuntion de la responsabilité du contenu.

Marcello Vitali-Rosati : ça dépend de la fonction autoriale : si c’est surtout la question de la responsabilité alors peu importe comment le texte est produit. Responsabilité légale

Marie-Alice Belle (chat) : il me semble qu’il y a une question de reconnaissance d’autorité ici; un résumé semble être considéré comme du texte "purement informatif" alors que la recension est supposé être médiée par une subjectivité humaine. Mais est-ce qu’on s’entend toujours sur ces distinctions?

Olivier Le Deuff (chat): quid des évaluations d’article ou des propositions d’article ?

Frédéric Clavert : La responsabilité n’est pas l’autorialité. Pour la recension, on pourrait poser la même question qu’a soulevée Servanne à propos du résumé. Une recension pour Lectures est très proche du résumé. Une recension pour les Annales ne DOIT PAS être un résumé, c’est inscrit dans les instructions données. (c’est d’ailleurs à la fois plus de travail et plus satisfaisant d’écrire une recension pour les Annales).

Gérald Kembellec: Une recension est un résumé argumenté, subjectivé, ce qui n’est théoriqueemnt pas le cas avec les IA génératives. Une IA aurait une vision plutôt conservatrice dans le sens où le modèle ne questionne pas mais restitue simplement le contenu, contrairement à un humain qui a une interprétation qui n’est pas qu’une retranscription du contenu.

Marcello Vitali-Rosati: On peut contrôler la température et imaginer qu’un modèle mis à une température très haute peut produire du contenu "original" au sens de moins consensuel. Mais le paramétrage n’est pas en question dans les applications grand public.

Olivier Le Deuff (chat)

Frédéric Clavert (chat): C’est pas tant une idée qu’une pratique déjà courante, soit par des services en ligne, soit par des machins comme openwebui que tu peux connecter à ollama (des modèles installables en local) avec interface pour faire du RAG avec des documents PDF par exemple.

Olivier Le Deuff (chat) : oui mais j’évoquais l’idée à intégrer par rapport au projet de revue3.0. Est-ce une piste opportune ou pas du tout ? je n’ai pas la réponse

Frédéric Clavert (chat): @ Olivier ah, oups, pardon. On y réfléchit au JDH en tout cas.

Gérald Kembellec: Souhaite évoquer la sous-couche et documenter le code de manière fond/forme, faire de la documentation en "sous-couche", "le palimpseste numérique" pour faire de la découvrabilité beaucoup plus efficace. Des premiers tests : faire du schema.org sur certains articles en désambiguisant certains auteurs ou concept, en demandant à ChatGPT de générer un code qui sera "parlant" au sens de découvrable pour des robots de scrapping comme Google Scholar. Concept de "lecture équipée" de Jean-Edouard Bigot : des pluggins sémantiques implémentés qui font remonter de l’information complémentaire afin de ne pas se déplacer d’un média à un autre en concentrant les informations. Ce modèle pourrait-il être implémenté avec une hybridation de LLMs et de modélisation type Shotton ou Web Semantic ?

Frédéric Clavert (chat): question de plugin IA pour donner plus de contexte aux auteur.ice.s. Il faut être spécialistes du sujet pour avoir de résultats corrects.

Gérald Kembellec (chat): Effectivement, il faut vérifier 😉

Frédéric Clavert (chat):@ Gérald Mon collègue Gabor Toth fait énormément de NLP avec des LLMs, et cela permettrait de faire du schema.org, je suppose. Par contre, le petit problème, c’est qu’il faut justifier et évaluer les résultats.

Références et liens utiles

Captation de l’atelier en intégralité.

Méthodologie "Understand, Experiment, Implement" pour l’intégration de nouvelles technologies : « LC Labs AI Planning Framework - LC Labs AI Planning Framework ». Consulté le 27 février 2025. https://libraryofcongress.github.io/labs-ai-framework/.

Échelle de Lickert pour l’évaluation : Rensis Likert. A Technique for the Measurement of Attitudes. Consulté le 27 février 2025. http://archive.org/details/likert-1932.

Barbet, Joaquine. « IA génératives : le futur des productions documentaires ? L’automatisation de résumé Explorations et preuve de concept au sein du Crepac » . Mémoire pour l’obtention du Titre à finalité professionnelle « Chef de projet en ingénierie documentaire ».(2024) cf. fichiers joints.

Broudoux, Évelyne, et Madjid Ihadjadene. « Comment la confiance peut-elle s’exercer dans les « autorités calculées » ? » Hermès, La Revue 88, nᵒ 2 (16 décembre 2021): 202‑6.

Broudoux, Evelyne. « La prise de conscience du pouvoir de l’outil : l’auteur face à ses pratiques ». Billet. Autorités calculées (blog), 13 mai 2013. https://doi.org/10.58079/ahei.

Cardon, Dominique, et Liz Carey-Libbrecht. « Inside the Mind of PageRank:A study of Google’s algorithm ». Réseaux 177, nᵒ 1 (2013): 63‑95.

Kembellec, Gérald. « Intelligibilité multimodale de l’hypertexte érudit : le rôle du documentaliste. Une nécessaire collaboration pour la documentarisation sérielle dans la chaîne éditoriale scientifique ». In H2PTM. Paris, France, 2021. https://hal.science/hal-03419892.

Prompt utilisé par Joaquine Barbet pour son projet

Rôle :

Agis comme un documentaliste professionnel et expérimenté en analyse documentaire. Tu travailles dans un centre de documentation spécialisé dans les sciences de l’information et de la documentation.

Contexte :

Tu agiras étape par étape.

Étapes pour l’élaboration du résumé :

1. Lire le texte en entier

2. Analyser le texte :

3. Présenter les réponses dans un tableau à 2 colonnes (Colonne 1 : Thème, Problématique, Points-clés, Conclusion, Mots-clés ; Colonne 2 : les réponses).

4. Rédiger le résumé en suivant les consignes ci-dessous.

5. Vérifier l’absence de plagiat en suivant les consignes ci-dessous.

6. Vérifier la conformité aux consignes en suivant les consignes ci-dessous.

Consignes pour le résumé

Consignes pour la vérification d’absence de plagiat

Consignes pour la vérification de conformité aux consignes

si copier-coller du texte

Dis-moi si c’est OK pour toi avant que je te donne le texte à résumer.

<texte>...</texte>

si texte fourni au format PDF

Dis-moi si c’est OK pour toi avant de te lancer. Le texte à résumer est en attachement.

Fichiers joints