Atelier avec Tiberio Uricchio

2024-11-25

L'atelier s'est déroulé avec la participation de Tiberio Uricchio (professeur associé à l'Université de Pise, Département d'ingénierie de l'information) et l'équipe de Stylo, éditeur sémantique développé dans le cadre de Revue3.0. La discussion, qui s'est tenue dans les locaux du CRIHN, a porté sur l'exploration de pistes pour d’éventuelles expérimentations visant à intégrer des sparse autoencoders dans Stylo. Ces technologies pourraient être implémentées, par exemple, pour automatiser la proposition de suggestions bibliographiques, de revues de littérature ou de synthèses disciplinaires au sein de Stylo, tout en garantissant l'indépendance vis-à-vis des LLMs préétablis et propriétaires.

Conçus pour réguler les nœuds activés lors de l'apprentissage non-supervisé des autoencoders, les sparse autoencoders pourraient permettre la manipulation de certaines features du texte d'entrée qui, dans le cas de Stylo, correspondrait au contenu inséré par les auteur·ice·s d'articles. De plus, la mise en œuvre de cette technologie pourrait permettre la production d'un texte de sortie doté de références ou de résumés alignés avec les features textuelles spécifiées par l’auteur·ice, ainsi qu'un certain niveau d'analyse sur le rôle sémantique des nœuds contenus dans les couches cachées des autoencoders.

Au cours de cette première discussion, Uricchio a brièvement présenté des outils qui pourraient servir de point de départ à ce type d'expérimentation, notamment Gemma Scope, un sparse autoencoder visant à l'interprétabilité du modèle d'IA Gemma, SAELens, une base de code pour l'entraînement de nouveaux sparse autoencoders, et Prism, qui permet la visualisation et la manipulation des caractéristiques des textes d'entrée.

D'autres ateliers d'expérimentation et de discussion portant sur l'intégration potentielle de technologies d’IA seront organisés en janvier 2025. Ces expérimentations devront s’accompagner d’une réflexion théorique sur le rôle potentiel de l’IA dans la recherche en sciences humaines. L'atelier du vendredi 29 novembre 2024, qui se déroulera en compagnie de Juan Luis Gastaldi, a pour objectif d’amorcer une première discussion dédiée à ce type de réflexion théorique.