Mission : Le cadre général du travail est celui de l'évaluation des grands modèles génératifs (giga modèles de langue ou LLM) multilingues, c'est-à-dire des modèles génératifs qui prennent en charge plus d'une langue. La question principale qui se pose est celle de la mesure du niveau de "multilinguisme" d'un modèle - pour le formuler de manière simple "combien (et quelles) de langues le modèle est-il capable de prendre en charge (et avec quel niveau de qualité)"? Ce travail de réflexion méthodologique s'inscrit dans le cadre du projet européen LLM4EU qui vise à développer des modèles et des cadres d'évaluation pour toutes les langues officielles de l'UE. Contexte scientifique Les outils de traitement des langues s'appuyant sur des grands modèles de langue dits génératifs ont en quelques années atteint des niveaux très élevés de performance pour des tâches complexes. Ils sont aujourd'hui largement présents dans nos environnements numériques de travail pour accéder à l'information, l'analyser, la reformuler, ou encore pour générer des contenus originaux. Avec la large diffusion de ces technologies, l'analyse des performances réelles, des risques et des limitations de ces modèles se pose de manière accrue. Lorsque ces modèles sont multilingues, une dimension de l'évaluation doit concerner le niveau de multilinguisme d'un modèle. Cette évaluation est difficile, faute de pouvoir (en général) accéder directement à partir de l'analyse des données et protocoles d'apprentissage et doit donc être effectuée en "boîte noire" à partir de requêtes soumises à un modèle entraîné. Il existe de multiples tâches et parangons monolingues, surtout pour l'anglais, mais la qualité et variété de ces parangons est très inégalement répartie entre langues. Une seconde difficulté est liée à la nécessité de comparer les performances entre langues: or dans cette comparaison, des facteurs multiples peuvent entrer en ligne de compte, certains liés au modèle, mais d'autres qui sont intrinsèques aux langues considérées. Dans un premier temps, le travail visera à construire des mesures robustes applicables à des modèles qui rendent accessibles les représentations et les distributions de probabilité qui sont manipulées: pour ces modèles nous étudierons la validité de plusieurs métriques inspirées de la théorie de l'information (compression, perplexité), et à les déployer sur une infrastructure ouverte. Dans un second temps, le travail visera à étudier des méthodes pour minimiser les différences entre langues et rendre les métriques plus directement comparables -- par exemple en utilisant des transcodages "universels" plus équitables entre langues (par translittération, phonétisation, etc.). En parallèle, on s'intéressera à généraliser les métriques proposées pour les modèles ouverts à des modèles fermés. Activités : La personne recrutée travaillera en collaboration avec les membres du laboratoire travaillant sur le traitement des langues; plus largement, elle entretiendra des collaborations au sein du projet "LLM4EU" (dans d'autres laboratoires du CNRS, et plus généralement d'autres partenaires du projet), pour évaluer les grands modèles de langue multilingues, en particulier pour mesurer leurs compétences linguistiques; puis à rendre compte de ce travail dans des articles et communications scientifiques. Une partie significative de l'activité sera de nature expérimentale et demandera de conduire des expériences sur les (grands) modèles de l'état de l'art.