Présentation de la structure : L'Université de Grenoble Alpes (UGA) propose un poste d'ingénieur de recherche pour participer aux projets PARTAGES sur les LLMs médicaux. Vous serez accueilli au sein des équipes GETALP et MRIM du laboratoire LIG (https://lig-getalp.imag.fr/), qui offre un environnement dynamique, international et stimulant pour mener des recherches multidisciplinaires de haut niveau. Vous aurez accès à de grands ensembles de données, à des serveurs GPU, à des moyens pour les missions ainsi qu'aux activités scientifiques des laboratoires. Le projet PARTAGES vise à la mise en place de grands modèles de langue adaptables et souverains pour le domaine médical français pour transformer la gestion des données de santé tout en préservant leur confidentialité. Le projet, financé par BPI France à hauteur de 10 millions d'euros, réunit 32 partenaires dans les domaines de la santé et du traitement automatique du langage naturel. Le projet concevra également des bancs d'essais permettant d'évaluer la capacité de généralisation de ce type de modèles. L'objectif du projet PARTAGES est de produire des LLMs adaptés au domaine médical en Français en utilisant des techniques de fine-tuning supervisés ou en poursuivant le pré-apprentissage. Cependant, le fine-tuning peut spécialiser à outrance les représentations pour une tâche, réduisant la généralisation en distordant les représentations apprises (Kumar et al., 2022). De plus, la poursuite du pré-apprentissage peut provoquer un 'catastrophic forgetting'. L'objectif est donc de développer des techniques d'apprentissage pour atténuer ces problèmes de spécialisation et d'oubli. En lien avec cet objectif de spécialisation, il est également important d'évaluer si les LLMs peuvent s'adapter efficacement aux domaines de spécialité de médecine, l'adaptation Low-Rank (Hu et al., 2021) semble se révéler moins efficace que le fine-tuning complet, car elle ne parvient pas à intégrer les phénomènes spécifiques au domaine avec les paramètres limités disponibles (Eschbach-Dymanus et al., 2024). Il conviendra donc de trouver des méthodes permettant la spécialisation au domaine toute en gardant des capacités de généralisation telles que celles reposant sur la fusion de modèles (Wortsman et al., 2022). Missions principales : Vous contribuerez à la gestion quotidienne du projet de recherche, sous la supervision de Lorraine Goeuriot, Didier Schwab et François Portet. Des réunions régulières auront lieu toutes les deux semaines. Activités principales : - Organiser et pré-traiter de grand corpus de données pour l'apprentissage et l'évaluation, en incluant la selection et la labellisation de jeux de données d'instruction. - Adapter des LLMs en utilisant les protocoles définis et les jeux de données préparés. - Définir et appliquer des protocoles d'expérimentation sur des supercalculateurs locaux et nationaux. - Analyser les résultats et contribuer à l'amélioration continue des approches développées. - Préparer des articles à soumettre à des conférences et à des revues évaluées par des pairs. - Communiquer les modèles appris aux partenaires des projets et sur les grandes plateformes internationales (p.ex. Zenodo, Huggingface). - Organiser des réunions d'avancement et assurer la liaison entre les membres de l'équipe. - Participer à la rédaction des livrables de projet. Vous interagirez avec les autres post-docs, doctorats, stagiaires et les chercheurs faisant partie du projet PARTAGES. En fonction de votre parcours, de vos intérêts propres et de l'objectif du projet, vous aurez la possibilité d'orienter la recherche dans différentes directions. Vous devez être titulaire d'un master en traitement du langage naturel ou en informatique, ou en cours d'obtention.