Mission : Le proposition de poste ci-présent rentre dans le cadre de deux projets actuellement en développement au sein du laboratoire LISN. Le travail effectué sera décomposé en deux parties, la création d'un corpus annotés en question réponse sur des documents comportant à la fois des données textuelles et visuelles et une seconde partie sur le traitement de la parole dans le cadre de transcription oral de description d'équations mathématiques vers le format latex. Les trois premiers mois seront consacrés à la création d'un corpus de question réponse sur des documents scolaires, les questions portant à la fois sur des diagrammes/images, du texte et des énoncés mathématiques. L'objectif sera de piloter les études pour le développement du corpus, de participer activement au développement du corpus (technique), d'en définir les caractéristiques et de concevoir des méthodes d'évaluations multi-critères tout ceci nécessitant la maîtrise des outils de TAL les plus récents. Afin de réaliser les différents travaux le candidat coordonnera des stagiaires. Les six derniers mois du poste seront consacrés à la mise en place d'un système de reconnaissance de la parole avec de sorties "structurées", la conception de méthode d'évaluation et la mise en place d'une démonstration. Activités : Partie 1 : Corpus multimodal sur des documents scolaires * Pilotage d'une équipe pour la conception d'un corpus multimodal contenant à la fois des images (en particulier des schémas) et du texte sur des documents éducatifs tels que des livres scolaires ou des ressources encyclopédiques à partir d'approches automatiques * Conception de méthodes statistiques innovantes pour l'évaluation de systèmes génératifs * Pilotage d'une campagne d'évaluation du corpus produit (évaluation par des experts) mais aussi la gestion du budget Partie 2 : Transduction de formules mathématiques à partir de la parole * Piloter le pôle "inférence structurée" de la plateforme open-source PTAL (https://ptal.lisn.upsaclay.fr/); Entre autre il faut: * superviser la conception d'un système de transcription de la parole en LaTeX * définir et mettre en place un cade d'évaluation des systèmes adapté à la problématique de l'écriture d'équations Missions communes : * Participer à l'animation scientifique du groupe de recherche * Aide et support technique aux activités de recherche.