Description du poste : Sujet de thèse : Interactions vocales homme-robot efficaces Travaux de recherche Contexte scientifique Avec le vieillissement de la population, la robotique d'assistance est en plein essor. Les robots ont un rôle à jouer, mais doivent pour cela disposer de fonctionnalités robustes et transparentes pour être largement adoptés. Dans ces conditions, le moyen d'interaction naturel est la voix. La reconnaissance vocale en particulier permet de transcrire les requêtes utilisateurs en langage naturel, puis de les convertir en actions pour répondre aux sollicitations. Cette composante vocale renferme d'autres informations à exploiter en vue d'enrichir les services d'un tel système robotique. En particulier, la voix permet d'identifier l'émetteur d'une requête énoncée à l'oral afin d'en personnaliser la réponse. L'onde sonore donne également au robot la possibilité de localiser la source d'émission et de se diriger vers l'interlocuteur afin d'engager l'interaction. Tous ces traitements requièrent une plateforme de calculs robuste et son exploitation adaptative selon la localisation du robot, les conditions réseau et l'occupation des ressources. De plus, les opérations d'inférence sont gourmandes en ressources et réduisent d'autant l'exécution de fonctionnalités annexes, ou peuvent être perturbés par des opérations critiques. Notre plateforme de services autour de la voix, dénommée Vo-CAIRbot (Voice Control And Interaction for assistive RoBotics Operations in multi-user environments) devra alors combiner robustesse et performance pour être viable et assurer un haut niveau de qualité d'expérience (QoE) auprès d'un public en perte d'autonomie. Sujet de thèse L'intégration réussie de solutions de robotique d'assistance repose pour partie sur la capacité et fluidité d'interaction avec les acteurs humains. Y aboutir se traduit par des flottes de robots en mesure de réagir avec transparence et robustesse aux sollicitations utilisateur. Cela n'est pas anodin car lié à la puissance de calcul embarquée pour atteindre des temps de réponse satisfaisants. Aussi, concevoir un robot capable de s'intégrer dans un environnement humain et de répondre efficacement aux sollicitations requiert des briques de base solides et optimisées. Pour un public en perte d'autonomie la voix constitue un relais de communication important avec des systèmes robotisés. Au delà du langage naturel, l'information vocale embarque des caractéristiques supplémentaires exploitables pour fournir une offre de services enrichie. Nous explorons trois pans essentiels d'interactions à la voix pour faciliter l'acceptation des robots d'assistance et simplifier leur utilisation : - L'onde sonore peut alors être exploitée pour fournir une information de localisation [8, 7, 3], utile aux besoins de communication visuelle avec les personnes. Cette information est combinée avec une technique de localisation indoor pré-existante pour calculer un emplacement dans la zone d'intérêt considérée. En effet, un réseau de microphone embarqué permet d'identifier la source d'émanation d'une commande vocale et de s'y rendre de manière itérative. - L'interaction vocale avec un robot repose sur la transcription et l'interprétation de la parole du locuteur [6]. Ces opérations mobilisent des modèles d'apprentissage profond de grande complexité, conçus pour prendre en compte les variabilités acoustiques, prosodiques et linguistiques inhérentes à la parole humaine. Toutefois, leur intégration sur des plateformes robotiques aux ressources limitées impose des contraintes strictes en termes de calcul et de mémoire, nécessitant l'adoption de techniques d'optimisation avancées visant à réduire leur taille et leur charge computationnelle sans compromettre les performances [4]. - L'empreinte vocale propre aux individus est alors également exploitable pour simplifier et personnaliser les interactions. En effet, dans un contexte multi-utilisateurs, cette information permet au robot de localiser la personne qui parle et d'interagir avec elle. Nous nous proposons d'investiguer les techniques d'IA temps-réel capables de répondre à nos problèmes. La complexité des calculs combinée aux contraintes de l'environnement d'exécution, l'exigence de réactivité et la confidentialité des échanges nécessitent des approches originales pour accélérer les traitements de machine learning. En effet, les robots embarquent une puissance de calcul limitée, soumise à un taux d'occupation variable et à une enveloppe énergétique contrainte. En réponse, nous mobiliserons des infrastructures d'edge computing pour atteindre un haut niveau de qualité d'expérience (QoE). Plusieurs approches, basées sur une répartition optimale des calculs, seront alors à investiguer en plus des traditionnelles techniques d'élagage, de quantification [5] et