Descriptif du poste: Lieu de travail : France (télétravail) Type de contrat : Temps partiel Charge de travail hebdomadaire : 25 heures par semaine Résumé du poste : L'annotateur de code sera responsable de la création d'invites de programmation et de solutions de référence alignées sur des benchmarks du secteur tels que SWE-Bench et Terminal-Bench. Le rôle implique également de tester les sorties des modèles afin d'identifier les défaillances. L'annotateur contribuera aussi aux workflows d'apprentissage par renforcement en construisant et en maintenant des environnements de codage, ainsi qu'en exécutant des validations spécifiques au code. Ce poste ne comprend pas la vérification qualité des sorties Annotator++, mais se concentre sur l'évaluation spécifique au domaine, le benchmarking et l'analyse technique afin de mettre en évidence les limites des modèles et fournir des insights sur leurs performances. Responsabilités principales : * Créer des invites de programmation et des solutions de référence de haute qualité, alignées sur des benchmarks tels que SWE-Bench et Terminal-Bench. * Développer des prompts axés sur le refactoring, la génération de code et la résolution de problèmes. * Évaluer les sorties des modèles afin d'identifier les erreurs, limites et schémas d'échec en matière de raisonnement, de justesse et d'exécution. * Concevoir et maintenir des environnements de codage utilisés pour l'évaluation et les pipelines d'apprentissage par renforcement (RL). * Exécuter des validations spécifiques au code à l'aide de critères et d'outils fournis par d'autres équipes d'annotation. * Documenter les résultats, analyses et observations afin de soutenir l'amélioration des modèles et les stratégies d'entraînement. * Réaliser des revues de code détaillées et des annotations garantissant précision et conformité. * Travailler avec Python et des technologies front-end (JavaScript, TypeScript), avec éventuellement Java. * Effectuer des tâches répétitives avec précision tout en maintenant des standards de qualité élevés. * Collaborer avec des équipes transverses pour améliorer la qualité du code et de la documentation. Exigences du poste : * Excellente maîtrise de Python et des langages front-end (JavaScript, TypeScript). * Une expérience en Java est un atout. * Expérience avérée en revue de code et assurance qualité. * Capacité à gérer des tâches répétitives avec une grande attention aux détails. * Minimum 3 ans d'expérience professionnelle dans un domaine connexe. * Excellentes compétences en communication écrite et orale en anglais. Formation : * Diplôme de licence (Bachelor) en informatique, génie logiciel, génie informatique ou dans un domaine technique étroitement lié requis. Profil recherché: Le candidat idéal est un ingénieur logiciel expérimenté disposant d'au moins trois ans d'expérience professionnelle, avec une solide maîtrise de Python et des technologies front-end telles que JavaScript et TypeScript ; des connaissances supplémentaires en Java constituent un atout. Il possède une formation académique solide en informatique ou dans un domaine connexe, ainsi qu'une expertise avérée en revue de code, débogage et assurance qualité. Ce profil se distingue par de fortes capacités analytiques, lui permettant d'identifier des problèmes subtils liés à la justesse du code, à la logique et à l'exécution, et il est à l'aise avec les frameworks de benchmarking ainsi que les méthodologies d'évaluation structurées. Au-delà des compétences techniques, ce poste requiert un professionnel rigoureux, attentif aux détails, capable de produire de manière constante des livrables de haute qualité dans un environnement structuré et répétitif. Il sait concevoir des scénarios de programmation réalistes, évaluer des solutions générées par l'IA et documenter ses analyses afin d'améliorer les performances des modèles. D'excellentes compétences en communication en anglais sont indispensables, tout comme la capacité à collaborer efficacement avec des équipes transverses. Le candidat doit faire preuve d'autonomie, de discipline et être à l'aise avec le travail à distance à temps partiel, en gérant une charge de travail régulière avec précision et fiabilité.