QA IA

Beschreibung:

Astek est un acteur mondial de l'ingénierie et du conseil en technologies. Fort de son expertise dans de nombreux secteurs industriels et tertiaires, Astek accompagne ses clients internationaux dans le déploiement intelligent de leurs produits et de leurs services, et dans la mise en œuvre de leur transformation digitale. Depuis sa création, le Groupe a fondé son développement sur une forte culture d'entrepreneuriat et d'innovation, et sur l'accompagnement et la montée en compétence de ses 10.000 collaborateurs qui s'engagent chaque jour à promouvoir la complémentarité entre les technologies numériques et l'ingénierie des systèmes complexes.
Ce que nous allons accomplir ensemble : Tu contribueras à assurer la qualité, la fiabilité et la robustesse de solutions basées sur l'intelligence artificielle. Ton rôle sera au cœur de la validation des systèmes d'IA, avec une attention particulière portée aux applications d'IA générative, aux LLM et à l'automatisation des tests. Ta mission (…si tu l'acceptes !) : Définir et industrialiser les pratiques QA permettant de tester, mesurer et fiabiliser les solutions d'IA tout au long de leur cycle de développement. Ton quotidien sera rythmé par : Concevoir et exécuter des stratégies de tests adaptées aux applications d'intelligence artificielle et d'IA générative. Développer et automatiser les tests fonctionnels, d'intégration, de régression et d'API. Construire des jeux de tests et des mécanismes d'évaluation pour mesurer la qualité des réponses générées par les LLM. Tester les systèmes RAG, les prompts, les sources de données et les différentes composantes d'une chaîne applicative IA. Identifier, documenter et analyser les erreurs, régressions, hallucinations et comportements inattendus des solutions IA. Intégrer les tests automatisés et les contrôles qualité dans les pipelines CI/CD. Collaborer avec les développeurs IA afin d'améliorer continuellement la qualité, la stabilité et la fiabilité des solutions. Ton Stack de Jeu : Python et Pytest LLM et IA générative RAG et prompt engineering Automatisation de tests et tests API Git et CI/CD Docker SQL et validation de données Frameworks d'évaluation des solutions IA

Ihr Profil:

Tu possèdes une expérience pertinente en assurance qualité, automatisation des tests ou validation de solutions d'intelligence artificielle. Tu maîtrises Python et les pratiques modernes d'automatisation des tests. Tu comprends le fonctionnement des LLM, des systèmes RAG et des applications d'IA générative. Tu sais construire des scénarios et jeux de données permettant d'évaluer objectivement une solution IA. Tu es capable de tester des systèmes présentant des comportements non déterministes et d'identifier leurs cas limites. Tu maîtrises les tests d'API, Git et l'intégration des tests automatisés dans des pipelines CI/CD. Tu sais analyser les résultats, isoler les causes d'une anomalie et collaborer efficacement avec les développeurs IA. Tu adoptes une approche orientée automatisation, traçabilité, qualité et amélioration continue