Chloé Monnin est arrivée à l’intelligence artificielle par les mots, pas par le code. Linguiste de formation, elle s’est spécialisée en ingénierie multilingue avant de se retrouver, presque naturellement, à tester les limites des grands modèles de langage (LLM). Aujourd’hui chez SBS, elle travaille sur la qualité des solutions d’IA générative ; un métier qui n’existait pas il y a dix ans, dans un domaine qui se réinvente chaque semaine. Elle revient sur ce parcours singulier, sur ce que signifie vraiment “faire confiance” à une IA, et sur ce qu’un pull en laine peut avoir en commun avec un algorithme.
Comment ton bagage linguistique t’aide-t-il dans ton rôle d’ingénieure QA chez SBS?
Chez SBS, je contribue à garantir la qualité de l’IA chez SBS. Mon rôle est de tester les modèles que nous utilisons, ainsi que toutes les couches de traitement spécifiques au secteur bancaire qui les entourent. L’objectif est simple : vérifier que les réponses produites sont fiables, cohérentes et adaptées aux usages de nos clients. Ce qui est particulier avec les LLM (Large Language Models – la technologie derrière des outils comme ChatGPT, Gemini ou Copilot), c’est qu’ils sont non déterministes : on peut leur poser cent fois la même question et obtenir cent formulations différentes. Du coup, on ne juge pas la réponse sur sa forme, mais sur son sens. Il faut s’assurer que l’information transmise reste correcte, quelle que soit la manière dont elle est exprimée.
C’est là que mon background linguistique m’est utile. Comme on travaille sur du texte libre et non sur des données structurées, cette dimension linguistique est essentielle pour garantir la qualité des produits que nous développons. Elle m’aide à analyser le contenu des réponses générées par l’IA, à identifier les informations clés et à vérifier qu’elles sont correctement restituées.
Tu travailles en ce moment sur le programme SBS AI pour des clients bancaires. Quelle est ta mission ?
L’idée du programme SBS AI, c’est de permettre aux conseillers bancaires de poser des questions en langage naturel sur leur portefeuille clients, comme ils le feraient avec un chatbot. La plateforme traduit automatiquement ces questions en requêtes compréhensibles par les bases de données, récupère les informations pertinentes en respectant les droits d’accès de chaque utilisateur, puis reformule les résultats dans un langage clair.
Mon rôle consiste à tester cette étape de traduction entre le langage humain et le langage technique. Il faut s’assurer que le système comprend correctement les demandes des utilisateurs et récupère les bonnes informations. Finalement, l’utilisateur n’a pas besoin de connaître la technique. Il pose simplement sa question en français courant, et l’IA se charge de toute la complexité en arrière-plan.
Qu’est-ce qui te résiste encore en tant qu’ingénieure QA ? Ce que tu n’as pas vraiment résolu ?
Le principal défi, c’est le caractère non déterministe des LLM. Dans l’informatique traditionnelle, une même entrée produit toujours le même résultat. Avec les modèles de langage, ce n’est plus le cas. On ne peut donc plus tester uniquement la forme de la réponse ; il faut évaluer si le sens reste correct et si les informations fournies sont cohérentes. C’est un vrai changement de paradigme. Pour y parvenir, on utilise différentes techniques, notamment autour de la similarité sémantique, pour vérifier que deux réponses expriment bien la même idée même si elles sont formulées différemment. Ce domaine est encore très récent : beaucoup de méthodes sont issues de la recherche et restent expérimentales. On teste, on mesure, on ajuste. Accepter une part de variabilité tout en garantissant la qualité du résultat final, c’est probablement l’aspect le plus complexe de mon métier aujourd’hui.
Comment fais-tu pour vérifier que la machine ne dit pas de bêtises ?
Mon travail consiste à m’assurer que le fond est correct, même si la forme change. Je vérifie que l’IA va chercher les bonnes informations, qu’elle ne passe rien d’important sous silence et, surtout, qu’elle n’invente rien.
Une chose importante : on ne demande pas à l’IA d’inventer une réponse, mais de reformuler des données qui existent déjà. Les utilisateurs peuvent d’ailleurs voir les données sources, sous forme de tableaux ou de graphiques, et vérifier que la réponse correspond bien aux informations de la base. On teste aussi l’explicabilité : on ne lui demande pas seulement une réponse, mais également d’expliquer comment elle y est arrivée. Pour ça, je collabore étroitement avec les experts métier, qui nous aident à valider que les informations restituées sont pertinentes et fiables. Au final, l’objectif est de garantir trois choses : que l’information soit juste, complète et adaptée à la question posée.
En cas d’hallucination ou d’imprévisibilité dans tes tests, que fais-tu ?
On ne peut pas supprimer totalement les hallucinations, mais on peut les limiter et surtout les mesurer. Selon les modèles utilisés, on peut ajuster certains paramètres : comme la température, qui influence le niveau de créativité du modèle. Plus elle est basse, plus les réponses sont stables. On agit aussi sur tout ce qui entoure le LLM : contrôles, validations, règles métier intégrées dans la chaîne de traitement. Si une même question produit une réponse correcte dans 95 % des cas mais pose problème dans les 5 % restants, il faut comprendre pourquoi et réduire ce risque autant que possible. Il faut aussi accepter une réalité : un LLM n’est jamais parfait. Le défi consiste moins à éliminer totalement les erreurs qu’à les identifier, les contrôler et les rendre aussi rares que possible.
En tant qu’ingénieure QA, qu’est-ce qui te passionne le plus dans ton travail sur l’IA générative ?
Ce qui me fascine le plus, c’est la vitesse à laquelle cette technologie évolue. D’une semaine à l’autre, on voit apparaître de nouveaux modèles, de nouvelles capacités, de nouvelles limites aussi. C’est parfois vertigineux, mais c’est ce qui rend ce domaine aussi stimulant. J’aime aussi beaucoup chercher les failles des LLM, comprendre dans quels cas ils se trompent, comment ils peuvent être contournés, pourquoi certaines protections fonctionnent ou non. C’est un peu un jeu du chat et de la souris. Ce qui m’impressionne le plus, au final, c’est la créativité des utilisateurs. Ils trouvent sans cesse de nouvelles façons d’interagir avec l’IA pour en contourner les limites, parfois très inattendues. Voir ce dialogue permanent entre l’ingéniosité humaine et les capacités de la machine, c’est fascinant.
Et en dehors du travail, as-tu des passions qui influencent ta façon de travailler ?
J’ai une passion qui m’accompagne depuis longtemps : le tricot. Ça peut paraître surprenant, mais il y a un parallèle que je trouve réellement intéressant avec l’informatique. En tricot, tout repose sur deux points de base. Avec seulement ces deux éléments, on peut créer une infinité de motifs. C’est exactement comme en informatique, où tout part de zéros et de uns : à partir de briques très simples, on construit des systèmes extrêmement complexes.
Il existe même une anecdote historique fascinante à ce sujet. Pendant la Seconde Guerre mondiale, certaines tricoteuses auraient utilisé leurs ouvrages pour encoder discrètement des informations, sur les déplacements ou les horaires de patrouille. Avec seulement deux types de points, elles créaient des séquences représentant des données précises. C’est exactement ce principe : derrière des systèmes qui paraissent très complexes se cachent parfois des briques de base étonnamment simples.
Le tricot m’a aussi appris l’importance de l’anticipation. Quand on se lance dans un pull, il faut réfléchir à la structure avant de commencer. Dans un projet, c’est pareil.
Si tu devais conseiller quelqu’un qui commence aujourd’hui dans ce domaine, tu lui dirais quoi ?
Ce qui m’a le plus marquée, c’est que les métiers que j’ai exercés n’existaient pas lorsque j’ai commencé mes études. Et le métier que je fais aujourd’hui n’existait même pas quand j’ai débuté ma carrière. Ça m’a appris que rien n’est gravé dans le marbre. Les technologies évoluent, les métiers aussi, et il faut savoir s’adapter en permanence.
C’est d’ailleurs ce que j’observe dans le secteur en ce moment : l’IA est en train de transformer la manière dont on entre dans les métiers du développement. Certaines tâches qui servaient autrefois à faire monter les débutants en compétence sont aujourd’hui prises en charge par des outils d’IA. Le problème, c’est qu’on apprend à développer en pratiquant. Si la machine écrit le code à votre place, comment les nouvelles générations vont-elles acquérir l’expérience nécessaire pour devenir des développeurs confirmés ? C’est certainement l’un des grands défis des années à venir.
Au final, si j’avais un conseil à donner ce serait de développer et de cultiver son côté débrouillard. Dans un monde où tout change très vite, la capacité à apprendre, à se réinventer et à saisir de nouvelles opportunités est devenue essentielle.