Roy Saurabh

Je suis chercheur et je travaille à la frontière entre les systèmes d'IA et les institutions qui en encadrent l'usage. Mes travaux posent une question étroite aux conséquences larges : que faut-il établir, techniquement et institutionnellement, pour qu'un système d'IA puisse être digne de confiance là où il affecte la vie des personnes ?

Cette question comporte trois volets, et j'ai passé ma carrière à circuler entre eux plutôt qu'à m'installer dans l'un d'eux. Il y a ce que nous pouvons savoir d'un système : son comportement, sur quelles données, avec quelle incertitude. Il y a ce que les institutions devraient exiger avant de s'y fier : quelles preuves sont suffisantes, pour quelle décision, et entre les mains de qui. Et il y a la manière dont ces exigences deviennent opérationnelles, les logiciels, les audits et les dispositifs de gouvernance qui transforment un principe en quelque chose qu'un régulateur ou un hôpital peut réellement vérifier.

Ma thèse, soutenue à l'Université Paris Cité en décembre 2024, relevait du premier volet. J'y ai travaillé sur l'apprentissage automatique appliqué aux données de capteurs portés pour suivre la santé mentale des soignants de première ligne, un problème où les données sont rares, intimes et lourdes de conséquences, et où le résultat honnête porte aussi souvent sur ce que la méthode ne permet pas d'affirmer que sur ce qu'elle permet.

Avant de revenir à la recherche à plein temps, j'ai passé sept ans à l'UNESCO, à Paris puis auparavant à son institut de New Delhi, à travailler sur les technologies d'apprentissage, le développement professionnel des enseignants et la gouvernance des données des systèmes éducatifs. Cette période m'a appris quelque chose que la recherche seule n'enseigne pas : comment les preuves circulent réellement jusqu'à la décision publique, tout ce qui s'en perd en chemin, et la fréquence avec laquelle une réserve technique bien fondée a disparu au moment où la recommandation est rédigée.

Je travaille aujourd'hui sur l'assurance de l'IA, des outils qui rendent les preuves relatives aux systèmes d'IA auditables plutôt que simplement affirmées. Cela comprend des cadres reproductibles d'analyse du risque conditionnée au déploiement, un raisonnement exécutable sur les obligations réglementaires, et des méthodes pour éprouver si les preuves d'audit suffisent à la décision précise qu'elles sont censées justifier. Je siège également au groupe consultatif d'experts de l'UNICEF Innocenti sur la gouvernance des données des enfants, ce qui maintient ces travaux au contact d'une population qui paie un prix réel lorsque la gouvernance des données échoue.

J'écris ici sur ce travail, et sur les parts de celui-ci qui n'entrent pas proprement dans un article.