Aller au contenu
Roy Saurabh
Roy Saurabh

À propos

Je n'ai pas commencé par la gouvernance de l'IA.

J'ai commencé par les systèmes d'entreprise, en 2005. La question est venue lentement, une institution après l'autre.

Comment la question a changé

  1. 2005

    Systèmes d'entreprise

    Les grands systèmes, et ce qu'ils font aux personnes qui y travaillentInde

  2. 2014

    Technologies éducatives

    Infrastructures éducatives à l'échelle nationaleNew Delhi

  3. 2018

    Technologies d'apprentissage

    De la livraison de plateformes à la question de ce dont l'apprentissage a besoinNew Delhi

  4. 2020

    Apprentissage automatique

    Apprendre à partir de données humaines sensiblesParis

  5. 2021

    Gouvernance des données

    Comment les preuves circulent jusqu'à la décision publique, et ce qui s'en perdParis

  6. 2024

    Recherche doctorale

    Thèse soutenueParis

  7. 2025

    Assurance de l'IA

    Rendre auditables les preuves d'assuranceParis

Ce à quoi je reviens sans cesse

  1. 01

    Preuves

    Les affirmations sur les systèmes d'IA devraient pouvoir être vérifiées par quelqu'un qui n'y a pas pris part, à partir de preuves qui survivent à l'enthousiasme de leur auteur.

  2. 02

    Institutions

    Les institutions chargées de cette vérification sont réelles, contraintes et occupées. Une méthode qui ne fonctionne qu'en conditions idéales n'a pas résolu le problème.

  3. 03

    Apprentissage

    La personnalisation ne vaut que ce que vaut le modèle de l'apprenant, et ce modèle est toujours plus sommaire que l'apprenant.

  4. 04

    Vie privée

    Déplacer le calcul vers les données supprime une exposition et en introduit d'autres. Le risque se déplace, il ne disparaît pas.

  5. 05

    Limites

    Je préfère publier une méthode qui dit clairement quelles décisions ses preuves ne peuvent pas étayer plutôt qu'une méthode qui laisse entendre une assurance qu'elle n'a pas acquise.

Biographie

Basé à
Paris, France
Courriel
roy@affectlog.com
ORCID
0000-0003-3439-7731 ↗

Je suis chercheur et je travaille à la frontière entre les systèmes d'IA et les institutions qui en encadrent l'usage. Mes travaux posent une question étroite aux conséquences larges : que faut-il établir, techniquement et institutionnellement, pour qu'un système d'IA puisse être digne de confiance là où il affecte la vie des personnes ?

Cette question comporte trois volets, et j'ai passé ma carrière à circuler entre eux plutôt qu'à m'installer dans l'un d'eux. Il y a ce que nous pouvons savoir d'un système : son comportement, sur quelles données, avec quelle incertitude. Il y a ce que les institutions devraient exiger avant de s'y fier : quelles preuves sont suffisantes, pour quelle décision, et entre les mains de qui. Et il y a la manière dont ces exigences deviennent opérationnelles, les logiciels, les audits et les dispositifs de gouvernance qui transforment un principe en quelque chose qu'un régulateur ou un hôpital peut réellement vérifier.

Ma thèse, soutenue à l'Université Paris Cité en décembre 2024, relevait du premier volet. J'y ai travaillé sur l'apprentissage automatique appliqué aux données de capteurs portés pour suivre la santé mentale des soignants de première ligne, un problème où les données sont rares, intimes et lourdes de conséquences, et où le résultat honnête porte aussi souvent sur ce que la méthode ne permet pas d'affirmer que sur ce qu'elle permet.

Avant de revenir à la recherche à plein temps, j'ai passé sept ans à l'UNESCO, à Paris puis auparavant à son institut de New Delhi, à travailler sur les technologies d'apprentissage, le développement professionnel des enseignants et la gouvernance des données des systèmes éducatifs. Cette période m'a appris quelque chose que la recherche seule n'enseigne pas : comment les preuves circulent réellement jusqu'à la décision publique, tout ce qui s'en perd en chemin, et la fréquence avec laquelle une réserve technique bien fondée a disparu au moment où la recommandation est rédigée.

Je travaille aujourd'hui sur l'assurance de l'IA, des outils qui rendent les preuves relatives aux systèmes d'IA auditables plutôt que simplement affirmées. Cela comprend des cadres reproductibles d'analyse du risque conditionnée au déploiement, un raisonnement exécutable sur les obligations réglementaires, et des méthodes pour éprouver si les preuves d'audit suffisent à la décision précise qu'elles sont censées justifier. Je siège également au groupe consultatif d'experts de l'UNICEF Innocenti sur la gouvernance des données des enfants, ce qui maintient ces travaux au contact d'une population qui paie un prix réel lorsque la gouvernance des données échoue.

J'écris ici sur ce travail, et sur les parts de celui-ci qui n'entrent pas proprement dans un article.

Formation

  • Soutenue le 17 décembre 2024

    PhD, Mathematics and Computer Science

    Université Paris Cité

    Sous la direction de François Taddei, Harri Ketamo

  • 2020-2021

    M2, Learning Sciences (EdTech)

    Université Paris Cité

  • 2001-2005

    B.E., Electronics and Communications Engineering

    Birla Institute of Technology, Mesra

Fonctions

Les dates sont exactes. Les intitulés sont ceux employés par l'institution à la période concernée.