Hoppa till innehåll
Roy Saurabh
Roy Saurabh

Om

Jag började inte med AI-styrning.

Jag började med affärssystem 2005. Frågan kom långsamt, en institution i taget.

Hur frågan förändrades

  1. 2005

    Affärssystem

    Stora system, och vad de gör med människorna inuti demIndien

  2. 2014

    Utbildningsteknik

    Utbildningsinfrastruktur i nationell skalaNew Delhi

  3. 2018

    Lärandeteknik

    Från att leverera plattformar till att fråga vad lärandet behöverNew Delhi

  4. 2020

    Maskininlärning

    Maskininlärning från känsliga mänskliga dataParis

  5. 2021

    Datastyrning

    Hur underlag färdas in i policy, och vad som går förlorat på vägenParis

  6. 2024

    Doktorandforskning

    Avhandlingen försvaradParis

  7. 2025

    AI-assurans

    Att göra assuransunderlag granskningsbartParis

Det jag hela tiden återkommer till

  1. 01

    Underlag

    Påståenden om AI-system bör kunna kontrolleras av någon som inte varit inblandad, med underlag som överlever författarens entusiasm.

  2. 02

    Institutioner

    De institutioner som ombeds göra kontrollen är verkliga, begränsade och upptagna. En metod som bara fungerar under ideala förhållanden har inte löst problemet.

  3. 03

    Lärande

    Personanpassning är aldrig bättre än modellen av den lärande, och den modellen är alltid tunnare än den lärande.

  4. 04

    Integritet

    Att flytta beräkningen till data tar bort en exponering och inför andra. Risken flyttas, den försvinner inte.

  5. 05

    Gränser

    Jag publicerar hellre en metod som klart anger vilka beslut dess underlag inte kan bära än en som antyder en assurans den inte förtjänat.

Biografi

Baserad i
Paris, France
E-post
roy@affectlog.com
ORCID
0000-0003-3439-7731 ↗

Jag är forskare och arbetar i gränslandet mellan AI-system och de institutioner som styr hur de används. Mitt arbete ställer en snäv fråga med vida konsekvenser: vad måste gälla, tekniskt och institutionellt, för att ett AI-system ska kunna förtjäna förtroende i sammanhang där det påverkar människors liv?

Frågan har tre delar, och jag har ägnat min bana åt att röra mig mellan dem snarare än att slå mig ned i någon av dem. Det finns vad vi kan veta om ett system: hur det beter sig, på vilkas data, med vilken osäkerhet. Det finns vad institutioner bör kräva innan de förlitar sig på det: vilket underlag som är tillräckligt, för vilket beslut, i vems händer. Och det finns hur dessa krav blir operativa, programvaran, revisionerna och den styrningsapparat som gör en princip till något en tillsynsmyndighet eller ett sjukhus faktiskt kan kontrollera.

Min avhandling, försvarad vid Université Paris Cité i december 2024, låg i den första delen. Jag arbetade med maskininlärning på data från bärbara sensorer för att följa den psykiska hälsan hos vårdpersonal i frontlinjen, ett problem där data är glesa, intima och konsekvensrika, och där det ärliga resultatet lika ofta handlar om vad metoden inte kan bära som om vad den kan.

Innan jag återvände till forskning på heltid arbetade jag sju år vid Unesco, i Paris och dessförinnan vid institutet i New Delhi, med lärandeteknik, lärares kompetensutveckling och datastyrning i utbildningssystem. Den perioden lärde mig något som forskning ensam inte gör: hur underlag faktiskt färdas in i policy, hur mycket av det som går förlorat på vägen, och hur ofta en välgrundad teknisk reservation har försvunnit när rekommendationen väl formuleras.

I dag arbetar jag med AI-assurans, att bygga verktyg som gör underlag om AI-system granskningsbara i stället för enbart påstådda. Det omfattar reproducerbara ramverk för deploymentberoende riskanalys, exekverbart resonemang om regulatoriska skyldigheter, och metoder för att pröva om revisionsunderlag räcker för just det beslut det åberopas för. Jag sitter också i Unicef Innocentis expertrådgivande grupp om styrning av barns data, vilket håller arbetet nära en grupp som bär verkliga kostnader när datastyrningen brister.

Här skriver jag om det arbetet, och om de delar av det som inte får plats i artiklar.

Utbildning

  • Försvarad 17 december 2024

    PhD, Mathematics and Computer Science

    Université Paris Cité

    Handledare François Taddei, Harri Ketamo

  • 2020-2021

    M2, Learning Sciences (EdTech)

    Université Paris Cité

  • 2001-2005

    B.E., Electronics and Communications Engineering

    Birla Institute of Technology, Mesra

Roller

Datumen är exakta. Titlarna är de som institutionen använde under den aktuella perioden.