Roy Saurabh

Jag är forskare och arbetar i gränslandet mellan AI-system och de institutioner som styr hur de används. Mitt arbete ställer en snäv fråga med vida konsekvenser: vad måste gälla, tekniskt och institutionellt, för att ett AI-system ska kunna förtjäna förtroende i sammanhang där det påverkar människors liv?

Frågan har tre delar, och jag har ägnat min bana åt att röra mig mellan dem snarare än att slå mig ned i någon av dem. Det finns vad vi kan veta om ett system: hur det beter sig, på vilkas data, med vilken osäkerhet. Det finns vad institutioner bör kräva innan de förlitar sig på det: vilket underlag som är tillräckligt, för vilket beslut, i vems händer. Och det finns hur dessa krav blir operativa, programvaran, revisionerna och den styrningsapparat som gör en princip till något en tillsynsmyndighet eller ett sjukhus faktiskt kan kontrollera.

Min avhandling, försvarad vid Université Paris Cité i december 2024, låg i den första delen. Jag arbetade med maskininlärning på data från bärbara sensorer för att följa den psykiska hälsan hos vårdpersonal i frontlinjen, ett problem där data är glesa, intima och konsekvensrika, och där det ärliga resultatet lika ofta handlar om vad metoden inte kan bära som om vad den kan.

Innan jag återvände till forskning på heltid arbetade jag sju år vid Unesco, i Paris och dessförinnan vid institutet i New Delhi, med lärandeteknik, lärares kompetensutveckling och datastyrning i utbildningssystem. Den perioden lärde mig något som forskning ensam inte gör: hur underlag faktiskt färdas in i policy, hur mycket av det som går förlorat på vägen, och hur ofta en välgrundad teknisk reservation har försvunnit när rekommendationen väl formuleras.

I dag arbetar jag med AI-assurans, att bygga verktyg som gör underlag om AI-system granskningsbara i stället för enbart påstådda. Det omfattar reproducerbara ramverk för deploymentberoende riskanalys, exekverbart resonemang om regulatoriska skyldigheter, och metoder för att pröva om revisionsunderlag räcker för just det beslut det åberopas för. Jag sitter också i Unicef Innocentis expertrådgivande grupp om styrning av barns data, vilket håller arbetet nära en grupp som bär verkliga kostnader när datastyrningen brister.

Här skriver jag om det arbetet, och om de delar av det som inte får plats i artiklar.