RESIST CENTER ska ta fram nya tekniker och metoder tätt knutna till AI och cybersäkerhet för att uppnå holistisk cyberresiliens genom hela AI-livscykeln.
Arbetet med RESIST CENTER är uppdelat i fyra olika forskningsteman. I kombination med dessa teman genomförs även ett valideringsprogram och olika centrumaktiviteter för att verifiera och testa framtagna metoder i en verklig kontext.
bygger på fyra olika forskningsteman
Forskningstema 1
Att göra AI‑system begripliga, manipulationssäkra och spårbara genom hela deras livscykel. Arbetet stärker AI‑systemens motståndskraft utifrån egenskaper som ännu saknar etablerad standard, men som efterfrågas i regelverk såsom EU:s AI‑förordning.
RESIST utvecklar ramverk för hotmodellering kopplat till datamaterials ursprung, anpassar zero‑knowledge‑bevis för modellverifiering, tar fram verifierbara metoder för ”machine unlearning” och vidareutvecklar XAI tekniker för förklarbar AI med fokus på rotorsaksanalys och tolkbarhet.
Forskningstemat skapar en tydlig koppling mellan ”security by design” och ”security by assurance” i AI‑system. Det omfattar dessutom en fullständig verifieringskedja baserad på rigorösa definitioner och mätbara kriterier för tolkbarhet, verifierbarhet och spårbarhet.
Forskningstema 2
Skydda AI-modeller när de är i drift
Utveckla nya metoder för att upptäcka och försvara mot angrepp som riktar sig mot indata, utdata och modellens övergripande beteende.
Gå bortom modell- eller angreppsspecifika studier och i stället utveckla strukturerade, generaliserbara försvarsmekanismer för AI-system under drift. Driftsatta modeller behandlas som operativ infrastruktur och kräver kontinuerlig och systematisk säkerhetsgranskning under drift.
Forskningstema 3
Säkerställa korrekthet och säkerhet i AI-genererad kod.
Utveckla nya metoder och tekniker för att bedöma, stärka och verifiera säkerheten i AI-assisterad och AI-genererad kod.
Göra säkerhet till ett huvudmål vid träning av kodgenererande AI-modeller, tillhandahålla semantikmedvetna mekanismer som stödjer träning och verifiering samt använda “white-hat”-AI‑agenter för att stärka resultatet.
Forskningstema 4
Utveckla tillförlitlig och säker distribuerad AI – från datainsamling och träning till modeller och interaktioner med agentbaserad AI.
Ta fram verifierade protokoll för att fördela AI-arbetslaster i betrodda exekveringsmiljöer (TEE), analysera och skydda mot sidokanalsattacker för att bevara konfidentialiteten i AI-kod, utveckla skyddad federerad inlärning med robust homomorf kryptering (HE) samt identifiera potentiellt skadliga mönster i agentbaserad AI och utveckla motåtgärder.
Nya, formellt verifierade protokoll för distribution av AI‑arbetsbelastningar samt nya motåtgärder för att skydda sekretessen hos arbetsbelastningarnas kod. En ny kombination av distribuerade inlärningstekniker med flerpartsbaserad homomorf kryptering. Formella specifikationer av interaktionsprotokoll för agentbaserad AI som gör det möjligt att ta fram skyddsräcken (”execution guards”) vid exekvering.
