AI-agenter faller för grupptryck

En ny studie från IT-säkerhetsföretaget Check Point Software visar att AI-agenter kan påverkas av grupptryck och bryta mot säkerhetsregler när andra AI-agenter gör detsamma. I experimentet ökade andelen regelbrott från 44 till 98 procent när åtta andra AI-agenter ändrade sitt beteende och började bryta mot reglerna.

AI-agenter används i allt större utsträckning för att automatisera arbetsuppgifter och fatta beslut utan mänsklig inblandning. De arbetar ofta tillsammans och delar information med varandra, exempelvis för att analysera säkerhetshot, hantera känsliga uppgifter eller granska kod. Men Check Points forskning visar att samarbetet också kan innebära säkerhetsrisker, eftersom AI-agenter kan påverkas av varandra.

I studien placerades en AI-agent i ett fiktivt ekonomiteam tillsammans med tio andra AI-agenter. Agenten fick i uppgift att sammanställa en rapport, men behövde då komma åt en mapp som den uttryckligen saknade behörighet till. När de andra agenterna meddelade att de hade ändrat sig och öppnat mappen, ökade sannolikheten kraftigt för att även den testade agenten skulle bryta mot reglerna.

Resultaten visar att gruppens beteende hade större påverkan än direkta uppmaningar. När andra agenter försökte övertala den testade agenten att bryta mot reglerna minskade i stället andelen regelbrott från 33 procent till mellan 9 och 17 procent. Men när agenterna själva började bryta mot reglerna följde den testade agenten allt oftare efter. Ju fler som ändrade sitt beteende, desto större blev påverkan.

Forskarna upptäckte också att AI-agenten inte kunde redogöra för vad som hade påverkat dess beslut. Vid över 400 regelbrott hänvisade den inte en enda gång till de andra agenterna. I omkring 90 procent av fallen öppnade den den förbjudna mappen utan någon förklaring.

– Det här visar att AI-agenter kan påverkas av varandra på ungefär samma sätt som människor påverkas av grupptryck, säger Fredrik Sandström, säkerhetsexpert på Check Point Software. När företag börjar använda flera AI-agenter som samarbetar räcker det inte att kontrollera varje agent för sig. Om en agent börjar bryta mot reglerna kan beteendet spridas till andra, utan att det syns i deras egna förklaringar. Därför behövs säkerhetskontroller som övervakar både agenternas handlingar och hur de kommunicerar med varandra.

Check Point betonar vikten av att behörigheter och säkerhetsregler hanteras utanför AI-modellerna, så att de inte kan åsidosättas genom påverkan från andra agenter. Företagets lösning AI Agent Security är utvecklad för att övervaka AI-agenters handlingar och stoppa obehörig åtkomst innan den genomförs.

Läs mer på Check Points blogg: https://blog.checkpoint.com/security/peer-pressure-ai-agents/