Gå direkt till innehåll
Förgiftad träningsdata ett hot mot stora språkmodeller

Nyhet -

Förgiftad träningsdata ett hot mot stora språkmodeller

Dataförgiftning har blivit ett allt större hot mot stora språkmodeller (LLM). Det innebär att felaktig eller vilseledande data matas in i den träningsdata som språkmodellen använder när den svarar på en fråga. I förlängningen betyder det att prestandan och förtroendet för stora språkmodeller försämras. Dataförgiftning utgör också en säkerhetsrisk när en angripare till exempel påverkar en AI-driven kundtjänst att styra användarna till en webbplats för nätfiske.

– Ansvaret för att upptäcka och motarbeta dataförgiftning ligger hos utvecklarna av språkmodellerna. Men det är viktigt att alla som använder en modell som utsatts hämtar den nya, uppdaterade versionen så snart den blir tillgänglig, på samma sätt som man gör med all annan programvara som bygger på öppen källkod, säger Peter Graymon, ansvarig för Barracuda Networks i Norden.

Stora språkmodeller används för att exempelvis driva chattbottar och generera text. De tränas på stora mängder insamlad data som sedan används för att skapa mer data, allt enligt de regler och mönster de lärt sig. Kvalitetsdata leder till bra resultat medan undermålig eller felaktig data genererar dåliga resultat. Förgiftad träningsdata som används när man skapar en LLM gör också att en angripare kan kontrollera hur modellen beter sig när den används.

Ofta finns det ingen tydlig ekonomisk fördel med dataförgiftning men det kan bidra till att sprida felaktigheter, förstärka fördomar och skada varumärken. En språkmodell som beter sig på oväntade och farliga sätt urholkar förtroendet för både tekniken och den organisation som skapade eller implementerade den.

– Det tog inte lång tid för cyberkriminella och andra som vill påverka sin omgivning att börja med dataförgiftning. De kan nu undergräva tillförlitligheten, noggrannheten och säkerheten i tjänster som används av väldigt många människor, säger Peter Graymon.

Datamanipulation ett annat hot mot generativa AI-modeller
Datamanipulation är ett annat sätt att missbruka stora språkmodeller. Det innebär att en angripare skickar meddelanden till den generativa AI-botten för att försöka manipulera den att kringgå sin instruktion eller bryta logiken i prompten. Datamanipulation kan användas för att komma åt information som inte är publik men som ett företag kopplat till sin LLM. I förlängningen kan det användas för utpressning eller försäljning. Det kan också användas för att få en LLM att uttrycka sig skadligt för företaget eller fördelaktigt för användaren.

Ett exempel på datamanipulation är när ett kanadensiskt flygbolag tvingades följa en återbetalningspolicy som skapats av en AI-driven chatbott. Detta är känt som en ”hallucination” där AI-modellen ger ett felaktigt eller missvisande svar eftersom den inte har det faktiska svaret men ändå vill ge ett.

Sammanfattningsvis kan det vara så att det största hotet mot stora språkmodeller inte kommer från avsiktliga handlingar utförda av människor utan snarare från dålig data som genereras av andra AI-modeller.

Läs mer om dataförgiftning och datamanipulation på Barracudas hemsida»

Om du vill prata mer om IT-säkerhet, dataförgiftning och datamanipulation är du välkommen att kontakta Peter Graymon, Barracuda Networks, telefon: 0709-17 80 14, e-post: pgraymon@barracuda.com

Relaterade länkar

Ämnen

Kategorier

Kontakter

  • Peter Graymon, Barracuda
    Peter Graymon, Barracuda
    Licens:
    Medieanvändning
    Filformat:
    .jpg
    Storlek:
    5568 x 3712, 6,33 MB
    Ladda ner
  • Barracuda, dataförgiftning och stora språkmodeller
    Barracuda, dataförgiftning och stora språkmodeller
    Licens:
    Medieanvändning
    Filformat:
    .jpg
    Storlek:
    1200 x 628, 111 KB
    Ladda ner

Relaterat innehåll

  • 49 procent av de analyserade bottarna klassificeras som ”avancerade”.

    Skadliga bottar blir alltmer mänskliga

    Nya studier visar hur skadliga bottar blivit alltmer avancerade och människolika i sitt beteende. Det ger dem bättre möjligheter att lyckas med kontostölder och andra automatiserade angrepp. En ny rapport från Barracuda som analyserat bottar under ett års tid visar också en framväxande kategori av AI-bottar som kan betraktas som "grå bottar" och suddar ut gränsen för legitim verksamhet.

  • En oföränderlig backup ger skydd mot nästa nivå av cyberattacker – datamanipulering

    En oföränderlig backup ger skydd mot nästa nivå av cyberattacker – datamanipulering

    World Backup Day den 31 mars är en årligen återkommande påminnelse om hur avgörande det är att ha en uppdaterad, lättillgänglig kopia av all viktig data i verksamheten. Och med en så kallad oföränderlig backup som under en tid hindrar informationen från att ändras eller raderas får man dessutom ett bra skydd mot nästa nivå av cyberangrepp – datamanipulering.

  • Webbappar hett byte för cyberkriminella

    Webbappar hett byte för cyberkriminella

    Ny data visar att angreppen på webbapplikationer och API:er ligger på en mycket hög nivå. Under förra året stoppades totalt 18 miljarder angrepp av Barracuda Networks. Bara under december skedde 1,7 miljarder attacker. En rapport från Verizon visar också att webbapplikationer är det som oftast angrips. De står för 80 procent av säkerhetsincidenterna och 60 procent av intrången.