Kako zavarovati agente AI: OWASP Agentic Top 10, MCP in ključni ukrepi
Posodobljeno na November 19, 20268 minute preberite
Agent AI, zgrajen okoli velikega jezikovnega modela (LLM), počne več kot le odgovarja na vprašanja. Načrtuje, kliče orodja, bere in zapisuje podatke ter včasih komunicira z drugimi agenti. S tem se pri vsaki šibkosti modela poveča, kaj je na kocki: prompt injection, ki bi v klepetalnem robotu povzročila le slab odgovor, lahko agenta pripravi do tega, da pošlje e-pošto, spremeni zapise ali zažene kodo. Ta vodnik obravnava OWASP Top 10 za agentne aplikacije in praktične ukrepe, vključno z varnostjo protokola Model Context Protocol (MCP).
Zakaj agenti potrebujejo lasten varnostni model
NIST AI 100-2e2025 agenta opisuje kot programsko opremo, ki „iterativno pošilja pozive modelu“, obdeluje njegove izhode, na primer za klic funkcije, in rezultate vrača v naslednji poziv. OWASP Top 10 za aplikacije LLM 2026 mejo potegne prav tu: model obravnava kot komponento, ko pa model deluje z orodji, pomnilnikom in posledicami za nadaljnje sisteme, OWASP napoti na svoj seznam za agentne aplikacije.
Ta seznam dodaja načelo, ki ga je vredno sprejeti najprej: najmanjšo avtonomijo (least agency). OWASP organizacijam svetuje, naj se „izogibajo nepotrebni avtonomiji“, saj uvajanje agentnega vedenja tam, kjer ni potrebno, „širi površino napada, ne da bi dodajalo vrednost“.
OWASP Top 10 za agentne aplikacije
OWASP GenAI Security Project je OWASP Top 10 za agentne aplikacije objavil 9. decembra 2025. Njegovih deset postavk:
- ASI01: Agent Goal Hijack (ugrabitev cilja agenta). Podtaknjena vsebina preusmeri cilje ali načrte agenta.
- ASI02: Tool Misuse and Exploitation (zloraba in izkoriščanje orodij). Agent legitimna orodja uporablja na nevaren način.
- ASI03: Identity and Privilege Abuse (zloraba identitete in pooblastil). Delegirane ali podedovane poverilnice so zlorabljene.
- ASI04: Agentic Supply Chain Vulnerabilities (ranljivosti agentne dobavne verige). Orodje, strežnik MCP, poziv ali agent je zlonameren ali prirejen.
- ASI05: Unexpected Code Execution (RCE) (nepričakovano izvajanje kode). V vaših sistemih se zažene ustvarjena ali podtaknjena koda.
- ASI06: Memory & Context Poisoning (zastrupitev pomnilnika in konteksta). Shranjeni pomnilnik ali pridobljeni kontekst postane okužen.
- ASI07: Insecure Inter-Agent Communication (nezavarovana komunikacija med agenti). Sporočila med agenti so ponarejena ali spremenjena.
- ASI08: Cascading Failures (kaskadne odpovedi). Ena napaka se razširi med agenti in delovnimi tokovi.
- ASI09: Human-Agent Trust Exploitation (izkoriščanje zaupanja človeka v agenta). Ljudje preveč zaupajo samozavestnemu agentu.
- ASI10: Rogue Agents (agenti, ki so ušli izpod nadzora). Agent se oddalji od predvidene funkcije ali obsega.
Agentom dodelite najmanjša pooblastila in poverilnice z omejenim obsegom
Postavka LLM01:2026 na seznamu OWASP ugotavlja, da je večina zabeleženih incidentov prompt injection z velikim vplivom postala resna, ker je ogroženi model lahko prek orodij deloval s pooblastili uporabnika. ASI03 priporoča ločene identitete za vsakega agenta in „kratkotrajne žetone z ozkim obsegom za vsako nalogo“, ASI02 pa profile za posamezna orodja z obsegi, omejitvami števila zahtev in seznami dovoljenih ciljev za odhodni promet. Orodja poganjajte v lastnem kontekstu uporabnika z najmanjšim obsegom OAuth, ne prek skupnega računa z visokimi pooblastili.
Podjetje Invariant Labs je pokazalo, zakaj je obseg pomemben: zlonameren zahtevek (issue) na GitHubu je lahko ugrabil agenta, povezanega s strežnikom MCP za GitHub, in razkril podatke iz uporabnikovih zasebnih repozitorijev. Raziskovalci so poudarili, da to „ni napaka v sami kodi strežnika MCP za GitHub“, temveč arhitekturna težava, in predlagali, naj bo vsaka seja omejena na en repozitorij.
Hitro preverjanje zasnove je Metino pravilo dveh za agente (Agents Rule of Two): v eni seji naj agent združuje največ dve od naslednjih lastnosti: obdelavo nezaupanja vrednih vhodov, dostop do občutljivih sistemov ali zasebnih podatkov ter spreminjanje stanja ali komuniciranje navzven. Če potrebuje vse tri, Meta pravi, da mu „ne bi smeli dovoliti samostojnega delovanja“.
Uporabljajte sezname dovoljenih in preverjanje pravilnikov zunaj modela
O tem, kaj sme agent početi, odločajte v kodi, ne v pozivu. Za vsako nalogo določite sezname dovoljenih orodij, omrežnih ciljev, do katerih lahko dostopa, in ukazov, ki jih sme zagnati brez vprašanja, vse drugo pa zavrnite. ASI02 opisuje točko uveljavljanja pravilnikov (policy enforcement point), ki izhod načrtovalnika obravnava kot nezaupanja vreden ter pred zagonom orodja preveri namen in argumente, uveljavi sheme in omejitve števila zahtev ter izda kratkotrajne poverilnice.
Kodo agenta poganjajte v peskovniku
Če agent piše ali poganja kodo, računajte s tem, da bo del te kode zlonameren (ASI05). OWASP svetuje: kode nikoli ne poganjajte kot root, poganjajte jo v izoliranih vsebnikih (peskovnikih) s strogimi omejitvami, vključno z dostopom do omrežja, ter z validacijskimi vrati ločite ustvarjanje kode od njenega izvajanja. Anthropic v zapisu o peskovniku za svojega agenta za programiranje dodaja, da učinkovit peskovnik zahteva izolacijo datotečnega sistema in omrežja, saj bi lahko ogroženi agent brez omrežne izolacije „iznesel občutljive datoteke, kot so ključi SSH“.
Pred nepovratnimi dejanji vprašajte človeka
Zahtevajte odobritev pred vsem, kar je težko razveljaviti ali je vidno zunaj sistema: brisanjem podatkov, prenosom denarja, objavljanjem ali pošiljanjem sporočil. ASI02 predlaga, da pred odobritvijo prikažete poskusni zagon (dry run) ali razliko (diff) dejanja. Prošenj za odobritev naj bo dovolj malo, da vsaka nekaj pomeni: OWASP opozarja, da utrujenost od odobritev slabi presojo, ASI09 pa opisuje agente, ki pregledovalce pregovorijo, da odobrijo škodljiva dejanja.
Strežnike MCP in opise orodij obravnavajte kot nezaupanja vredne
MCP olajša priklapljanje orodij na agenta, zato orodja postanejo tveganje v dobavni verigi. Specifikacija MCP določa, da odjemalci „MORAJO obravnavati anotacije orodij kot nezaupanja vredne, razen če prihajajo iz zaupanja vrednih strežnikov“, in da bi „VEDNO MORAL biti v zanki človek, ki lahko zavrne klice orodij“.
Podjetje Invariant Labs zastrupitev orodij (tool poisoning) opisuje kot navodila v opisih orodij, ki „so uporabnikom nevidna, modelom AI pa vidna“, in opozarja, da lahko strežnik opis spremeni tudi potem, ko ste ga že odobrili. OWASP-ova postavka ASI04 navaja zlonameren strežnik MCP v npm, ki se je izdajal za legitimno integracijo e-pošte in na skrivaj kopiral e-poštna sporočila napadalcu.
Praktični koraki:
- Strežnike MCP nameščajte iz virov, ki jim zaupate, pripnite različice in preverjajte zgoščene vrednosti.
- Opise orodij preglejte glede skritih navodil, in to znova ob vsaki njihovi spremembi.
- Pri lokalnih strežnikih pred zagonom prikažite natančen ukaz in strežnik zaženite z najmanjšimi pooblastili v peskovniku, kot priporočajo varnostne dobre prakse MCP.
- Žetonov nikoli ne posredujte naprej: strežniki MCP „NE SMEJO sprejemati žetonov, ki niso bili izrecno izdani za ta strežnik MCP“.
- Začnite z ozkimi obsegi OAuth in dodajajte nove šele, ko jih določena operacija potrebuje.
Modul 4 tečaja v lastnem tempu Varnost AI: zaščita aplikacij LLM in agentov AI obravnava zaščito agentov AI, orodij in strežnikov MCP.
Pomnilnik agenta naj ostane čist
Pomnilnik omogoča, da napad preživi med sejami (ASI06). Preverjajte, kaj se zapisuje v pomnilnik, pomnilnik ločite po uporabnikih in nalogah, nepreverjenim vnosom nastavite potek veljavnosti in ne dovolite, da se lastni izhodi agenta samodejno vračajo v zaupanja vreden pomnilnik. OWASP-ova postavka LLM01:2026 dodaja: zapise v pomnilnik obravnavajte kot privilegirane in za vsakega zabeležite poziv, ki ga je sprožil.
Beležite dejanja agenta in ohranite možnost, da ga ustavite
Klice orodij, odobritve in sporočila med agenti beležite v dnevnike, v katerih je mogoče zaznati poseganje (tamper-evident), da lahko dogodke raziščete in spremembe povrnete (ASI08, ASI10). Poskrbite, da lahko agenta hitro ustavite: OWASP za agente, ki so ušli izpod nadzora, navaja stikala za izklop v sili (kill switches) in preklic poverilnic, za nenadzorovane zagone pa varovala (circuit breakers) z omejitvami korakov, časa in stroškov. Postopek ustavitve preizkusite, preden ga boste potrebovali, in agente redno podvrzite red teamingu, vendar samo na sistemih, ki so v vaši lasti ali za katerih testiranje imate pisno dovoljenje, in preverite, ali pogoji ponudnika vašega modela dovoljujejo varnostno testiranje.
Kaj pravijo pravila EU (ozadje, ne pravni nasvet)
- Po Aktu EU o umetni inteligenci ni vsak sistem AI visokotvegan: na splošno so to le sistemi, ki se uporabljajo za namen, naveden v Prilogi III (z izjemami), ali ki so varnostna komponenta proizvoda, zajetega v predpisih EU, navedenih v Prilogi I (ali so sami tak proizvod), kadar je za ta proizvod potrebno ugotavljanje skladnosti s strani tretje osebe.
- Za visokotvegane sisteme AI 15. člen zahteva „ustrezno raven točnosti, robustnosti in kibernetske varnosti“. Člen 15(5) dodaja odpornost na poskuse nepooblaščenih tretjih oseb, da spremenijo uporabo sistema, njegove izhode ali zmogljivost, in, kadar je to primerno, navaja ukrepe proti zastrupitvi podatkov, zastrupitvi modela, nasprotniškim primerom (izogibanju modelu) ter napadom na zaupnost ali napakam modela.
- Po spremembah z Uredbo (EU) 2026/1744, t. i. „zbirnim svežnjem za digitalno področje v zvezi z UI“ (Digital Omnibus on AI), ki je začela veljati 27. julija 2026, se obveznosti za visokotvegane sisteme uporabljajo od 2. decembra 2027 za sisteme iz Priloge III in od 2. avgusta 2028 za sisteme v proizvodih iz Priloge I.
- Nekatera pravila že veljajo: v skladu s 50. členom morajo ponudniki sistemov AI, ki neposredno komunicirajo z ljudmi, od 2. avgusta 2026 zagotoviti, da so ti ljudje obveščeni, da imajo opravka z AI, razen če je to očitno.
- Akt o kibernetski odpornosti se uporablja za izdelke z digitalnimi elementi, vključno s programsko opremo, ki so dani na trg EU, zato preverite, ali se vaš agent dobavlja kot tak izdelek ali deluje kot storitev. Veljati je začel 10. decembra 2024. Obveznosti proizvajalcev glede poročanja o aktivno izrabljenih ranljivostih in resnih incidentih se uporabljajo od 11. septembra 2026, glavne obveznosti pa od 11. decembra 2027.
Ali kar koli od tega velja za vašega agenta, je vprašanje za pravnega svetovalca.
Kako naprej
Če se z gradnjo agentov šele spoznavate, osnove pokrivata naš vodnik o tem, kako zgraditi agenta AI (v angleščini), in tečaj v lastnem tempu Agentna UI: Uvod v razvoj agentov.
Eden od strukturiranih načinov za pridobitev teh veščin je tečaj Varnost AI: zaščita aplikacij LLM in agentov AI: poteka v lastnem tempu, je na srednji ravni in traja 40 ur. Obravnava varnost dobavne verige AI in pravila EU, v zaključnem projektu pa boste agenta AI napadli, ga popravili in znova preizkusili.

Naučite se tehničnih veščin na spletu z Code Labs Academy
Pridružite se naši podporni skupnosti, odklenite svoj potencial in se lotite koristne karierne poti.
Prijavite se zdaj