AI aģentu aizsardzība: OWASP Agentic Top 10, MCP un galvenie pasākumi
Atjaunināts vietnē November 19, 20267 minūtes lasīt
AI aģents, kas veidots uz liela valodas modeļa (LLM) bāzes, dara vairāk nekā tikai atbild uz jautājumiem. Tas plāno, izsauc rīkus, lasa un raksta datus un dažkārt sazinās ar citiem aģentiem. Tāpēc katra modeļa vājība kļūst bīstamāka: uzvedņu injekcija, kas tērzēšanas robotā radītu tikai sliktu atbildi, var likt aģentam nosūtīt e-pastu, mainīt ierakstus vai izpildīt kodu. Šajā ceļvedī aplūkots OWASP Top 10 aģentu lietotnēm un praktiski kontroles pasākumi, tostarp Model Context Protocol (MCP) drošība.
Kāpēc aģentiem vajadzīgs savs drošības modelis
NIST AI 100-2e2025 raksturo aģentu kā programmatūru, kas „iteratīvi sniedz modelim uzvednes”, apstrādā tā izvadi, piemēram, lai izsauktu funkciju, un rezultātus atgriež nākamajā uzvednē. OWASP Top 10 LLM lietotnēm 2026 novelk robežu tieši šeit: tas aplūko modeli kā komponentu, un, tiklīdz modelis rīkojas ar rīkiem, atmiņu un sekām tālākajās sistēmās, OWASP norāda uz savu aģentu lietotņu sarakstu.
Šis saraksts pievieno principu, kuru vērts ieviest vispirms: minimālas rīcības brīvības princips (least agency). OWASP iesaka organizācijām „izvairīties no nevajadzīgas autonomijas”, jo aģentiskas rīcības ieviešana tur, kur tā nav vajadzīga, „paplašina uzbrukuma virsmu, nepievienojot vērtību”.
OWASP Top 10 aģentu lietotnēm
OWASP GenAI Security Project 2025. gada 9. decembrī publicēja OWASP Top 10 aģentu lietotnēm. Tā desmit punkti:
- ASI01: Agent Goal Hijack (aģenta mērķu pārtveršana). Injicēts saturs novirza aģenta mērķus vai plānus.
- ASI02: Tool Misuse and Exploitation (rīku ļaunprātīga izmantošana un ekspluatācija). Aģents likumīgus rīkus izmanto nedrošā veidā.
- ASI03: Identity and Privilege Abuse (identitātes un privilēģiju ļaunprātīga izmantošana). Deleģēti vai mantoti piekļuves dati tiek izmantoti ļaunprātīgi.
- ASI04: Agentic Supply Chain Vulnerabilities (aģentu piegādes ķēdes ievainojamības). Rīki, MCP serveri, uzvednes vai aģenti ir ļaunprātīgi, vai ar tiem ir manipulēts.
- ASI05: Unexpected Code Execution (RCE) (negaidīta koda izpilde). Ģenerēts vai injicēts kods tiek izpildīts jūsu sistēmās.
- ASI06: Memory & Context Poisoning (atmiņas un konteksta saindēšana). Saglabātā atmiņa vai izgūtais konteksts tiek sabojāts.
- ASI07: Insecure Inter-Agent Communication (nedroša saziņa starp aģentiem). Ziņojumi starp aģentiem tiek viltoti vai mainīti.
- ASI08: Cascading Failures (kaskādes kļūmes). Viena kļūme izplatās pa aģentiem un darbplūsmām.
- ASI09: Human-Agent Trust Exploitation (cilvēku uzticēšanās aģentiem ekspluatācija). Cilvēki pārāk uzticas pašpārliecinātam aģentam.
- ASI10: Rogue Agents (nekontrolējami aģenti). Aģents novirzās no paredzētās funkcijas vai darbības jomas.
Piešķiriet aģentiem mazākās privilēģijas un ierobežotus piekļuves datus
OWASP punktā LLM01:2026 norādīts, ka vairums reģistrēto uzvedņu injekcijas incidentu ar lielu ietekmi kļuva nopietni tāpēc, ka kompromitētais modelis varēja rīkoties ar rīku palīdzību lietotāja privilēģiju līmenī. ASI03 iesaka katram aģentam savu identitāti un „īslaicīgus, šauri ierobežotus marķierus katram uzdevumam”, bet ASI02 — katram rīkam savu profilu ar tvērumiem, pieprasījumu biežuma limitiem un izejošās datplūsmas atļauto sarakstiem. Palaidiet rīkus paša lietotāja kontekstā ar minimālo OAuth tvērumu, nevis caur koplietotu kontu ar augstām privilēģijām.
Invariant Labs parādīja, kāpēc tvērums ir svarīgs: ļaunprātīgs GitHub problēmas pieteikums (issue) varēja pārņemt aģentu, kas savienots ar GitHub MCP serveri, un atklāt datus no lietotāja privātajām repozitorijām. Viņi to nosauca nevis par „kļūdu pašā GitHub MCP servera kodā”, bet par arhitektūras problēmu un ieteica katru sesiju ierobežot ar vienu repozitoriju.
Ātra projektēšanas pārbaude ir uzņēmuma Meta Agents Rule of Two: vienā sesijā aģentam nevajadzētu apvienot vairāk nekā divas no šīm lietām: neuzticamas ievades apstrādi, piekļuvi sensitīvām sistēmām vai privātiem datiem un stāvokļa mainīšanu vai ārēju saziņu. Ja tam vajag visas trīs, Meta norāda, ka tam „nevajadzētu ļaut darboties autonomi”.
Izmantojiet atļauto sarakstus un politikas pārbaudi ārpus modeļa
Lemiet kodā, nevis uzvednē, ko aģents drīkst darīt. Iekļaujiet atļauto sarakstos katra uzdevuma rīkus, tīkla galamērķus, kurus aģents var sasniegt, un komandas, kuras tas drīkst izpildīt, nejautājot, un aizliedziet visu pārējo. ASI02 apraksta politikas izpildes punktu (policy enforcement point), kas plānotāja izvadi uzskata par neuzticamu: tas pārbauda nodomu un argumentus, piemēro shēmas un pieprasījumu biežuma limitus un pirms rīka palaišanas izsniedz īslaicīgus piekļuves datus.
Palaidiet jebkuru aģenta izpildīto kodu smilškastē
Ja aģents raksta vai izpilda kodu, rēķinieties, ka daļa no tā būs naidīga (ASI05). OWASP ieteikums: nekad nepalaidiet kodu kā root, izpildiet kodu smilškastes konteineros ar stingriem ierobežojumiem, tostarp tīkla piekļuvei, un nodaliet koda ģenerēšanu no izpildes ar validācijas vārtiem. Anthropic rakstā par sava programmēšanas aģenta smilškasti piebilsts, ka efektīvai smilškastei vajadzīga gan failu sistēmas, gan tīkla izolācija, jo bez tīkla izolācijas kompromitēts aģents „varētu eksfiltrēt sensitīvus failus, piemēram, SSH atslēgas”.
Jautājiet cilvēkam pirms neatgriezeniskām darbībām
Pieprasiet apstiprinājumu pirms jebkā, ko ir grūti atsaukt vai kas ir redzams ārpus sistēmas: datu dzēšanas, naudas pārskaitīšanas, publicēšanas vai ziņojumu sūtīšanas. ASI02 iesaka pirms apstiprināšanas parādīt darbības izmēģinājuma palaidi (dry run) vai izmaiņu salīdzinājumu (diff). Prasiet apstiprinājumu tik reti, lai tam joprojām būtu nozīme: OWASP brīdina, ka apstiprināšanas nogurums vājina spriestspēju, un ASI09 apraksta aģentus, kas pierunā pārbaudītājus apstiprināt kaitīgas darbības.
Uzskatiet MCP serverus un rīku aprakstus par neuzticamiem
MCP ļauj viegli pievienot aģentam rīkus, un tas padara rīkus par piegādes ķēdes risku. MCP specifikācijā teikts, ka klientiem „OBLIGĀTI jāuzskata rīku anotācijas par neuzticamām, ja vien tās nenāk no uzticamiem serveriem” un ka „VAJADZĒTU vienmēr būt iesaistītam cilvēkam, kas var noraidīt rīku izsaukumus”.
Invariant Labs rīku saindēšanu raksturo kā norādījumus rīku aprakstos, kas „lietotājiem ir neredzami, bet AI modeļiem redzami”, un brīdina, ka serveris var mainīt aprakstu pēc tam, kad jūs to apstiprināt. OWASP ASI04 min ļaunprātīgu MCP serveri npm reģistrā, kas uzdevās par likumīgu e-pasta integrāciju un slepeni kopēja e-pastus uzbrucējam.
Praktiski soļi:
- Instalējiet MCP serverus no uzticamiem avotiem, piesaistiet versijas un pārbaudiet jaucējkodus.
- Pārskatiet rīku aprakstus, meklējot slēptus norādījumus, un dariet to atkārtoti, kad tie mainās.
- Lokālajiem serveriem pirms palaišanas parādiet precīzu komandu un palaidiet serveri smilškastē ar minimālām privilēģijām, kā iesaka MCP drošības labākā prakse.
- Nekad nepārsūtiet marķierus tālāk: MCP serveri „NEDRĪKST pieņemt nekādus marķierus, kas nav tieši izsniegti šim MCP serverim”.
- Sāciet ar šauriem OAuth tvērumiem un pievienojiet jaunus tikai tad, kad tie vajadzīgi kādai operācijai.
Savā tempā apgūstamā kursa AI drošība: LLM lietotņu un AI aģentu aizsardzība 4. modulis ir veltīts AI aģentu, rīku un MCP serveru aizsardzībai.
Uzturiet aģenta atmiņu tīru
Atmiņa ļauj uzbrukumam saglabāties no vienas sesijas uz nākamo (ASI06). Validējiet to, kas tiek ierakstīts atmiņā, nodaliet atmiņu katram lietotājam un katram uzdevumam, ļaujiet nepārbaudītiem ierakstiem novecot un neļaujiet aģenta paša izvadei automātiski nonākt atpakaļ uzticamajā atmiņā. OWASP punktā LLM01:2026 piebilsts: uzskatiet ierakstīšanu atmiņā par privileģētu darbību un reģistrējiet žurnālā uzvedni, kas izraisīja katru ierakstu.
Reģistrējiet aģenta darbības un paturiet iespēju aģentu apturēt
Uzturiet žurnālus, kuros manipulācijas ir konstatējamas, par rīku izsaukumiem, apstiprinājumiem un ziņojumiem starp aģentiem, lai varētu izmeklēt notikušo un atritināt izmaiņas (ASI08, ASI10). Pārliecinieties, ka varat aģentu ātri apturēt: nekontrolējamiem aģentiem OWASP min avārijas slēdžus (kill switches) un piekļuves datu atsaukšanu, bet nekontrolētām palaišanām — ķēdes pārtraucējus (circuit breakers) ar soļu, laika un izmaksu limitiem. Pārbaudiet apturēšanas mehānismu, pirms tas jums vajadzīgs, un regulāri veiciet aģentu red teaming, taču tikai sistēmās, kas pieder jums vai kuru testēšanai jums ir rakstiska atļauja, un pārbaudiet, vai jūsu modeļa nodrošinātāja noteikumi atļauj drošības testēšanu.
Ko nosaka ES noteikumi (vispārīga informācija, nevis juridiska konsultācija)
- Ne katra AI sistēma ir augsta riska sistēma saskaņā ar ES Mākslīgā intelekta aktu: vispārīgi tādas ir tikai sistēmas, kuras izmanto III pielikumā uzskaitītam nolūkam (ar izņēmumiem) vai kuras ir tāda produkta drošības sastāvdaļa, uz kuru attiecas I pielikumā uzskaitītie ES tiesību akti (vai pašas ir šāds produkts), ja šim produktam ir vajadzīgs trešās personas veikts atbilstības novērtējums.
- Augsta riska AI sistēmām 15. pants prasa „pienācīgu precizitātes, robustuma un kiberdrošības līmeni”. Turklāt 15. panta 5. punkts prasa noturību pret nepilnvarotu trešo personu mēģinājumiem mainīt sistēmas lietojumu, iznākumus vai veiktspēju un attiecīgā gadījumā uzskaita pasākumus pret datu saindēšanu, modeļa saindēšanu, pretinieciskiem piemēriem (modeļa maldināšanu), kā arī uzbrukumiem konfidencialitātei vai modeļa nepilnībām.
- Pēc Regulas (ES) 2026/1744 jeb Digitālās Omnibus regulas par mākslīgo intelektu (spēkā no 2026. gada 27. jūlija) augsta riska pienākumi III pielikuma sistēmām ir piemērojami no 2027. gada 2. decembra, bet I pielikuma produktos iekļautām sistēmām — no 2028. gada 2. augusta.
- Daži noteikumi jau ir piemērojami: saskaņā ar 50. pantu no 2026. gada 2. augusta to AI sistēmu nodrošinātājiem, kuras tieši mijiedarbojas ar cilvēkiem, jānodrošina, ka šie cilvēki tiek informēti, ka saskaras ar AI, ja vien tas nav pašsaprotami.
- Kibernoturības akts attiecas uz ES tirgū laistiem produktiem ar digitāliem elementiem, tostarp programmatūru, tāpēc pārbaudiet, vai jūsu aģents tiek piegādāts kā šāds produkts vai darbojas kā pakalpojums. Akts stājās spēkā 2024. gada 10. decembrī. Ražotāju pienākumi ziņot par aktīvi izmantotām ievainojamībām un nopietniem incidentiem ir piemērojami no 2026. gada 11. septembra, bet galvenie pienākumi — no 2027. gada 11. decembra.
Vai kas no tā attiecas uz jūsu aģentu, ir jautājums juristam.
Ko lasīt tālāk
Ja aģentu veidošana jums ir jauna joma, pamatus aplūko mūsu ceļvedis par to, kā izveidot AI aģentu (angļu valodā), un savā tempā apgūstamais kurss Agentic AI: ievads aģentu izstrādē.
Viens strukturēts veids, kā apgūt šīs prasmes, ir kurss AI drošība: LLM lietotņu un AI aģentu aizsardzība: savā tempā, vidējais līmenis, 40 stundas. Tas aptver AI piegādes ķēdes drošību un ES noteikumus, un tā noslēguma projektā jūs uzbrūkat AI aģentam, to salabojat un testējat atkārtoti.

Mācieties tehniskās prasmes tiešsaistē ar Code Labs Academy
Pievienojieties mūsu atbalstošajai kopienai, atbloķējiet savu potenciālu un uzsāciet atalgojošu karjeras ceļu.
Piesakieties tūlīt