Як абараніць ШІ-агентаў: OWASP Agentic Top 10, MCP і ключавыя меры
Абноўлены на November 19, 20267 Прачытаныя хвіліны
ШІ-агент, пабудаваны вакол вялікай моўнай мадэлі (LLM), не проста адказвае на пытанні. Ён плануе, выклікае інструменты, чытае і запісвае дадзеныя, а часам мае зносіны з іншымі агентамі. Праз гэта любая слабасць мадэлі абыходзіцца даражэй: prompt injection, якая ў чат-боце прывяла б толькі да дрэннага адказу, можа прымусіць агента адправіць ліст, змяніць запісы або выканаць код. У гэтым дапаможніку разгледжаны OWASP Top 10 для агентных прыкладанняў і практычныя меры абароны, у тым ліку бяспека Model Context Protocol (MCP).
Чаму агентам патрэбная свая мадэль бяспекі
NIST AI 100-2e2025 апісвае агента як праграму, якая «ітэратыўна адпраўляе мадэлі промпты», апрацоўвае яе вывад, напрыклад каб выклікаць функцыю, і перадае вынікі ў наступны промпт. OWASP Top 10 для LLM-прыкладанняў 2026 праводзіць мяжу менавіта тут: ён разглядае мадэль як кампанент, а калі мадэль дзейнічае з інструментамі, памяццю і наступствамі для іншых сістэм, OWASP адсылае да свайго спіса для агентаў.
Гэты спіс дадае прынцып, які варта ўзяць на ўзбраенне ў першую чаргу: мінімальная агентнасць (least agency). OWASP раіць арганізацыям «пазбягаць непатрэбнай аўтаноміі», бо агентныя паводзіны там, дзе яны не патрэбныя, «пашыраюць паверхню атакі, не дадаючы каштоўнасці».
OWASP Top 10 для агентных прыкладанняў
OWASP GenAI Security Project выпусціў OWASP Top 10 для агентных прыкладанняў 9 снежня 2025 года. Яго дзесяць пунктаў:
- ASI01: Agent Goal Hijack (перахоп мэты агента). Укаранёны кантэнт змяняе мэты або планы агента.
- ASI02: Tool Misuse and Exploitation (злоўжыванне інструментамі і іх эксплуатацыя). Агент выкарыстоўвае легітымныя інструменты небяспечным чынам.
- ASI03: Identity and Privilege Abuse (злоўжыванне ідэнтычнасцямі і прывілеямі). Дэлегаванымі або атрыманымі ў спадчыну ўліковымі дадзенымі злоўжываюць.
- ASI04: Agentic Supply Chain Vulnerabilities (уразлівасці агентнага ланцужка паставак). Інструменты, MCP-серверы, промпты або агенты аказваюцца шкоднаснымі або падробленымі.
- ASI05: Unexpected Code Execution (RCE) (нечаканае выкананне кода). Згенераваны або ўкаранёны код выконваецца ў вашых сістэмах.
- ASI06: Memory & Context Poisoning (атручванне памяці і кантэксту). Захаваная памяць або знойдзены кантэкст скажоныя.
- ASI07: Insecure Inter-Agent Communication (небяспечнае ўзаемадзеянне паміж агентамі). Паведамленні паміж агентамі падрабляюць або змяняюць.
- ASI08: Cascading Failures (каскадныя збоі). Адна няспраўнасць распаўсюджваецца на іншых агентаў і працоўныя працэсы.
- ASI09: Human-Agent Trust Exploitation (эксплуатацыя даверу чалавека да агента). Людзі залішне давяраюць упэўненаму ў сабе агенту.
- ASI10: Rogue Agents (некіравальныя агенты). Агент адхіляецца ад свайго прызначэння або выходзіць за вызначаныя межы.
Давайце агентам мінімальныя прывілеі і вузкія ўліковыя дадзеныя
Пункт OWASP LLM01:2026 адзначае, што большасць зафіксаваных інцыдэнтаў prompt injection з сур'ёзнымі наступствамі сталі такімі таму, што скампраметаваная мадэль магла дзейнічаць з дапамогай інструментаў з узроўнем прывілеяў карыстальніка. ASI03 рэкамендуе асобныя ідэнтычнасці для кожнага агента і «кароткатэрміновыя токены з вузкімі правамі для кожнай задачы», ASI02 — профілі для кожнага інструмента з абласцямі доступу, лімітамі частаты запытаў і белымі спісамі выходных злучэнняў. Запускайце інструменты ва ўласным кантэксце карыстальніка з мінімальнай вобласцю доступу OAuth, а не праз агульны ўліковы запіс з высокімі прывілеямі.
Invariant Labs паказала, чаму межы правоў так важныя: шкоднасны issue ў GitHub мог перахапіць кіраванне агентам, падключаным да MCP-сервера GitHub, і раскрыць дадзеныя з прыватных рэпазіторыяў карыстальніка. Даследчыкі назвалі гэта «не хібай у кодзе самога MCP-сервера GitHub», а архітэктурнай праблемай і прапанавалі абмяжоўваць кожную сесію адным рэпазіторыем.
Хуткая праверка архітэктуры — правіла Meta Agents Rule of Two: у межах адной сесіі агент павінен спалучаць не больш за дзве з трох уласцівасцей — апрацоўку ненадзейнага ўводу, доступ да адчувальных сістэм або прыватных дадзеных, змяненне стану або знешнюю камунікацыю. Калі агенту патрэбныя ўсе тры, то, па словах Meta, яму «не варта дазваляць працаваць аўтаномна».
Выкарыстоўвайце белыя спісы і праверку палітык па-за мадэллю
Што агенту дазволена, вырашайце ў кодзе, а не ў промпце. Заносьце ў белыя спісы інструменты для кожнай задачы, сеткавыя адрасы, да якіх агент можа звяртацца, і каманды, якія ён можа выконваць без запыту, а ўсё астатняе забараняйце. ASI02 апісвае пункт прымянення палітык (policy enforcement point), які лічыць вывад планавальніка недавераным: перад запускам інструмента ён правярае намер і аргументы, ужывае схемы і ліміты частаты запытаў і выдае кароткатэрміновыя ўліковыя дадзеныя.
Запускайце любы код агента ў пясочніцы
Калі агент піша або запускае код, зыходзьце з таго, што частка гэтага кода акажацца варожай (ASI05). Парады OWASP: ніколі не запускайце код ад root, выконвайце яго ў ізаляваных кантэйнерах са строгімі абмежаваннямі, у тым ліку на доступ да сеткі, і аддзяляйце генерацыю кода ад выканання этапамі праверкі. Anthropic у матэрыяле пра пясочніцу для свайго агента для праграмавання дадае, што эфектыўная пясочніца патрабуе ізаляцыі і файлавай сістэмы, і сеткі, бо без сеткавай ізаляцыі скампраметаваны агент «можа вынесці вонкі канфідэнцыйныя файлы, напрыклад SSH-ключы».
Пытайцеся ў чалавека перад незваротнымі дзеяннямі
Патрабуйце пацвярджэння перад усім, што цяжка адмяніць або што бачна за межамі сістэмы: выдаленнем дадзеных, пераводам грошай, публікацыяй або адпраўкай паведамленняў. ASI02 прапануе перад пацвярджэннем паказваць вынік пробнага запуску (dry-run) або diff дзеяння. Запытвайце пацвярджэнне дастаткова рэдка, каб да запытаў ставіліся сур'ёзна: OWASP папярэджвае, што стомленасць ад пацвярджэнняў прытупляе пільнасць, а ASI09 апісвае агентаў, якія ўгаворваюць тых, хто правярае, адобрыць шкодныя дзеянні.
Лічыце MCP-серверы і апісанні інструментаў недаверанымі
MCP дазваляе лёгка падключаць інструменты да агента, і таму інструменты становяцца рызыкай ланцужка паставак. Спецыфікацыя MCP абвяшчае, што кліенты «ПАВІННЫ лічыць анатацыі інструментаў недаверанымі, калі толькі яны не атрыманы ад давераных сервераў», а таксама што «ЗАЎСЁДЫ ВАРТА пакідаць у контуры чалавека, здольнага адхіляць выклікі інструментаў».
Invariant Labs апісвае атручванне інструментаў (tool poisoning) як інструкцыі ў апісаннях інструментаў, якія «нябачныя для карыстальнікаў, але бачныя для ШІ-мадэляў», і папярэджвае, што сервер можа змяніць апісанне ўжо пасля таго, як вы яго адобрылі. У ASI04 OWASP прыводзіць прыклад шкоднаснага MCP-сервера ў npm, які выдаваў сябе за легітымную інтэграцыю з поштай і таемна перасылаў копіі лістоў зламысніку.
Практычныя крокі:
- Усталёўвайце MCP-серверы з крыніц, якім давяраеце, фіксуйце версіі і правярайце хэшы.
- Правярайце апісанні інструментаў на схаваныя інструкцыі — і паўторна, калі яны мяняюцца.
- Для лакальных сервераў паказвайце дакладную каманду да яе запуску і запускайце сервер з мінімальнымі прывілеямі ў пясочніцы, як рэкамендуюць лепшыя практыкі бяспекі MCP.
- Ніколі не перадавайце токены транзітам: MCP-серверы «НЕ ПАВІННЫ прымаць ніякіх токенаў, якія не былі яўна выдадзены для гэтага MCP-сервера».
- Пачынайце з вузкіх абласцей доступу OAuth і пашырайце іх толькі тады, калі гэтага патрабуе аперацыя.
Модуль 4 курса «Бяспека ШІ: абарона LLM-прыкладанняў і ШІ-агентаў», які праходзяць у сваім тэмпе, прысвечаны абароне ШІ-агентаў, інструментаў і MCP-сервераў.
Сачыце за чысцінёй памяці агента
Памяць дазваляе атацы захоўвацца паміж сесіямі (ASI06). Правярайце, што запісваецца ў памяць, раздзяляйце памяць па карыстальніках і задачах, задавайце неправераным запісам тэрмін дзеяння і не дазваляйце ўласнаму вываду агента аўтаматычна трапляць назад у давераную памяць. Пункт OWASP LLM01:2026 дадае: лічыце запіс у памяць прывілеяванай аперацыяй і лагуйце промпт, які стаіць за кожным такім запісам.
Лагуйце дзеянні агента і майце спосаб яго спыніць
Вядзіце журналы з кантролем цэласнасці для выклікаў інструментаў, пацвярджэнняў і паведамленняў паміж агентамі, каб можна было расследаваць інцыдэнты і адкочваць змены (ASI08, ASI10). Пераканайцеся, што можаце хутка спыніць агента: для некіравальных агентаў OWASP пералічвае аварыйныя выключальнікі (kill switches) і адкліканне ўліковых дадзеных, а для запускаў, якія выйшлі з-пад кантролю, — засцерагальнікі (circuit breakers) з лімітамі на колькасць крокаў, час і кошт. Праверце механізм спынення загадзя, да таго як ён спатрэбіцца, і рэгулярна праводзьце red teaming агентаў — толькі на сістэмах, якія належаць вам або на тэсціраванне якіх у вас ёсць пісьмовы дазвол, — і пераканайцеся, што ўмовы вашага правайдара мадэлі дазваляюць тэсціраванне бяспекі.
Што кажуць правілы ЕС (даведачная інфармацыя, а не юрыдычная кансультацыя)
- Не кожная сістэма ШІ адносіцца да высокай рызыкі паводле Рэгламенту ЕС аб штучным інтэлекце (EU AI Act): у агульных рысах — толькі тыя, што выкарыстоўваюцца для мэт, пералічаных у дадатку III (з выключэннямі), або з'яўляюцца кампанентам бяспекі прадукту, на які распаўсюджваецца заканадаўства ЕС, пералічанае ў дадатку I (ці самі з'яўляюцца такім прадуктам), калі гэты прадукт падлягае ацэнцы адпаведнасці трэцім бокам.
- Для сістэм ШІ высокай рызыкі артыкул 15 патрабуе «належнага ўзроўню дакладнасці, надзейнасці і кібербяспекі». Артыкул 15(5) дадае патрабаванне ўстойлівасці да спроб неўпаўнаважаных трэціх асоб змяніць выкарыстанне сістэмы, яе вынікі або працу і пералічвае, дзе гэта дарэчы, меры супраць атручвання дадзеных, атручвання мадэлі, спаборніцкіх прыкладаў (ухілення мадэлі), а таксама атак на канфідэнцыйнасць або хіб мадэлі.
- З таго часу як 27 ліпеня 2026 года ўступіў у сілу Рэгламент (ЕС) 2026/1744, так званы «лічбавы омнібус па ШІ» (Digital Omnibus on AI), абавязацельствы для сістэм высокай рызыкі прымяняюцца з 2 снежня 2027 года да сістэм з дадатка III і з 2 жніўня 2028 года — да сістэм у прадуктах, на якія распаўсюджваецца дадатак I.
- Некаторыя правілы ўжо дзейнічаюць: паводле артыкула 50, з 2 жніўня 2026 года пастаўшчыкі сістэм ШІ, якія непасрэдна ўзаемадзейнічаюць з людзьмі, павінны забяспечыць, каб гэтыя людзі былі праінфармаваныя, што маюць справу з ШІ, калі гэта не відавочна.
- Cyber Resilience Act распаўсюджваецца на прадукты з лічбавымі элементамі, у тым ліку праграмнае забеспячэнне, якія размяшчаюцца на рынку ЕС, таму праверце, ці пастаўляецца ваш агент як такі прадукт, ці працуе як сэрвіс. Ён уступіў у сілу 10 снежня 2024 года. Абавязкі вытворцаў паведамляць пра ўразлівасці, якія актыўна эксплуатуюцца, і сур'ёзныя інцыдэнты дзейнічаюць з 11 верасня 2026 года, а асноўныя абавязкі — з 11 снежня 2027 года.
Ці датычыцца што-небудзь з гэтага вашага агента — пытанне да юрыста.
Што далей
Калі вы толькі пачынаеце ствараць агентаў, асновы апісаны ў нашым дапаможніку пра тое, як стварыць ШІ-агента (на англійскай мове), і ў курсе ў сваім тэмпе «Агентны ШІ: уводзіны ў распрацоўку агентаў».
Адзін са спосабаў сістэмна асвоіць гэтыя навыкі — курс «Бяспека ШІ: абарона LLM-прыкладанняў і ШІ-агентаў»: у сваім тэмпе, сярэдні ўзровень, 40 гадзін. Ён ахоплівае бяспеку ланцужка паставак ШІ і правілы ЕС, а ў выніковым праекце вы атакуеце ШІ-агента, выпраўляеце яго і тэсціруеце паўторна.

Вывучыце тэхнічныя навыкі ў Інтэрнэце з Code Labs Academy
Далучайцеся да нашай падтрымлівае супольнасць, разблакуйце свой патэнцыял і прыступіце да карыснага шляху кар'еры.
Падайце заяўку зараз