Перейти до основного вмісту
Назад до блогу

Як захистити ШІ-агентів: OWASP Agentic Top 10, MCP і ключові заходи

Оновлено на November 19, 20267 хвилини читають


ШІ-агент, побудований навколо великої мовної моделі (LLM), не просто відповідає на запитання. Він планує, викликає інструменти, читає й записує дані, а іноді спілкується з іншими агентами. Через це будь-яка слабкість моделі обходиться дорожче: prompt injection, яка в чат-боті призвела б лише до поганої відповіді, може змусити агента надіслати лист, змінити записи або виконати код. У цьому посібнику розглянуто OWASP Top 10 для агентних застосунків і практичні заходи захисту, зокрема безпеку Model Context Protocol (MCP).

Чому агентам потрібна власна модель безпеки

NIST AI 100-2e2025 описує агента як програму, яка «ітеративно надсилає моделі промпти», обробляє її вивід, наприклад щоб викликати функцію, і передає результати в наступний промпт. OWASP Top 10 для LLM-застосунків 2026 проводить межу саме тут: він розглядає модель як компонент, а коли модель діє з інструментами, пам’яттю й наслідками для інших систем, OWASP відсилає до свого списку для агентів.

Цей список додає принцип, який варто взяти на озброєння насамперед: мінімальна агентність (least agency). OWASP радить організаціям «уникати непотрібної автономії», бо агентна поведінка там, де вона не потрібна, «розширює поверхню атаки, не додаючи цінності».

OWASP Top 10 для агентних застосунків

OWASP GenAI Security Project випустив OWASP Top 10 для агентних застосунків 9 грудня 2025 року. Його десять пунктів:

  • ASI01: Agent Goal Hijack (перехоплення цілі агента). Впроваджений контент змінює цілі або плани агента.
  • ASI02: Tool Misuse and Exploitation (зловживання інструментами та їх експлуатація). Агент використовує легітимні інструменти небезпечним чином.
  • ASI03: Identity and Privilege Abuse (зловживання ідентичностями й привілеями). Делегованими або успадкованими обліковими даними зловживають.
  • ASI04: Agentic Supply Chain Vulnerabilities (вразливості агентного ланцюга постачання). Інструменти, MCP-сервери, промпти чи агенти виявляються шкідливими або підробленими.
  • ASI05: Unexpected Code Execution (RCE) (неочікуване виконання коду). Згенерований або впроваджений код виконується у ваших системах.
  • ASI06: Memory & Context Poisoning (отруєння пам’яті й контексту). Збережену пам’ять або знайдений контекст спотворено.
  • ASI07: Insecure Inter-Agent Communication (небезпечна взаємодія між агентами). Повідомлення між агентами підробляють або змінюють.
  • ASI08: Cascading Failures (каскадні збої). Одна несправність поширюється на інших агентів і робочі процеси.
  • ASI09: Human-Agent Trust Exploitation (експлуатація довіри людини до агента). Люди надмірно довіряють упевненому агенту.
  • ASI10: Rogue Agents (некеровані агенти). Агент відхиляється від свого призначення або виходить за визначені межі.

Надавайте агентам мінімальні привілеї та вузькі облікові дані

Пункт OWASP LLM01:2026 зазначає, що більшість зафіксованих інцидентів prompt injection із серйозними наслідками стали такими через те, що скомпрометована модель могла діяти за допомогою інструментів з рівнем привілеїв користувача. ASI03 рекомендує окремі ідентичності для кожного агента й «короткоживучі токени з вузькими правами для кожного завдання», ASI02 — профілі для кожного інструмента з областями доступу, лімітами частоти запитів і білими списками вихідних з’єднань. Запускайте інструменти у власному контексті користувача з мінімальною областю доступу OAuth, а не через спільний обліковий запис із високими привілеями.

Invariant Labs показала, чому межі прав такі важливі: шкідливий issue в GitHub міг перехопити керування агентом, підключеним до MCP-сервера GitHub, і розкрити дані з приватних репозиторіїв користувача. Дослідники назвали це «не вадою в коді самого MCP-сервера GitHub», а архітектурною проблемою й запропонували обмежувати кожну сесію одним репозиторієм.

Швидка перевірка архітектури — правило Meta Agents Rule of Two: у межах однієї сесії агент має поєднувати не більше двох із трьох властивостей — обробку ненадійних вхідних даних, доступ до чутливих систем або приватних даних, зміну стану або зовнішню комунікацію. Якщо агенту потрібні всі три, то, за словами Meta, йому «не слід дозволяти працювати автономно».

Використовуйте білі списки й перевірку політик поза моделлю

Що агенту дозволено, вирішуйте в коді, а не в промпті. Вносьте до білих списків інструменти для кожного завдання, мережеві адреси, до яких агент може звертатися, і команди, які він може виконувати без запиту, а все інше забороняйте. ASI02 описує точку застосування політик (policy enforcement point), яка вважає вивід планувальника недовіреним: перед запуском інструмента вона перевіряє намір і аргументи, застосовує схеми й ліміти частоти запитів і видає короткоживучі облікові дані.

Запускайте будь-який код агента в пісочниці

Якщо агент пише або запускає код, виходьте з того, що частина цього коду виявиться ворожою (ASI05). Поради OWASP: ніколи не запускайте код від root, виконуйте його в ізольованих контейнерах із суворими обмеженнями, зокрема на доступ до мережі, і відокремлюйте генерацію коду від виконання етапами перевірки. Anthropic у матеріалі про пісочницю для свого агента для програмування додає, що ефективна пісочниця потребує ізоляції і файлової системи, і мережі, адже без мережевої ізоляції скомпрометований агент «може викрасти конфіденційні файли, як-от ключі SSH».

Питайте людину перед незворотними діями

Вимагайте підтвердження перед усім, що важко скасувати або що помітно за межами системи: видаленням даних, переказом коштів, публікацією чи надсиланням повідомлень. ASI02 пропонує перед підтвердженням показувати результат пробного запуску (dry-run) або diff дії. Запитуйте підтвердження достатньо рідко, щоб до запитів ставилися серйозно: OWASP попереджає, що втома від підтверджень притуплює пильність, а ASI09 описує агентів, які вмовляють тих, хто перевіряє, схвалити шкідливі дії.

Вважайте MCP-сервери та описи інструментів недовіреними

MCP дає змогу легко підключати інструменти до агента, тому інструменти стають ризиком ланцюга постачання. Специфікація MCP зазначає, що клієнти «ПОВИННІ вважати анотації інструментів недовіреними, якщо тільки вони не надходять від довірених серверів», а також що «ЗАВЖДИ СЛІД залишати в контурі людину, здатну відхиляти виклики інструментів».

Invariant Labs описує отруєння інструментів (tool poisoning) як інструкції в описах інструментів, які «невидимі для користувачів, але видимі для ШІ-моделей», і попереджає, що сервер може змінити опис уже після того, як ви його схвалили. У ASI04 OWASP наводить приклад шкідливого MCP-сервера в npm, який видавав себе за легітимну інтеграцію з поштою й таємно пересилав копії листів зловмиснику.

Практичні кроки:

  • Встановлюйте MCP-сервери з джерел, яким довіряєте, фіксуйте версії й перевіряйте хеші.
  • Перевіряйте описи інструментів на приховані інструкції — і повторно, коли вони змінюються.
  • Для локальних серверів показуйте точну команду до її запуску й запускайте сервер із мінімальними привілеями в пісочниці, як рекомендують найкращі практики безпеки MCP.
  • Ніколи не передавайте токени транзитом: MCP-сервери «НЕ ПОВИННІ приймати жодних токенів, які не були явно видані для цього MCP-сервера».
  • Починайте з вузьких областей доступу OAuth і розширюйте їх лише тоді, коли цього потребує операція.

Модуль 4 курсу «Безпека ШІ: захист LLM-застосунків і ШІ-агентів», який проходять у власному темпі, присвячено захисту ШІ-агентів, інструментів і MCP-серверів.

Стежте за чистотою пам’яті агента

Пам’ять дає атаці змогу зберігатися між сесіями (ASI06). Перевіряйте, що записується в пам’ять, розділяйте пам’ять за користувачами й завданнями, задавайте неперевіреним записам термін дії та не дозволяйте власному виводу агента автоматично потрапляти назад у довірену пам’ять. Пункт OWASP LLM01:2026 додає: вважайте запис у пам’ять привілейованою операцією й логуйте промпт, що стоїть за кожним таким записом.

Логуйте дії агента й майте спосіб його зупинити

Ведіть журнали з контролем цілісності для викликів інструментів, підтверджень і повідомлень між агентами, щоб мати змогу розслідувати інциденти й відкочувати зміни (ASI08, ASI10). Переконайтеся, що можете швидко зупинити агента: для некерованих агентів OWASP перелічує аварійні вимикачі (kill switches) і відкликання облікових даних, а для запусків, що вийшли з-під контролю, — запобіжники (circuit breakers) з лімітами на кількість кроків, час і вартість. Перевірте механізм зупинки заздалегідь, до того як він знадобиться, і регулярно проводьте red teaming агентів — лише на системах, які належать вам або на тестування яких у вас є письмовий дозвіл, — і переконайтеся, що умови вашого провайдера моделі дозволяють тестування безпеки.

Що кажуть правила ЄС (довідкова інформація, а не юридична консультація)

  • Не кожна система ШІ належить до високого ризику за Законом ЄС про штучний інтелект (EU AI Act): загалом лише ті, що використовуються для цілей, перелічених у додатку III (з винятками), або є компонентом безпеки продукту, на який поширюються закони ЄС, перелічені в додатку I (чи самі є таким продуктом), коли цей продукт підлягає оцінці відповідності третьою стороною.
  • Для систем ШІ з високим ризиком стаття 15 вимагає «належного рівня точності, надійності та кібербезпеки». Стаття 15(5) додає вимогу стійкості до спроб неуповноважених третіх осіб змінити використання системи, її вихідні дані чи роботу й перелічує, де це доречно, заходи проти отруєння даних, отруєння моделі, змагальних прикладів (ухилення моделі), а також атак на конфіденційність чи вад моделі.
  • Відколи 27 липня 2026 року набрав чинності Регламент (ЄС) 2026/1744, так званий «цифровий омнібус щодо ШІ» (Digital Omnibus on AI), зобов’язання щодо систем із високим ризиком застосовуються з 2 грудня 2027 року до систем з додатка III і з 2 серпня 2028 року — до систем у продуктах, на які поширюється додаток I.
  • Деякі правила вже діють: згідно зі статтею 50, з 2 серпня 2026 року постачальники систем ШІ, які безпосередньо взаємодіють із людьми, мають забезпечити, щоб ці люди були поінформовані про те, що мають справу з ШІ, якщо це не очевидно.
  • Закон про кіберстійкість (Cyber Resilience Act) поширюється на продукти з цифровими елементами, зокрема програмне забезпечення, що розміщуються на ринку ЄС, тож перевірте, чи постачається ваш агент як такий продукт, чи працює як сервіс. Він набрав чинності 10 грудня 2024 року. Обов’язки виробників повідомляти про вразливості, що активно експлуатуються, і серйозні інциденти застосовуються з 11 вересня 2026 року, а основні обов’язки — з 11 грудня 2027 року.

Чи стосується щось із цього вашого агента — питання до юриста.

Що далі

Якщо ви лише починаєте створювати агентів, основи описано в нашому посібнику про те, як створити ШІ-агента (англійською), і в курсі у власному темпі «Агентний AI: вступ до розробки агентів».

Один зі способів системно опанувати ці навички — курс «Безпека ШІ: захист LLM-застосунків і ШІ-агентів»: у власному темпі, середній рівень, 40 годин. Він охоплює безпеку ланцюга постачання ШІ та правила ЄС, а у фінальному проєкті ви атакуєте ШІ-агента, виправляєте його й тестуєте повторно.

Вивчіть технічні навички в Інтернеті за допомогою Code Labs Academy

Вивчіть технічні навички в Інтернеті за допомогою Code Labs Academy

Приєднуйтесь до нашої спільноти, що підтримує, розблокуйте свій потенціал та розпочайте корисний шлях кар’єри.

Подайте заявку зараз

Поширені запитання

Що таке OWASP Top 10 для агентних застосунків?

Це список десяти ризиків безпеки ШІ-агентів із найсерйознішими наслідками, який OWASP GenAI Security Project випустив у грудні 2025 року. Його пункти йдуть від ASI01 Agent Goal Hijack до ASI10 Rogue Agents, і для кожного наведено приклади й заходи захисту.

Що означає мінімальна агентність (least agency) для ШІ-агентів?

Мінімальна агентність — це запропоноване OWASP розширення принципу мінімальних привілеїв: надавайте агенту рівно стільки автономії, скільки потрібно для його завдання. Агентна поведінка там, де вона не потрібна, розширює поверхню атаки, не додаючи цінності.

Чи безпечно використовувати MCP-сервери?

Ставтеся до них як до будь-якого стороннього коду, бо інструменти сервера та їхні описи можуть містити приховані інструкції. Встановлюйте їх із джерел, яким довіряєте, фіксуйте й перевіряйте версії, переглядайте описи інструментів, запускайте локальні сервери в пісочниці й залишайте людині змогу відхиляти виклики інструментів.

Чи має ШІ-агент запитувати підтвердження перед кожною дією?

Ні. Питайте людину перед діями із серйозними наслідками або незворотними діями, як-от видалення даних, переказ коштів чи надсилання повідомлень, а дії з низьким ризиком, які можна скасувати, нехай виконуються без підтвердження. Забагато запитів призводить до втоми від підтверджень, а вона послаблює перевірку.

Чи кожен ШІ-агент належить до високого ризику за Законом ЄС про штучний інтелект (EU AI Act)?

Ні. Загалом до високого ризику належать лише системи ШІ, які використовуються для цілей, перелічених у додатку III до Закону (з винятками), або є компонентом безпеки продукту, на який поширюються закони ЄС з додатка I (чи самі є таким продуктом), коли цей продукт підлягає оцінці відповідності третьою стороною. Чи належить конкретний агент до однієї з цих категорій — питання до юриста.

Кар'єрні послуги

Персоналізована підтримка кар'єри для старту в ІТ. Огляд резюме, тренувальні співбесіди та галузеві інсайти допоможуть упевнено презентувати нові навички.

Дослідити