Перейти к основному содержимому
Назад в блог

Как защитить ИИ-агентов: OWASP Agentic Top 10, MCP и ключевые меры

Обновлено на November 19, 20267 Прочнет минуты


ИИ-агент, построенный вокруг большой языковой модели (LLM), не просто отвечает на вопросы. Он планирует, вызывает инструменты, читает и записывает данные, а иногда общается с другими агентами. Из-за этого любая слабость модели обходится дороже: prompt injection, которая в чат-боте привела бы лишь к плохому ответу, может заставить агента отправить письмо, изменить записи или выполнить код. В этом руководстве разобраны OWASP Top 10 для агентных приложений и практические меры защиты, включая безопасность Model Context Protocol (MCP).

Почему агентам нужна своя модель безопасности

NIST AI 100-2e2025 описывает агента как программу, которая «итеративно отправляет модели промпты», обрабатывает её вывод, например чтобы вызвать функцию, и передаёт результаты в следующий промпт. OWASP Top 10 для LLM-приложений 2026 проводит границу именно здесь: он рассматривает модель как компонент, а когда модель действует с инструментами, памятью и последствиями для других систем, OWASP отсылает к своему списку для агентов.

Этот список добавляет принцип, который стоит взять на вооружение в первую очередь: минимальная агентность (least agency). OWASP советует организациям «избегать ненужной автономии», потому что агентное поведение там, где оно не нужно, «расширяет поверхность атаки, не добавляя ценности».

OWASP Top 10 для агентных приложений

OWASP GenAI Security Project выпустил OWASP Top 10 для агентных приложений 9 декабря 2025 года. Его десять пунктов:

  • ASI01: Agent Goal Hijack (перехват цели агента). Внедрённый контент меняет цели или планы агента.
  • ASI02: Tool Misuse and Exploitation (злоупотребление инструментами и их эксплуатация). Агент использует легитимные инструменты небезопасным образом.
  • ASI03: Identity and Privilege Abuse (злоупотребление идентичностями и привилегиями). Злоумышленник пользуется делегированными или унаследованными учётными данными.
  • ASI04: Agentic Supply Chain Vulnerabilities (уязвимости агентной цепочки поставок). Инструменты, MCP-серверы, промпты или агенты оказываются вредоносными или подделанными.
  • ASI05: Unexpected Code Execution (RCE) (неожиданное выполнение кода). Сгенерированный или внедрённый код выполняется в ваших системах.
  • ASI06: Memory & Context Poisoning (отравление памяти и контекста). Сохранённая память или извлечённый контекст искажены.
  • ASI07: Insecure Inter-Agent Communication (небезопасное взаимодействие между агентами). Сообщения между агентами подделываются или изменяются.
  • ASI08: Cascading Failures (каскадные сбои). Одна ошибка распространяется по агентам и рабочим процессам.
  • ASI09: Human-Agent Trust Exploitation (эксплуатация доверия человека к агенту). Люди слишком доверяют уверенному в себе агенту.
  • ASI10: Rogue Agents (агенты, вышедшие из-под контроля). Агент отклоняется от своего назначения или выходит за рамки своих задач.

Давайте агентам минимальные привилегии и узкие учётные данные

Пункт OWASP LLM01:2026 отмечает, что большинство зафиксированных инцидентов prompt injection с серьёзными последствиями стали тяжёлыми потому, что скомпрометированная модель могла действовать через инструменты с уровнем привилегий пользователя. ASI03 рекомендует отдельные идентичности для каждого агента и «краткоживущие токены с узкими правами для каждой задачи», ASI02 — профили для каждого инструмента с областями доступа, лимитами частоты запросов и белыми списками исходящих соединений. Запускайте инструменты в собственном контексте пользователя с минимальной областью доступа OAuth, а не через общую учётную запись с высокими привилегиями.

Invariant Labs показали, почему важны границы прав: вредоносный issue в GitHub мог перехватить управление агентом, подключённым к MCP-серверу GitHub, и раскрыть данные из приватных репозиториев пользователя. Исследователи назвали это «не изъяном в коде самого MCP-сервера GitHub», а архитектурной проблемой и предложили ограничивать каждую сессию одним репозиторием.

Быстрая проверка архитектуры — правило Agents Rule of Two от Meta: в рамках одной сессии агент должен сочетать не больше двух из трёх свойств — обработку недоверенного ввода, доступ к чувствительным системам или закрытым данным, изменение состояния или связь с внешним миром. Если агенту нужны все три, то, по словам Meta, ему «нельзя позволять работать автономно».

Используйте белые списки и проверку политик вне модели

Что агенту разрешено, решайте в коде, а не в промпте. Заносите в белые списки инструменты для каждой задачи, сетевые адреса, к которым агент может обращаться, и команды, которые он может выполнять без запроса, а всё остальное запрещайте. ASI02 описывает точку применения политик (policy enforcement point), которая считает вывод планировщика недоверенным: до запуска инструмента она проверяет намерение и аргументы, применяет схемы и лимиты частоты запросов и выдаёт краткоживущие учётные данные.

Запускайте любой код агента в песочнице

Если агент пишет или запускает код, исходите из того, что часть этого кода окажется вредоносной (ASI05). Советы OWASP: никогда не запускайте код от root, выполняйте его в изолированных контейнерах со строгими ограничениями, в том числе на доступ к сети, и отделяйте генерацию кода от выполнения этапами проверки. Anthropic в материале о песочнице для своего агента для программирования добавляет, что эффективной песочнице нужна изоляция и файловой системы, и сети, ведь без сетевой изоляции скомпрометированный агент «может вывести наружу конфиденциальные файлы, например SSH-ключи».

Спрашивайте человека перед необратимыми действиями

Требуйте подтверждения перед всем, что трудно отменить или что заметно за пределами системы: удалением данных, переводом денег, публикацией или отправкой сообщений. ASI02 предлагает перед подтверждением показывать результат пробного прогона (dry-run) или diff действия. Запрашивайте подтверждение достаточно редко, чтобы к запросам относились всерьёз: OWASP предупреждает, что усталость от подтверждений притупляет внимание, а ASI09 описывает агентов, которые уговаривают проверяющих одобрить вредные действия.

Считайте MCP-серверы и описания инструментов недоверенными

MCP позволяет легко подключать инструменты к агенту, и поэтому инструменты становятся риском цепочки поставок. Спецификация MCP гласит, что клиенты «ДОЛЖНЫ считать аннотации инструментов недоверенными, если только они не получены от доверенных серверов» и что «в контуре всегда СЛЕДУЕТ оставлять человека, способного отклонять вызовы инструментов».

Invariant Labs описывает отравление инструментов как инструкции в описаниях инструментов, которые «невидимы для пользователей, но видны ИИ-моделям», и предупреждает, что сервер может изменить описание уже после того, как вы его одобрили. В ASI04 OWASP приводит пример вредоносного MCP-сервера в npm, который выдавал себя за легитимную интеграцию с почтой и тайно пересылал копии писем атакующему.

Практические шаги:

  • Устанавливайте MCP-серверы из источников, которым доверяете, фиксируйте версии и проверяйте хеши.
  • Проверяйте описания инструментов на скрытые инструкции — и повторно, когда они меняются.
  • Для локальных серверов показывайте точную команду до её запуска и запускайте сервер с минимальными привилегиями в песочнице, как рекомендуют лучшие практики безопасности MCP.
  • Никогда не передавайте токены транзитом: MCP-серверы «НЕ ДОЛЖНЫ принимать никакие токены, которые не были явно выпущены для этого MCP-сервера».
  • Начинайте с узких областей доступа OAuth и расширяйте их, только когда этого требует операция.

Модуль 4 курса «Безопасность ИИ: защита LLM-приложений и ИИ-агентов», который проходят в своём темпе, посвящён защите ИИ-агентов, инструментов и MCP-серверов.

Следите за чистотой памяти агента

Память позволяет атаке сохраняться между сессиями (ASI06). Проверяйте, что записывается в память, разделяйте память по пользователям и задачам, удаляйте по истечении срока непроверенные записи и не позволяйте собственному выводу агента автоматически попадать обратно в доверенную память. Пункт OWASP LLM01:2026 добавляет: считайте запись в память привилегированной операцией и логируйте промпт, который стоит за каждой записью.

Логируйте действия агента и держите способ его остановить

Ведите журналы с контролем целостности для вызовов инструментов, подтверждений и сообщений между агентами, чтобы можно было расследовать инциденты и откатывать изменения (ASI08, ASI10). Убедитесь, что можете быстро остановить агента: для агентов, вышедших из-под контроля, OWASP перечисляет аварийные выключатели (kill switches) и отзыв учётных данных, а для запусков, которые пошли вразнос, — предохранители (circuit breakers) с лимитами на число шагов, время и стоимость. Проверьте механизм остановки заранее, до того как он понадобится, и регулярно проводите red teaming агентов — только на системах, которые принадлежат вам или на тестирование которых у вас есть письменное разрешение, — и проверьте, что условия вашего провайдера модели разрешают тестирование безопасности.

Что говорят правила ЕС (справочная информация, а не юридическая консультация)

  • Не каждая система ИИ относится к высокому риску по Закону ЕС об ИИ (EU AI Act): в общих чертах — только системы, которые используются для целей из приложения III (с исключениями), или системы, которые являются компонентом безопасности продукта, подпадающего под законодательство ЕС, перечисленное в приложении I (или сами являются таким продуктом), если этот продукт должен проходить оценку соответствия третьей стороной.
  • Для систем ИИ высокого риска статья 15 требует «надлежащего уровня точности, надёжности и кибербезопасности». Статья 15(5) добавляет требование устойчивости к попыткам неуполномоченных третьих лиц изменить использование системы, её выходные данные или работу и перечисляет, где это уместно, меры против отравления данных, отравления модели, состязательных примеров (уклонения модели), а также атак на конфиденциальность или изъянов модели.
  • С учётом изменений, внесённых Регламентом (ЕС) 2026/1744 — «цифровым омнибусом по ИИ» (Digital Omnibus on AI), который вступил в силу 27 июля 2026 года, — обязательства для систем высокого риска применяются со 2 декабря 2027 года к системам из приложения III и со 2 августа 2028 года к системам в продуктах, подпадающих под приложение I.
  • Некоторые правила уже действуют: согласно статье 50, со 2 августа 2026 года поставщики систем ИИ, которые напрямую взаимодействуют с людьми, должны обеспечить, чтобы эти люди знали, что имеют дело с ИИ, если это не очевидно.
  • Закон о киберустойчивости (Cyber Resilience Act) распространяется на продукты с цифровыми элементами, включая программное обеспечение, которые выводятся на рынок ЕС, поэтому проверьте, поставляется ли ваш агент как такой продукт или работает как сервис. Закон вступил в силу 10 декабря 2024 года. Обязанности производителей сообщать об активно эксплуатируемых уязвимостях и серьёзных инцидентах применяются с 11 сентября 2026 года, а основные обязательства — с 11 декабря 2027 года.

Применимо ли что-либо из этого к вашему агенту — вопрос к юристу.

Что дальше

Если вы только начинаете создавать агентов, основы описаны в нашем руководстве о том, как создать ИИ-агента (на английском), и в курсе в своём темпе «Агентный ИИ: введение в разработку агентов».

Системно освоить эти навыки можно на курсе «Безопасность ИИ: защита LLM-приложений и ИИ-агентов»: в своём темпе, средний уровень, 40 часов. Он охватывает безопасность цепочки поставок ИИ и правила ЕС, а в итоговом проекте вы атакуете ИИ-агента, исправляете найденное и тестируете его повторно.

Изучить технические навыки онлайн с Code Labs Academy

Изучить технические навыки онлайн с Code Labs Academy

Присоединяйтесь к нашему поддерживающему сообществу, разблокируйте свой потенциал и отправляйтесь на полезную карьеру.

Применить сейчас

Часто задаваемые вопросы

Что такое OWASP Top 10 для агентных приложений?

Это список десяти рисков безопасности ИИ-агентов с самыми серьёзными последствиями, который OWASP GenAI Security Project выпустил в декабре 2025 года. Его пункты идут от ASI01 Agent Goal Hijack до ASI10 Rogue Agents, и для каждого приведены примеры и меры защиты.

Что означает минимальная агентность (least agency) для ИИ-агентов?

Минимальная агентность — это расширение принципа минимальных привилегий, которое предлагает OWASP: давайте агенту ровно столько автономии, сколько нужно для его задачи. Агентное поведение там, где оно не нужно, расширяет поверхность атаки, не добавляя ценности.

Безопасно ли использовать MCP-серверы?

Относитесь к ним как к любому стороннему коду, потому что инструменты сервера и их описания могут содержать скрытые инструкции. Устанавливайте их из источников, которым доверяете, фиксируйте и проверяйте версии, просматривайте описания инструментов, запускайте локальные серверы в песочнице и оставляйте человеку возможность отклонять вызовы инструментов.

Должен ли ИИ-агент запрашивать подтверждение перед каждым действием?

Нет. Спрашивайте человека перед действиями с серьёзными последствиями или необратимыми действиями, такими как удаление данных, перевод денег или отправка сообщений, а действия с низким риском, которые можно отменить, пусть выполняются без подтверждения. Слишком частые запросы ведут к усталости от подтверждений, а она ослабляет проверку.

Все ли ИИ-агенты относятся к высокому риску по Закону ЕС об ИИ (EU AI Act)?

Нет. В общих чертах к высокому риску относятся только системы ИИ, которые используются для целей из приложения III к Закону (с исключениями), или системы ИИ, которые являются компонентом безопасности продукта, подпадающего под законодательство ЕС из приложения I (или сами являются таким продуктом), если этот продукт должен проходить оценку соответствия третьей стороной. Относится ли конкретный агент к одной из этих категорий — вопрос к юристу.

Карьерные услуги

Персональная карьерная поддержка для старта в IT. Ревью резюме, пробные интервью и инсайты отрасли помогут уверенно представить новые навыки.

Подробнее