Негизги мазмунга өтүү
Блогго кайтуу

AI агенттерин кантип коргоо: OWASP Agentic Top 10, MCP, башкы чаралар

Жаңыртылды November 19, 20267 Протокол окуу


Чоң тил моделинин (LLM) негизинде курулган AI агенти суроолорго жооп берүү менен эле чектелбейт. Ал пландайт, куралдарды чакырат, маалыматтарды окуйт жана жазат, кээде башка агенттер менен байланышат. Ушундан улам моделдин ар кандай алсыздыгы кымбатка турат: чат-ботто жөн гана начар жоопко алып келе турган prompt injection агентти кат жөнөтүүгө, жазууларды өзгөртүүгө же кодду аткарууга мажбурлай алат. Бул макалада агенттик колдонмолор үчүн OWASP Top 10 жана практикалык коргоо чаралары, анын ичинде Model Context Protocol (MCP) коопсуздугу каралат.

Эмне үчүн агенттерге өзүнчө коопсуздук модели керек

NIST AI 100-2e2025 агентти «моделге итеративдүү түрдө промпт жөнөткөн», анын жоопторун, мисалы, функцияны чакыруу үчүн иштетип, натыйжаларды кийинки промптко берген программа катары сүрөттөйт. LLM колдонмолору үчүн OWASP Top 10 2026 чекти дал ушул жерден жүргүзөт: ал моделди компонент катары карайт, ал эми модель куралдар, эс тутум жана башка системаларга тийгизген кесепеттери менен аракет кылганда, OWASP өзүнүн агенттер үчүн тизмесине шилтеме берет.

Бул тизме биринчи кезекте колдонууга татыктуу принципти кошот: ыйгарым укуктарды минималдаштыруу (least agency). OWASP уюмдарга «керексиз автономиядан качууну» сунуштайт, анткени агенттик жүрүм-турумду ал керек эмес жерде колдонуу «эч кандай пайда кошпостон чабуул бетин кеңейтет».

Агенттик колдонмолор үчүн OWASP Top 10

OWASP GenAI Security Project агенттик колдонмолор үчүн OWASP Top 10 тизмесин 2025-жылдын 9-декабрында чыгарган. Анын он пункту:

  • ASI01: Agent Goal Hijack (агенттин максатын басып алуу). Киргизилген мазмун агенттин максаттарын же пландарын башка жакка бурат.
  • ASI02: Tool Misuse and Exploitation (куралдарды кыянаттык менен колдонуу жана эксплуатациялоо). Агент мыйзамдуу куралдарды коопсуз эмес жол менен колдонот.
  • ASI03: Identity and Privilege Abuse (идентификацияны жана укуктарды кыянаттык менен пайдалануу). Өткөрүлүп берилген же мураска калган кирүү маалыматтары кыянаттык менен колдонулат.
  • ASI04: Agentic Supply Chain Vulnerabilities (агенттик жеткирүү чынжырынын алсыздыктары). Куралдар, MCP серверлери, промпттор же агенттер зыяндуу же бурмаланган болуп чыгат.
  • ASI05: Unexpected Code Execution (RCE) (күтүлбөгөн код аткаруу). Түзүлгөн же киргизилген код сиздин системаларыңызда аткарылат.
  • ASI06: Memory & Context Poisoning (эс тутумду жана контекстти ууландыруу). Сакталган эс тутум же табылган контекст бузулат.
  • ASI07: Insecure Inter-Agent Communication (агенттер ортосундагы коопсуз эмес байланыш). Агенттер ортосундагы билдирүүлөр жасалмаланат же өзгөртүлөт.
  • ASI08: Cascading Failures (каскаддык бузулуулар). Бир ката агенттер жана жумуш процесстери боюнча жайылат.
  • ASI09: Human-Agent Trust Exploitation (адамдын агентке болгон ишенимин пайдалануу). Адамдар өзүнө ишенген агентке ашыкча ишенишет.
  • ASI10: Rogue Agents (көзөмөлдөн чыккан агенттер). Агент өзүнүн белгиленген милдетинен же чегинен четтейт.

Агенттерге минималдуу укуктарды жана тар чектелген кирүү маалыматтарын бериңиз

OWASP-тын LLM01:2026 пункту катталган олуттуу prompt injection инциденттеринин көбү компрометацияланган модель колдонуучунун укук деңгээлинде куралдар аркылуу аракет кыла алгандыктан оор болуп калганын белгилейт. ASI03 ар бир агент үчүн өзүнчө идентификацияны жана «ар бир тапшырма үчүн кыска мөөнөттүү, тар чектелген токендерди» сунуштайт, ASI02 — ар бир курал үчүн укук чектери, суроо лимиттери жана чыгуучу трафиктин уруксат тизмелери бар профилдерди. Куралдарды жогорку укуктары бар жалпы аккаунт аркылуу эмес, колдонуучунун өз контекстинде минималдуу OAuth укук чектери менен иштетиңиз.

Invariant Labs укук чектери эмне үчүн маанилүү экенин көрсөткөн: GitHub-дагы зыяндуу issue GitHub-дын MCP серверине туташкан агентти басып алып, колдонуучунун жеке репозиторийлериндеги маалыматтарды ачыкка чыгарышы мүмкүн болгон. Изилдөөчүлөр муну «GitHub MCP серверинин кодундагы кемчилик эмес», архитектуралык көйгөй деп аташып, ар бир сессияны бир репозиторий менен чектөөнү сунушташкан.

Долбоорду тез текшерүүнүн бир жолу — Meta-нын Agents Rule of Two эрежеси: бир сессиянын ичинде агент төмөнкү үч нерсенин экөөсүнөн ашыгын айкалыштырбашы керек — ишенимсиз киргизүүлөрдү иштетүү, сезимтал системаларга же жеке маалыматтарга кирүү, абалды өзгөртүү же тышкы дүйнө менен байланышуу. Эгер ага үчөө тең керек болсо, Meta-нын айтымында, ага «автономдуу иштөөгө уруксат берилбеши керек».

Уруксат тизмелерин жана моделден тышкары саясат текшерүүсүн колдонуңуз

Агент эмне кыла аларын промптто эмес, коддо чечиңиз. Ар бир тапшырма үчүн куралдарды, агент кайрыла ала турган тармак даректерин жана ал суроосуз аткара ала турган буйруктарды уруксат тизмелерине киргизип, калганынын баарына тыюу салыңыз. ASI02 пландоочунун жообун ишенимсиз деп эсептеген саясатты аткаруу чекитин (policy enforcement point) сүрөттөйт: курал иштей электе ал ниетти жана аргументтерди текшерет, схемаларды жана суроо лимиттерин колдонот жана кыска мөөнөттүү кирүү маалыматтарын берет.

Агент иштеткен ар кандай кодду sandbox ичинде иштетиңиз

Эгер агент код жазса же иштетсе, анын бир бөлүгү зыяндуу болот деп эсептеңиз (ASI05). OWASP-тын кеңештери: кодду эч качан root катары иштетпеңиз, аны тармакка кирүүнү кошо алганда катуу чектөөлөрү бар обочолонгон контейнерлерде аткарыңыз жана текшерүү этаптары аркылуу код түзүүнү аны аткаруудан бөлүңүз. Anthropic өзүнүн программалоо агентин sandbox менен обочолоо тууралуу макаласында натыйжалуу sandbox файл системасын да, тармакты да обочолоону талап кыларын кошумчалайт, анткени тармактык обочолоосуз компрометацияланган агент «SSH ачкычтары сыяктуу купуя файлдарды сыртка чыгарып жибериши мүмкүн».

Кайтарылгыс аракеттердин алдында адамдан сураңыз

Артка кайтаруу кыйын болгон же системадан тышкары көрүнгөн ар бир аракеттин алдында тастыктоону талап кылыңыз: маалыматтарды өчүрүү, акча которуу, жарыялоо же билдирүү жөнөтүү. ASI02 тастыктоонун алдында аракеттин сыноо иштетүүсүнүн (dry-run) натыйжасын же diff-ин көрсөтүүнү сунуштайт. Тастыктоо суроолору маанисин жоготпошу үчүн аларды сейрек колдонуңуз: OWASP тастыктоодон чарчоо сергектикти начарлатарын эскертет, ал эми ASI09 текшерүүчүлөрдү зыяндуу аракеттерди жактырууга көндүргөн агенттерди сүрөттөйт.

MCP серверлерин жана курал сыпаттамаларын ишенимсиз деп эсептеңиз

MCP агентке куралдарды оңой туташтырууга мүмкүндүк берет, ошондуктан куралдар жеткирүү чынжырынын тобокелдигине айланат. MCP спецификациясында кардар тиркемелер «ишенимдүү серверлерден келген учурларды кошпогондо, курал аннотацияларын ишенимсиз деп эсептөөгө МИЛДЕТТҮҮ» жана «курал чакырууларын четке кага алган адам контурда ДАЙЫМА болушу ТИЙИШ» деп айтылат.

Invariant Labs куралдарды ууландырууну (tool poisoning) курал сыпаттамаларындагы «колдонуучуларга көрүнбөгөн, бирок AI моделдерине көрүнгөн» нускамалар катары сүрөттөйт жана сервер сыпаттаманы сиз аны жактыргандан кийин да өзгөртө аларын эскертет. OWASP ASI04 пунктунда npm-деги мыйзамдуу почта интеграциясы болуп көрүнүп, каттарды жашыруун түрдө чабуулчуга көчүрүп жиберген зыяндуу MCP серверин мисал катары келтирет.

Практикалык кадамдар:

  • MCP серверлерин ишенген булактардан орнотуңуз, версияларды бекитип, хэштерди текшериңиз.
  • Курал сыпаттамаларын жашыруун нускамалардын бар-жогуна карап чыгыңыз жана алар өзгөргөндө кайра текшериңиз.
  • Жергиликтүү серверлер үчүн так буйрукту ал иштегенге чейин көрсөтүп, серверди MCP коопсуздугунун мыкты тажрыйбалары сунуштагандай, sandbox ичинде минималдуу укуктар менен иштетиңиз.
  • Токендерди эч качан транзит аркылуу өткөрбөңүз: MCP серверлери «MCP сервери үчүн ачык чыгарылбаган эч бир токенди кабыл алууга ТИЙИШ ЭМЕС».
  • Тар OAuth укук чектеринен баштап, операция талап кылганда гана аларды кеңейтиңиз.

Өз ылдамдыгыңызда өтүлүүчү «AI коопсуздугу: LLM колдонмолорун жана AI агенттерин коргоо» курсунун 4-модулу AI агенттерин, куралдарды жана MCP серверлерин коргоого арналган.

Агенттин эс тутумун таза кармаңыз

Эс тутум чабуулдун сессиялар аралык сакталып калышына мүмкүндүк берет (ASI06). Эс тутумга эмне жазыларын текшериңиз, эс тутумду колдонуучулар жана тапшырмалар боюнча бөлүп сактаңыз, текшерилбеген жазуулардын мөөнөтүн чектеңиз жана агенттин өз жоопторунун ишенимдүү эс тутумга автоматтык түрдө кайра кирүүсүнө жол бербеңиз. OWASP-тын LLM01:2026 пункту кошумчалайт: эс тутумга жазууну жогорку укук талап кылган операция катары караңыз жана ар бир жазуунун артында турган промптту логдоңуз.

Агенттин аракеттерин логдоп, аны токтотуу мүмкүнчүлүгүн сактаңыз

Иликтөө жүргүзүп, өзгөртүүлөрдү артка кайтара алышыңыз үчүн курал чакырууларынын, тастыктоолордун жана агенттер ортосундагы билдирүүлөрдүн бүтүндүгү көзөмөлдөнгөн логдорун жүргүзүңүз (ASI08, ASI10). Агентти тез токтото аларыңызга ынаныңыз: көзөмөлдөн чыккан агенттер үчүн OWASP авариялык өчүргүчтөрдү (kill switches) жана кирүү маалыматтарын жокко чыгарууну, ал эми көзөмөлсүз уланган иштетүүлөр үчүн кадамдарга, убакытка жана наркка лимиттери бар сактагычтарды (circuit breakers) атайт. Токтотуу механизмин ал керек боло электе алдын ала текшериңиз жана агенттерге үзгүлтүксүз red teaming жүргүзүңүз — өзүңүзгө таандык болгон же тестирлөөгө жазуу жүзүндө уруксатыңыз бар системаларда гана — жана модель провайдериңиздин шарттары коопсуздукту тестирлөөгө уруксат берерин текшериңиз.

ЕБ эрежелери эмне дейт (юридикалык кеңеш эмес, жалпы маалымат)

  • EU AI Act боюнча ар бир AI системасы эле жогорку тобокелдиктүү боло бербейт: жалпысынан, III тиркемеде саналган максаттарда колдонулгандары (айрым өзгөчөлүктөр менен) же I тиркемеде саналган ЕБ мыйзамдары камтыган продуктунун коопсуздук компоненти болгондору (же өзү ошондой продукт болгондору) гана — экинчи учурда, эгер ал продукт үчүнчү тарап жүргүзгөн шайкештикти баалоодон өтүшү керек болсо.
  • Жогорку тобокелдиктүү AI системаларынан 15-берене «тийиштүү деңгээлдеги тактыкты, туруктуулукту жана киберкоопсуздукту» талап кылат. 15(5)-берене уруксаты жок үчүнчү жактардын системанын колдонулушун, чыгуучу маалыматтарын же иштешин өзгөртүү аракеттерине туруштук берүү талабын кошуп, зарыл болгон учурда маалыматтарды ууландырууга, моделди ууландырууга, adversarial мисалдарга (моделдин алданышына), ошондой эле купуялуулукка каршы чабуулдарга же моделдин кемчиликтерине каршы чараларды санайт.
  • «Digital Omnibus on AI» деп аталган (ЕБ) 2026/1744 Регламенти 2026-жылдын 27-июлунда күчүнө киргенден кийин, жогорку тобокелдиктүү системаларга карата милдеттер III тиркемедеги системаларга 2027-жылдын 2-декабрынан тартып, ал эми I тиркемедеги продуктулардагы системаларга 2028-жылдын 2-августунан тартып колдонулат.
  • Айрым эрежелер мурунтан эле колдонулууда: 50-беренеге ылайык, 2026-жылдын 2-августунан тартып адамдар менен түздөн-түз өз ара аракеттенген AI системаларынын жеткирүүчүлөрү, эгер бул анык болбосо, ал адамдарга алар AI менен иштешип жатканы билдирилишин камсыз кылууга тийиш.
  • Cyber Resilience Act ЕБ рыногуна чыгарылган санариптик элементтери бар продуктуларга, анын ичинде программалык камсыздоого колдонулат, ошондуктан агентиңиз ушундай продукт катары жеткирилеби же кызмат катары иштейби, текшериңиз. Ал 2024-жылдын 10-декабрында күчүнө кирген. Өндүрүүчүлөрдүн активдүү пайдаланылып жаткан алсыздыктар жана олуттуу инциденттер тууралуу кабарлоо милдеттери 2026-жылдын 11-сентябрынан тартып, ал эми негизги милдеттер 2027-жылдын 11-декабрынан тартып колдонулат.

Мунун кайсы бири болсо да агентиңизге тиешелүүбү же жокпу — бул юристке берилүүчү суроо.

Кийинки кадамдар

Эгер агенттерди түзүүнү жаңыдан баштап жатсаңыз, негиздерди биздин AI агентин кантип түзүү керек (англис тилинде) деген макалабыздан жана өз ылдамдыгыңызда өтүлүүчү «Агенттик ЖИ: Агент иштеп чыгууга киришүү» курсунан табасыз.

Бул көндүмдөрдү системалуу түрдө өздөштүрүүнүн бир жолу — «AI коопсуздугу: LLM колдонмолорун жана AI агенттерин коргоо» курсу: өз ылдамдыгыңызда, орто деңгээл, 40 саат. Ал AI жеткирүү чынжырынын коопсуздугун жана ЕБ эрежелерин камтыйт, ал эми жыйынтыктоочу долбоордо сиз AI агентине чабуул жасап, аны оңдоп, кайра тестирлейсиз.

Code Labs Academy менен онлайн режиминде техникалык көндүмдөрдү үйрөнүңүз

Code Labs Academy менен онлайн режиминде техникалык көндүмдөрдү үйрөнүңүз

Биздин колдоочу жамаатка кошулуп, потенциалыңызды кулпусун ачып, мансап жолун ачыңыз.

Азыр колдон

Көп берилүүчү суроолор

Агенттик колдонмолор үчүн OWASP Top 10 деген эмне?

Бул OWASP GenAI Security Project 2025-жылдын декабрында чыгарган, AI агенттери үчүн эң олуттуу таасири бар он коопсуздук тобокелдигинин тизмеси. Анын пункттары ASI01 Agent Goal Hijack менен башталып, ASI10 Rogue Agents менен аяктайт, ар бирине мисалдар жана коргоо чаралары берилген.

AI агенттери үчүн ыйгарым укуктарды минималдаштыруу (least agency) эмнени билдирет?

Ыйгарым укуктарды минималдаштыруу — бул OWASP сунуштаган, минималдуу укуктар принцибинин кеңейтилиши: агентке тапшырмасы үчүн керектүү автономияны гана бериңиз. Керек эмес жердеги агенттик жүрүм-турум эч кандай пайда кошпостон чабуул бетин кеңейтет.

MCP серверлерин колдонуу коопсузбу?

Аларга башка ар кандай үчүнчү тараптын кодуна мамиле кылгандай мамиле кылыңыз, анткени сервердин куралдары жана курал сыпаттамалары жашыруун нускамаларды камтышы мүмкүн. Аларды ишенген булактардан орнотуңуз, версияларын бекитип, текшериңиз, курал сыпаттамаларын карап чыгыңыз, жергиликтүү серверлерди sandbox ичинде иштетиңиз жана адамга курал чакырууларын четке кагуу мүмкүнчүлүгүн калтырыңыз.

AI агенти ар бир аракеттин алдында тастыктоо сурашы керекпи?

Жок. Маалыматтарды өчүрүү, акча которуу же билдирүү жөнөтүү сыяктуу олуттуу таасири бар же кайтарылгыс аракеттердин алдында адамдан сураңыз, ал эми тобокелдиги төмөн, артка кайтарса боло турган аракеттерди тастыктоосуз аткарылууга коюңуз. Өтө көп суроо тастыктоодон чарчоого алып келет, ал эми ал текшерүүнү алсыратат.

EU AI Act боюнча ар бир AI агенти жогорку тобокелдиктүүбү?

Жок. Жалпысынан, Мыйзамдын III тиркемесинде саналган максаттарда колдонулган (айрым өзгөчөлүктөр менен) же I тиркемедеги ЕБ мыйзамдары камтыган продуктунун коопсуздук компоненти болгон (же өзү ошондой продукт болгон) AI системалары гана жогорку тобокелдиктүү болуп эсептелет — экинчи учурда, эгер ал продукт үчүнчү тарап жүргүзгөн шайкештикти баалоодон өтүшү керек болсо. Белгилүү бир агент алардын бирине кирээр-кирбеси — юристке берилүүчү суроо.

Карьера кызматтары

IT тармагында баштоо үчүн жекелештирилген карьералык колдоо. Резюме кароо, машыгуу маектери жана тармактык инсайттар жаңы көндүмдөрүңүздү ишенимдүү көрсөтүүгө жардам берет.

Изилде