Ինչպես պաշտպանել AI գործակալները. OWASP Agentic Top 10, MCP, միջոցներ
Թարմացվել է November 19, 20268 Րոպեներ կարդացեք
AI գործակալը, որը կառուցված է մեծ լեզվական մոդելի (LLM) շուրջ, ավելին է անում, քան պարզապես պատասխանում է հարցերին։ Այն պլանավորում է, գործիքներ է կանչում, կարդում և գրում է տվյալներ, իսկ երբեմն էլ հաղորդակցվում է այլ գործակալների հետ։ Դա մեծացնում է մոդելի յուրաքանչյուր թուլության գինը. prompt injection-ը, որը չատբոտում կհանգեցներ ընդամենը վատ պատասխանի, կարող է գործակալին ստիպել էլ. նամակ ուղարկել, գրառումներ փոխել կամ կոդ գործարկել։ Այս ուղեցույցը ներկայացնում է OWASP Top 10-ը ագենտային հավելվածների համար և գործնական վերահսկման միջոցները, այդ թվում՝ Model Context Protocol-ի (MCP) անվտանգությունը։
Ինչու գործակալներին անհրաժեշտ է անվտանգության սեփական մոդել
NIST AI 100-2e2025 փաստաթուղթը գործակալը նկարագրում է որպես ծրագրային ապահովում, որը «իտերատիվ կերպով պրոմպտներ է ուղարկում մոդելին», մշակում է նրա ելքերը, օրինակ՝ ֆունկցիա կանչելու համար, և արդյունքները վերադարձնում է հաջորդ պրոմպտի մեջ։ OWASP Top 10 LLM հավելվածների համար 2026 ցուցակը սահմանը գծում է հենց այստեղ. այն մոդելը դիտարկում է որպես բաղադրիչ, իսկ երբ մոդելը գործում է գործիքներով, հիշողությամբ և այլ համակարգերի վրա հետևանքներով, OWASP-ը հղում է իր ագենտային ցուցակին։
Այդ ցուցակն ավելացնում է մի սկզբունք, որն արժե որդեգրել առաջինը՝ least agency (նվազագույն ինքնավարություն)։ OWASP-ը կազմակերպություններին խորհուրդ է տալիս «խուսափել անհարկի ինքնավարությունից», քանի որ ագենտային վարքագծի կիրառումն այնտեղ, որտեղ այն պետք չէ, «ընդլայնում է հարձակման մակերեսը՝ առանց արժեք ավելացնելու»։
OWASP Top 10 ագենտային հավելվածների համար
OWASP GenAI Security Project-ը OWASP Top 10 ագենտային հավելվածների համար ցուցակը հրապարակեց 2025 թվականի դեկտեմբերի 9-ին։ Դրա տասը կետերն են՝
- ASI01: Agent Goal Hijack (գործակալի նպատակի զավթում)։ Ներարկված բովանդակությունը շեղում է գործակալի նպատակները կամ պլանները։
- ASI02: Tool Misuse and Exploitation (գործիքների չարաշահում և շահագործում)։ Գործակալը օրինական գործիքներն օգտագործում է անապահով ձևերով։
- ASI03: Identity and Privilege Abuse (ինքնության և արտոնությունների չարաշահում)։ Չարաշահվում են պատվիրակված կամ ժառանգված հավատարմագրերը։
- ASI04: Agentic Supply Chain Vulnerabilities (ագենտային մատակարարման շղթայի խոցելիություններ)։ Գործիքները, MCP սերվերները, պրոմպտները կամ գործակալները վնասակար են կամ կեղծված։
- ASI05: Unexpected Code Execution (RCE) (կոդի անսպասելի կատարում)։ Գեներացված կամ ներարկված կոդը կատարվում է ձեր համակարգերում։
- ASI06: Memory & Context Poisoning (հիշողության և համատեքստի թունավորում)։ Պահված հիշողությունը կամ որոնված համատեքստը աղավաղվում է։
- ASI07: Insecure Inter-Agent Communication (գործակալների միջև անապահով հաղորդակցություն)։ Գործակալների միջև հաղորդագրությունները կեղծվում կամ փոփոխվում են։
- ASI08: Cascading Failures (կասկադային ձախողումներ)։ Մեկ խափանումը տարածվում է գործակալների և աշխատանքային հոսքերի վրա։
- ASI09: Human-Agent Trust Exploitation (մարդու և գործակալի միջև վստահության շահագործում)։ Մարդիկ չափից շատ են վստահում ինքնավստահ գործակալին։
- ASI10: Rogue Agents (վերահսկողությունից դուրս եկած գործակալներ)։ Գործակալը շեղվում է իր նախատեսված գործառույթից կամ շրջանակից։
Գործակալներին տվեք նվազագույն արտոնություններ և սահմանափակ իրավասությամբ հավատարմագրեր
OWASP-ի LLM01:2026 կետը նշում է, որ գրանցված բարձր ազդեցությամբ prompt injection միջադեպերի մեծ մասը լուրջ է դարձել այն պատճառով, որ վտանգված մոդելը կարող էր գործել գործիքների միջոցով՝ օգտատիրոջ արտոնությունների մակարդակով։ ASI03-ը խորհուրդ է տալիս յուրաքանչյուր գործակալի համար առանձին ինքնություն և «յուրաքանչյուր առաջադրանքի համար կարճատև, նեղ իրավասությամբ token-ներ», իսկ ASI02-ը՝ յուրաքանչյուր գործիքի համար պրոֆիլներ՝ scope-երով, հարցումների սահմանաչափերով (rate limits) և ելքային կապերի թույլատրված ցուցակներով (egress allow-lists)։ Գործիքները գործարկեք օգտատիրոջ սեփական համատեքստում՝ նվազագույն OAuth scope-ով, ոչ թե բարձր արտոնություններով ընդհանուր հաշվի միջոցով։
Invariant Labs-ը ցույց տվեց, թե ինչու է իրավասության շրջանակը կարևոր. վնասակար GitHub issue-ն կարող էր զավթել GitHub-ի MCP սերվերին միացված գործակալին և բացահայտել տվյալներ օգտատիրոջ մասնավոր repository-ներից։ Հետազոտողներն այն անվանեցին «ոչ թե GitHub MCP սերվերի կոդի թերություն», այլ ճարտարապետական խնդիր և առաջարկեցին յուրաքանչյուր սեսիա սահմանափակել մեկ repository-ով։
Meta-ի Agents Rule of Two կանոնը նախագծման արագ ստուգում է. մեկ սեսիայում գործակալը պետք է համատեղի հետևյալներից ոչ ավելի, քան երկուսը՝ անվստահելի մուտքերի մշակում, զգայուն համակարգերի կամ մասնավոր տվյալների հասանելիություն, և վիճակի փոփոխություն կամ արտաքին հաղորդակցություն։ Եթե նրան պետք են բոլոր երեքը, Meta-ն ասում է, որ նրան «չպետք է թույլ տրվի ինքնավար գործել»։
Օգտագործեք թույլատրված ցուցակներ և քաղաքականության ստուգում մոդելից դուրս
Որոշեք կոդում, ոչ թե պրոմպտում, թե ինչ կարող է անել գործակալը։ Թույլատրված ցուցակներում ներառեք յուրաքանչյուր առաջադրանքի գործիքները, ցանցային հասցեները, որոնց գործակալը կարող է հասնել, և այն հրամանները, որոնք կարող է գործարկել առանց հարցնելու, իսկ մնացած ամեն ինչ արգելեք։ ASI02-ը նկարագրում է քաղաքականության կիրառման կետ (policy enforcement point), որը planner-ի ելքը դիտարկում է որպես անվստահելի. նախքան գործիքի գործարկումը այն ստուգում է մտադրությունն ու արգումենտները, կիրառում է սխեմաներ և հարցումների սահմանաչափեր և տրամադրում է կարճատև հավատարմագրեր։
Գործակալի գործարկած ցանկացած կոդ պահեք sandbox-ում
Եթե գործակալը կոդ է գրում կամ գործարկում, պատրաստ եղեք, որ դրա մի մասը թշնամական կլինի (ASI05)։ OWASP-ի խորհուրդը՝ երբեք մի գործարկեք root-ով, կոդը գործարկեք sandbox-ացված կոնտեյներներում՝ խիստ սահմանաչափերով, այդ թվում՝ ցանցային հասանելիության, և կոդի գեներացիան կատարումից առանձնացրեք վավերացման դարպասներով։ Anthropic-ի հրապարակումը իր կոդավորման գործակալի sandbox-ավորման մասին ավելացնում է, որ արդյունավետ sandbox-ավորումը պահանջում է և՛ ֆայլային համակարգի, և՛ ցանցի մեկուսացում, քանի որ առանց ցանցային մեկուսացման վտանգված գործակալը «կարող է արտահանել զգայուն ֆայլեր, օրինակ՝ SSH բանալիներ»։
Անշրջելի գործողություններից առաջ հարցրեք մարդուն
Պահանջեք հաստատում այն ամենից առաջ, ինչ դժվար է հետարկել կամ տեսանելի է համակարգից դուրս. տվյալների ջնջում, գումարի փոխանցում, հրապարակում կամ հաղորդագրությունների ուղարկում։ ASI02-ը առաջարկում է հաստատումից առաջ ցույց տալ գործողության dry-run կամ diff։ Հաստատման հարցումները պահեք այնքան հազվադեպ, որ դրանք կարևոր մնան. OWASP-ը զգուշացնում է, որ հաստատումների հոգնածությունը թուլացնում է դատողությունը, իսկ ASI09-ը նկարագրում է գործակալներ, որոնք համոզում են ստուգողներին հաստատել վնասակար գործողություններ։
MCP սերվերները և գործիքների նկարագրությունները համարեք անվստահելի
MCP-ն հեշտացնում է գործիքների միացումը գործակալին, ինչը գործիքները դարձնում է մատակարարման շղթայի ռիսկ։ MCP սպեցիֆիկացիան ասում է, որ client-ները «ՊԵՏՔ Է գործիքների annotation-ները համարեն անվստահելի, եթե դրանք չեն գալիս վստահելի սերվերներից», և որ «ՑԱՆԿԱԼԻ Է, որ միշտ լինի մարդ, որը կարող է մերժել գործիքների կանչերը»։
Invariant Labs-ը tool poisoning-ը (գործիքների թունավորում) նկարագրում է որպես գործիքների նկարագրություններում տեղադրված հրահանգներ, որոնք «անտեսանելի են օգտատերերի համար, բայց տեսանելի AI մոդելների համար», և զգուշացնում է, որ սերվերը կարող է փոխել նկարագրությունն այն բանից հետո, երբ դուք արդեն հաստատել եք այն։ OWASP-ի ASI04-ը բերում է npm-ում հրապարակված վնասակար MCP սերվերի օրինակ, որը ներկայանում էր որպես օրինական էլ. փոստի ինտեգրացիա և գաղտնի պատճենում էր նամակները հարձակվողին։
Գործնական քայլեր.
- MCP սերվերները տեղադրեք ձեր վստահած աղբյուրներից, ամրագրեք տարբերակները և ստուգեք hash-երը։
- Գործիքների նկարագրությունները վերանայեք թաքնված հրահանգների առկայության համար, և կրկին՝ երբ դրանք փոխվում են։
- Լոկալ սերվերների դեպքում ցույց տվեք ճշգրիտ հրամանը նախքան դրա գործարկումը և սերվերը գործարկեք նվազագույն արտոնություններով sandbox-ում, ինչպես խորհուրդ են տալիս MCP-ի անվտանգության լավագույն փորձերը։
- Երբեք token-ներ մի փոխանցեք տարանցիկ (token passthrough). MCP սերվերները «ՉՊԵՏՔ Է ընդունեն որևէ token, որը բացահայտորեն չի տրամադրվել տվյալ MCP սերվերի համար»։
- Սկսեք նեղ OAuth scope-երից և ավելացրեք նորերը միայն այն ժամանակ, երբ դրանք անհրաժեշտ են որևէ գործողության համար։
AI անվտանգություն․ LLM հավելվածների և AI գործակալների պաշտպանություն ինքնուրույն տեմպով դասընթացի 4-րդ մոդուլը նվիրված է AI գործակալների, գործիքների և MCP սերվերների անվտանգությանը։
Պահեք գործակալի հիշողությունը մաքուր
Հիշողությունը թույլ է տալիս, որ հարձակումը պահպանվի սեսիաների միջև (ASI06)։ Վավերացրեք այն, ինչ գրվում է հիշողության մեջ, հիշողությունը պահեք առանձին՝ ըստ օգտատիրոջ և ըստ առաջադրանքի, սահմանեք չստուգված գրառումների պիտանելիության ժամկետ և թույլ մի տվեք, որ գործակալի սեփական ելքերը ավտոմատ վերադառնան վստահելի հիշողություն։ OWASP-ի LLM01:2026 կետն ավելացնում է. հիշողության մեջ գրելը դիտարկեք որպես արտոնյալ գործողություն և գրանցեք յուրաքանչյուր գրառման հետևում կանգնած պրոմպտը։
Գրանցեք գործակալի գործողությունները և պահեք այն կանգնեցնելու միջոց
Գործիքների կանչերի, հաստատումների և գործակալների միջև հաղորդագրությունների համար վարեք log-եր, որոնցում ցանկացած միջամտություն նկատելի է (tamper-evident), որպեսզի կարողանաք հետաքննել և հետ գլորել փոփոխությունները (ASI08, ASI10)։ Համոզվեք, որ կարող եք արագ կանգնեցնել գործակալին. OWASP-ը վերահսկողությունից դուրս եկած գործակալների համար թվարկում է kill switch-եր և հավատարմագրերի չեղարկում, իսկ անվերահսկելի գործարկումների համար՝ circuit breaker-ներ՝ քայլերի, ժամանակի և արժեքի սահմանաչափերով։ Կանգնեցման մեխանիզմը թեստավորեք նախքան այն ձեզ պետք կգա և պարբերաբար իրականացրեք գործակալների red teaming՝ միայն այն համակարգերում, որոնք պատկանում են ձեզ կամ որոնք թեստավորելու գրավոր թույլտվություն ունեք, և ստուգեք, որ ձեր մոդելի մատակարարի պայմանները թույլ են տալիս անվտանգության թեստավորում։
Ինչ են ասում ԵՄ կանոնները (ընդհանուր տեղեկատվություն, ոչ թե իրավաբանական խորհրդատվություն)
- EU AI Act-ի համաձայն ոչ բոլոր AI համակարգերն են բարձր ռիսկային. ընդհանուր առմամբ՝ միայն նրանք, որոնք օգտագործվում են III հավելվածում թվարկված նպատակով (բացառություններով), կամ որոնք I հավելվածում թվարկված ԵՄ օրենսդրությամբ կարգավորվող արտադրանքի անվտանգության բաղադրիչ են (կամ իրենք են այդպիսի արտադրանք), երբ այդ արտադրանքը պետք է անցնի համապատասխանության գնահատում երրորդ կողմի կողմից։
- Բարձր ռիսկային AI համակարգերի համար 15-րդ հոդվածը պահանջում է «ճշգրտության, կայունության և կիբերանվտանգության պատշաճ մակարդակ»։ 15-րդ հոդվածի 5-րդ մասը ավելացնում է դիմացկունություն չլիազորված երրորդ անձանց՝ համակարգի օգտագործումը, ելքերը կամ արդյունավետությունը փոխելու փորձերի նկատմամբ և, անհրաժեշտության դեպքում, թվարկում է միջոցներ տվյալների թունավորման, մոդելի թունավորման, հակառակորդային օրինակների (մոդելի շրջանցում), ինչպես նաև գաղտնիության դեմ հարձակումների կամ մոդելի թերությունների դեմ։
- (ԵՄ) 2026/1744 կանոնակարգից հետո («Digital Omnibus on AI», ուժի մեջ է 2026 թվականի հուլիսի 27-ից) բարձր ռիսկային համակարգերի պարտավորությունները կիրառվում են 2027 թվականի դեկտեմբերի 2-ից III հավելվածի համակարգերի համար և 2028 թվականի օգոստոսի 2-ից I հավելվածով ընդգրկված արտադրանքներում օգտագործվող համակարգերի համար։
- Որոշ կանոններ արդեն գործում են. 50-րդ հոդվածի համաձայն՝ 2026 թվականի օգոստոսի 2-ից մարդկանց հետ անմիջականորեն փոխազդող AI համակարգերի մատակարարները պետք է ապահովեն, որ այդ մարդկանց տեղեկացվի, որ իրենք գործ ունեն AI-ի հետ, եթե դա ակնհայտ չէ։
- Cyber Resilience Act-ը կիրառվում է ԵՄ շուկա հանված թվային տարրերով արտադրանքների նկատմամբ, այդ թվում՝ ծրագրային ապահովման, ուստի ստուգեք՝ ձեր գործակալը տարածվում է որպես այդպիսի արտադրանք, թե աշխատում է որպես ծառայություն։ Այն ուժի մեջ է մտել 2024 թվականի դեկտեմբերի 10-ին։ Արտադրողների՝ ակտիվորեն շահագործվող խոցելիությունների և լուրջ միջադեպերի մասին հաղորդելու պարտավորությունները կիրառվում են 2026 թվականի սեպտեմբերի 11-ից, իսկ հիմնական պարտավորությունները՝ 2027 թվականի դեկտեմբերի 11-ից։
Արդյոք այս ամենից որևէ բան կիրառելի է ձեր գործակալի նկատմամբ, հարց է իրավաբանի համար։
Ինչ կարդալ հետո
Եթե նոր եք սկսում գործակալներ ստեղծել, հիմունքները ներկայացնում են մեր ուղեցույցը այն մասին, թե ինչպես ստեղծել AI գործակալ (անգլերեն), և Ագենտային AI. Ներածություն գործակալների մշակմանը ինքնուրույն տեմպով դասընթացը։
Այս հմտությունները համակարգված ձեռք բերելու եղանակներից մեկը AI անվտանգություն․ LLM հավելվածների և AI գործակալների պաշտպանություն դասընթացն է՝ ինքնուրույն տեմպով, միջին մակարդակի և 40 ժամ տևողությամբ։ Այն ընդգրկում է AI մատակարարման շղթայի անվտանգությունը և ԵՄ կանոնները, իսկ եզրափակիչ նախագծում ձեզնից պահանջվում է հարձակվել AI գործակալի վրա, ուղղել այն և կրկին թեստավորել։

Իմացեք տեխնիկական հմտություններ առցանց Code Labs Academy
Միացեք մեր օժանդակ համայնքին, ապակողպեք ձեր ներուժը եւ սկսեք վարձատրվող կարիերայի ուղին:
Դիմեք հիմա