Անցնել հիմնական բովանդակությանը
Վերադառնալ բլոգ

Ինչպես պաշտպանել AI գործակալները. OWASP Agentic Top 10, MCP, միջոցներ

Թարմացվել է November 19, 20268 Րոպեներ կարդացեք


AI գործակալը, որը կառուցված է մեծ լեզվական մոդելի (LLM) շուրջ, ավելին է անում, քան պարզապես պատասխանում է հարցերին։ Այն պլանավորում է, գործիքներ է կանչում, կարդում և գրում է տվյալներ, իսկ երբեմն էլ հաղորդակցվում է այլ գործակալների հետ։ Դա մեծացնում է մոդելի յուրաքանչյուր թուլության գինը. prompt injection-ը, որը չատբոտում կհանգեցներ ընդամենը վատ պատասխանի, կարող է գործակալին ստիպել էլ. նամակ ուղարկել, գրառումներ փոխել կամ կոդ գործարկել։ Այս ուղեցույցը ներկայացնում է OWASP Top 10-ը ագենտային հավելվածների համար և գործնական վերահսկման միջոցները, այդ թվում՝ Model Context Protocol-ի (MCP) անվտանգությունը։

Ինչու գործակալներին անհրաժեշտ է անվտանգության սեփական մոդել

NIST AI 100-2e2025 փաստաթուղթը գործակալը նկարագրում է որպես ծրագրային ապահովում, որը «իտերատիվ կերպով պրոմպտներ է ուղարկում մոդելին», մշակում է նրա ելքերը, օրինակ՝ ֆունկցիա կանչելու համար, և արդյունքները վերադարձնում է հաջորդ պրոմպտի մեջ։ OWASP Top 10 LLM հավելվածների համար 2026 ցուցակը սահմանը գծում է հենց այստեղ. այն մոդելը դիտարկում է որպես բաղադրիչ, իսկ երբ մոդելը գործում է գործիքներով, հիշողությամբ և այլ համակարգերի վրա հետևանքներով, OWASP-ը հղում է իր ագենտային ցուցակին։

Այդ ցուցակն ավելացնում է մի սկզբունք, որն արժե որդեգրել առաջինը՝ least agency (նվազագույն ինքնավարություն)։ OWASP-ը կազմակերպություններին խորհուրդ է տալիս «խուսափել անհարկի ինքնավարությունից», քանի որ ագենտային վարքագծի կիրառումն այնտեղ, որտեղ այն պետք չէ, «ընդլայնում է հարձակման մակերեսը՝ առանց արժեք ավելացնելու»։

OWASP Top 10 ագենտային հավելվածների համար

OWASP GenAI Security Project-ը OWASP Top 10 ագենտային հավելվածների համար ցուցակը հրապարակեց 2025 թվականի դեկտեմբերի 9-ին։ Դրա տասը կետերն են՝

  • ASI01: Agent Goal Hijack (գործակալի նպատակի զավթում)։ Ներարկված բովանդակությունը շեղում է գործակալի նպատակները կամ պլանները։
  • ASI02: Tool Misuse and Exploitation (գործիքների չարաշահում և շահագործում)։ Գործակալը օրինական գործիքներն օգտագործում է անապահով ձևերով։
  • ASI03: Identity and Privilege Abuse (ինքնության և արտոնությունների չարաշահում)։ Չարաշահվում են պատվիրակված կամ ժառանգված հավատարմագրերը։
  • ASI04: Agentic Supply Chain Vulnerabilities (ագենտային մատակարարման շղթայի խոցելիություններ)։ Գործիքները, MCP սերվերները, պրոմպտները կամ գործակալները վնասակար են կամ կեղծված։
  • ASI05: Unexpected Code Execution (RCE) (կոդի անսպասելի կատարում)։ Գեներացված կամ ներարկված կոդը կատարվում է ձեր համակարգերում։
  • ASI06: Memory & Context Poisoning (հիշողության և համատեքստի թունավորում)։ Պահված հիշողությունը կամ որոնված համատեքստը աղավաղվում է։
  • ASI07: Insecure Inter-Agent Communication (գործակալների միջև անապահով հաղորդակցություն)։ Գործակալների միջև հաղորդագրությունները կեղծվում կամ փոփոխվում են։
  • ASI08: Cascading Failures (կասկադային ձախողումներ)։ Մեկ խափանումը տարածվում է գործակալների և աշխատանքային հոսքերի վրա։
  • ASI09: Human-Agent Trust Exploitation (մարդու և գործակալի միջև վստահության շահագործում)։ Մարդիկ չափից շատ են վստահում ինքնավստահ գործակալին։
  • ASI10: Rogue Agents (վերահսկողությունից դուրս եկած գործակալներ)։ Գործակալը շեղվում է իր նախատեսված գործառույթից կամ շրջանակից։

Գործակալներին տվեք նվազագույն արտոնություններ և սահմանափակ իրավասությամբ հավատարմագրեր

OWASP-ի LLM01:2026 կետը նշում է, որ գրանցված բարձր ազդեցությամբ prompt injection միջադեպերի մեծ մասը լուրջ է դարձել այն պատճառով, որ վտանգված մոդելը կարող էր գործել գործիքների միջոցով՝ օգտատիրոջ արտոնությունների մակարդակով։ ASI03-ը խորհուրդ է տալիս յուրաքանչյուր գործակալի համար առանձին ինքնություն և «յուրաքանչյուր առաջադրանքի համար կարճատև, նեղ իրավասությամբ token-ներ», իսկ ASI02-ը՝ յուրաքանչյուր գործիքի համար պրոֆիլներ՝ scope-երով, հարցումների սահմանաչափերով (rate limits) և ելքային կապերի թույլատրված ցուցակներով (egress allow-lists)։ Գործիքները գործարկեք օգտատիրոջ սեփական համատեքստում՝ նվազագույն OAuth scope-ով, ոչ թե բարձր արտոնություններով ընդհանուր հաշվի միջոցով։

Invariant Labs-ը ցույց տվեց, թե ինչու է իրավասության շրջանակը կարևոր. վնասակար GitHub issue-ն կարող էր զավթել GitHub-ի MCP սերվերին միացված գործակալին և բացահայտել տվյալներ օգտատիրոջ մասնավոր repository-ներից։ Հետազոտողներն այն անվանեցին «ոչ թե GitHub MCP սերվերի կոդի թերություն», այլ ճարտարապետական խնդիր և առաջարկեցին յուրաքանչյուր սեսիա սահմանափակել մեկ repository-ով։

Meta-ի Agents Rule of Two կանոնը նախագծման արագ ստուգում է. մեկ սեսիայում գործակալը պետք է համատեղի հետևյալներից ոչ ավելի, քան երկուսը՝ անվստահելի մուտքերի մշակում, զգայուն համակարգերի կամ մասնավոր տվյալների հասանելիություն, և վիճակի փոփոխություն կամ արտաքին հաղորդակցություն։ Եթե նրան պետք են բոլոր երեքը, Meta-ն ասում է, որ նրան «չպետք է թույլ տրվի ինքնավար գործել»։

Օգտագործեք թույլատրված ցուցակներ և քաղաքականության ստուգում մոդելից դուրս

Որոշեք կոդում, ոչ թե պրոմպտում, թե ինչ կարող է անել գործակալը։ Թույլատրված ցուցակներում ներառեք յուրաքանչյուր առաջադրանքի գործիքները, ցանցային հասցեները, որոնց գործակալը կարող է հասնել, և այն հրամանները, որոնք կարող է գործարկել առանց հարցնելու, իսկ մնացած ամեն ինչ արգելեք։ ASI02-ը նկարագրում է քաղաքականության կիրառման կետ (policy enforcement point), որը planner-ի ելքը դիտարկում է որպես անվստահելի. նախքան գործիքի գործարկումը այն ստուգում է մտադրությունն ու արգումենտները, կիրառում է սխեմաներ և հարցումների սահմանաչափեր և տրամադրում է կարճատև հավատարմագրեր։

Գործակալի գործարկած ցանկացած կոդ պահեք sandbox-ում

Եթե գործակալը կոդ է գրում կամ գործարկում, պատրաստ եղեք, որ դրա մի մասը թշնամական կլինի (ASI05)։ OWASP-ի խորհուրդը՝ երբեք մի գործարկեք root-ով, կոդը գործարկեք sandbox-ացված կոնտեյներներում՝ խիստ սահմանաչափերով, այդ թվում՝ ցանցային հասանելիության, և կոդի գեներացիան կատարումից առանձնացրեք վավերացման դարպասներով։ Anthropic-ի հրապարակումը իր կոդավորման գործակալի sandbox-ավորման մասին ավելացնում է, որ արդյունավետ sandbox-ավորումը պահանջում է և՛ ֆայլային համակարգի, և՛ ցանցի մեկուսացում, քանի որ առանց ցանցային մեկուսացման վտանգված գործակալը «կարող է արտահանել զգայուն ֆայլեր, օրինակ՝ SSH բանալիներ»։

Անշրջելի գործողություններից առաջ հարցրեք մարդուն

Պահանջեք հաստատում այն ամենից առաջ, ինչ դժվար է հետարկել կամ տեսանելի է համակարգից դուրս. տվյալների ջնջում, գումարի փոխանցում, հրապարակում կամ հաղորդագրությունների ուղարկում։ ASI02-ը առաջարկում է հաստատումից առաջ ցույց տալ գործողության dry-run կամ diff։ Հաստատման հարցումները պահեք այնքան հազվադեպ, որ դրանք կարևոր մնան. OWASP-ը զգուշացնում է, որ հաստատումների հոգնածությունը թուլացնում է դատողությունը, իսկ ASI09-ը նկարագրում է գործակալներ, որոնք համոզում են ստուգողներին հաստատել վնասակար գործողություններ։

MCP սերվերները և գործիքների նկարագրությունները համարեք անվստահելի

MCP-ն հեշտացնում է գործիքների միացումը գործակալին, ինչը գործիքները դարձնում է մատակարարման շղթայի ռիսկ։ MCP սպեցիֆիկացիան ասում է, որ client-ները «ՊԵՏՔ Է գործիքների annotation-ները համարեն անվստահելի, եթե դրանք չեն գալիս վստահելի սերվերներից», և որ «ՑԱՆԿԱԼԻ Է, որ միշտ լինի մարդ, որը կարող է մերժել գործիքների կանչերը»։

Invariant Labs-ը tool poisoning-ը (գործիքների թունավորում) նկարագրում է որպես գործիքների նկարագրություններում տեղադրված հրահանգներ, որոնք «անտեսանելի են օգտատերերի համար, բայց տեսանելի AI մոդելների համար», և զգուշացնում է, որ սերվերը կարող է փոխել նկարագրությունն այն բանից հետո, երբ դուք արդեն հաստատել եք այն։ OWASP-ի ASI04-ը բերում է npm-ում հրապարակված վնասակար MCP սերվերի օրինակ, որը ներկայանում էր որպես օրինական էլ. փոստի ինտեգրացիա և գաղտնի պատճենում էր նամակները հարձակվողին։

Գործնական քայլեր.

  • MCP սերվերները տեղադրեք ձեր վստահած աղբյուրներից, ամրագրեք տարբերակները և ստուգեք hash-երը։
  • Գործիքների նկարագրությունները վերանայեք թաքնված հրահանգների առկայության համար, և կրկին՝ երբ դրանք փոխվում են։
  • Լոկալ սերվերների դեպքում ցույց տվեք ճշգրիտ հրամանը նախքան դրա գործարկումը և սերվերը գործարկեք նվազագույն արտոնություններով sandbox-ում, ինչպես խորհուրդ են տալիս MCP-ի անվտանգության լավագույն փորձերը։
  • Երբեք token-ներ մի փոխանցեք տարանցիկ (token passthrough). MCP սերվերները «ՉՊԵՏՔ Է ընդունեն որևէ token, որը բացահայտորեն չի տրամադրվել տվյալ MCP սերվերի համար»։
  • Սկսեք նեղ OAuth scope-երից և ավելացրեք նորերը միայն այն ժամանակ, երբ դրանք անհրաժեշտ են որևէ գործողության համար։

AI անվտանգություն․ LLM հավելվածների և AI գործակալների պաշտպանություն ինքնուրույն տեմպով դասընթացի 4-րդ մոդուլը նվիրված է AI գործակալների, գործիքների և MCP սերվերների անվտանգությանը։

Պահեք գործակալի հիշողությունը մաքուր

Հիշողությունը թույլ է տալիս, որ հարձակումը պահպանվի սեսիաների միջև (ASI06)։ Վավերացրեք այն, ինչ գրվում է հիշողության մեջ, հիշողությունը պահեք առանձին՝ ըստ օգտատիրոջ և ըստ առաջադրանքի, սահմանեք չստուգված գրառումների պիտանելիության ժամկետ և թույլ մի տվեք, որ գործակալի սեփական ելքերը ավտոմատ վերադառնան վստահելի հիշողություն։ OWASP-ի LLM01:2026 կետն ավելացնում է. հիշողության մեջ գրելը դիտարկեք որպես արտոնյալ գործողություն և գրանցեք յուրաքանչյուր գրառման հետևում կանգնած պրոմպտը։

Գրանցեք գործակալի գործողությունները և պահեք այն կանգնեցնելու միջոց

Գործիքների կանչերի, հաստատումների և գործակալների միջև հաղորդագրությունների համար վարեք log-եր, որոնցում ցանկացած միջամտություն նկատելի է (tamper-evident), որպեսզի կարողանաք հետաքննել և հետ գլորել փոփոխությունները (ASI08, ASI10)։ Համոզվեք, որ կարող եք արագ կանգնեցնել գործակալին. OWASP-ը վերահսկողությունից դուրս եկած գործակալների համար թվարկում է kill switch-եր և հավատարմագրերի չեղարկում, իսկ անվերահսկելի գործարկումների համար՝ circuit breaker-ներ՝ քայլերի, ժամանակի և արժեքի սահմանաչափերով։ Կանգնեցման մեխանիզմը թեստավորեք նախքան այն ձեզ պետք կգա և պարբերաբար իրականացրեք գործակալների red teaming՝ միայն այն համակարգերում, որոնք պատկանում են ձեզ կամ որոնք թեստավորելու գրավոր թույլտվություն ունեք, և ստուգեք, որ ձեր մոդելի մատակարարի պայմանները թույլ են տալիս անվտանգության թեստավորում։

Ինչ են ասում ԵՄ կանոնները (ընդհանուր տեղեկատվություն, ոչ թե իրավաբանական խորհրդատվություն)

  • EU AI Act-ի համաձայն ոչ բոլոր AI համակարգերն են բարձր ռիսկային. ընդհանուր առմամբ՝ միայն նրանք, որոնք օգտագործվում են III հավելվածում թվարկված նպատակով (բացառություններով), կամ որոնք I հավելվածում թվարկված ԵՄ օրենսդրությամբ կարգավորվող արտադրանքի անվտանգության բաղադրիչ են (կամ իրենք են այդպիսի արտադրանք), երբ այդ արտադրանքը պետք է անցնի համապատասխանության գնահատում երրորդ կողմի կողմից։
  • Բարձր ռիսկային AI համակարգերի համար 15-րդ հոդվածը պահանջում է «ճշգրտության, կայունության և կիբերանվտանգության պատշաճ մակարդակ»։ 15-րդ հոդվածի 5-րդ մասը ավելացնում է դիմացկունություն չլիազորված երրորդ անձանց՝ համակարգի օգտագործումը, ելքերը կամ արդյունավետությունը փոխելու փորձերի նկատմամբ և, անհրաժեշտության դեպքում, թվարկում է միջոցներ տվյալների թունավորման, մոդելի թունավորման, հակառակորդային օրինակների (մոդելի շրջանցում), ինչպես նաև գաղտնիության դեմ հարձակումների կամ մոդելի թերությունների դեմ։
  • (ԵՄ) 2026/1744 կանոնակարգից հետո («Digital Omnibus on AI», ուժի մեջ է 2026 թվականի հուլիսի 27-ից) բարձր ռիսկային համակարգերի պարտավորությունները կիրառվում են 2027 թվականի դեկտեմբերի 2-ից III հավելվածի համակարգերի համար և 2028 թվականի օգոստոսի 2-ից I հավելվածով ընդգրկված արտադրանքներում օգտագործվող համակարգերի համար։
  • Որոշ կանոններ արդեն գործում են. 50-րդ հոդվածի համաձայն՝ 2026 թվականի օգոստոսի 2-ից մարդկանց հետ անմիջականորեն փոխազդող AI համակարգերի մատակարարները պետք է ապահովեն, որ այդ մարդկանց տեղեկացվի, որ իրենք գործ ունեն AI-ի հետ, եթե դա ակնհայտ չէ։
  • Cyber Resilience Act-ը կիրառվում է ԵՄ շուկա հանված թվային տարրերով արտադրանքների նկատմամբ, այդ թվում՝ ծրագրային ապահովման, ուստի ստուգեք՝ ձեր գործակալը տարածվում է որպես այդպիսի արտադրանք, թե աշխատում է որպես ծառայություն։ Այն ուժի մեջ է մտել 2024 թվականի դեկտեմբերի 10-ին։ Արտադրողների՝ ակտիվորեն շահագործվող խոցելիությունների և լուրջ միջադեպերի մասին հաղորդելու պարտավորությունները կիրառվում են 2026 թվականի սեպտեմբերի 11-ից, իսկ հիմնական պարտավորությունները՝ 2027 թվականի դեկտեմբերի 11-ից։

Արդյոք այս ամենից որևէ բան կիրառելի է ձեր գործակալի նկատմամբ, հարց է իրավաբանի համար։

Ինչ կարդալ հետո

Եթե նոր եք սկսում գործակալներ ստեղծել, հիմունքները ներկայացնում են մեր ուղեցույցը այն մասին, թե ինչպես ստեղծել AI գործակալ (անգլերեն), և Ագենտային AI. Ներածություն գործակալների մշակմանը ինքնուրույն տեմպով դասընթացը։

Այս հմտությունները համակարգված ձեռք բերելու եղանակներից մեկը AI անվտանգություն․ LLM հավելվածների և AI գործակալների պաշտպանություն դասընթացն է՝ ինքնուրույն տեմպով, միջին մակարդակի և 40 ժամ տևողությամբ։ Այն ընդգրկում է AI մատակարարման շղթայի անվտանգությունը և ԵՄ կանոնները, իսկ եզրափակիչ նախագծում ձեզնից պահանջվում է հարձակվել AI գործակալի վրա, ուղղել այն և կրկին թեստավորել։

Իմացեք տեխնիկական հմտություններ առցանց Code Labs Academy

Իմացեք տեխնիկական հմտություններ առցանց Code Labs Academy

Միացեք մեր օժանդակ համայնքին, ապակողպեք ձեր ներուժը եւ սկսեք վարձատրվող կարիերայի ուղին:

Դիմեք հիմա

Հաճախ տրվող հարցեր

Ի՞նչ է OWASP Top 10-ը ագենտային հավելվածների համար

Դա AI գործակալների անվտանգության ամենամեծ ազդեցությամբ տասը ռիսկերի ցուցակ է, որը OWASP GenAI Security Project-ը հրապարակել է 2025 թվականի դեկտեմբերին։ Դրա կետերը սկսվում են ASI01 Agent Goal Hijack-ից և ավարտվում ASI10 Rogue Agents-ով, և յուրաքանչյուրն ունի օրինակներ և մեղմման միջոցներ։

Ի՞նչ է նշանակում least agency-ն AI գործակալների համար

Least agency-ն (նվազագույն ինքնավարություն) OWASP-ի կողմից նվազագույն արտոնությունների սկզբունքի ընդլայնումն է. գործակալին տվեք միայն այնքան ինքնավարություն, որքան պահանջում է նրա առաջադրանքը։ Անհարկի ագենտային վարքագիծը ընդլայնում է հարձակման մակերեսը՝ առանց արժեք ավելացնելու։

Անվտա՞նգ է օգտագործել MCP սերվերներ

Դրանց վերաբերվեք այնպես, ինչպես երրորդ կողմի ցանկացած կոդի, քանի որ սերվերի գործիքներն ու գործիքների նկարագրությունները կարող են թաքնված հրահանգներ պարունակել։ Տեղադրեք դրանք ձեր վստահած աղբյուրներից, ամրագրեք և ստուգեք տարբերակները, վերանայեք գործիքների նկարագրությունները, լոկալ սերվերները գործարկեք sandbox-ում և ապահովեք, որ մարդը միշտ կարողանա մերժել գործիքների կանչերը։

Պե՞տք է արդյոք AI գործակալը հաստատում խնդրի յուրաքանչյուր գործողությունից առաջ

Ոչ։ Մարդուն հարցրեք բարձր ազդեցությամբ կամ անշրջելի գործողություններից առաջ, օրինակ՝ տվյալներ ջնջելուց, գումար փոխանցելուց կամ հաղորդագրություններ ուղարկելուց առաջ, իսկ ցածր ռիսկով, շրջելի գործողությունները թողեք կատարվեն։ Չափից շատ հարցումները հանգեցնում են հաստատումների հոգնածության, որը թուլացնում է ստուգումը։

Արդյո՞ք EU AI Act-ի համաձայն յուրաքանչյուր AI գործակալ բարձր ռիսկային է

Ոչ։ Ընդհանուր առմամբ բարձր ռիսկային են միայն այն AI համակարգերը, որոնք օգտագործվում են EU AI Act-ի III հավելվածում թվարկված նպատակով (բացառություններով), կամ որոնք I հավելվածում նշված ԵՄ օրենսդրությամբ կարգավորվող արտադրանքի անվտանգության բաղադրիչ են (կամ իրենք են այդպիսի արտադրանք), երբ այդ արտադրանքը պետք է անցնի համապատասխանության գնահատում երրորդ կողմի կողմից։ Արդյոք կոնկրետ գործակալը դրանցից մեկի մեջ է մտնում, հարց է իրավաբանի համար։

Կարիերայի ծառայություններ

Անհատական կարիերային աջակցություն՝ հաջող մեկնարկի համար տեխնոլոգիական ոլորտում։ Ռեզյումեի վերանայում, փորձնական հարցազրույցներ և ոլորտային դիտարկումներ՝ նոր հմտությունները վստահ ներկայացնելու համար։

Ուսումնասիրել