Langsung ke konten utama
Kembali ke blog

Cara Mengamankan Agen AI: OWASP Agentic Top 10, MCP, dan Kontrol Utama

Diperbarui pada November 19, 20267 Menit Baca


Agen AI, yang dibangun di sekitar model bahasa besar (LLM), melakukan lebih dari sekadar menjawab pertanyaan. Agen merencanakan, memanggil tool, membaca dan menulis data, dan terkadang berkomunikasi dengan agen lain. Hal ini memperbesar taruhan dari setiap kelemahan model: prompt injection yang di chatbot hanya menghasilkan jawaban yang salah dapat membuat agen mengirim email, mengubah catatan, atau menjalankan kode. Panduan ini membahas OWASP Top 10 untuk Aplikasi Agentik dan kontrol praktis, termasuk keamanan Model Context Protocol (MCP).

Mengapa Agen Membutuhkan Model Keamanannya Sendiri

NIST AI 100-2e2025 menggambarkan agen sebagai perangkat lunak yang “memberikan prompt ke model secara iteratif”, memproses output-nya, misalnya untuk memanggil fungsi, lalu memasukkan hasilnya kembali ke prompt berikutnya. OWASP Top 10 untuk Aplikasi LLM 2026 menarik garis di situ: daftar itu membahas model sebagai komponen, dan begitu model bertindak dengan tool, memori, dan konsekuensi hilir, OWASP merujuk ke daftar agentiknya.

Daftar itu menambahkan satu prinsip yang layak diterapkan lebih dulu: least agency (otonomi minimum). OWASP menyarankan organisasi untuk “menghindari otonomi yang tidak perlu”, karena menerapkan perilaku agentik di tempat yang tidak membutuhkannya “memperluas permukaan serangan tanpa menambah nilai”.

OWASP Top 10 untuk Aplikasi Agentik

OWASP GenAI Security Project merilis OWASP Top 10 untuk Aplikasi Agentik pada 9 Desember 2025. Kesepuluh entrinya:

  • ASI01: Agent Goal Hijack (pembajakan tujuan agen). Konten yang disisipkan mengalihkan tujuan atau rencana agen.
  • ASI02: Tool Misuse and Exploitation (penyalahgunaan dan eksploitasi tool). Agen menggunakan tool yang sah dengan cara yang tidak aman.
  • ASI03: Identity and Privilege Abuse (penyalahgunaan identitas dan hak akses). Kredensial yang didelegasikan atau diwarisi disalahgunakan.
  • ASI04: Agentic Supply Chain Vulnerabilities (kerentanan rantai pasok agentik). Tool, server MCP, prompt, atau agen bersifat berbahaya atau telah dimodifikasi.
  • ASI05: Unexpected Code Execution (RCE) (eksekusi kode tak terduga). Kode yang dihasilkan atau disisipkan berjalan di sistem Anda.
  • ASI06: Memory & Context Poisoning (peracunan memori dan konteks). Memori yang tersimpan atau konteks hasil retrieval dirusak.
  • ASI07: Insecure Inter-Agent Communication (komunikasi antar-agen yang tidak aman). Pesan antar-agen dipalsukan atau diubah.
  • ASI08: Cascading Failures (kegagalan beruntun). Satu kesalahan menyebar ke berbagai agen dan alur kerja.
  • ASI09: Human-Agent Trust Exploitation (eksploitasi kepercayaan manusia pada agen). Orang terlalu memercayai agen yang tampak yakin.
  • ASI10: Rogue Agents (agen liar). Agen menyimpang dari fungsi atau cakupan yang dimaksudkan.

Berikan Agen Hak Akses Minimum dan Kredensial dengan Cakupan Terbatas

Entri LLM01:2026 dari OWASP mencatat bahwa sebagian besar insiden prompt injection berdampak tinggi yang terdokumentasi menjadi parah karena model yang telah dibobol dapat bertindak melalui tool dengan tingkat hak akses pengguna. ASI03 merekomendasikan identitas tersendiri untuk tiap agen dan “token berumur pendek dengan cakupan sempit untuk tiap tugas”; ASI02 merekomendasikan profil per tool dengan cakupan, rate limit, dan allowlist untuk lalu lintas keluar. Jalankan tool dalam konteks pengguna itu sendiri dengan cakupan OAuth minimum, bukan melalui akun bersama yang memiliki hak akses tinggi.

Invariant Labs menunjukkan mengapa cakupan penting: sebuah issue GitHub berbahaya dapat membajak agen yang terhubung ke server MCP GitHub dan membocorkan data dari repositori pribadi pengguna. Mereka menyebutnya “bukan cacat pada kode server MCP GitHub itu sendiri”, melainkan masalah arsitektur, dan menyarankan untuk membatasi setiap sesi pada satu repositori saja.

Pemeriksaan desain yang cepat adalah Agents Rule of Two dari Meta: dalam satu sesi, agen tidak boleh menggabungkan lebih dari dua hal berikut: memproses input yang tidak tepercaya, mengakses sistem sensitif atau data pribadi, dan mengubah state atau berkomunikasi ke luar. Jika agen membutuhkan ketiganya, Meta menyatakan bahwa agen itu “tidak boleh diizinkan beroperasi secara otonom”.

Gunakan Allowlist dan Pemeriksaan Kebijakan di Luar Model

Tentukan di dalam kode, bukan di prompt, apa yang boleh dilakukan agen. Buat allowlist untuk tool di setiap tugas, tujuan jaringan yang dapat dijangkaunya, dan perintah yang boleh dijalankannya tanpa bertanya, lalu tolak semua yang lain. ASI02 menjelaskan titik penegakan kebijakan (policy enforcement point) yang memperlakukan output planner sebagai tak tepercaya dan, sebelum tool dijalankan, memeriksa maksud dan argumennya, menegakkan skema dan rate limit, serta menerbitkan kredensial berumur pendek.

Isolasikan Semua Kode yang Dijalankan Agen di Dalam Sandbox

Jika agen menulis atau menjalankan kode, bersiaplah bahwa sebagian kode itu bisa berbahaya (ASI05). Saran OWASP: jangan pernah berjalan sebagai root, jalankan kode di container sandbox dengan batasan ketat, termasuk akses jaringan, dan pisahkan pembuatan kode dari eksekusinya dengan gerbang validasi. Tulisan Anthropic tentang sandboxing agen coding-nya menambahkan bahwa sandboxing yang efektif memerlukan isolasi filesystem sekaligus isolasi jaringan, karena tanpa isolasi jaringan, agen yang telah dibobol “dapat mengeksfiltrasi file sensitif seperti kunci SSH”.

Minta Persetujuan Manusia Sebelum Tindakan yang Tidak Dapat Dibatalkan

Wajibkan persetujuan sebelum apa pun yang sulit dibatalkan atau terlihat di luar sistem: menghapus data, memindahkan uang, memublikasikan, atau mengirim pesan. ASI02 menyarankan untuk menampilkan dry-run atau diff dari tindakan sebelum persetujuan. Jaga agar permintaan persetujuan cukup jarang supaya tetap bermakna: OWASP memperingatkan bahwa kelelahan persetujuan melemahkan penilaian, dan ASI09 menggambarkan agen yang membujuk peninjau untuk menyetujui tindakan berbahaya.

Perlakukan Server MCP dan Deskripsi Tool sebagai Tak Tepercaya

MCP memudahkan penyambungan tool ke agen, sehingga tool menjadi risiko rantai pasok. Spesifikasi MCP menyatakan bahwa klien “WAJIB menganggap anotasi tool sebagai tak tepercaya kecuali berasal dari server tepercaya” dan bahwa “SEHARUSNYA selalu ada manusia dalam loop yang dapat menolak pemanggilan tool”.

Invariant Labs menggambarkan tool poisoning (peracunan tool) sebagai instruksi dalam deskripsi tool yang “tidak terlihat oleh pengguna tetapi terlihat oleh model AI”, dan memperingatkan bahwa server dapat mengubah deskripsi setelah Anda menyetujuinya. ASI04 dari OWASP mengutip sebuah server MCP berbahaya di npm yang menyamar sebagai integrasi email yang sah dan diam-diam menyalin email ke penyerang.

Langkah praktis:

  • Instal server MCP dari sumber yang Anda percayai, sematkan versinya, dan verifikasi hash-nya.
  • Tinjau deskripsi tool untuk mencari instruksi tersembunyi, dan tinjau lagi saat deskripsi itu berubah.
  • Untuk server lokal, tampilkan perintah yang persis sebelum dijalankan dan jalankan dengan hak akses minimal di dalam sandbox, seperti yang direkomendasikan praktik terbaik keamanan MCP.
  • Jangan pernah meneruskan token begitu saja: server MCP “TIDAK BOLEH menerima token apa pun yang tidak diterbitkan secara eksplisit untuk server MCP tersebut”.
  • Mulailah dengan cakupan OAuth yang sempit dan tambahkan cakupan lain hanya saat sebuah operasi membutuhkannya.

Modul 4 dari kursus belajar mandiri Keamanan AI: Mengamankan Aplikasi LLM dan Agen AI membahas pengamanan agen AI, tool, dan server MCP.

Jaga Memori Agen Tetap Bersih

Memori memungkinkan serangan bertahan dari satu sesi ke sesi berikutnya (ASI06). Validasi apa yang ditulis ke memori, pisahkan memori per pengguna dan per tugas, buat entri yang belum diverifikasi kedaluwarsa, dan jangan biarkan output agen sendiri mengalir kembali ke memori tepercaya secara otomatis. Entri LLM01:2026 dari OWASP menambahkan: perlakukan penulisan ke memori sebagai operasi dengan hak istimewa dan catat prompt di balik setiap penulisan.

Catat Tindakan Agen dan Siapkan Cara untuk Menghentikannya

Simpan log panggilan tool, persetujuan, dan pesan antar-agen yang membuat setiap manipulasi dapat terdeteksi (tamper-evident), agar Anda dapat menyelidiki dan melakukan rollback (ASI08, ASI10). Pastikan Anda dapat menghentikan agen dengan cepat: OWASP mencantumkan kill switch dan pencabutan kredensial untuk agen liar, serta circuit breaker dengan batas langkah, waktu, dan biaya untuk eksekusi yang lepas kendali. Uji jalur penghentian sebelum Anda membutuhkannya, dan lakukan red teaming pada agen secara rutin, hanya pada sistem milik Anda atau sistem yang Anda punya izin tertulis untuk mengujinya, dan pastikan ketentuan penyedia model Anda mengizinkan pengujian keamanan.

Apa Kata Aturan Uni Eropa (Latar Belakang, Bukan Nasihat Hukum)

  • Tidak semua sistem AI tergolong berisiko tinggi menurut EU AI Act: secara umum, hanya sistem yang digunakan untuk tujuan yang tercantum dalam Lampiran III (dengan pengecualian), atau yang merupakan komponen keselamatan dari produk yang tercakup dalam peraturan Uni Eropa yang tercantum dalam Lampiran I (atau merupakan produk itu sendiri) ketika produk tersebut memerlukan penilaian kesesuaian oleh pihak ketiga.
  • Untuk sistem AI berisiko tinggi, Pasal 15 mewajibkan “tingkat akurasi, ketangguhan, dan keamanan siber yang memadai”. Pasal 15 ayat (5) menambahkan ketahanan terhadap upaya pihak ketiga yang tidak berwenang untuk mengubah penggunaan, output, atau kinerja sistem, dan mencantumkan, jika sesuai, langkah-langkah terhadap peracunan data, peracunan model, adversarial example (penghindaran model), serta serangan terhadap kerahasiaan atau cacat model.
  • Setelah Regulation (EU) 2026/1744, yaitu “Digital Omnibus on AI” (berlaku sejak 27 Juli 2026), kewajiban untuk sistem berisiko tinggi berlaku mulai 2 Desember 2027 untuk sistem dalam Lampiran III dan mulai 2 Agustus 2028 untuk sistem dalam produk yang tercakup dalam Lampiran I.
  • Sebagian aturan sudah berlaku: berdasarkan Pasal 50, sejak 2 Agustus 2026, penyedia sistem AI yang berinteraksi langsung dengan orang wajib memastikan orang-orang tersebut diberi tahu bahwa mereka sedang berinteraksi dengan AI, kecuali jika hal itu sudah jelas.
  • Cyber Resilience Act berlaku untuk produk dengan elemen digital, termasuk perangkat lunak, yang dipasarkan di Uni Eropa, jadi periksa apakah agen Anda dirilis sebagai produk semacam itu atau berjalan sebagai layanan. Regulasi ini mulai berlaku pada 10 Desember 2024. Kewajiban produsen untuk melaporkan kerentanan yang dieksploitasi secara aktif dan insiden serius berlaku mulai 11 September 2026, dan kewajiban utamanya berlaku mulai 11 Desember 2027.

Apakah semua ini berlaku untuk agen Anda adalah pertanyaan untuk penasihat hukum.

Langkah Selanjutnya

Jika Anda baru mulai membangun agen, panduan kami tentang cara membangun agen AI (dalam bahasa Inggris) dan kursus belajar mandiri AI Agentik: Pengantar Pengembangan Agen membahas dasar-dasarnya.

Salah satu cara terstruktur untuk membangun keterampilan ini adalah kursus Keamanan AI: Mengamankan Aplikasi LLM dan Agen AI: belajar mandiri, level menengah, dan berdurasi 40 jam. Kursus ini membahas keamanan rantai pasok AI dan aturan Uni Eropa, dan proyek akhirnya meminta Anda menyerang, memperbaiki, dan menguji ulang agen AI.

Pelajari Keterampilan Teknis Online dengan Code Labs Academy

Pelajari Keterampilan Teknis Online dengan Code Labs Academy

Bergabunglah dengan komunitas pendukung kami, buka potensi Anda, dan mulai dari jalur karier yang bermanfaat.

Terapkan sekarang

Pertanyaan yang sering diajukan

Apa itu OWASP Top 10 untuk Aplikasi Agentik?

Ini adalah daftar sepuluh risiko keamanan dengan dampak tertinggi bagi agen AI, yang dirilis oleh OWASP GenAI Security Project pada Desember 2025. Entrinya mulai dari ASI01 Agent Goal Hijack hingga ASI10 Rogue Agents, masing-masing dengan contoh dan mitigasinya.

Apa arti least agency bagi agen AI?

Least agency adalah perluasan prinsip hak akses minimum dari OWASP: berikan agen hanya otonomi yang dibutuhkan tugasnya. Perilaku agentik yang tidak diperlukan memperluas permukaan serangan tanpa menambah nilai.

Apakah server MCP aman digunakan?

Perlakukan server MCP seperti kode pihak ketiga lainnya, karena tool dan deskripsi tool sebuah server dapat membawa instruksi tersembunyi. Instal dari sumber yang Anda percayai, sematkan dan verifikasi versinya, tinjau deskripsi tool, jalankan server lokal di dalam sandbox, dan pastikan manusia tetap dapat menolak panggilan tool.

Apakah agen AI harus meminta persetujuan sebelum setiap tindakan?

Tidak. Mintalah persetujuan seseorang sebelum tindakan berdampak tinggi atau yang tidak dapat dibatalkan, seperti menghapus data, memindahkan uang, atau mengirim pesan, dan biarkan tindakan berisiko rendah yang dapat dibatalkan tetap berjalan. Terlalu banyak permintaan persetujuan menimbulkan kelelahan persetujuan, yang melemahkan peninjauan.

Apakah setiap agen AI tergolong berisiko tinggi menurut EU AI Act?

Tidak. Secara umum, yang tergolong berisiko tinggi hanyalah sistem AI yang digunakan untuk tujuan yang tercantum dalam Lampiran III AI Act (dengan pengecualian), atau yang merupakan komponen keselamatan dari produk yang tercakup dalam peraturan Uni Eropa di Lampiran I (atau merupakan produk itu sendiri) ketika produk tersebut memerlukan penilaian kesesuaian oleh pihak ketiga. Apakah agen tertentu masuk ke salah satu kategori itu adalah pertanyaan untuk penasihat hukum.

Layanan karier

Dukungan karier yang dipersonalisasi untuk memulai karier di bidang teknologi. Termasuk review CV, simulasi wawancara, dan wawasan industri agar Anda dapat menampilkan keterampilan baru dengan percaya diri.

Jelajahi