MCP Guarded Tools — Tata Kelola Permukaan Tool Besar

⚠ Ini proyek open source, bukan pekerjaan klien. Angka-angka di bawah diukur pada server demo yang berjalan offline tanpa kredensial — datasetnya sintetis — dan README menerbitkan perintah untuk mereproduksi tiap pengukuran, termasuk batas-batas yang tidak ia tutupi.

Masalahnya

Kebanyakan server MCP publik adalah wrapper API tipis: semua tool didaftarkan di muka, lalu server mengeksekusi apa pun yang diminta model. Itu berfungsi pada 5 tool. Pada 40+, dua masalah muncul. Pertama, biaya konteks: setiap skema tool dibayar di setiap request, dipakai atau tidak. Kedua, blast radius: agen yang bisa memanggil refund_order atau purge_tenant_data secara langsung tidak punya tempat alami untuk budget, langkah persetujuan, atau jejak tinjauan.

Yang dibangun

43 tool domain (back-office B2B multi-tenant fiktif, dibangkitkan dari seed tetap) disembunyikan di balik 4 meta-tool yang selalu aktif: search_tools, describe_tool, confirm_action, dan invoke_tool. Model menemukan tool dengan mencari, bukan dengan menerima 43 skema sekaligus.

Setiap panggilan melewati rantai guardrail yang urutannya murah-sebelum-mahal: scope (allow-list default-deny) → budget (request + token) → rate limit (sliding window per tool) → validasi argumen (Zod) → konfirmasi human-in-the-loop untuk aksi mutating. Konfirmasi sengaja ditaruh paling akhir agar tokennya terikat pada argumen yang sudah tervalidasi — token itu single-use, kedaluwarsa dalam 120 detik, dan terikat pada hash SHA-256 argumen, jadi persetujuan “refund 25.000” tidak bisa dialihkan ke “refund 25.000.000”. Redaksi PII berjalan di input dan output, dan setiap keputusan — allowed maupun denied — ditulis ke audit log JSONL append-only dengan argumen yang sudah diredaksi.

Terukur, bukan diklaim

Kedua permukaan mengekspos 43 tool yang sama; bedanya adalah apa yang mendarat di context window sebelum percakapan dimulai. Dump 43 skema konvensional terukur 2.913 token; facade 4 meta-tool terukur 486 token — 83,3% lebih kecil, dihitung dengan encoding o200k_base dari respons tools/list yang benar-benar dikirim server yang berjalan, bukan salinan tulisan tangan.

Ini bukan kemenangan gratis, dan titik impasnya juga diukur: tiap siklus discovery (search + describe) berharga sekitar 266 token, jadi penghematan 2.427 token lunas setelah kurang-lebih 10 siklus dalam satu sesi. Di bawah itu facade menang; di atasnya, dump semua skema justru lebih murah. README menyatakan itu, bukan menyembunyikannya.

Batas yang dinyatakan

Repo ini menolak kata “aman” untuk hal-hal yang memang tidak ia penuhi. Token konfirmasi adalah interlock, bukan sistem otorisasi — tanpa manusia di loop-nya, ia hanya ritual dua langkah. Redaksi PII berbasis regex punya celah terverifikasi yang ditabulasi (kartu Amex 4-6-5, email ter-obfuscation, email ter-encode base64, nama dan alamat). Audit log-nya tamper-evident, bukan tamper-proof. Dan tidak satu pun guardrail ini menghentikan prompt injection — yang mereka lakukan adalah membuat kerusakan dari agen yang bingung atau looping menjadi terbatas dan bisa ditinjau, bukan tak berujung.

Menjalankannya sendiri

Butuh Node 20+, tanpa API key, tanpa jaringan, tanpa database:

npm install
npm run demo   # spawn server asli, dikendarai via transport stdio MCP
npm test       # 62 tes, semuanya offline

Suite e2e-nya men-spawn server yang benar-benar ter-build dan mengendarainya via transport stdio MCP asli — bukan mock. Repo publik: github.com/ridwanspace/mcp-guarded-tools.