LLM Flightdeck — Mission Control untuk Operasional LLM

⚠ Ini proyek open source, bukan pekerjaan klien. Semua angka yang disebut di bawah berasal dari run offline dengan mock provider deterministik milik tiga repo hulu — bukan pengukuran sistem produksi — dan README proyek menerbitkan perintah untuk mereproduksi setiap angkanya.

Masalahnya

Begitu sebuah bisnis mulai menjalankan LLM, empat pertanyaan operasional muncul sekaligus: berapa yang sedang kami belanjakan, apakah perubahan prompt terakhir merusak sesuatu, provider mana yang sedang tidak sehat, dan seberapa tahan sistem ini terhadap prompt injection. Jawabannya tersebar di alat yang berbeda, atau belum ada sama sekali. Flightdeck adalah lapisan mission control di atas tiga repo rekayasa kami yang lain — llm-eval-harness, llm-cost-gateway, dan prompt-injection-bench: ia membaca artefak run nyata ketiganya dan merender satu dasbor untuk keempat pertanyaan itu.

Yang dibangun

Empat halaman di atas artefak yang divalidasi dengan skema Zod:

• Overview — KPI lintas alat: spend, headroom budget terburuk, pass rate eval terakhir, jumlah regresi, ASR, dan circuit yang sedang terbuka.
• Cost — burn-down spend dan token per fase beban kerja, hit rate cache, meteran budget per tenant, dan panel kebijakan routing.
• Evals — riwayat run dan diff per kasus: kasus mana yang berpindah pass → fail, scorer mana yang membawa penurunan, dan kasus mana yang justru membaik.
• Security — ASR per preset pertahanan (korpus 127 serangan × 9 preset × 5 repetisi) pada tiga tingkat susceptibility target simulasi, dengan matriks kategori × preset dan sebaran per repetisi.

Keputusan rekayasa

Dua produsen (eval harness dan injection bench) menserialisasi record mentah tapi tidak agregatnya, jadi Flightdeck menghitung ulang mean, pass rate, dan ASR dari record itu. Formula perhitungannya di-unit-test terhadap fixtures, sehingga formula yang drift dari definisi produsen menggagalkan test suite. Tidak ada angka yang di-hardcode di halaman mana pun.

Dashboard ini sengaja membaca snapshot artefak statis, bukan scrape live: tidak ada polling, tidak ada websocket, tidak ada koneksi ke gateway yang sedang berjalan. Ia adalah viewer read-only atas file, dan batasan itu dinyatakan apa adanya di README.

Angka di balik layar

Fixture yang dibundel sengaja berisi cerita, bukan data bersih: regresi prompt yang ditanam (mean turun 0,917 → 0,860; tiga kasus regresi melewati toleransi 0,02, satu membaik), tenant demo-capped yang menyentuh batas harian 1.500 token, dan riwayat outage mid-primary (4 kegagalan, 2 penolakan, circuit menutup lagi setelah pulih). Di halaman security, pada susceptibility 0,8 bahkan full defense stack masih meloloskan 22,2% serangan; pada 0,3 stack yang sama terukur 0,0% — keduanya dilaporkan sebagai hasil mock run, dan setiap chart membawa labelnya.

Menjalankannya sendiri

Butuh Node ≥ 20, tanpa API key, tanpa database:

npm install
npm run demo   # buka http://localhost:3000

Repo publik: github.com/ridwanspace/llm-flightdeck. Tiga repo hulu hanya diperlukan untuk me-regenerate fixtures, bukan untuk menjalankan demo.