CheckerBench: Can Long-Horizon Agents Synthesize Static-Analysis Checkers?
Aggiunta all'archivio di AIChronos il (numero del 7 ottobre 2026 ricostruito)· fonte del · Hang He, Li Wang, Hao Chen, Yuchen Shao, Yuling Shi, Lisheng Wang (Humanlaya Data Lab)
CheckerBench è un benchmark esecutabile che valuta la capacità degli agenti di codice nel sintetizzare checker per l'analisi statica partendo da specifiche di difetti e repository vulnerabili. Il dataset comprende 300 task derivati da CVE reali, coprendo diversi ecosistemi linguistici e classi CWE, fornendo scaffold predefiniti per facilitare lo sviluppo iterativo tramite feedback di compilazione. Attraverso il framework CheckerLab, l'analisi misura metriche critiche come la localizzazione dei patch, i falsi positivi e l'utilizzo degli strumenti, rivelando le attuali limitazioni degli agenti nel produrre checker affidabili.
- Il benchmark include 300 task basati su 297 CVE distribuiti in 167 repository e 85 CWE.
- Ogni task fornisce revisione vulnerabile, ambiente di analisi fissato e uno scaffold per il checker.
- La media del Pass@1 sui modelli testati è del 32.30%, con un massimo raggiunto al 45.33%.
- CheckerLab ricostruisce indipendentemente i submit dei checkers per misurare contrasti diagnostici tra codice vulnerabile e fissato.
- I risultati indicano che lo sviluppo di checker riutilizzabili rimane una sfida significativa per gli agenti attuali.
Perché conta. Per uno sviluppatore che lavora con LLM, questa ricerca evidenzia le difficoltà nel far generare codice sicuro e verificabile autonomamente dagli agenti. Comprendere i limiti degli strumenti di analisi statica sintetizzata è cruciale quando si progettano sistemi AI locali o pipeline di sicurezza automatizzate.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.