Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents
Aggiunta all'archivio di AIChronos il (numero del 15 ottobre 2026 ricostruito)· fonte del · Yuyao Ge, Shenghua Liu, Peizhong Gao, Chendi Ge, Chenxu Liu, Yiwei Wang (Institute of Computing Technology)
Doc2Harness è un benchmark deterministico a due stadi progettato per valutare l'ingegneria del harness in compiti di lungo periodo eseguiti da agenti LLM. Nel primo stadio, un modello build costruisce un candidato harness completo all'interno di un contenitore isolato partendo da uno scheletro contrattuale e documenti di sviluppo consolidati su dodici architetture esistenti. Nel secondo stadio, il candidate harness congelato viene testato end-to-end tramite un mock model scriptato in ambienti separati per ogni caso d'uso. La valutazione si basa su quattro canali osservabili come le richieste inviate al modello, i file sul disco e l'exit code del processo.
- Doc2Harness è il primo benchmark deterministico specifico per misurare l'ingegneria del harness in scenari di lungo periodo.
- Il framework integra dodici architetture (harness) frontiere diverse, valutando come la funzionalità cross-cutting viene distribuita tra i moduli.
- GPT-6 Astra ha ottenuto il tasso di successo più alto al 53.05%, mentre il modello più debole ha raggiunto solo il 27.44% su 19 modelli testati.
- Anche il modello migliore fallisce quasi la metà dei casi, evidenziando le difficoltà nella gestione della complessità distribuita del harness.
- Il benchmark utilizza controlli positivi per escludere passaggi vuoti e garantisce misurazioni affidabili tramite script mock.
Perché conta. Questa ricerca è cruciale per gli sviluppatori che lavorano con agenti AI locali perché evidenzia come le prestazioni dipendano tanto dall'architettura del harness quanto dal modello sottostante, spingendo verso un ingegneria più robusta e deterministica.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.