Concetto · 3 novità
Pass@1
Pagina pubblicata il · ultima novità il
Cronologia
- CheckerBench: Can Long-Horizon Agents Synthesize Static-Analysis Checkers?Per uno sviluppatore che lavora con LLM, questa ricerca evidenzia le difficoltà nel far generare codice sicuro e verificabile autonomamente dagli agenti. Comprendere i limiti degli strumenti di analisi statica sintetizzata è cruciale quando si progettano sistemi AI locali o pipeline di sicurezza automatizzate.
- AutoSynthData: Generating Training Data for Enterprise AgentsPer gli sviluppatori che lavorano con LLM e agenti locali, AutoSynthData offre un metodo scalabile per generare dataset di alta qualità senza dipendere da dati reali costosi o privi. Garantisce l'eseguità dei task in ambienti specifici, evitando il drift del modello durante la post-training e migliorando direttamente metriche come Pass@1.
- Mid-Harness: Scaling Actions Between Model and Harness for Terminal AgentsPer gli sviluppatori che costruiscono agenti AI locali o sistemi autonomi, Mid-Harness offre una via per aumentare l'affidabilità dell'esecuzione dei comandi senza dover riaddestrare i modelli base. Questo approccio è cruciale in ambienti dove un errore di comando (come installare il pacchetto sbagliato) può bloccare irreversibilmente la sessione.