FDE-Gym: The Last Mile of AI Delivery
Aggiunta all'archivio di AIChronos il (numero del 17 ottobre 2026 ricostruito)· fonte del · Dongxu Yang, Hongda Yan, Renxin Wang, Baoli Zhang, Haojia Zuo, Ying Zhao (DeepLethe)
FDE-Gym è un benchmark che valuta l'abilità degli agenti in scenari reali di consegna ai clienti, dove i modelli devono risolvere compiti ambigui e scoprire vincoli non espliciti. I risultati mostrano una differenza significativa tra la soluzione dei compiti specifici e la capacità di fornire sistemi AI efficaci per i clienti reali.
- FDE-Gym include 95 compiti di consegna end-to-end da 20 scenari clienti in 18 settori industriali.
- I modelli configurati ottengono un punteggio medio di 0.56, risolvendo solo 14 dei 95 compiti.
- La scoperta di vincoli non espliciti rappresenta il principale ostacolo per la consegna efficace degli AI.
Perché conta. Questo studio è rilevante per gli sviluppatori che lavorano con LLM, agenti e AI locale perché evidenzia le differenze tra la risoluzione di compiti specifici e l'adattabilità a scenari reali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.