WorldAuditBench: Interactive 3D World Auditing with Multimodal Agents
Aggiunta all'archivio di AIChronos il (numero del 1 ottobre 2026 ricostruito)· fonte del · Ziyan Jiang, Jingbo Yang, Jiabao Ji, Yujian Liu, Qiucheng Wu, Tommi Jaakkola (University of California, Santa Barbara)
Il documento introduce WorldAuditBench, un benchmark progettato per valutare la capacità degli agenti multimodali di identificare anomalie in mondi interattivi 3D. Il test combina due competenze distinte: l'azione (navigazione sistematica) e il ragionamento visivo (identificazione delle irregolarità). Vengono confrontati cinque modelli frontier under un budget esplorativo fisso, utilizzando paradigmi che vanno dall'esplorazione guidata da VLAs all'agente end-to-end basato su VLM. I risultati mostrano tassi di successo tra il 6.6% e il 42.3%, significativamente inferiori alla performance umana (83.4%), evidenziando le attuali limitazioni degli agenti nel raccogliere ed interpretare prove durante l'esplorazione.
- WorldAuditBench comprende 213 task di anomalie distribuiti in 13 ambienti costruiti con Unreal Engine 5 e Three.js.
- Il benchmark copre cinque famiglie di anomalie, inclusi oggetti fluttuanti, muri attraversabili e incongruenze scene.
- Vengono testati due paradigmi: esplorazione VLA seguita da identificazione VLM e agente end-to-end dove il ragionamento visivo guida direttamente l'azione.
- La performance umana (83.4%) supera di gran lunga quella dei modelli attuali, indicando un gap significativo nell'integrazione azione-ragionamento.
- Il benchmark funge da testbed per studiare come gli agenti multimodali accoppiano action e visual reasoning in ambienti 3D interattivi.
Perché conta. Per uno sviluppatore che lavora con LLM, agent e AI locale, questo paper è cruciale perché definisce nuovi standard di valutazione (benchmark) per sistemi autonomi capaci di navigare e ragionare simultaneamente in spazi simulati complessi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.