HappyWorld-Bench
Aggiunta all'archivio di AIChronos il (numero del 24 settembre 2026 ricostruito)· fonte del · Zhiqi Bai, Junai Cai, Yixin Chen, Jingrun Du, Tao Feng, Wei Gong (alibaba)
HappyWorld-Bench è un benchmark completo progettato per valutare la qualità, la consistenza e la reattività dei mondi generati dai modelli world. Il framework si basa su sei capacità gerarchiche (W1-W6) ed è implementato attraverso tre track indipendenti: video world models, spatial world models e embodied world models. L'analisi include 14 modelli video, 9 sistemi spaziali e 8 candidati incarnati, valutati tramite un mix di metriche automatizzate per il comportamento corretto e confronti umani A/B nell'HappyWorld-Arena che assegnano rating Elo.
- Il benchmark valuta la capacità dei mondi generati di mantenere l'affidabilità durante interazioni, esplorazione e modifiche degli agenti.
- I risultati evidenziano gap di affidabilità significativi in tutte le tre categorie: consistenza ridotta nei rollouts video estesi e difficoltà a preservare lo stato nelle azioni multi-step incarnate.
- Gli spatial models raggiungono al massimo il 70.14% di accuratezza nel posizionamento e il 73.33% nell'esecuzione delle modifiche.
- L'approccio combina metriche automatizzate per la corretteza comportamentale con l'HappyWorld-Arena per le valutazioni umane A/B che derivano rating Elo a livello modello.
- La valutazione non si limita alla qualità visiva, ma include rigorosamente la consistenza dello stato e la precisione delle risposte alle azioni.
Perché conta. Per gli sviluppatori di agenti AI locali o sistemi embodied, questo benchmark è cruciale per identificare i limiti attuali nella persistenza dello stato fisico/virtuale e nell'adattamento a nuove regole fisiche prima del deployment.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.