EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents
Aggiunta all'archivio di AIChronos il (numero del 12 ottobre 2026 ricostruito)· fonte del · Jie Huang, Yanan Chen, Ruixun Liu, Kaichen He, Xinyi He, Rui Huang (PKU-VaLuE-Lab)
EmbodiedCLBench è il primo benchmark per valutare l'apprendimento continuo (continual learning) di agenti incarnati che si evolvono autonomamente in ambienti simulati. Il framework utilizza la generalizzazione compositiva come principio centrale, verificando se gli agenti possano apprendere compiti base e ricombinare le abilità acquisite per risolvere compiti complessi non visti precedentemente. Gli esperimenti condotti su diversi harness di agenti evidenziano che l'esperienza derivante da compiti semplici migliora consistentemente la performance sui task avanzati, anche all'aumentare della loro difficoltà. Tuttavia, i risultati mostrano limiti significativi: il miglioramento non scala con il numero di campioni di apprendimento aggiuntivi e gli attuali agenti faticano a estrarre informazioni significative dall'esperienza in eccesso.
- Introduzione del primo benchmark dedicato all'apprendimento continuo per agenti incarnati (self-evolving embodied agents).
- Utilizzo della generalizzazione compositiva come metrica principale per valutare la ricombinazione di skill apprese su compiti base verso task complessi.
- Dimostrazione che l'esperienza accumulata sui task semplici fornisce benefici stabili anche quando aumenta la complessità dei nuovi task.
- Identificazione del collo di bottiglia nella capacità degli agenti attuali di sfruttare efficacemente grandi quantità di esperienza aggiuntiva (non scaling).
- Disponibilità pubblica del codice e dell'insieme dati per supportare lo sviluppo futuro di agenti autonomi in ambienti embodied.
Perché conta. È rilevante perché definisce nuovi standard di valutazione per gli sviluppatori che progettano sistemi AI locali o agenti autonomi, evidenziando la necessità critica di migliorare i meccanismi di apprendimento continuo oltre le attuali capacità zero-shot.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.