Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World
Aggiunta all'archivio di AIChronos il (numero del 24 settembre 2026 ricostruito)· fonte del · Kaixiang Yao, Xu Wang, Miao Pan, Hu Xiyue, Weishi Wang, Daniel Dahlmeier (ZJU-OmniAI)
Spatial-Interactor è un framework progettato per migliorare la capacità di ragionamento spaziale dei Vision-Language Models (VLMs) attraverso l'interazione con il mondo fisico osservabile. Il metodo organizza l'apprendimento in una curriculum a tre livelli: transizioni passive dello stato del mondo, transizioni attive dello stato dell'agente e traiettorie interattive di lungo orizzonte temporale. Viene introdotto un dataset chiamato Learning from Spatial Interaction (LSI-108K) derivato da simulazioni e dati reali per addestrare i modelli su queste dinamiche complesse. La strategia di training a due stadi combina Supervised Fine-Tuning (SFT) con On-Policy Distillation (OPD), dove una branca insegnante supervisiona il ragionamento passo-passo dello studente per integrare le transizioni consecutive.
- Introduce un curriculum tripartito che passa da osservazioni passive a azioni attive e infine a traiettorie di lungo periodo.
- Sfrutta interazioni fisiche reali o simulate come supervisione diretta per le transizioni locali dello stato, superando i limiti dei dati statici tradizionali.
- Utilizza On-Policy Distillation (OPD) con distillazione da sé stessi per insegnare ai modelli a integrare informazioni lungo traiettorie temporali estese.
- Il dataset LSI-108K è costruito allineando specifici task agli obiettivi di ogni livello del curriculum di apprendimento spaziale.
Perché conta. Questa architettura offre un percorso concreto per integrare agenti autonomi in ambienti fisici reali, fornendo supervisione diretta sulle transizioni di stato che i modelli puramente basati su dati statici faticano a comprendere.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.