Hear the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation
Aggiunta all'archivio di AIChronos il (numero del 12 ottobre 2026 ricostruito)· fonte del · Hanmo Chen, Chengcheng Liu, Tianxiao Chen, Zheyu Zhang, Siming Zheng, Jinwei Chen
Il modello StereoBind introduce un framework per la generazione congiunta di video e audio immersivo che risolve il problema della corrispondenza spaziale dinamica. A differenza dei modelli esistenti focalizzati sulla sincronizzazione temporale semantica, questo approccio lega esplicitamente il movimento delle fonti visive alla localizzazione sonora stereo tramite tre meccanismi complementari: Visual Motion Binding, Spatial Track Encoder e Residual Track RoPE. Per supportare questa innovazione, gli autori hanno costruito StereoWorld-29K, un dataset su larga scala con tracce di moto accoppiate, e StereoWorldBench per valutare la coerenza spaziale audiovisiva.
- StereoBind lega il movimento visivo della sorgente alla generazione del suono stereo per garantire una percezione sonora coerente durante l'interazione dinamica.
- Il framework utilizza tre meccanismi specifici: Visual Motion Binding per la corrispondenza audio-visivo consapevole della fonte, Spatial Track Encoder per le posizioni assolute e Residual Track RoPE per il moto relativo.
- È stato introdotto StereoWorld-29K, un dataset di grandi dimensioni con tracce di movimento accoppiate, dedicato alla supervisione e valutazione dei modelli stereo.
- StereoWorldBench è stato sviluppato come benchmark specifico per misurare la consistenza spaziale audiovisiva nelle applicazioni immersive.
- Gli esperimenti dimostrano che StereoBind migliora significativamente l'allineamento spaziale nell'audio stereo rispetto ai modelli esistenti, mantenendo alta la qualità generale.
Perché conta. Per gli sviluppatori di agenti AI e sistemi locali focalizzati su realtà virtuale o aumentata (AR/VR), questo lavoro offre un metodo per integrare audio immersivo realistico che evolve con l'interazione dell'utente, superando le limitazioni dei modelli generativi tradizionali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.