VideoJev: System One Model for Video Understanding and Interaction
Aggiunta all'archivio di AIChronos il (numero del 14 ottobre 2026 ricostruito)· fonte del · Yuhan Zhu, Xiangyu Zeng, Qingyi Si, Chenxu Yang, Yifei Li, Luozheng Qin (Multimedia Computing Group-Nanjing University)
VideoJev è un modello basato sul paradigma System One che trasforma la comprensione e l'interazione video in compiti decisionali strutturati. Il sistema adatta MLLM pre-addestrati sostituendo il decoding autoregressivo con una head condivisa per valutare intervalli temporali ed opzioni testuali rispetto alle evidenze visive. Questa architettura unifica il grounding temporale e la risposta a domande multiple, permettendo agli agenti di riutilizzare i calcoli visivi tramite Cached inference e Joint inference. I risultati mostrano miglioramenti significativi nel mIoU su benchmark temporali e velocità di inferenza superiori rispetto ai backbones originali.
- Sostituzione del decoding autoregressivo con una head condivisa per scoring diretto delle risposte video.
- Implementazione di Cached inference per riutilizzare i calcoli visivi tra query successive sullo stesso storico.
- Utilizzo di Joint inference per elaborare multiple query in un singolo passaggio forward pass.
- Miglioramento del mIoU fino a 10.8 punti su benchmark temporali rispetto ai backbones originali.
- Velocità di inferenza accelerata oltre 100 volte nei task di video question answering.
Perché conta. Questa architettura offre un'interfaccia decisionale unificata e riutilizzabile, ideale per integrare giudizi visivi strutturati in workflow complessi senza la latenza tipica del decoding autoregressivo.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.