OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction
Aggiunta all'archivio di AIChronos il (numero del 2 ottobre 2026 ricostruito)· fonte del · Xiangyu Zeng, Yuandong Yang, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Qingyi Si (Nanjing University)
OneStreamer è un framework che unifica percezione in tempo reale, formazione della memoria e risposta proattiva per le interazioni con video streaming. Il modello introduce una Proactive Hierarchical Caption Memory (PHCM) che genera descrizioni dettagliate e riassunti di eventi completati senza dover rivedere i caratteristiche visive storiche durante l'inferenza. Inoltre, utilizza il Proactive State Transition Learning (PSTL) per ridurre gli stati di attesa ripetuti preservando la supervisione solo su una frazione dei token degli stati. L'approccio si basa sulla generazione proattiva come interfaccia condivisa che collega percezione e memoria.
- La PHCM produce caption temporali localizzati per eventi completati, fornendo contesto fattuale riutilizzabile senza accesso ai dati visivi storici.
- Il PSTL seleziona token rappresentativi di cambiamento o persistenza dello stato, supervisionando solo il 27.5% dei token annotati rispetto alla supervisione densa.
- OneStreamer-1M è un dataset sintetizzato che allinea contenuto e tempistica con le prove disponibili, comprendendo oltre un milione di record su compiti diversificati.
- Il modello da 4B supera tutti gli otto benchmark valutati per la comprensione del video streaming tra i metodi confrontati.
- La generazione proattiva migliora il QA storico senza degradare la percezione in tempo reale.
Perché conta. Per uno sviluppatore di agenti AI o LLM locali, OneStreamer offre un approccio per gestire contesti lunghi e memoria fattuale in flussi video continui mantenendo bassa latenza. La capacità di generare evidenze riutilizzabili senza rielaborazione storica è cruciale per implementazioni efficienti su hardware limitato.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.