VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs

Aggiunta all'archivio di AIChronos il 18 ottobre 2026 (numero del 12 ottobre 2026 ricostruito)· fonte del 6 ottobre 2026· Yuan Feng, Qize Yang, Ruizhe Chen, Sibo Song, Haolin He, Muzhi Zhu (Qwen)

VisionWeave è un approccio per i Multimodal Large Language Models (MLLMs) che introduce la capacità nativa di 'elastic visual representation weaving'. Il metodo utilizza uno spatial pooler gated e un granularity router per allocare dinamicamente rappresentazioni visive a granularità variabili, bilanciando dettaglio fine e efficienza. Attraverso il self-distillation su modelli Qwen3.5-4B e Qwen3.8-27B, la tecnica riduce del 43% i token mantenendo il 98.9% delle prestazioni native su otto benchmark. Inoltre, quando distribuito tramite SGLang, offre un guadagno di throughput del 2.3x riducendo significativamente i tempi di inferenza (TTFT e TPOT).

• VisionWeave permette una allocazione adattiva della granularità visiva basata sul contenuto dell'input.
• La combinazione di rappresentazioni coarse-grained e fine-grained in uno spazio MRoPE condiviso migliora l'integrazione con le infrastrutture esistenti.
• Il metodo supera i limiti delle tecniche di token pruning tradizionali, offrendo una migliore generalizzazione tra task diversi.
• L'implementazione su Qwen3.8-27B richiede oltre 30K ore GPU A100 ma garantisce robustezza in diverse risoluzioni e frame video.
• La deployment con SGLang riduce il Mean TTFT del 54.4% e il Mean TPOT del 60.6%.

Perché conta. Per gli sviluppatori di agenti AI locali o sistemi multimodali, VisionWeave offre un modo per ridurre drasticamente i costi computazionali (token savings) senza sacrificare l'accuratezza visiva, rendendo fattibile l'esecuzione su hardware meno potente. La capacità nativa di adattare la granularità è cruciale per ottimizzare il throughput in scenari reali dove le risorse sono limitate.

Vai alla fonte originale ↗ arXiv ↗

Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.