LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation
Aggiunta all'archivio di AIChronos il (numero del 15 ottobre 2026 ricostruito)· fonte del · Zefeng He, Yunkai Chai, Xiaoyang Chen, Tong Zhu, Zongliang Wu, Yun Luo
LatentLoop è un approccio per scalare i modelli Looped Mixture-of-Experts (MoE) sfruttando l'allocazione asimmetrica delle risorse computazionali. La tecnica comprime la prima visita del loop, mantenendo risoluzione piena nella seconda e ridistribuendo il risparmio di calcolo all'aumento della dimensione nascosta dei layer. Gli esperimenti dimostrano che le diverse visite del loop hanno ruoli distinti: ridurre lo scale della prima visita preserva o migliora le prestazioni, mentre farlo per la seconda le danneggia. Questo metodo abbassa consistentemente l'NLL di validazione e migliora i punteggi su nove benchmark in scenari 0-shot e 5-shot.
- I modelli Looped MoE combinano il riutilizzo dei parametri con il calcolo sparso per migliorare le prestazioni entro budget fissi.
- L'asimmetria computazionale permette di comprimere la prima visita del loop senza danneggiare l'apprendimento residuo, a differenza della seconda visita che richiede risoluzione piena.
- LatentLoop realloca i risparmi ottenuti dalla compressione sequenziale per aumentare il hidden size, migliorando le capacità rappresentative.
- La tecnica condivide i pesi MoE tra le visite ma utilizza parametri di attenzione separati per adattarsi alle diverse risoluzioni della sequenza.
- I risultati mostrano un risparmio computazionale previsto del 19.0% rispetto ai modelli MoE vanilla e del 7.9% rispetto alla baseline looped.
Perché conta. Per gli sviluppatori di LLM, agenti AI e sistemi locali, LatentLoop offre una via promettente per scalare i modelli mantenendo costi computazionali inferiori senza sacrificare le prestazioni inferenziali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.