LastOPD: Taming Collapse in Latent On-Policy Distillation
Aggiunta all'archivio di AIChronos il (numero del 28 settembre 2026 ricostruito)· fonte del · Jie Yang, Zhengyu Fang, Zelin Xu, Jiarui Sun, Xiran Fan, Junpeng Wang (Visa Inc)
L'articolo introduce LastOPD per risolvere il problema del 'collapse' (collasso delle prestazioni) osservato nei recenti metodi di distillazione on-policy latente come OPRD. Sebbene la supervisione latente migliori inizialmente l'allineamento con il teacher, porta a un degrado significativo della performance nel tempo quando si tenta di allineare tutti gli strati del modello studente. L'autore dimostra che esiste uno sfasamento tra i ruoli degli strati nei modelli student e teacher, rendendo pericoloso continuare ad applicare segnali latenti su livelli non corrispondenti funzionalmente.
- La supervisione latente da sola porta a un miglioramento iniziale dell'accuratezza (es. MATH-500) seguito da un rapido collasso delle prestazioni durante l'addestramento continuo.
- Un paradosso osservato è che il modello con il miglior metrica di allineamento risulta essere quello con le peggiori performance comportamentali.
- LastOPD applica il segnale latente esclusivamente allo stato dell'ultimo strato, punto comune letto da tutte le heads del linguaggio (LM), evitando lo sfasamento tra livelli profondi dei modelli diversi.
- Il metodo utilizza una fase di 'crossfade' di 10 step per passare gradualmente dalla supervisione latente alla supervisione a livello token prima che si verifichi il collasso.
- Gli esperimenti su Qwen3-4B e Qwen3-8B mostrano che LastOPD supera la distillazione solo-token di circa 5.55 punti in MATH-500, raggiungendo i risultati finali con metà dei passaggi necessari.
Perché conta. Per gli sviluppatori che lavorano su LLM locali o agenti autonomi, LastOPD offre una via per distillare modelli più piccoli da teacher avanzati senza perdere capacità cognitive critiche durante il fine-tuning. Evita la perdita di conoscenza (catastrophic forgetting) tipica dei metodi latenti puri, garantendo che l'agente mantenga le competenze logiche e matematiche del modello originale.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.