On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics
Aggiunta all'archivio di AIChronos il (numero del 2 ottobre 2026 ricostruito)· fonte del · Julianna Piskorz, Antonin Berthon, Mihaela van der Schaar (University of Cambridge)
Lo studio analizza sistematicamente l'impatto della policy di rollout (on-policy vs off-policy) nel contesto del distillazione da modelli forti a deboli su Llama3 e Qwen2.5, variando indipendentemente la direzione KL al livello dei token e il learning rate. I risultati mostrano che la direzione forward KL è robusta alle variazioni della policy di rollout, mentre quella reverse KL ne dipende sensibilmente; invece, il learning rate governa principalmente l'oblio catastrofico e la sparsità degli aggiornamenti parametrici. Sebbene i dati on-policy migliorino leggermente la generalizzazione su varianti difficili del task aritmetico Countdown, questo vantaggio non persiste affidabilmente dopo un successivo addestramento RLVR. In conclusione, il valore della policy di rollout dipende criticamente dall'obiettivo specifico e dagli iperparametri dell'ottimizzazione piuttosto che essere intrinsecamente superiore.
- La direzione forward KL mantiene prestazioni stabili indipendentemente dalla scelta tra on-policy o off-policy per i rollouts.
- Il reverse KL è sostanzialmente più sensibile alla policy di rollout e favorisce l'uso dei rollouts generati dallo studente.
- Il learning rate risulta essere il fattore determinante per controllare l'oblio catastrofico e la sparsità degli aggiornamenti, non la policy di rollout.
- L'avanzo della generalizzazione offerto dai dati on-policy su task aritmetici complessi scompare dopo un ulteriore ciclo di addestramento RLVR.
- Le conclusioni dello studio sono robuste anche quando si rimuove il gradient clipping o si utilizzano estimator campionati per la KL.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, questo paper sfata l'idea dogmatica secondo cui i rollouts on-policy siano sempre preferibili, suggerendo invece di ottimizzare attentamente il learning rate e scegliere tra forward/reverse KL in base alla stabilità desiderata del modello.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.