Scaling Properties of Same-Family On-Policy Distillation
Aggiunta all'archivio di AIChronos il (numero del 30 settembre 2026 ricostruito)· fonte del · Yuntai Bao, Qinfeng Li, Guoqing Jiang, Liwei Chen, Zhiheng Qin, Xuanping Li (Zhejiang University)
Lo studio analizza le proprietà di scaling dell'On-Policy Distillation (OPD) in configurazioni teacher-student eterogenee e omogenee. I risultati eviditano una fase iniziale di trasferimento utile dove l'accuratezza cresce linearmente con la divergenza KL inversa, permettendo a modelli RL compatti di trasferire capacità a studenti molto più grandi. Le leggi di potenza derivate mostrano che il miglioramento del punteggio gold dipende dalla scala del teacher solo fino al limite della dimensione dello studente e che teachers più piccoli possono essere supervisioni migliori a parità di score. Infine, l'analisi include gli effetti delle varianti OPD come il bootstrapping weak-to-strong e il grado di supervisione on-policy.
- In ogni coppia weak-to-strong osservata, lo studente raggiunge un punteggio gold peak superiore rispetto al proprio teacher tramite OPD.
- Il miglioramento del picco dello score (G_peak) con la scala del teacher è limitato approssimativamente alla scala stessa dello studente.
- A parità di punteggio gold, i teachers più piccoli trasferiscono le capacità in modo migliore dei loro omologhi più grandi.
- L'accuratezza su dati non visti sale linearmente rispetto alla radice quadrata della divergenza KL inversa tra student initialization e policy target durante la fase iniziale.
- Il valore di supervisione di un teacher non è definito esclusivamente dal suo punteggio gold, ma anche dalla sua scala relativa allo studente.
Perché conta. Questa ricerca è cruciale per gli sviluppatori che lavorano con LLM e agenti locali perché dimostra come ottimizzare il trasferimento di capacità senza necessariamente scalare i modelli teacher fino a dimensioni proibitive. Comprendere le leggi di scaling dell'OPD permette di progettare strategie di fine-tuning efficienti, riducendo costi computazionali mentre si massimizza la performance su hardware limitato.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.