Recovering Reliable Supervision via Critique-Guided On-Policy Distillation
Aggiunta all'archivio di AIChronos il (numero del 15 ottobre 2026 ricostruito)· fonte del · Kaixiang Zhao, Tianrun Yu, Shangzhe Li, Yuxiao Yang, Amanda Hughes, Weitong Zhang
L'approccio On-policy distillation (OPD) fallisce quando il modello studente commette errori perché l'insegnante non riesce a correggere le deviazioni iniziali. Il paper introduce CriticOPD, una tecnica che utilizza la capacità dell'insegnante di riconoscere gli errori per guidare lo studente nella riscrittura della soluzione corretta. Durante l'addestramento, il modello studente impara dalla versione revisionata senza i dettagli del giudizio critico, mentre quest'ultimo funge da informazione privilegiata per la valutazione finale. I risultati dimostrano che questo metodo supera le prestazioni dell'OPD standard su benchmark di ragionamento matematico.
- L'insegnante in OPD tradizionale assume erroneamente una 'recoverability', fallendo quando lo studente sbaglia all'inizio del rollout.
- CriticOPD ripristina la recoverabilità sfruttando esplicitamente il riconoscimento degli errori da parte dell'agente insegnante.
- La supervisione avviene tramite revisioni guidate dal critique, dove l'allievo impara dalla soluzione corretta ma non dai commenti critici stessi.
- Le prestazioni migliori si osservano su problemi di competizione rispetto a quelli standard nei benchmark matematici.
- Il metodo è stato validato su due varianti del modello Qwen3 e sei diversi benchmark.
Perché conta. Questa tecnica permette di addestrare modelli locali o agenti autonomi più robusti, evitando che l'errore iniziale si propaghi senza correzione durante la generazione. È fondamentale per migliorare l'affidabilità del ragionamento matematico e logico nei sistemi AI operanti in contesti competitivi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.