Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation
Aggiunta all'archivio di AIChronos il (numero del 29 settembre 2026 ricostruito)· fonte del · Xin Li, Hao Jiang, Xin Gao, Annan Wang, Yuchen Xie, Jinghao Guo (Nanyang Technological University)
Il documento introduce Domain-Normalized Multi-Teacher On-Policy Distillation (DN-MOPD), una tecnica per fondere modelli specializzati su diverse abilità senza che il feedback di un dominio prevalga ingiustamente sugli altri. Gli autori evidenziano come nel metodo standard MOPD, il feedback relativo al seguire le istruzioni sia statisticamente molto più disperso e dominante rispetto a quello matematico, limitando i guadagni del modello studente in compiti specialistici. La proposta DN-MOPD risolve questo squilibrio normalizzando l'intensità del feedback di ciascun dominio sulla base della sua varianza misurata empiricamente sui dati. I risultati sperimentali su sei benchmark pubblici dimostrano che questa normalizzazione permette al modello studente di recuperare gran parte dei vantaggi matematici persi e di superare le prestazioni ottenute con un singolo insegnante migliore.
- Il metodo MOPD standard soffre di feedback sbilanciati dove il dominio delle istruzioni domina quello specialistico (es. matematica).
- DN-MOPD normalizza l'intensità del feedback rispecchiando la varianza statistica misurata per ogni dominio specifico.
- L'approccio permette al modello studente di beneficiare equamente da più insegnanti senza che un singolo segnale sovrascriva gli altri.
- I test su Qwen3.5 confermano il recupero dei guadagni matematici e l'aumento delle prestazioni medie rispetto a MOPD.
- Controlli con pesi fissi simili alle misure di DN-MOPD producono risultati comparabili, validando la strategia di normalizzazione.
Perché conta. Questa tecnica è cruciale per gli sviluppatori che costruiscono agenti AI o modelli locali perché permette di combinare competenze diverse (coding, math, instructions) in un unico modello senza sacrificare le prestazioni su domini specifici a causa del rumore statistico dominante.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.