More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning
Aggiunta all'archivio di AIChronos il (numero del 15 ottobre 2026 ricostruito)· fonte del · Linhao Zhong, Bozhen Fang, Xuehao Wang, Duochao Shi, Zekai Luo, Guangming Yao (Zhejiang University)
Lo studio analizza l'efficacia del self-distillation nell'apprendimento per rinforzo degli agenti (agentic RL), confrontando dieci metodi contro GRPO su quattro benchmark. L'autore ha eseguito un totale di 132 run di addestramento, consumando oltre 12.000 ore GPU H800, valutando stabilità e costi computazionali oltre alle prestazioni finali. I risultati mostrano che i guadagni rispetto a GRPO sono limitati e non consistenti, mentre alte prestazioni possono nascondere instabilità durante l'addestramento.
- Nessun metodo di self-distillation supera in modo consistente GRPO su tutti gli scenari testati (ALFWorld, ScienceWorld, Search-QA, WebShop).
- Le valutazioni esistenti spesso riutilizzano punteggi baselines con condizioni sperimentali diverse, oscurando le fonti dei guadagni riportati.
- Un forte miglioramento delle prestazioni finali non garantisce stabilità nell'addestramento né un rapporto costo-beneficio vantaggioso.
- L'aumento del costo computazionale aggiuntivo per il training degli agenti non si traduce automaticamente in migliori risultati.
Perché conta. È cruciale per gli sviluppatori di LLM e sistemi autonomi perché fornisce un benchmark affidabile che evita l'ottimizzazione eccessiva (overfitting) su metriche specifiche, guidando verso miglioramenti reali ed economicamente sostenibili.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.