Sharpening Tax in Post-Training
Aggiunta all'archivio di AIChronos il (numero del 2 ottobre 2026 ricostruito)· fonte del · Changdae Oh, Qi Zeng, Qi Qi, Andrey Zhmoginov, Deren Lei, Yun He (Meta)
Lo studio esamina l'ipotesi che il reinforcement learning (RL) post-training sui Large Language Models (LLMs) affini semplicemente i comportamenti esistenti a scapito della copertura delle soluzioni. I risultati mostrano che LLM pre-addestrati con un leggero harness di inferenza possono funzionare come agenti capaci, superando spesso i loro controparti post-trained nella soluzione multi-turno grazie a una maggiore scalabilità nel test-time. Viene introdotto il 'Sharpening Tax', una metrica diagnostica per quantificare la perdita di scalabilità dovuta al post-training che spinge i compiti verso estremi binari (sempre risolti o mai risolti). Infine, viene proposto PTGS (posterior-tempered group sampling), un campionatore bayesiano plug-and-play che adatta dinamicamente la temperatura del campione in base alla difficoltà stimata per mitigare questo costo.
- Il post-training tramite RL migliora l'accuratezza single-shot ma riduce spesso la copertura delle soluzioni (pass@K) rispetto ai modelli pre-trained.
- I LLM pre-addestrati possono agire come agenti efficaci se forniti di un sufficiente budget computazionale durante il test-time, superando i modelli ottimizzati per singolo shot.
- Il 'Sharpening Tax' è una metrica che misura la perdita di scalabilità nel test-time causata dal meccanismo di affilatura dei comportamenti del modello.
- PTGS (posterior-tempered group sampling) riduce il Sharpening Tax adattando la temperatura di campionamento in base alla difficoltà del prompt, migliorando sia l'accuratezza che la copertura delle soluzioni.
- L'analisi si è estesa a 14 coppie di modelli e tre benchmark agentic, confermando la prevalenza del tax nella maggior parte degli scenari.
Perché conta. Questa ricerca è cruciale per gli sviluppatori di agenti AI locali che devono bilanciare l'affidabilità immediata (single-shot accuracy) con la capacità di risolvere problemi complessi attraverso tentativi multipli, suggerendo strategie come PTGS per ottimizzare le risorse senza sacrificare eccessivamente la copertura delle soluzioni.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.