TRIAGE: Direction-Aware Mismatch Stabilization of Native NVFP4 Reinforcement Learning
Aggiunta all'archivio di AIChronos il (numero del 7 ottobre 2026 ricostruito)· fonte del · Zhen Li, Shuai Zhang, Yanggan Gu, Yiming Zhang, Yang Yu, Mingfa Feng (InfiX.ai)
Questo paper introduce TRIAGE, un metodo di stabilizzazione per l'apprendimento per rinforzo (RL) su modelli linguistici che opera nativamente in precisione NVFP4. L'approccio caratterizza le interazioni tra mismatch e direzione del gradiente della politica, distinguendo contributi locali amplificanti da quelli contraenti. Utilizzando una diagnosi a livello di segmento, TRIAGE ricalibra selettivamente gli aggiornamenti del gradiente per mitigare l'instabilità causata dalle discrepanze esecutive senza sacrificare la velocità.
- In native NVFP4 si osserva uno squilibrio iniziale che favorisce gli aggiornamenti con vantaggio e gap negativi, portando a una concentrazione dei token finali in pochi segmenti di risposta prima della diffusione globale del mismatch.
- TRIAGE modifica l'obiettivo dell'ottimizzazione applicando un repair limitato per correggere il mismatch residuo severo mantenendo l'esecuzione forward W4A4 su sampler e learner.
- Gli esperimenti condotti su Qwen3-4B e Qwen3-30B-A3B dimostrano una ottimizzazione stabile durante tutto l'orizzonte di training valutato.
Perché conta. È rilevante per gli sviluppatori che lavorano con LLM locali o agenti perché TRIAGE permette di ottenere prestazioni pari alla precisione piena su benchmark matematici sfruttando un throughput dei rollout fino a 2.3 volte superiore rispetto al BF16, riducendo drasticamente i costi computazionali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.