RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling
Aggiunta all'archivio di AIChronos il (numero del 24 settembre 2026 ricostruito)· fonte del · Zhenchen Tang, Yang Li, Songlin Yang, Bo Peng, Xiaotong Zhao, Shuai Li (Tencent)
RewardVerse è un framework per la modellazione delle ricompense (RM) nei video che risolve il problema dello 'scalar drift' tipico dei modelli esistenti. Introducendo una rubrica dinamica come rappresentazione intermedia, il sistema genera criteri di valutazione espliciti prima di assegnare punteggi, garantendo stabilità e interpretabilità. L'algoritmo proposto, Rubric-Guided Policy Optimization (RGPO), ottimizza questo pipeline in due fasi: un warm-up del scorer con rubriche semi-evolutive seguita dall'ottimizzazione congiunta del generatore di criteri allineato ai rating umani.
- Mitigazione dello 'scalar drift': i punteggi non collassano o si spostano tra prompt diversi grazie a un ancoraggio semantico stabile.
- Architettura rubrica-guidata: la valutazione avviene tramite criteri espliciti generati dinamicamente invece che attraverso mappature dirette e soggettive.
- Algoritmo RGPO: utilizza una strategia di due stadi per addestrare congiuntamente il generatore della rubrica e lo scorer, allineandoli ai dati umani.
- Sottraguardamento su benchmark: dimostra performance state-of-the-art sia in valutazioni pointwise che pairwise sul dataset EvalVerse (16 dimensioni).
- Interpretabilità del segnale di ricompensa: fornisce un feedback robusto e comprensibile per il reinforcement learning nella generazione video.
Perché conta. Per gli sviluppatori di agenti AI e sistemi locali, RewardVerse offre una soluzione critica per rendere i reward model stabili e interpretabili in compiti complessi come la valutazione della qualità visiva. Questo permette di costruire pipeline di ottimizzazione RL più affidabili senza subire instabilità nei gradienti causate da scale di punteggio inconsistenti.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.