Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight
Aggiunta all'archivio di AIChronos il (numero del 8 ottobre 2026 ricostruito)· fonte del · Haoxiang Zhang, Qinglin Chen, Hiroaki Hayashi, Zhuofeng Li, Siming Zhang, Jiaxin Zhang (Salesforce AI Research)
Il metodo Self-Retrospection Distillation (SRD) trasforma le esperienze post-hoc degli agenti in segnali di apprendimento prospettici per migliorare la previsione delle azioni prima dell'interazione. A differenza del Reinforcement Learning con ricompense verificabili (RLVR), che perde segnale quando i rollout ricevono lo stesso risultato, SRD distilla il 'hindsight privilegiato' dai percorsi completati per supervisionare le previsioni di foresight della politica stessa. Questo approccio è particolarmente efficace in scenari a scarso contrasto delle ricompense o con tassi elevati di fallimento, dove permette all'agente di imparare da traiettorie che altrimenti non fornirebbero segnali utili.
- SRD utilizza l'esperienza post-hoc per supervisionare le previsioni di foresight della politica prima dell'interazione.
- Il metodo supera i limiti del RLVR quando tutti i rollout ricevono la stessa ricompensa, preservando il segnale informativo dalle traiettorie.
- In scenari con 98% di fallimenti (setting 2B), SRD raggiunge un successo del 60.6%, contro lo 0% del solo RLVR.
- SRD integra efficacemente le tecniche esistenti come RLVR e self-distillation, ottenendo guadagni fino al 24.2 pp su task di ragionamento con strumenti.
- La foresight generata serve esclusivamente come target di addestramento e non richiede generazione esplicita durante l'inference.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti autonomi o modelli locali, SRD offre un modo per recuperare segnali di apprendimento preziosi anche quando le ricompense sono uniformi o i fallimenti sono frequenti. Questo permette di addestrare politiche più robuste senza dover generare esplicitamente stati di foresight durante l'inference, ottimizzando così il budget dei rollout e migliorando la capacità predittiva del modello prima dell'azione.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.