MintAct: A Unified Visual Agent for Digital Environments
Aggiunta all'archivio di AIChronos il (numero del 21 settembre 2026 ricostruito)· fonte del · Mingfei Gao, Rui Tian, Haiming Gang, Bohan Zhai, Le Zhang, Yuanzheng Gong (Apple)
Il documento presenta MintAct, un'architettura di modelli vision-language che unifica il grounding delle interfacce utente, la navigazione multi-passo su dispositivi mobili, desktop e web, nonché l'utilizzo visivo degli strumenti. I modelli sono addestrati a scale da 2B a 8B parametri e raggiungono prestazioni paragonabili ai specialisti per singolo dominio grazie a un'infrastruttura scalabile basata sul reinforcement learning (RL). L'autore ha sviluppato ambienti che ospitano centinaia di istanze concorrenti su backend eterogenei per la raccolta dei dati e l'apprendimento online. Un framework asincrono garantisce stabilità durante il training RL gestendo feedback rumorosi e deriva off-policy.
- MintAct unifica capacità trasversali come UI grounding, navigazione multi-passo e visual tool use in una singola famiglia di modelli.
- L'infrastruttura utilizza centinaia di istanze concorrenti su backend eterogenei per supportare sia la raccolta dati che l'apprendimento RL online.
- Un framework asincrono mantiene il controllo sulla distribuzione del training cross-domain, garantendo stabilità contro feedback rumorosi e drift off-policy.
- I modelli raggiungono lo stato dell'arte (48.9 su OSWorld-Verified) con dimensioni comparabili ai competitor specializzati per dominio singolo.
- L'approccio elimina la necessità di addestrare specialisti separati, semplificando il deployment in scenari multi-piattaforma.
Perché conta. Questa architettura è rilevante perché permette agli sviluppatori di implementare agenti autonomi robusti che operano su ecosistemi ibridi (mobile/desktop/web) senza dover mantenere modelli specializzati separati per ogni piattaforma. Inoltre, l'infrastruttura RL scalabile offre un modello replicabile per addestrare agent locali complessi in ambienti dinamici e rumorosi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.