GeoNLI - A Natural Language Interpreter for Satellite Imagery
Aggiunta all'archivio di AIChronos il (numero del 23 settembre 2026 ricostruito)· fonte del · Ashutosh Gandhe, Anupam Rawat, Geet Sethi, Kabir Nasiruddin, Madhav Kotecha, Panav Shah
Il paper GeoNLI presenta un pipeline unificato e modulare che integra varianti avanzate di SAM con Multimodal Large Language Models (MLLM) per eseguire simultaneamente captioning, Visual Question Answering (VQA) e visual grounding su immagini satellitari. L'approccio combina modelli eterogenei come EarthMind, RemoteSAM, SAM3, Falcon e DiffuSM attraverso un ensemble basato sul majority voting per migliorare accuratezza e coerenza rispetto ai metodi specifici per singolo task. Il sistema raggiunge l'82% di precisione nel captioning, l'83.32% nella VQA (con performance variabili in base al tipo di domanda) e il 64.94% nell'accordo del grounding su dataset come VRS Bench e NWPU-VHR-10.
- Il modello unificato supera le sfide legate all'addestramento su dati eterogenei per compiti diversi nel remote sensing.
- L'integrazione di diverse architetture VLM tramite ensemble majority voting garantisce risultati più robusti e consistenti.
- Le pipeline proposte includono combinazioni specifiche come RemoteSAM-SAM-v1, RemoteSAM-SAM3-v2 e DiffuSAM.
- Il sistema dimostra superiorità nelle performance rispetto agli approcci task-specific tradizionali su benchmark standard.
Perché conta. Per gli sviluppatori che lavorano con LLM locali o agenti AI, questo approccio offre un framework scalabile per gestire compiti multi-task complessi senza richiedere la ri-architettura completa del modello. La modularità permette di adattare facilmente il sistema a nuovi dataset satellitari integrando diverse varianti di SAM e MLLM esistenti.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.