Data-Efficient ConvNeXt Pretraining for High-Resolution Sentinel-1 GRD SAR Representation Learning
Aggiunta all'archivio di AIChronos il (numero del 15 ottobre 2026 ricostruito)· fonte del · Yuki Natsume, Sang-Ho Yun, Chai Kiat Yeo
L'articolo presenta SparK-SAR, un framework di pre-addestramento basato su ConvNeXt e Sparse Masked Modeling ottimizzato per immagini SAR Sentinel-1 (S1GRD) con risorse computazionali limitate. Il modello introduce l'encoder ConvNeXt-RS che raddoppia i token spaziali a parità di parametri dimezzando il passo dello stem, e un decoder leggero basato su PixelShuffle che riduce la memoria VRAM necessaria del 7.5-8.5%. Gli esperimenti dimostrano una maggiore efficienza dei dati rispetto ai Vision Transformer (ViT), saturando le prestazioni per i compiti di classificazione con solo il 10-25% del corpus standard e superando modelli ViT congelati su tre delle quattro task testate.
- ConvNeXt-RS dimezza lo stride dello stem (da 4x a 2x), generando mappe di feature più ricche spazialmente rispetto ai baseline UNet senza aumentare i parametri.
- Il decoder ConvNeXt-512 utilizza PixelShuffle per ridurre l'uso della VRAM del 7.5-8.5% mantenendo la precisione pari al baseline UNet-128.
- L'analisi empirica rivela instabilità nel pre-addestramento FP16 con decoder standard, risolta tramite fine-tuning con layer-wise learning rate decay (LLRD).
- SparK-SAR supera il modello Copernicus-FM ViT su tre task utilizzando circa 5 volte meno parametri rispetto al competitor.
- Lo studio evidenzia che la classificazione satura rapidamente i dati, mentre le dense prediction richiedono fino a una quantità maggiore di dataset per migliorare.
Perché conta. Sebbene il paper si concentri su architetture convoluzionali e non direttamente sui LLM, offre principi fondamentali per l'ottimizzazione dell'inference locale: la riduzione dello stride iniziale aumenta densità informativa a parità di parametri (utile per modelli efficienti) e le tecniche di mixed-precision con LLRD sono rilevanti per stabilizzare il training in ambienti hardware vincolati.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.