AIChronos.notizie sull'intelligenza artificiale
Iscriviti
Dossier

Efficienza dell'inferenza

Quali tecniche rendono l'inferenza degli LLM più veloce ed economica (speculative decoding, MoE, long context)?

Pubblicato il · versione 1· 45 fontiVerifica automatica

A cura di Daniele Viscuso

Scritto con l'assistenza di Claude (Anthropic) esclusivamente sulle schede citate; una verifica automatica ha controllato le affermazioni contro le fonti. Verifica sempre sulle fonti originali.

In breve

Le fonti indicano tre famiglie di tecniche complementari. Il speculative decoding accelera la generazione con un drafter e una verifica. È ormai supportato negli strumenti di serving e in quelli locali 3,10,32,44. I modelli MoE riducono il costo per token attivando solo una parte dei parametri: 23B su 501B 1, 42B su 816B 7, 12B su 120B 10. Sul long context il collo di bottiglia è la memoria di KV cache e stati ricorrenti. Le contromisure sono architetture ibride, quantizzazione degli stati, tiering della memoria, riuso della cache e riduzione dei token visivi 7,21,27,33,44. Le fonti non offrono un confronto diretto fra queste tecniche su un unico carico di lavoro, quindi i guadagni vanno letti caso per caso.

Lo stato attuale

Speculative decoding. - vLLM v0.31.0 porta sul Model Runner V2 il draft-model speculative decoding e un nuovo drafter, LiLiCorr 32. La v0.30.0 aveva ampliato il supporto con EAGLE3, Nemotron-H MTP quantizzato e DSpark 44. - Ollama v0.40.5 distribuisce Nemotron 3.5 Bolt (74B, 9B attivi), pensato per una GPU NVIDIA da 24 GB, con speculative decoding tramite il suo drafter incluso 10. La v0.40.7-rc0 fa inferire a llama-server il tipo di draft speculativo 3, e la v0.40.4 migliora l'affidabilità nel runner MLX, inclusa la gestione dello stato ricorrente dopo il rollback 18. - Unsloth riporta fino a 2.8x di risposte più veloci con speculative decoding su Mac/MLX 17, e prefill e speculative decoding più rapidi per i modelli Qwen su MLX 13. - Fuori dal testo: Speculative Forcing, per video autoregressivi, eguaglia il generatore a quattro passi con ~1,7 passi di denoising per token, oltre 1,5x più veloce 2. Una modalità self-speculative nel modello di grounding GroundAnything dà 4,51x rispetto alla controparte autoregressiva, con un calo di 0,74 punti percentuali su una metrica COCO (il testo disponibile è troncato) 15.

MoE. - Dati su parametri totali e attivi: Beam 501B/23B 1, Muse Spark Open 816B/42B 7, Nemotron 3.5 Super 120B/12B, con backbone ibrido Mamba-2/Transformer 10, LFM2.5-24B-A2B 24B/2B 14. - Per LFM2.5 la scheda riporta fino a 184 tok/s su Apple M5 Max e oltre 21K token/s in output su una GPU B300 ad alta concorrenza 14. Non c'è testo originale che confermi questi numeri. - Sul fronte della ricerca, LatentLoop stima risparmi di calcolo del 19,0% rispetto a un MoE standard e del 7,9% rispetto alla baseline looped, a parità di NLL fittata 9. ExpertLens adatta un MoE multimodale aggiornando il 21,7–47,0% dei parametri, con training in media 4x più rapido e prestazioni pari o superiori al full fine-tuning 34. - TokenRouter, per il routing a livello di token tra modelli diversi, ottiene un throughput di decoding 2,01–64,15x superiore ai sistemi esistenti 25.

Long context. - I modelli citati arrivano a 1M token 1,7,10. Ling 3.0 Flash alterna cinque strati Kimi Delta Attention a uno Multi-head Latent Attention 7. - STEPQuant quantizza gli stati ricorrenti dell'attenzione lineare: con 6 bit nominali si avvicina all'accuratezza FP32, con compressione degli stati oltre 5x e fino al 68,7% di memoria di serving in meno in SGLang 27. - vLLM v0.31.0 usa una KV cache compressa NVFP4 32. La v0.30.0 introduce HiSparse, che sposta le pagine KV nella memoria host pinned sotto pressione della GPU 44. - HeteroFold trasferisce la KV cache tra famiglie di modelli senza prefill nel ricevente: a 32K token è 10,7x più veloce del prefill nativo 33. - VisionWeave riduce i token visivi del 43,0% mantenendo il 98,9% delle prestazioni su otto benchmark 21. La scheda aggiunge un calo del 54,4% di TTFT medio e del 60,6% di TPOT medio con SGLang, che non ho potuto verificare perché l'abstract è troncato 21.

Approcci e strumenti

| Tecnica | Vantaggi | Limiti emersi dalle fonti | |---|---|---| | Speculative decoding | Già integrato in vLLM, Ollama, Unsloth 3,17,32 | Richiede un drafter; servono correzioni di affidabilità (rollback dello stato ricorrente) 18; con il watermarking serve una variante dedicata (dual-key Gumbel-max) 44 | | MoE | Calcolo per token ridotto rispetto ai parametri totali 1,7,10 | Un MoE da 501B/816B richiede comunque di tenere in memoria tutti i parametri (inferenza dalle dimensioni dichiarate; le fonti non quantificano la memoria); supporto da curare nei kernel (fusioni GEMM, expert parallelism) 31,32 | | Attenzione ibrida / stati ricorrenti | Stati di dimensione fissa al posto di una KV cache crescente 27 | La quantizzazione diretta degli stati degrada l'accuratezza, perché gli errori si propagano nei passi successivi 27 | | Quantizzazione low-precision (FP4/NVFP4) | Rollout RL fino a 5,4x più rapido (TRACE, su MoE) 29; KV cache compressa in vLLM 32 | TRACE riguarda il rollout di RL, non il serving in produzione 29 | | Riduzione dei token | −43% di token visivi con perdita contenuta 21 | Richiede oltre 30K ore GPU A100 per il training su Qwen3.8-27B 21 | | Riuso di calcolo/cache | Cached e Joint inference in VideoJev: speedup 2,8–3,1x sul grounding temporale e oltre 100x sul video QA, sostituendo il decoding autoregressivo con scoring 12; cache hit rate del 95% in Unsloth 13 | VideoJev cambia il compito (scoring di opzioni), non è un drop-in per la generazione libera 12 |

Un altro vincolo, sul lato agenti: disabilitare il thinking non garantisce l'assenza di ragionamento visibile, quindi non basta per controllare il costo in token 16.

Cosa provare

  • Locale su GPU da 24 GB: provare Nemotron 3.5 Bolt in Ollama, che include già il drafter 10. Su Mac, il speculative decoding di Unsloth/MLX 13,17 e il runner MLX di Ollama, più affidabile dalla v0.40.4 18.
  • Serving: valutare vLLM v0.31.0 con draft-model speculative decoding su Model Runner V2 32. Per i riavvii, il daemon di weight-cache (vllm preload, Fast Start) evita di ricaricare i pesi da disco 32,44.
  • Modelli MoE da 24B o meno: LFM2.5-24B-A2B ha supporto day-one in llama.cpp, MLX, vLLM, SGLang e ONNX 14.
  • Contesti lunghi: verificare l'impatto di KV cache compressa e HiSparse nel proprio carico 32,44. Con modelli ibridi a stato ricorrente, considerare STEPQuant (codice pubblico) 27.
  • Sistemi multi-agente con modelli diversi: HeteroFold evita il prefill ripetuto 33, ma è un risultato di ricerca.
  • Misurare sempre: i numeri sopra provengono da setup diversi (hardware, modelli, carichi) e non sono confrontabili tra loro.

Questioni aperte

  • Mancano confronti omogenei. Nessuna fonte confronta speculative decoding, MoE e tecniche per il long context sullo stesso modello e hardware. Non ci sono tassi di accettazione del draft né dati di costo in euro o dollari per token: su questi aspetti le fonti non bastano.
  • Alcuni numeri sono solo di scheda. Le prestazioni di LFM2.5 14 e i guadagni TTFT/TPOT di VisionWeave 21 non sono confermati da testo originale. Per Unsloth, lo "up to 5x" dell'inferenza è un'indicazione di release note 13.
  • Il lato qualità resta aperto. Per speculative decoding su testo le fonti non danno cali di qualità. Per le tecniche che alterano i calcoli (quantizzazione degli stati, riduzione dei token, early acceptance) si riportano valori vicini all'originale ma non identici 2,21,27.
  • Trasferibilità incerta. Speculative Forcing e Kinematic MeanFlow (azioni robotiche: latenza dell'action head −67,5/−74,4%, end-to-end −30,3/−54,9%) sono testati su video e robotica, non su LLM testuali 2,30.
  • Da tenere d'occhio: la maturazione del supporto MoE nei framework (expert parallelism, router logits) 31, le architetture ibride con stati compressi 27, e il routing a livello di token, che per ora poggia su un solo sistema di ricerca 25.

Fonti

  1. Welcome Beam: a 501B open model you can own, customize, and scale — Blog, in AIChronos dal 18 ottobre 2026 · scheda
  2. Speculative Forcing for Efficient Autoregressive Video Generation — HF Daily Papers, in AIChronos dal 18 ottobre 2026 · scheda
  3. ollama/ollama v0.40.7-rc0 — v0.40.7 — GitHub, in AIChronos dal 18 ottobre 2026 · scheda
  4. huggingface/transformers v5.20.0 — Release v5.20.0 — GitHub, in AIChronos dal 15 ottobre 2026 · scheda
  5. LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation — HF Daily Papers, in AIChronos dal 15 ottobre 2026 · scheda
  6. ollama/ollama v0.40.5 — GitHub, in AIChronos dal 14 ottobre 2026 · scheda
  7. VideoJev: System One Model for Video Understanding and Interaction — HF Daily Papers, in AIChronos dal 14 ottobre 2026 · scheda
  8. unslothai/unsloth v0.1.907-beta — Large Performance Gains + More Browser Use — GitHub, in AIChronos dal 13 ottobre 2026 · scheda
  9. Run fast, private agents on-device with LFM2.5-24B-A2B — Blog, in AIChronos dal 13 ottobre 2026 · scheda
  10. GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed — HF Daily Papers, in AIChronos dal 13 ottobre 2026 · scheda
  11. Thinking Inertia: LLMs Keep Thinking When Told Not To — HF Daily Papers, in AIChronos dal 13 ottobre 2026 · scheda
  12. unslothai/unsloth v0.1.906-beta — Browser Use + Qwen-Image-2.1-Turbo — GitHub, in AIChronos dal 12 ottobre 2026 · scheda
  13. ollama/ollama v0.40.4 — GitHub, in AIChronos dal 12 ottobre 2026 · scheda
  14. VisionWeave: Weaving Elastic Visual Representations as a Native Capability of MLLMs — HF Daily Papers, in AIChronos dal 12 ottobre 2026 · scheda
  15. TokenRouter: Efficient Serving System for Token-Level LLM Routing — HF Daily Papers, in AIChronos dal 9 ottobre 2026 · scheda
  16. STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization — HF Daily Papers, in AIChronos dal 8 ottobre 2026 · scheda
  17. TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models — HF Daily Papers, in AIChronos dal 7 ottobre 2026 · scheda
  18. Kinematic MeanFlow: One-Step Action Generation Policy for Robotic Foundation Models — HF Daily Papers, in AIChronos dal 7 ottobre 2026 · scheda
  19. huggingface/transformers v5.19.0 — Release v5.19.0 — GitHub, in AIChronos dal 6 ottobre 2026 · scheda
  20. vllm-project/vllm v0.31.0 — GitHub, in AIChronos dal 5 ottobre 2026 · scheda
  21. Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs — HF Daily Papers, in AIChronos dal 2 ottobre 2026 · scheda
  22. Harnessing Domain Specialists in Multimodal Mixture-of-Experts for Efficient Adaptation — arXiv (temi verticali), in AIChronos dal 1 ottobre 2026 · scheda
  23. vllm-project/vllm v0.30.0 — GitHub, in AIChronos dal 22 settembre 2026 · scheda