Concetto · 3 novità
Apple Silicon
Pagina pubblicata il · ultima novità il
Cronologia
- ollama/ollama v0.40.4Questa release è cruciale per gli sviluppatori che costruiscono agenti AI locali, poiché permette di integrare logiche decisionali complesse e embedding multimodali direttamente nell'infrastruttura locale senza dipendenze cloud. L'affidabilità migliorata del speculative decoding e la gestione degli stati lunghi riducono i tempi di inferenza e aumentano la stabilità dei flussi di lavoro basati su modelli locali.
- Jun Kim, oMLX creator and maintainer, joins Hugging Face to support the MLX communityPer gli sviluppatori che lavorano con LLM locali, questa notizia garantisce un futuro sostenibile per l'inferenza su hardware Apple e riduce le barriere all'ingresso per chi vuole costruire agenti autonomi senza costi di cloud.
- Transformers now runs llama.cpp quantsQuesta integrazione permette agli sviluppatori di lavorare con checkpoint GGUF direttamente all'interno degli ecosistemi PyTorch e Transformers standard, eliminando la necessità di gestire runtime separati per l'inferenza locale su hardware Apple. Consente inoltre una verifica immediata dell'accuratezza della conversione dei pesi e del quantization error prima di procedere a pipeline complesse come il fine-tuning o lo sviluppo di agenti.