Työkalut · Llama.cpp päivitys

Llama.cpp-ajomoottoriin julkaistiin b10538-versio, joka tuo muutoksia Metal-pohjaiseen kvantisointiin

Llama.cpp-projektin uusin b10538-versio julkaistiin 21. elokuuta 2026 [1]. Päivitys sisältää muutoksia Metal-alustan dequant-kv cache -toiminnallisuuteen suurille erille [1].

Llama.cpp-ajomoottoriin on julkaistu uusi b10538-versio 21. elokuuta 2026 [1]. Päivityksen keskeinen muutos koskee Metal-alustaa ja sen dequant-kv cache -toimintoja [1].

Muutos kohdistuu erityisesti suurten erien (large batches) käsittelyyn Metal-ympäristössä [1]. Tämä vaikuttaa suoraan macOS Apple Silicon -laitteiden suorituskykyyn [1].

Lähdekoodin julkaisija on ggml-org [1]. Päivitys on merkitty GitHubissa tunnisteella b10538 [1].

Tukevat alustat kattavat muun muassa Ubuntu x64 (CPU), Windows x64 (CUDA 12) ja Android arm64 (CPU) [1]. Windows-versioista on saatavilla myös CUDA 13.3 ja CUDA 13.4 -versiot [1].

Apple Silicon -laitteille on tarjolla sekä arm64 että Intel x64 -versiot [1]. iOS-alustalle on julkaistu XCFramework-paketti [1].

Käyttäjien kannattaa tarkistaa, tukeeko heidän nykyinen laitteistonsa uutta Metal-pohjaista dequant-optimointia. Päivitys on suositeltava, jos käytössä on Apple Silicon -pohjainen järjestelmä [1].