Paikallisen tekoälyn päivälehti — avoimen painon mallit, työkalut ja rauta

Keskiviikko 19. elokuuta 2026Aamupainos · klo 7Nro 12

← Takaisin numeroon 12

Työkalut · Llama.cpp päivitys

Llama.cpp-ajomoottoriin tuotiin uusi CUDA-tuki DGX Spark -alustalle

Llama.cpp-projektiin julkaistiin b10481-versio 18.8.2026. Päivitys tuo MMVQ-tuen CUDA-ympäristöön [1].

Llama.cpp-ajomoottoriin tuotiin uusi CUDA-tuki DGX Spark -alustalle Commit ID Commit ID 25843 nro Llama.cpp b10481 commit-historia

Llama.cpp-ajomoottoriin on julkaistu uusi b10481-versio 18.8.2026 [1]. Päivitys sisältää CUDA-tukea MMVQ-tekniikalle DGX Spark -alustalla [1].

Uusi koodimuutos on suunnattu tiheille malleille, joissa batch size on 1 [1]. Muutoksessa on määritelty MMVQ nwarps=8 kyseiselle konfiguraatiolle [1].

Päivityksen taustalla on NVIDIA-kehittäjien tekemä työ [1]. Muutoksessa on nimetty uudelleen MMVQ DGX Spark -parametrit muotoon GB10 [1].

Kehityksessä on huomioitu myös MoE-asiantuntijoiden ohittaminen ja muiden salliminen k-geometrian perusteella [1]. Tämä sallii vain pienen tyhjän hännän eli idle tail -osan [1].

Lisäksi päivityksessä on korjattu MSVC constexpr lambda capture -ongelmia [1]. Muutos on tehty GitHubissa 18.8.2026 [1].

Käyttäjien kannattaa tarkistaa, tukeeko heidän laitteistonsa uutta MMVQ-tukea. Päivitys on suositeltava, jos käytössä on DGX Spark -pohjainen ympäristö [1].

Lähteet