Työkalut · Ollama-päivitys

Ollama v0.32.10-rc0 nopeuttaa nvfp4-mallien esitäyttöä merkittävästi

Uusi v0.32.10-rc0-versio tuo parannuksia ModelOpt-tarkistuspisteiden käsittelyyn. Prefill-nopeus kasvoi jopa 7,9 prosenttia [1].

Ollama on julkaissut v0.32.10-rc0-version, joka keskittyy nvfp4-mallien esitäyttönopeuden parantamiseen [1]. Päivitys kohdistuu erityisesti ModelOpt-tarkistuspisteisiin, joissa käytetään float32-globaalia skaalaa [1].

Uusi versio yhdistää kertolaskun ja tyypin muunnoksen yhdeksi ytimeksi (kernel) [1]. Tämä poistaa ylimääräisen kernel-kutsun ja välivaiheen materiaalin muodostamisen [1].

Testitulokset M5 Max -laitteella osoittivat merkittäviä nopeuseroja [1]. Qwen3.6:27b-mallin prefill-nopeus nousi 703 t/s tasolta 769 t/s [1].

Myös Muse-glimmer-30b-mallin prefill-nopeus kasvoi 790 t/s tasolta 843 t/s [1]. Tämä vastaa 6,7 prosentin parannusta [1].

Päivitys ei vaikuta spekulatiiviseen dekoodaukseen, joka pysyi muuttumattomana molemmilla malleilla [1]. Myös yksittäisen skaalan nvfp4-, mxfp8- ja affine-tarkistuspisteet käyttävät vanhaa polkua [1].

Käyttäjien kannattaa päivittää Ollama-ajomoottori, jos hyödyntävät nvfp4- tai mxfp8-tarkistuspisteitä. Tämä tuo suoraa hyötyä esitäyttövaiheen nopeuteen [1].