Työkalut

Unsloth tuo DeepSeek V4 Flash ja Kimi K3 -mallit paikalliseen käyttöön

Unsloth-päivitys mahdollistaa DeepSeek V4 Flash -mallin ajamisen paikallisesti Dynamic GGUF -muodossa. DSpark-tuki on nyt oletusarvoinen, mikä nopeuttaa päättelyä kahdella kerralla [1].

Unsloth on tuonut DeepSeek V4 Flash 0731 -mallin ja Kimi K3 -mallin paikalliseen käyttöön Dynamic GGUF -muodossa [1]. DSpark-tuki on nyt oletusarvoinen, mikä tuottaa kaksi kertaa nopeamman päättelyn [1].

DeepSeek V4 Flash -mallin eri kvantisointitasot vievät levytilaa 83 gigatavua (UD-IQ1_S), 104 gigatavua (UD-IQ3_XXS) tai 155 gigatavua (UD-Q4_K_XL) [1]. Häviötön päättely vaatii UD-Q8_K_XL-version, joka vie 162 teratavua levytilaa [1].

Moonshot AI:n Kimi K3 on 2,8 biljoonaa parametrin MoE-malli, jossa on 104 miljardia aktiivista parametria [1]. Malli tukee natiivisti visuaalista sisältöä ja siinä on yhden miljoonan konteksti-ikkuna [1].

Kimi K3 -mallin koko on huomattava, ja sen eri versiot vaativat paljon tallennustilaa [1]. UD-IQ1_S vie 595 gigatavua, UD-Q4_K_XL vie 1,51 teratavua ja UD-Q8_K_XL vie 1,56 teratavua [1].

Unsloth tunnistaa automaattisesti usean näytönohjaimen kokoonpanot ja osaa siirtää mallin kerroksia järjestelmämuistiin [1]. Tämä helpottaa suurten mallien ajamista, mutta laitteiston suunnittelu on tehtävä tarkasti [1].

Päivitys sisältää myös korjauksia Mac-laitteille ja sujuvampia asennuksia [1]. Käyttäjien kannattaa päivittää Unsloth-kirjasto, jotta he voivat hyödyntää uusia DSpark-ominaisuuksia ja tehokkaampaa latausta [1].

Toimituksen huomautus: tätä tietoa ei saatu vahvistettua ensisijaislähteestä. Se on raportoitu sellaisena kuin unslothai/unsloth (en) sen kertoo.