Työkalut · SGLang päivitys

SGLang-ajomoottori tuo tuen Kimi K3 -mallille ja MiniMax-videogenerointille

SGLang-ohjelmistoon on tuotu tuki Kimi K3 -mallille, joka sisältää 2.8 biljoonaa parametria [1]. Päivitys sisältää myös tuen MiniMax-videomallille [1].

SGLang-ajomoottori on julkaissut uuden version, joka tukee Kimi K3 -multimodaalista mallia [1]. Kyseessä on 2.8 biljoonaa parametrin kokoinen LatentMoE-malli, jossa on 896 asiantuntijaa [1].

Kimi K3 -mallissa on 1 miljoonan tokenin konteksti ja 69 KDA lineaarista attention-kerrosta [1]. Se on julkaistu natiivina MXFP4-tarkistuspisteenä [1].

SGLang tarjoaa tuen myös MiniMax-H3-videomallille, joka tuottaa videon ja synkronoidun stereon äänen yhdellä pyynnöllä [1]. Tämä malli toimii SGLang-Diffusionin kautta [1].

Uusi päivitys sisältää myös tukea EmbeddingGemma- ja LFM2.5-upotusmalleille [1]. Lisäksi mukaan on tullut uusia reseptejä Laguna-S-2.1- ja Inkling-Small-malleille [1].

SGLang-palvelimen etupään on migratoitu käyttämään Rust-kieltä [1]. Tämä muutos koskee verkkokerrosta ja palvelimen etupään toimintoja [1].

SGLang-päivitys on tärkeä videogenerointia ja suuria multimodaalimalleja käyttäville käyttäjille [1]. Käyttäjien kannattaa tarkistaa uudet mallit ja tuki omassa infrastruktuurissaan [1].