Koodi · Python-kirjasto

vLLM-kirjasto tarjoaa tehokkaan ja muistitehokkaan tavan suorittaa suuria kielimalleja

vLLM-versio 0.27.1 on julkaistu 11.8.2026. Kirjasto on suunniteltu tarjoamaan nopea ja edullinen päättelyympäristö suurille kielimalleille [1].

vLLM on kirjasto, joka on kehitetty suurten kielimallien päättelyyn ja palvelun tarjoamiseen. Se on suunniteltu tarjoamaan korkea läpimenonopeus ja muistitehokkuus [1].

Kirjasto on julkaistu versionumerolla 0.27.1 päivämääränä 11.8.2026 [1]. Se on avoimen lähdekoodin projekti, jota ylläpitää laaja yhteisö [1].

Taustalla toimii UC Berkeleyn Sky Computing Lab -tutkimuslaitos [1]. Projektia on kehittänyt yli 2000 osallistujaa, mukaan lukien lukuisia akateemisia instituutioita ja yrityksiä [1].

Paikallisessa ajossa kirjasto mahdollistaa kielimallien palvelun tarjoamisen tehokkaasti. Se on suunniteltu tekemään päättelystä helppoa, nopeaa ja edullista [1].

Kirjaston tukijoina toimii laaja joukko akateemisia instituutioita ja yrityksiä ympäri maailmaa [1]. Kehittäjät ovat jakaneet projektin avoimena lähdekoodina [1].

Kirjaston rajoituksista ei ole annettu tarkkoja tietoja lähteessä [1]. Käyttäjän kannattaa tutustua dokumentaatioon, jos haluaa aloittaa vLLM:n käytön [1].