Koodi · Python-kirjasto

vLLM tarjoaa tehokkaan ja muistitehokkaan päättelymoottorin suuria kielimalleja varten

vLLM-kirjaston versio 0.27.1 on julkaistu 11.8.2026. Se on suunniteltu tarjoamaan nopea ja edullinen päättelyympäristö suurille kielimalleille [1].

vLLM on kirjasto, joka on suunniteltu suurten kielimallien päättelyyn ja palveluun. Se tarjoaa korkean läpimenon ja on muistitehokas [1].

Kirjasto on kehitetty alun perin Sky Computing Labissa UC Berkelelyssä. Se on kasvanut yhdeksi aktiivisimmista avoimen lähdekoodin tekoälyprojekteista [1].

Projektia ylläpitää monipuolinen yhteisö, johon kuuluu kymmeniä akateemisia laitoksia ja yrityksiä. Yhteisöön on osallistunut yli 2000 kehittäjää [1].

Paikallisessa ajossa kirjasto mahdollistaa tehokkaan päättelyn ja palvelun tarjoamisen. Se on suunniteltu helposti lähestyttäväksi kaikille käyttäjille [1].

Kirjaston taustalla toimii laaja avoimen lähdekoodin yhteisö. Kehittäjiä on ollut mukana yli 2000 [1].

Käyttäjän kannattaa tutustua kirjaston dokumentaatioon vLLM.ai-sivuston kautta. Sieltä löytyy lisätietoa aloittamiseen [1].