Koodi

AutoAWQ-kirjasto poistuu käytöstä ja vLLM-projekti ottaa sen vastuulleen

AutoAWQ-kirjaston versio 0.2.9 on julkaistu 11.5.2025 [1]. Kirjasto on siirtymässä vLLM-projektin ylläpitämäksi [1].

AutoAWQ-kirjasto on virallisesti poistumassa käytöstä, eikä sitä enää ylläpidetä [1]. vLLM-projekti on ottanut kirjaston osaksi omaa toimintaansa [1].

Kirjasto toteuttaa AWQ-algoritmin 4-bittistä kvantisointia varten [1]. Tämä mahdollistaa päättelyn nopeuden kaksinkertaistumisen [1].

Taustalla on yksittäisen kehittäjän suorittama ylläpito, jota on ollut vaikea jatkaa [1]. Kirjastolla on ollut yli kaksi miljoonaa latausta ja yli 7000 mallia Huggingfacessa [1].

Viimeisin testattu konfiguraatio on tehty käyttäen Torch 2.6.0 ja Transformers 4.51.3 -versioita [1]. Tulevaisuudessa Transformers-kirjaston päivitykset voivat rikkoa yhteensopivuuden [1].

Vaihtoehtoisia ratkaisuja on tarjolla vLLM-projektin llm-compressor-työkalun muodossa [1]. Myös MLX-LM tukee nykyään AWQ-kvantisointia Mac-laitteilla [1].

Käyttäjän kannattaa siirtyä käyttämään vLLM-projektin työkaluja tai MLX-LM-kirjastoa [1]. Tämä varmistaa jatkuvan tuen ja yhteensopivuuden tulevissa päivityksissä [1].