Koodi

AutoAWQ-kirjasto on poistettu käytöstä ja vLLM-projekti on ottanut sen vastuulle

AutoAWQ-version 0.2.9 on julkaistu 11. toukokuuta 2025. Kirjasto on saavuttanut yli 2 miljoonaa latausta [1].

AutoAWQ-kirjasto on virallisesti poistettu käytöstä, eikä sitä enää ylläpidetä [1]. vLLM-projekti on ottanut kirjaston vastuulleen [1].

Kirjasto toteuttaa AWQ-algoritmin 4-bittistä kvantisointia [1]. Tämä mahdollistaa 2-kertaaisen nopeuden kasvun päättelyvaiheessa [1].

Taustalla on yksittäinen kehittäjä, joka on tehnyt työtä vapaaehtoisesti [1]. Projektilla on ollut yli 7000 mallia Huggingfacessa [1].

Paikalliseen ajoon kirjasto on ollut keskeinen AWQ-tuen tarjoaja [1]. Nyt vaihtoehtoisena ratkaisuna toimii vLLM-projektin llm-compressor [1].

Mac-laitteille on tarjolla MLX-LM, joka tukee AWQ-kvantisointia [1]. Tämä on tärkeää Apple-pohjaisessa paikallisessa ajossa [1].

Käyttäjän kannattaa siirtyä käyttämään vLLM-projektin työkaluja tai MLX-LM:ää [1]. AutoAWQ:n ylläpito on päättynyt [1].