Koodi · Kvantisointi

AutoAWQ-kirjasto on poistettu käytöstä ja vLLM-projekti on ottanut sen yllähuollon

AutoAWQ-kirjaston versio 0.2.9 on julkaistu 11. toukokuuta 2025 [1]. Kirjasto toteuttaa AWQ-algoritmin 4-bittiselle kvantisoinnille.

AutoAWQ-kirjasto toteuttaa AWQ-algoritmin, joka mahdollistaa 4-bittisen kvantisoinnin [1]. Tämä menetelmä tarjoaa kaksi kertaa suuremman nopeuden päättelyvaiheessa [1].

Kirjasto on saavuttanut yli 2 miljoonaa latausta ja Huggingfacessa on 7000 mallia [1]. Yksittäinen kehittäjä on kuitenkin päättänyt lopettaa projektin ylläpidon [1].

Taustalla on ollut suuri käyttömäärä, mutta kehittäjä tekee työtä vapaa-ajallaan [1]. Tämän vuoksi projekti on virallisesti poistettu käytöstä [1].

vLLM-projekti on ottanut AutoAWQ:n yllähuollon vastuulleen [1]. Vaihtoehtoisena ratkaisuna toimii myös llm-compressor-projekti [1].

Mac-laitteiden käyttäjille MLX-LM tukee nyt AWQ-menetelmää [1]. Viimeisin testattu konfiguraatio on käyttänyt Torch 2.6.0 ja Transformers 4.51.3 -versioita [1].

Käyttäjien kannattaa siirtyä käyttämään vLLM-projektin llm-compressoria tai MLX-LM-kirjastoa [1]. Tämä varmistaa jatkuvan tuen ja yhteensopivuuden tulevissa päivityksissä [1].