Koodi

AutoAWQ-kirjasto on poistettu käytöstä ja vLLM-projekti on ottanut sen vastuulle

AutoAWQ-kirjaston versio 0.2.9 on julkaistu 11.5.2025. Kirjasto on tullut virallisesti poistetuksi käytöstä [1].

AutoAWQ-kirjasto on virallisesti poistettu käytöstä, eikä sitä enää ylläpidetä [1]. vLLM-projekti on ottanut kirjaston vastuulleen [1].

Kirjasto toteuttaa AWQ-algoritmin 4-bittistä kvantisointia varten [1]. Tämä mahdollistaa päättelyn nopeuden kaksinkertaistumisen [1].

Taustalla on yksittäinen kehittäjä, joka on ylläpitänyt projektia vapaaehtoisesti [1]. Projektilla on ollut yli 2 miljoonaa latausta ja 7000 mallia Huggingfacessa [1].

Paikalliseen ajoon kirjasto on ollut keskeinen AWQ-kvantisoinnin toteuttaja [1]. Nyt vaihtoehtoisena vLLM-projektin llm-compressor-työkalu on nimetty [1].

Mac-laitteet voivat hyödyntää AWQ-tukea MLX-LM-kirjaston kautta [1]. Viimeisin testattu konfiguraatio käytti Torch 2.6.0 ja Transformers 4.51.3 -versioita [1].

Käyttäjien kannattaa siirtyä käyttämään vLLM-projektin työkaluja tai MLX-LM-kirjastoa [1]. Tämä varmistaa jatkuvan tuen ja yhteensopivuuden tulevissa päivityksissä [1].