Koodi · Python-kirjasto

AutoAWQ-kirjasto on poistettu käytöstä ja vLLM on ottanut sen vastuulleen

AutoAWQ-kirjaston versio 0.2.9 on julkaistu 11.5.2025 [1]. Kirjasto on virallisesti poistettu käytöstä, ja sen ylläpito siirtyy vLLM-projektille [1].

AutoAWQ-kirjasto toteuttaa AWQ-algoritmin 4-bittistä kvantisointia varten [1]. Tämä menetelmä mahdollistaa päättelyn nopeuden kaksinkertaistumisen [1].

Kirjasto on ollut suosittu, sillä sillä on yli 2 miljoonaa latausta ja se tukee yli 7000 mallia Huggingfacessa [1]. Sillä on myös 2100 tähteä [1].

Yksittäinen kehittäjä on ilmoittanut, että projektin ylläpito on vaikeaa vapaaehtoisena [1]. Tämän vuoksi AutoAWQ on virallisesti poistettu käytöstä [1].

vLLM-projekti on ottanut kirjaston vastuulleen vaihtoehdoksi [1]. Lisäksi MLX-LM tukee nyt AWQ-kvantisointia Mac-laitteilla [1].

Viimeisin testattu konfiguraatio on käyttänyt Torch 2.6.0- ja Transformers 4.51.3-versioita [1]. Tulevaisuudessa Transformers-kirjaston päivitykset voivat rikkoa yhteensopivuuden [1].

Käyttäjien kannattaa siirtyä käyttämään vLLM-projektin llm-compressor-työkalua [1]. Mac-käyttäjien tulisi hyödyntää MLX-LM-tukea [1].