Työkalut

Aquifer tuo kuormituksen hallinnan vLLM-päättelyyn ja vLLM-projekti päivittää Cython-riippuvuuksia

Aquifer-työkalu on julkaistu hallitsemaan agenttien aiheuttamia piikkejä vLLM-liikenteessä [2]. Samalla vLLM-projektissa on tehty päivitys, jossa Cython-versio on lukittu alle 3.3 tasolle arm64-alustalla [1].

Aquifer on julkaistu itsepalveluna toimivana kuormantasaajana, joka on suunniteltu agenttikohtaiseen liikenteeseen [2]. Se absorboi liikenteen piikit kestäviin jonoihin ja jakaa ne taustajärjestelmän instanssien kesken [2].

Työkalu on testattu kestämään 10-kertaaisia liikenteen piikkejä ilman epäonnistumisia [2]. Testauksessa ORCA-pudotusmekanismi vähensi vLLM-päättelyjonan huippupituutta 449 pyynnöstä vain 8 pyyntöön [2].

Aquifer tarjoaa useita liitintimiä, kuten MCP-palvelimen agenttien työkalukutsuille tai HTTP-rajapinnan [2]. Se käyttää L8-protokollaa varmistaakseen agenttien identiteetin luotettavassa toimituksessa [2].

vLLM-projektin versiossa 0.28.0 on tehty muutoksia arm64-tilelang sdist -paketteihin [1]. Päivityksessä on lukittu Cython-versio alle 3.3 tasolle [1].

Muutoksen on tehnyt Kevin Luu ja siinä on mukana myös OpenAI Codex -avustusta [1]. Päivitys on merkitty version 0.28.0 alle 24.8.2026 [1].

Lukijan kannattaa seurata vLLM-projektin päivityksiä, jos käytössä on arm64-pohjainen laitteisto. Aquifer-työkalun käyttöönotto voi olla tarpeen, jos agenttikäyttö aiheuttaa liiallista kuormitusta taustajärjestelmille [2].