Laitteisto · Nvidia julkisti

Nvidia julkaisi Nemotron 3.5 Lightning -mallin, joka on optimoitu toimimaan yhdellä GPU:lla

Nvidia on julkaissut ensimmäisen avoimen lähdekoodin tekoälymallinsa nimeltä Nemotron 3.5 Lightning. Malli on 30 miljardin parametrin kokoinen mixture-of-experts-malli [1].

Nvidia on julkaissut Nemotron 3.5 Lightning -mallin, joka on suunniteltu erityisesti tekoälyagentteja varten [1]. Malli on optimoitu toimimaan yhdellä GPU-yksiköllä [1].

Kyseessä on 30 miljardin parametrin kokoinen mixture-of-experts-malli [1]. Tässä arkkitehtuurissa kaikki parametrit eivät ole käytössä samanaikaisesti, vaan vain tehtävään sopivat asiantuntijat aktivoituvat [1].

Arkkitehtuurin ansiosta malli tarjoaa nelinkertaisen nopeuden muihin saman kategorian malleihin verrattuna [1]. Se tarjoaa myös 30 prosentin nopeuden parannuksen agenttipohjaisissa tehtävissä [1].

Nvidia on korostanut mallin olevan täysin muokattavissa yritysten tarpeisiin [1]. Esimerkkinä on CodeRabbit, joka kehitti oman ohjaaja-agenttinsa kahdessa tunnissa 85 dollarin kustannuksilla [1].

Taustalla on Nvidia-toimitusjohtaja Jensen Huangin aiempi lausunto avoimien mallien tärkeydestä tekoälysektorin tulevaisuudelle [1]. Avoimet mallit ovat kasvattaneet merkitystään erityisesti Kiinan markkinoilla [1].

Lukijan kannattaa testata mallin suorituskykyä omalla GPU-laitteistollaan, sillä se on suunniteltu kevyeksi ja tehokkaaksi [1].