Seuraava merkittävä tekoälyn käyttöönotto ei välttämättä tapahdu valtavassa pilviklusterissa. Se voi tapahtua kamerassa, tehdasrobotissa, ajoneuvossa, lääkinnällisessä laitteessa tai vähittäiskaupan päätelaitteessa, jossa kaistanleveydellä, tehonkulutuksella, viiveellä, yksityisyydellä ja käyttökustannuksilla on suurempi merkitys kuin mahdollisimman suuren mallin käytöllä.

Tämä muutos synnyttää uudenlaista tekoälytyötä. Tiimit tarvitsevat edelleen mallien rakentajia, mutta myös ihmisiä, jotka osaavat sovittaa mallit todelliseen laitteistoon, mitata laatua rajoitteiden vallitessa, integroida natiivisti toimivia päättelyajoympäristöjä ja päättää, milloin pienempi malli on tehtävään riittävän hyvä.

Tämä on mallikilpailun vähemmän hohdokas puolikas: älykkyyden parantamisen lisäksi on tehtävä älykkyydestä käyttöön otettavaa.

Miksi pienemmät mallit muuttavat käyttöönottoon liittyvää kysymystä

Pilvimalli voi usein käyttää enemmän laskentatehoa vastatakseen pyyntöön. Sulautettu järjestelmä ei voi olettaa luotettavaa verkkoyhteyttä, rajatonta akkua tai suurta pyyntökohtaista budjettia. Robotti, joka joutuu odottamaan jokaista havainnointi- tai ohjauspäätöstä useita satoja millisekunteja, voi olla vaarallinen tai tehoton. Tuote, joka lähettää jokaisen kuvan tai ääninäytteen API-rajapintaan, voi aiheuttaa kohtuuttomia yksityisyyteen ja tiedonsiirtoon liittyviä kustannuksia.

Nämä rajoitteet muuttavat suunnittelun tavoitetta. Kysymys kuuluu: mikä on pienin malli, joka saavuttaa vaaditut tarkkuus-, viive-, muisti-, energia- ja luotettavuustavoitteet todellisella laitteella?

Tämä kysymys ulottuu paljon kuluttajalaitteita laajemmalle. Se on tärkeä valmistajille, jotka tarkastavat osia tuotantolinjalla, logistiikkayrityksille, jotka seuraavat laitteita, sairaaloille, jotka käsittelevät arkaluonteisia signaaleja, sekä ohjelmistotoimittajille, jotka yrittävät tarjota tekoälyominaisuuksia muuttamatta päättelylaskuja suurimmaksi muuttuvaksi kustannuseräkseen.

Kolme muutoksen taustalla olevaa tekniikkaa

Kvantifioinnissa mallin painot ja joskus aktivoinnit esitetään pienemmän tarkkuuden luvuilla. Siirtyminen BF16- tai FP16-muodoista 8- tai 4-bittisiin esitysmuotoihin voi vähentää muistivaatimuksia ja saattaa parantaa suorituskykyä laitteistosta ja toteutuksesta riippuen. Kompromissina on, että pienempi tarkkuus voi heikentää laatua tai aiheuttaa numeerisia ongelmia, joten asia on testattava eikä sen haitattomuutta pidä olettaa.

Distillaatio opettaa pienemmän opiskelijamallin jäljentämään suuremman opettajamallin hyödyllistä toimintaa. Opiskelija voi oppia opettajan tulosteista, välikerrosten signaaleista tai tehtäväkohtaisista esimerkeistä. Sen ei tarvitse toistaa suuremman mallin jokaista kykyä, vaan sen on suoriuduttava kohdetehtävästä riittävän hyvin.

Optimoitu päättely mukauttaa suorituksen tiettyyn ajo ympäristöön ja prosessoriin. Tähän voi kuulua ytimien valinta, laskentagraafin kääntäminen, eräajo, muistin suunnittelu, välimuistin käyttö ja laitekohtainen kiihdytys. Julkisena esikatseluna julkistettu NVIDIA:n TensorRT Model Connect on yksi esimerkki työkalusta, jonka tarkoituksena on muuntaa tuetut Hugging Face- tai paikalliset tarkistuspisteet päästä päähän toimivaksi TensorRT-päättelyksi ilman välivaiheen ONNX-vientiä. Sen ilmoitettuihin kohteisiin kuuluvat robotiikan, laitteiden ja alustojen työkuormat.

Nämä tekniikat vahvistavat toisiaan. Distillaatiolla voidaan tuottaa kompakti malli, kvantifioinnilla voidaan pienentää sen muistijälkeä entisestään, ja optimoitu ajo ympäristö voi ratkaista, onko tuloksena oleva malli todella nopea tarkoitetulla sirulla.

Hyödyllinen tulos ei ole sama asia kuin pienempi tiedosto

Mallin pakkaamista tulisi käsitellä tuote- ja järjestelmätason harjoituksena, ei tuloslistakikkana. Malli, joka on 40 prosenttia pienempi mutta ei tunnista kriittisiä kohteita heikossa valaistuksessa, voi olla varastorobotille huonompi. Kielimalli, jonka kustannus tokenia kohden on pieni mutta joka tuottaa virheellistä jäsenneltyä tulostetta, voi lisätä myöhempää korjaustyötä. Vertailussa hyvin suoriutuva malli voi epäonnistua, kun mukaan tulevat lämpötilan aiheuttama tehonrajoitus, kamerakohina, katkonainen yhteys tai epätavalliset käyttäjän syötteet.

Liquid AI:n raportti sen pienille LFM2.5-malleille tehdystä kvantifiointitietoisesta distillaatiosta havainnollistaa tavoitetta hyödyllisellä tavalla. Yhtiö ilmoitti säilyttäneensä 96,5–97,4 prosenttia BF16-suorituskyvystä samalla, kun Q4_0-muistinkäyttö ja suorituskyky säilyivät. Luvut ovat yhtiön ilmoittamia ja mallikohtaisia, eikä niitä pidä yleistää kaikkiin arkkitehtuureihin. Ne kuitenkin osoittavat, millaista vertailua käytännön toteuttajien tulisi etsiä: laadun säilymistä on mitattava muistin ja nopeuden rinnalla, ei pelkän pakkaussuhteen perusteella.

Käyttöönottoa varten hyväksymistestin tulisi sisältää vähintään:

  • tehtävän laatu edustavilla ja vaikeilla esimerkeillä;
  • huippumuistin ja tallennustilan vaatimukset;
  • ensimmäisen vastauksen ja vakaan tilan viive;
  • suorituskyky realistisessa samanaikaisessa käytössä;
  • energiankulutus tai lämpökäyttäytyminen silloin, kun se on olennaista;
  • toiminta häiriötilanteissa, kun syötteitä puuttuu, ne ovat kohinaisia tai poikkeavat jakaumasta;
  • mallin päivittämisen kustannukset ja operatiivinen kuormitus.

Tarkat mittarit vaihtelevat tuotteen mukaan. Kameralle voivat olla tärkeitä kuvat sekunnissa ja väärät negatiiviset havainnot. Puhekäyttöliittymälle voi olla tärkeää päästä päähän mitattu vasteaika. Robotille voivat olla tärkeitä ohjaussilmukan määräajat ja turvallinen varatoiminta. Tarkoituksena on yhdistää mallin arviointi epäonnistumisen fyysisiin tai taloudellisiin seurauksiin.

Missä uutta työtä syntyy

Kasvava mahdollisuus ei rajoitu arkkitehtuureja keksiviin ihmisiin. Se sisältää useita käytännön rooleja:

  • Inferenz-insinöörit profiloivat malleja kohdekiihdyttimillä, valitsevat ajonaikaisia ympäristöjä, optimoivat graafeja ja selvittävät viive- tai muistipullonkauloja.
  • Mallien pakkaamiseen erikoistuneet insinöörit suunnittelevat kvantisointi- ja tislausputkia, valitsevat kalibrointidataa ja mittaavat laadun heikkenemistä tehtävän ja segmentin mukaan.
  • Edge-ML-insinöörit paketoivat malleja mobiili-, sulautettuihin, teollisuus- tai autoalan ympäristöihin ja hallinnoivat päivityksiä rajallisen yhteyden aikana.
  • Robotiikkaohjelmistojen insinöörit yhdistävät hahmotusmallit sensoreihin, suunnittelujärjestelmiin ja turvallisuusrajoitteisiin ympäristöissä, joissa ajoitus on tärkeää.
  • Laitteiston huomioivat tuoteinsinöörit päättävät, kuuluuko työkuorma laitteelle, reunalle vai pilveen – ja suunnittelevat niiden välille hallitut siirtymät.
  • Käyttöönoton ja validoinnin asiantuntijat rakentavat testikokonaisuuksia, joihin sisältyvät lämpötila-, virrankulutus-, verkko- ja todellisen maailman ympäristöolosuhteet.

Työtä riittää myös sovelluskehittäjille. Tuotetiimi ei välttämättä kouluta mallia, mutta sen on silti valittava mallimuoto, integroitava inferenssikirjasto, käsiteltävä tukemattomia operaattoreita, tuotava luottamus- tai pidättäytymiskäyttäytyminen näkyviin ja tehtävä päivityksistä peruttavia.

Pilven ja reunan välinen jako on muuttumassa suunnittelutaidoksi

Pienet mallit eivät poista pilvimalleja. Ne tekevät hybr idi järjestelmistä houkuttelevampia. Laite voi käyttää kompaktia mallia välittömään tunnistukseen ja lähettää sitten valitut tapahtumat suuremmalle mallille selitystä tai syvempää analyysiä varten. Robotti voi pitää turvallisuuskriittisen hahmotuksen paikallisena ja käyttää pilveä kalustotason oppimiseen. Asiakastukituote voi ohjata rutiiniluokittelun pienelle mallille ja siirtää epäselvät tapaukset kyvykkäämmälle mallille.

Tämä arkkitehtuuri voi vähentää kaistanleveyden tarvetta ja viivettä, mutta se tuo mukanaan päätöksiä, joille on määritettävä selkeä omistajuus. Mitä tietoja lähetetään laitteen ulkopuolelle? Mitä tapahtuu ilman yhteyttä? Mikä malliversio tuotti toiminnon? Voiko laite palautua turvallisesti aiempaan versioon? Miten suorituskykyä seurataan, kun kukin laitteistokokoonpano käyttäytyy eri tavalla?

Nämä ovat käyttöönottoon liittyviä kysymyksiä, eivät vain mallikysymyksiä. Ne palkitsevat ammattilaisia, jotka ymmärtävät koneoppimisen, sulautettujen järjestelmien, verkottumisen, tuotevaatimusten ja operaatioiden välisiä rajapintoja.

Käytännöllinen oppimispolku

Jos haluat siirtyä tähän työhön, rakenna yksi pieni mutta mitattava käyttöönotto sen sijaan, että keräisit vain mallisertifikaatteja. Aloita tehtävästä, jolla on selkeä tavoite, kuten kuvien luokittelu, avainsanojen tunnistus, asiakirjojen kategorisointi tai kompakti paikallinen avustaja.

  1. Luo vertailutaso. Kirjaa laatu, mallin koko, muistin käyttö, viive ja läpijuoksu toistettavalla testiaineistolla.
  2. Kvantiso i se. Vertaa vähintään yhtä pienemmän tarkkuuden versiota vertailutasoon. Dokumentoi, mitkä esimerkit muuttuvat ja keskittyvätkö virheet johonkin tärkeään kategoriaan.
  3. Kokeile tislausta tai tehtäväkohtaista hienosäätöä. Mittaa, pystyykö pienempi malli säilyttämään käyttäytymisen, jota tuote todella tarvitsee.
  4. Aja se kohdelaitteistolla. Pöytätietokoneella tehty vertailutesti ei kerro mitään puhelimesta, mikrotietokoneesta, grafiikkasuorittimesta, kiihdyttimestä tai robotin tietokoneesta.
  5. Paketoi käyttöönotto. Sisällytä esikäsittely, jälkikäsittely, versioiden metatiedot, kuntotarkistukset ja varareitti.
  6. Laadi kompromissiraportti. Selitä, miksi valittu malli on paras laadun, viiveen, muistin, energian, yksityisyyden ja kustannusten kokonaisuudessa – älä vain sitä, miksi sillä on paras pistemäärä.

Hyödylliset työkalut riippuvat kohdepinästä, mutta siirrettävät taidot ovat yhdenmukaisia: profilointi, numeerinen päättely, datan valinta, testien suunnittelu, virheenkorjaus ja kompromissien selkeä viestintä. Opettele lukemaan malligraafia, tarkastamaan operaattorituki, tunnistamaan muistin siirtäminen pullonkaulaksi ja erottamaan teoreettinen laskenta mitatusta päästä päähän -viiveestä.

Urasignaali

Tärkeä uramuutos on siirtyä kysymyksestä ”Mikä malli on älykkäin?” kysymykseen ”Mikä järjestelmä tuottaa vaaditun lopputuloksen todellisten rajoitteiden puitteissa?” Suuret mallit säilyvät arvokkaina erityisesti avoimen päättelyn ja monimutkaisen generoinnin tehtävissä. Monet kaupalliset ja fyysisen maailman tehtävät ovat kuitenkin riittävän rajattuja, jotta kompakti, nopea ja yksityinen malli voi olla parempi tuote.

Tämä luo tilaa ammattilaisille, jotka pystyvät yhdistämään tutkimuksen ja käyttöönoton. Voittajia eivät aina ole tiimit, joilla on suurin malli. Heitä voivat olla tiimit, jotka ymmärtävät työkuorman, pakkaavat älykkäästi, vertailevat rehellisesti ja toimittavat luotettavan järjestelmän käytettävissä olevalla laitteistolla.

Tekoälyuran kannalta tämä on kestävä opetus: älykkyys on vain yksi osa toimitettavaa kokonaisuutta. Toinen osa on sen sovittaminen käyttötarkoitukseen.