”Mitä mallia meidän pitäisi käyttää?” kuulosti ennen API-kysymykseltä. Yhä useammissa organisaatioissa se on lähempänä hankinta-, suorituskyky- ja arkkitehtuurikysymystä.
Muutos seuraa yksinkertaisesta kehityksestä: malleja on nyt paljon, niitä tarjoaa moni toimittaja, ja niiden vahvuudet, hinnat, viiveprofiilit, käyttöönottovaihtoehdot ja sopimusehdot eroavat toisistaan merkittävästi. Stripen ilmoittama sopimus OpenRouterin hankkimisesta on hyödyllinen signaali. OpenRouterin yksittäinen API kattaa yli 400 mallia yli 80 toimittajalta, ja reitityskriteereihin kuuluvat muun muassa tehtävän monimutkaisuus, hinta, nopeus, luotettavuus, viive, läpimeno ja toimittajakohtaiset kustannukset.
Syntyvä tehtävä ei välttämättä tarkoita uutta titteliä. Se voi sijoittua tekoälyalustojen suunnittelun, arkkitehtuurin, hankinnan, inferenssitoimintojen tai tuotesuunnittelun rajapinnalle. Sen vastuu alkaa kuitenkin hahmottua: päättää, minkä mallin pitäisi käsitellä mikäkin työ, millä rajoitteilla, millä varajärjestelyllä ja minkä näytön perusteella.
Reititys on infrastruktuuriksi naamioitu politiikkapäätös
Yksinkertainen reititin kysyy: ”Mikä malli on halvin?” Hyödyllinen reititin kysyy tarkemman kysymyksen: ”Mikä on edullisin malli, joka täyttää tämän pyynnön laatu-, viive-, luotettavuus-, tietosuoja- ja operointivaatimukset?”
Vaatimukset vaihtelevat tehtävän mukaan. Asiakastuen luokittelija saattaa tarvita ennakoitavasti jäsenneltyä tulostetta ja pientä viivettä. Vaikea koodaustehtävä voi oikeuttaa hitaamman mutta kyvykkäämmän mallin käytön. Suuren volyymin tiivistämisputkessa voidaan suosia pienempää mallia, etenkin jos sen laatu on testauksen jälkeen riittävä. Säännelty työnkulku voi edellyttää tiettyä aluetta, säilytyskäytäntöä tai toimittajasopimusta token-hinnasta riippumatta.
Siksi reititys kuuluu arkkitehtuurikatselmuksiin, ei ainoastaan sovelluskoodiin. Reitti määrittää enemmän kuin laskun. Se voi vaikuttaa tietojen sijaintiin, häiriöalttiuteen, havainnoitavuuteen, vastausten yhdenmukaisuuteen, työkalujen käyttöön ja siihen, kuinka paljon ihmisen tekemää tarkistusta tarvitaan myöhemmässä vaiheessa.
Vakavan reititystoiminnon neljä taustalla olevaa osa-aluetta
1. Hankinta: vertaa koko palvelua, älä vain näkyvää token-hintaa
Mallien hintoja on helppo vertailla väärin. Syöte- ja tulostetokeneilla voi olla eri hinnat. Välimuistitetut syötteet, eräkäsittely, prioriteettipalvelu ja pitkän kontekstin pyynnöt voivat muuttaa laskelmaa. Toimittajan nimellinen hinta kertoo myös vähän uudelleenyrityksistä, nopeusrajoista, tuesta, vähimmäissitoumuksista, tiedonsiirrosta tai vaihtamisen aiheuttamista suunnittelukustannuksista.
Reitityksestä vastaavan tulisi ylläpitää malli- ja toimittajaluetteloa, joka sisältää esimerkiksi seuraavat kentät:
- syöte-, tuloste-, välimuisti- ja eräkäsittelyn hinnat;
- konteksti- ja tulosterajat;
- dokumentoidut nopeusrajat ja havaittu läpimeno;
- viivejakaumat, ei pelkästään keskimääräinen viive;
- saatavuus ja aikakatkaisujen toiminta;
- tietojen käyttöä, säilytystä, sijaintia ja sopimuksia koskevat ehdot;
- tuetut ominaisuudet, kuten työkalukutsut, jäsennelty tuloste, näkö ja suoratoisto;
- varajärjestely- ja siirtymisvaihtoehdot.
Tulos muistuttaa enemmän teknologian materiaaliluetteloa kuin mallinimien luetteloa. Se tulisi tarkistaa, kun hinnat, käytännöt, malliversiot tai liiketoiminnan volyymit muuttuvat.
2. Suorituskyvyn suunnittelu: mittaa tehtävää, älä tulostaulukkoa
Yleiset vertailuarvot voivat auttaa hahmottamisessa, mutta reitityspäätökset tarvitsevat työkuormakohtaisia testejä. Julkisessa koodausvertailussa hyvin suoriutuva malli ei välttämättä ole paras valinta organisaation sisäisille repositorioille, nimeämiskäytännöille, työkalumäärittelyille tai tietoturvakontrolleille.
Rakenna edustava arviointiaineisto todellisista pyynnöistä ja poista arkaluonteinen materiaali tai hallitse sitä. Merkitse tärkeät tulokset: tosiasiallinen oikeellisuus, kelvollinen JSON, onnistunut työkalun valinta, kooditestien läpäisy, kieltäytymiskäyttäytyminen, eskaloinnin tarve ja hyväksyttävä tyyli. Kirjaa sitten kustannus, aika ensimmäiseen tokeniin, kokonaisviive, aikakatkaisujen määrä, uudelleenyritysten määrä ja tulosteen pituus.
Älä tiivistä tulosta yhdeksi pistemääräksi liian aikaisin. Painotettu pistemäärä voi peittää vakavan vikatilan. Esimerkiksi malli, jonka keskimääräinen laatu on erinomainen mutta jonka työkalukutsut ovat usein virheellisesti muotoiltuja, ei välttämättä sovellu automatisoituun työnkulkuun. Hitaampi malli voi olla taloudellisesti parempi, jos sen vastaukset vähentävät kallista ihmisen tekemää tarkistusta.
Käytä mestari–haastaja-prosessia: pidä käytössä nykyinen hyväksytty reitti, testaa vaihtoehtoja samaa aineistoa vasten ja ota haastaja käyttöön vasta, kun se ylittää selkeästi määritellyt laatu- ja toiminnalliset kynnysarvot. Toimittajien ilmoittamia väitteitä tulisi pitää testisuunnitelman lähtötietoina, ei todisteena siitä, että malli suoriutuu ympäristössäsi samalla tavalla.
3. Arkkitehtuuri: tee mallin valinnasta vaihdettava
Reititys tulee kalliiksi, kun mallikohtaiset oletukset leviävät kaikkialle sovellukseen. Kestävässä suunnittelussa liiketoimintatehtävä erotetaan palveluntarjoajan kutsusta.
Määrittele sisäinen kyvykkyyssopimus. Siinä voidaan määrittää, että ”luokittelu”-operaatio palauttaa kiinteän skeeman, varmuus- tai pidättäytymiskentät, mallin tunnisteen ja jäljitystunnisteen. ”Luonnostele vastaus” -operaatiossa voidaan määrittää sävyn rajoitteet, viittausvaatimukset ja enimmäisviivebudjetti. Palveluntarjoajasovittimet muuntavat tämän sopimuksen yksittäisten rajapintojen mukaiseksi.
Pidä kehotteet, skeemat, työkalumäärittelyt, turvallisuussäännöt ja reitityskäytännöt versioituina. Tallenna, mikä mallitilanne ja palveluntarjoaja käsitteli kunkin pyynnön. Säilytä riittävästi tietoa päätöksen toistamiseksi ilman, että arkaluonteista käyttäjäsisältöä säilytetään tarpeettomasti.
Suunnittele varareitit harkiten. Varareitti voi olla toinen palveluntarjoaja, pienempi malli, jonotettu työnkulku tai ihmisen suorittama tarkistus. Se ei saa huomaamatta muuttaa tehtävän merkitystä. Jos jäsennelty tuloste on pakollinen, varareitin on tuettava samaa sopimusta tai käynnistettävä hallittu eskalointi.
4. Hallinto: päätä, milloin ei reititetä automaattisesti
Joidenkin pyyntöjen kohdalla ei pidä käyttää halvinta saatavilla olevaa mallia — tai mitään ulkoista mallia. Reitityskäytäntö tarvitsee poissulkusäännöt luottamuksellisille tiedoille, vaikutuksiltaan merkittäville päätöksille, tukemattomille kielille, poikkeuksellisen pitkälle kontekstille tai toimille, jotka edellyttävät ihmisen hyväksyntävaihetta.
Tiimien tulisi myös erottaa toisistaan se, onko malli teknisesti saatavilla ja onko se hyväksytty tiettyyn käyttötarkoitukseen. Hankinta- ja lakivaatimukset voivat vaihdella liiketoimintayksiköittäin. Malli voi menestyä erinomaisesti arvioinnissa ja silti olla käyttökelvoton työnkulussa, jonka tietojenkäsittelyehdot eivät sovi organisaatiolle.
Käytännöllinen reititystaulukko
Alkupolitiikka voi olla yksinkertainen ja yksiselitteinen:
| Tehtäväluokka | Ensisijainen tavoite | Mahdollinen reitti | Eskaloinnin laukaisin |
|---|---|---|---|
| Suuren volyymin poiminta | Kelvollinen skeema ja alhaiset yksikkökustannukset | Pieni tai keskikokoinen malli, jossa on tiukka tulosteen validointi | Skeemavirhe tai alhainen varmuus |
| Monimutkainen analyysi | Laatu ja näytön käsittely | Kyvykkäämpi malli suuremmalla viivebudjetilla | Puuttuva näyttö, epäselvyys tai käytäntöön liittyvä huomautus |
| Vuorovaikutteinen avustaminen | Nopealta tuntuva vastaus | Pienen viiveen malli, jota voi mahdollisesti seurata tarkennus | Alhainen luottamus tai käyttäjän pyyntö perusteellisemmasta käsittelystä |
| Arkaluonteinen työnkulku | Hyväksytty tietojenkäsittely ja auditoitavuus | Sopimuksella hyväksytty palveluntarjoaja tai hallittu käyttöönotto | Hyväksymättömät tiedot, toimenpiteet tai lainkäyttöalue |
Tarkka taulukko vaihtelee organisaation mukaan. Olennaista on, että reitityssäännöt ovat tuotteen, tietoturvan, talouden ja tuotekehityksen sidosryhmien luettavissa eivätkä hautaudu ehdollisen lausekkeen sisään.
Mitä tämä tarkoittaa uraa rakentaville ihmisille
Tämän työn vahvimmat ehdokkaat yhdistävät useita erilaisia osaamisalueita. He ymmärtävät koneoppimista riittävästi arvioidakseen suorituskykyä ja sen heikkenemistä, järjestelmätekniikkaa riittävästi hallitakseen viivettä, uudelleenyrityksiä, nopeusrajoituksia ja vikatilanteita, taloutta riittävästi kokonaiskustannusten mallintamiseen sekä hankintaa ja hallintaa riittävästi arvioidakseen palveluntarjoajien sitoumuksia ja rajoituksia.
Heille on myös luontevaa kirjoittaa päätöstietueita. Hyödyllinen tietue selittää, miksi tietty reitti valittiin, mikä näyttö tukee sitä, mitä riskejä on jäljellä ja minkä tapahtuman pitäisi käynnistää uudelleenarviointi. Tämä on arvokkaampaa kuin uusimpien mallinimien ulkoa opetteleminen, koska mallien nimet ja hinnat muuttuvat jatkuvasti.
Pieni portfolioprojekti voi osoittaa tämän taidon ilman suurta tuotantojärjestelmää. Valitse yksi työkuorma, luo anonymisoitu arviointiaineisto, yhdistä kolme mallipalveluntarjoajaa tai paikallista mallia yhteisen rajapinnan taakse ja vertaile laatua, skeeman kelvollisuutta, viiveen persentiilejä, vikaantumisasteita ja arvioituja kuukausikustannuksia useilla volyymeilla. Lisää arkaluonteisille syötteille käytäntösäännöt ja varareitti. Julkaise testausmenetelmä ja rajoitukset.
Määrittele tarkasti, mitä projekti osoittaa. Se ei osoita, että yksi malli olisi yleisesti paras. Se osoittaa, että pystyt muuttamaan epäselvän mallivalintaongelman mitattavaksi toimintaperiaatteeksi.
Urasignaali
Mallien reitityksestä on tulossa strategisesti tärkeää, koska älykkyys ei enää ole yksi kiinteä riippuvuus. Se on palvelukokonaisuus, jonka osilla on erilaiset kompromissit ja muuttuva talous. Tiimit, jotka kohtelevat tätä kokonaisuutta keskenään vaihdettavana infrastruktuurina, voivat pienentää kustannuksia, mutta ne voivat myös luoda piileviä laatu-, vaatimustenmukaisuus- ja luotettavuusongelmia. Tiimit, jotka kohtelevat sitä pysyvänä sitoutumisena yhteen malliin, saattavat jättää paremmat vaihtoehdot käyttämättä.
Kehittyvä osaamisala sijoittuu näiden ääripäiden väliin: riittävän abstraktille tasolle palveluntarjoajien vaihtamiseksi, riittävän täsmälliseksi tehtävän laadun säilyttämiseksi ja riittävästi näyttöön perustuvaksi valinnan perustelemiseksi. Tämä on mallien reititykseen liittyvä uramahdollisuus – ei yhden rajapinnan valitseminen kerran, vaan päätöksentekojärjestelmän rakentaminen, joka tekee jatkossakin hyviä valintoja.
Tom Whitfield on AI Career Brief -julkaisun vastuullinen ihmistoimittaja, joka käsittelee taitoja, rooleja ja järkeviä toimintatapoja tekoälyn aikakaudella työskentelyyn.
