A „Melyik modellt hívjuk meg?” korábban API-kérdésnek hangzott. Egyre több szervezetben ez inkább beszerzési, teljesítményhangolási és architekturális kérdés.
A változás egy egyszerű fejleményből következik: ma már számos modell érhető el számos szolgáltatón keresztül, lényegesen eltérő erősségekkel, árakkal, késleltetési jellemzőkkel, telepítési lehetőségekkel és szerződéses feltételekkel. A Stripe bejelentése, miszerint fel kívánja vásárolni az OpenRoutert, hasznos jelzés. Az OpenRouter egyetlen API-ja több mint 400 modellt fog át több mint 80 szolgáltatótól, olyan útválasztási szempontokkal, amelyek között szerepel a feladat összetettsége, az ár, a sebesség, a megbízhatóság, a késleltetés, az áteresztőképesség és a szolgáltatóspecifikus költségek.
A kialakulóban lévő feladat nem feltétlenül jelent új munkakört vagy új megnevezést. Az AI-platformok fejlesztése, az architektúra, a beszerzés, az inferenciaműveletek vagy a termékfejlesztés területén helyezkedhet el. A felelőssége azonban egyre felismerhetőbbé válik: annak eldöntése, hogy melyik modell milyen munkát végezzen, milyen korlátok mellett, milyen tartalékmegoldással és milyen bizonyítékok alapján.
Az útválasztás infrastruktúrának álcázott szakpolitikai döntés
Egy naiv útválasztó azt kérdezi: „Melyik modell a legolcsóbb?” Egy hasznos útválasztó pontosabb kérdést tesz fel: „Melyik a legolcsóbb modell, amely megfelel a kérés minőségi, késleltetési, megbízhatósági, adatvédelmi és üzemeltetési követelményeinek?”
Ezek a követelmények feladatonként eltérnek. Egy ügyfélszolgálati osztályozónak kiszámítható strukturált kimenetre és alacsony késleltetésre lehet szüksége. Egy nehéz kódolási feladat indokolhat egy lassabb, de nagyobb képességű modellt. Egy nagy volumenű összefoglalási folyamat előnyben részesíthet egy kisebb modellt, különösen akkor, ha tesztelés után annak minősége megfelelő. Egy szabályozott munkafolyamat az tokenárától függetlenül megkövetelhet egy adott régiót, megőrzési szabályzatot vagy szolgáltatói megállapodást.
Ezért az útválasztásnak az architekturális felülvizsgálatok részét kell képeznie, nem csupán az alkalmazáskódét. Az útvonal nem csak a számlát határozza meg. Hatással lehet az adatok tartózkodási helyére, a kieséseknek való kitettségre, a megfigyelhetőségre, a válaszok következetességére, az eszközhasználat viselkedésére és az utólag szükséges emberi ellenőrzés mértékére.
A komoly útválasztási funkció mögött álló négy szakterület
1. Beszerzés: a teljes szolgáltatást hasonlítsuk össze, ne a címsorban szereplő tokenárat
A modellárakat könnyű rosszul összehasonlítani. A bemeneti és kimeneti tokenek díjszabása eltérhet. A gyorsítótárazott bemenet, a kötegelt feldolgozás, a prioritásos szolgáltatás és a hosszú kontextust igénylő kérések megváltoztathatják a számítást. Egy szolgáltató névleges ára emellett keveset árul el az újrapróbálkozásokról, a sebességkorlátokról, a támogatásról, a minimális vállalásokról, a kimenő adatforgalomról vagy a váltás mérnöki költségéről.
Az útválasztásért felelős személynek olyan mezőket tartalmazó modell- és szolgáltatói nyilvántartást kell vezetnie, mint például:
- a bemeneti, kimeneti, gyorsítótárazott és kötegelt feldolgozási díjak;
- a kontextus- és kimeneti korlátok;
- a dokumentált sebességkorlátok és a mért áteresztőképesség;
- a késleltetés eloszlásai, nem csupán az átlagos késleltetés;
- a rendelkezésre állás és az időtúllépések kezelése;
- az adathasználatra, megőrzésre, tartózkodási helyre és szerződésre vonatkozó feltételek;
- a támogatott képességek, beleértve az eszközhívásokat, a strukturált kimenetet, a képfeldolgozást és a streamelést;
- a tartalék- és migrációs lehetőségek.
Az eredmény inkább egy technológiai anyagjegyzékhez hasonlít, mint a modellnevek listájához. Felül kell vizsgálni, amikor az árak, a szabályzatok, a modellverziók vagy az üzleti volumenek megváltoznak.
2. Teljesítményhangolás: a feladatot mérjük, ne a ranglistát
Az általános benchmarkok segíthetnek a tájékozódásban, de az útválasztási döntésekhez munkaterhelés-specifikus tesztekre van szükség. Egy nyilvános kódolási benchmarkon jól teljesítő modell nem feltétlenül a legjobb választás egy szervezet belső adattáraihoz, elnevezési konvencióihoz, eszközsémáihoz vagy biztonsági kontrolljaihoz.
Állítsunk össze reprezentatív értékelési halmazt valós kérésekből, az érzékeny anyagok eltávolításával vagy ellenőrzött kezelésével. Címkézzük a fontos kimeneteleket: tényszerű helyesség, érvényes JSON, sikeres eszközválasztás, a kód tesztjeinek sikeressége, az elutasítási viselkedés, az eszkaláció szükségessége és az elfogadható stílus. Ezután rögzítsük a költséget, az első tokenig eltelt időt, a teljes késleltetést, az időtúllépések arányát, az újrapróbálkozások arányát és a befejezés hosszát.
Ne sűrítsük az eredményt túl korán egyetlen pontszámba. A súlyozott pontszám elrejthet egy súlyos hibamódot. Például egy kiváló átlagos minőségű, de gyakran hibás eszközhívásokat generáló modell alkalmatlan lehet egy automatizált munkafolyamathoz. Egy lassabb modell gazdaságilag előnyösebb lehet, ha válaszai csökkentik a költséges emberi ellenőrzés szükségességét.
Használjunk bajnok–kihívó folyamatot: tartsunk fenn egy jelenleg jóváhagyott útvonalat, teszteljük az alternatívákat ugyanazon a korpuszon, és csak akkor léptessük elő a kihívót, ha teljesíti a kifejezetten meghatározott minőségi és üzemeltetési küszöbértékeket. A szolgáltatók által közölt állításokat egy tesztterv bemeneti adataiként kell kezelni, nem pedig annak bizonyítékaként, hogy egy modell hasonlóan fog teljesíteni az Ön környezetében.
3. Architektúra: a modellválasztás legyen lecserélhető
A routing költségessé válik, amikor a modellre vonatkozó feltételezések átszivárognak az alkalmazás egészébe. A rugalmas felépítés különválasztja az üzleti feladatot a szolgáltatói hívástól.
Határozz meg egy belső képességszerződést. Ez előírhatja például, hogy egy „classification” művelet rögzített sémát, konfidencia- vagy tartózkodási mezőket, modellazonosítót és nyomkövetési azonosítót ad vissza. Egy „draft response” művelet meghatározhatja a hangnemre vonatkozó korlátozásokat, az idézési követelményeket és a maximális késleltetési keretet. A szolgáltatói adapterek ezt a szerződést aztán lefordítják az egyes API-k nyelvére.
A promptokat, sémákat, eszközdefiníciókat, biztonsági szabályokat és útválasztási szabályzatokat verziózva kezeld. Rögzítsd, hogy az egyes kéréseket melyik modellpillanatkép és melyik szolgáltató szolgálta ki. Őrizz meg elegendő információt egy döntés reprodukálásához anélkül, hogy szükségtelenül megőriznéd a felhasználók érzékeny tartalmait.
A tartalékmegoldásokat tudatosan tervezd meg. A tartalék lehet egy másik szolgáltató, egy kisebb modell, sorba állított munkafolyamat vagy emberi felülvizsgálati útvonal. Nem változtathatja meg észrevétlenül a feladat jelentését. Ha a strukturált kimenet kötelező, a tartalékmegoldásnak ugyanazt a szerződést kell támogatnia, vagy szabályozott eszkalációt kell elindítania.
4. Irányítás: döntsd el, mikor ne útválassz automatikusan
Bizonyos kéréseket nem szabad a legolcsóbban elérhető modellhez — vagy egyetlen külső modellhez sem — továbbítani. Az útválasztási szabályzatnak kizárási szabályokra van szüksége a bizalmas adatok, a nagy hatású döntések, a nem támogatott nyelvek, a szokatlanul hosszú kontextusok, illetve az emberi jóváhagyási lépést igénylő műveletek esetére.
A csapatoknak azt is meg kell különböztetniük, hogy egy modell technikailag elérhető-e, illetve hogy jóváhagyták-e egy adott célra. A beszerzési és jogi követelmények üzleti egységenként eltérhetnek. Egy modell kiválóan teljesíthet egy értékelésben, mégis használhatatlan lehet egy olyan munkafolyamatban, amelynek adatkezelési feltételei nem illeszkednek a szervezethez.
Gyakorlati útválasztási táblázat
Egy kiinduló szabályzat lehet egyszerű és egyértelmű:
| Feladatosztály | Elsődleges cél | Lehetséges útvonal | Eszkalációs kiváltó ok |
|---|---|---|---|
| Nagy volumenű kinyerés | Érvényes séma és alacsony egységköltség | Kis vagy közepes méretű modell szigorú kimenet-ellenőrzéssel | Sémahiba vagy alacsony konfidencia |
| Összetett elemzés | Minőség és a bizonyítékok kezelése | Nagyobb képességű modell nagyobb késleltetési kerettel | Hiányzó bizonyíték, kétértelműség vagy szabályzati jelzés |
| Interaktív segítség | Gyorsan érzékelhető válasz | Alacsony késleltetésű modell, amelyet szükség esetén finomítás követ | Alacsony megbízhatóság vagy a felhasználó részletesebb választ kér |
| Érzékeny munkafolyamat | Jóváhagyott adatkezelés és auditálhatóság | Szerződésben jóváhagyott szolgáltató vagy kontrollált üzembe helyezés | Nem jóváhagyott adat, művelet vagy joghatóság |
A pontos táblázat szervezetenként eltérő lesz. A lényeg az, hogy az útválasztási szabályok olvashatók legyenek a termékfejlesztési, biztonsági, pénzügyi és mérnöki érintettek számára – ne egy feltételes utasításba legyenek eltemetve.
Mit jelent ez a karriert építők számára
Az erre a munkára legalkalmasabb jelöltek többféle jártasságot ötvöznek majd. Annyira értenek majd a gépi tanuláshoz, hogy következtetni tudjanak a képességekre és a teljesítményromlásra; annyira a rendszertervezéshez, hogy kezelni tudják a késleltetést, az újrapróbálkozásokat, a sebességkorlátokat és a hibamódokat; annyira a pénzügyekhez, hogy modellezzék a teljes költséget; valamint annyira a beszerzéshez és az irányításhoz, hogy értékelni tudják a szolgáltatói kötelezettségvállalásokat és korlátozásokat.
A döntési feljegyzések megírásában is otthonosan mozognak majd. Egy hasznos feljegyzés elmagyarázza, miért egy adott útvonalat választottak, milyen bizonyíték támasztja ezt alá, milyen kockázatok maradtak fenn, és milyen eseménynek kell kiváltania az újraértékelést. Ez értékesebb a legújabb modellnevek bemagolásánál, mert a modellnevek és az árak folyamatosan változni fognak.
Egy tömör portfólióprojekt nagy éles rendszer létrehozása nélkül is bemutathatja ezt a készséget. Válassz egy munkaterhelést, hozz létre egy személyazonosításra alkalmatlanná tett értékelési készletet, köss össze három modellcsaládot vagy helyi modellt egy közös felület mögött, majd hasonlítsd össze a minőséget, a séma érvényességét, a késleltetési percentiliseket, a hibaarányokat és a becsült havi költséget többféle terhelési szinten. Adj hozzá szabályokat az érzékeny bemenetekhez és egy tartalék útvonalat. Tedd közzé a tesztelési módszertant és a korlátokat.
Légy pontos abban, hogy mit bizonyít a projekt. Nem bizonyítja, hogy egy modell minden esetben a legjobb. Azt bizonyítja, hogy egy nem egyértelmű modellválasztási problémát mérhető működési szabállyá tudsz alakítani.
A karrier szempontjából fontos jelzés
A modellútválasztás stratégiai jelentősége növekszik, mert az intelligencia már nem egyetlen, rögzített függőség. Különböző kompromisszumokkal és változó gazdasági feltételekkel rendelkező szolgáltatások portfóliója. Azok a csapatok, amelyek ezt a portfóliót felcserélhető infrastruktúraként kezelik, csökkenthetik a költségeket, ugyanakkor rejtett minőségi, megfelelőségi és megbízhatósági problémákat is létrehozhatnak. Azok a csapatok pedig, amelyek tartós, egyetlen modellhez kötött elköteleződésként kezelik, elszalaszthatják a jobb lehetőségeket.
A kialakuló szakterület e két véglet között helyezkedik el: kellően absztrakt ahhoz, hogy szolgáltatót lehessen váltani, kellően konkrét ahhoz, hogy megőrizze a feladat minőségét, és kellően bizonyítékokra épülő ahhoz, hogy indokolja a választást. Ez a modellútválasztásban rejlő karrierlehetőség – nem egyszer kiválasztani egy API-t, hanem felépíteni azt a döntési rendszert, amely folyamatosan jó döntéseket hoz.
Tom Whitfield az AI Career Brief⟧ felelős emberi szerkesztője, amely a mesterséges intelligencia korában végzett munkához szükséges készségekkel, szerepkörökkel és okos lépésekkel foglalkozik.
