„Který model bychom měli zavolat?“ znělo dříve jako otázka týkající se API. V rostoucím počtu organizací jde spíše o otázku nákupu, výkonnostního inženýrství a architektury.
Tato změna vyplývá z jednoduchého vývoje: nyní existuje mnoho modelů nabízených mnoha poskytovateli, které se výrazně liší svými přednostmi, cenami, charakteristikami latence, možnostmi nasazení a smluvními podmínkami. Oznámená dohoda společnosti Stripe o akvizici OpenRouteru je užitečným signálem. Jediné API OpenRouteru pokrývá více než 400 modelů od více než 80 poskytovatelů, přičemž kritéria směrování zahrnují složitost úlohy, cenu, rychlost, spolehlivost, latenci, propustnost a náklady specifické pro poskytovatele.
Vznikající role nemusí nutně mít nový název. Může zasahovat do inženýrství AI platforem, architektury, nákupu, provozu inferencí nebo produktového inženýrství. Její odpovědnost se však stává rozpoznatelnou: rozhodovat, který model má zpracovávat kterou práci, za jakých omezení, s jakou záložní možností a na základě jakých důkazů.
Směrování je politické rozhodnutí převlečené za infrastrukturu
Naivní směrovač se ptá: „Který model je nejlevnější?“ Užitečný směrovač klade konkrétnější otázku: „Jaký je nejlevnější model, který splňuje požadavky tohoto požadavku na kvalitu, latenci, spolehlivost, soukromí a provoz?“
Tyto požadavky se liší podle úlohy. Klasifikátor zákaznické podpory může potřebovat předvídatelný strukturovaný výstup a nízkou latenci. Náročná programovací úloha může ospravedlnit pomalejší, schopnější model. Vysoce objemový proces sumarizace může upřednostňovat menší model, zejména pokud je jeho kvalita po otestování dostatečná. Regulovaný pracovní postup může vyžadovat konkrétní region, zásady uchovávání dat nebo dohodu s poskytovatelem bez ohledu na cenu tokenů.
Proto směrování patří do architektonických kontrol, nejen do kódu aplikace. Trasa určuje více než jen fakturu. Může ovlivnit umístění dat, vystavení výpadkům, pozorovatelnost, konzistenci odpovědí, chování při používání nástrojů a množství lidské kontroly potřebné v dalších krocích.
Čtyři disciplíny stojící za seriózní funkcí směrování
1. Nákup: porovnávejte celou službu, ne pouze uváděnou cenu tokenu
Ceny modelů se snadno porovnávají nesprávně. Vstupní a výstupní tokeny mohou mít odlišné sazby. Výpočet mohou změnit kešovaný vstup, dávkové zpracování, prioritní služba a požadavky na dlouhý kontext. Nominální cena poskytovatele také jen málo vypovídá o opakovaných pokusech, limitech rychlosti, podpoře, minimálních závazcích, výstupu dat nebo nákladech na přechod.
Odpovědný pracovník za směrování by měl udržovat inventář modelů a poskytovatelů s poli, jako jsou:
- ceny vstupních, výstupních, kešovaných a dávkových tokenů;
- limity kontextu a výstupu;
- zdokumentované limity rychlosti a pozorovaná propustnost;
- distribuce latence, nikoli pouze průměrná latence;
- dostupnost a chování při vypršení časového limitu;
- podmínky týkající se používání dat, jejich uchovávání, umístění a smluv;
- podporované schopnosti včetně volání nástrojů, strukturovaného výstupu, vidění a streamování;
- možnosti záložního řešení a migrace.
Výsledkem je spíše kusovník technologií než seznam názvů modelů. Měl by se kontrolovat při změně cen, zásad, verzí modelů nebo objemu podnikání.
2. Výkonnostní inženýrství: měřte úlohu, ne žebříček
Obecné benchmarky mohou pomoci se zorientovat, ale rozhodnutí o směrování vyžadují testy specifické pro danou zátěž. Model, který si vede dobře ve veřejném benchmarku programování, nemusí být nejlepší volbou pro interní repozitáře organizace, její konvence pojmenování, schémata nástrojů nebo bezpečnostní kontroly.
Vytvořte reprezentativní evaluační sadu ze skutečných požadavků, přičemž citlivý materiál odstraňte nebo kontrolujte. Označte výsledky, na kterých záleží: faktickou správnost, platný JSON, úspěšný výběr nástroje, úspěšné provedení testu kódu, chování při odmítnutí, potřebu eskalace a přijatelný styl. Poté zaznamenejte náklady, čas do prvního tokenu, celkovou latenci, míru vypršení časového limitu, míru opakování a délku dokončení.
Neslučujte výsledek do jediného skóre příliš brzy. Vážené skóre může skrýt závažný způsob selhání. Například model s vynikající průměrnou kvalitou, který však často vytváří chybné volání nástrojů, může být pro automatizovaný pracovní postup nevhodný. Pomalejší model může být ekonomicky výhodnější, pokud jeho odpovědi omezí nákladnou lidskou kontrolu.
Používejte proces šampiona a vyzyvatele: ponechte aktuálně schválenou trasu, testujte alternativy na stejném korpusu a povyšte vyzyvatele pouze tehdy, když splní výslovné kvalitativní a provozní prahové hodnoty. Tvrzení uváděná poskytovatelem by měla být považována za vstupy do testovacího plánu, nikoli za důkaz, že model bude ve vašem prostředí fungovat podobně.
3. Architektura: umožněte výměnu modelu
Směrování se prodražuje, když se předpoklady specifické pro jednotlivé modely rozšíří napříč celou aplikací. Odolný návrh odděluje obchodní úlohu od volání poskytovatele.
Definujte interní kontrakt schopností. Může například stanovit, že operace „klasifikace“ vrací pevně dané schéma, pole s mírou jistoty nebo odmítnutím odpovědi, identifikátor modelu a identifikátor trasování. Operace „návrh odpovědi“ může určovat požadavky na tón, požadavky na citace a maximální rozpočet latence. Adaptéry poskytovatelů pak tento kontrakt převádějí na jednotlivá API.
Prompty, schémata, definice nástrojů, bezpečnostní pravidla a zásady směrování udržujte ve verzích. Zaznamenávejte, který snímek modelu a který poskytovatel obsloužil každý požadavek. Uchovávejte dostatek informací k reprodukci rozhodnutí, aniž by bylo zbytečně nutné uchovávat citlivý obsah uživatele.
Záložní postupy navrhujte záměrně. Záložním postupem může být jiný poskytovatel, menší model, workflow zařazené do fronty nebo cesta vedoucí k lidské kontrole. Neměl by tiše měnit význam úlohy. Pokud je strukturovaný výstup povinný, záložní postup musí podporovat stejný kontrakt, nebo vyvolat řízenou eskalaci.
4. Řízení: rozhodněte, kdy směrování neprovádět automaticky
Některé požadavky by neměly být odesílány k nejlevnějšímu dostupnému modelu — ani k žádnému externímu modelu. Zásady směrování potřebují pravidla pro vyloučení důvěrných údajů, rozhodnutí s významným dopadem, nepodporovaných jazyků, neobvykle dlouhého kontextu nebo úkonů, které vyžadují schválení člověkem.
Týmy by také měly rozlišovat mezi tím, zda je model technicky dostupný, a tím, zda je schválený pro konkrétní použití. Požadavky nákupu a právní požadavky se mohou mezi obchodními jednotkami lišit. Model může být v hodnocení vynikající, a přesto nepoužitelný pro workflow, jehož podmínky nakládání s daty neodpovídají organizaci.
Praktická tabulka směrování
Výchozí zásada může být jednoduchá a explicitní:
| Třída úlohy | Primární cíl | Možná cesta | Spouštěč eskalace |
|---|---|---|---|
| Extrakce s vysokým objemem | Platné schéma a nízké jednotkové náklady | Malý nebo středně velký model s přísnou validací výstupu | Selhání schématu nebo nízká míra jistoty |
| Komplexní analýza | Kvalita a práce s důkazy | Schopnější model s větším rozpočtem latence | Chybějící důkazy, nejednoznačnost nebo příznak porušení zásad |
| Interaktivní asistence | Rychlá vnímaná odezva | Model s nízkou latencí, případně následovaný zpřesněním | Nízká míra jistoty nebo požadavek uživatele na podrobnější odpověď |
| Citlivý pracovní postup | Schválené nakládání s daty a auditovatelnost | Poskytovatel schválený smlouvou nebo řízené nasazení | Neschválená data, akce nebo jurisdikce |
Konkrétní tabulka se bude mezi organizacemi lišit. Důležité je, aby směrovací pravidla byla srozumitelná pro zainteresované strany z oblasti produktů, bezpečnosti, financí a vývoje — nikoli skrytá v podmíněném příkazu.
Co to znamená pro lidi budující kariéru
Nejlepší kandidáti pro tuto práci budou kombinovat několik druhů odbornosti. Budou dostatečně rozumět strojovému učení, aby dokázali uvažovat o schopnostech a jejich zhoršování; systémovému inženýrství, aby zvládali latenci, opakování požadavků, limity rychlosti a režimy selhání; financím, aby dokázali modelovat celkové náklady; a také nákupu a správě, aby uměli posuzovat závazky a omezení poskytovatelů.
Budou také umět psát záznamy o rozhodnutích. Užitečný záznam vysvětluje, proč byla zvolena určitá cesta, jaké důkazy ji podporují, jaká rizika přetrvávají a jaká událost by měla vyvolat nové posouzení. To je cennější než memorování nejnovějších názvů modelů, protože názvy modelů i ceny se budou neustále měnit.
Kompaktní portfolio projekt může tuto dovednost demonstrovat, aniž by vyžadoval rozsáhlý produkční systém. Vezměte jednu úlohu, vytvořte redigovanou evaluační sadu, připojte tři poskytovatele modelů nebo lokální modely prostřednictvím společného rozhraní a porovnejte kvalitu, platnost schématu, percentily latence, míru selhání a odhadované měsíční náklady při několika objemech. Přidejte pravidla pro citlivé vstupy a záložní cestu. Zveřejněte metodiku testování a omezení.
Buďte přesní v tom, co projekt dokazuje. Nedokazuje, že jeden model je univerzálně nejlepší. Dokazuje, že dokážete nejednoznačný problém volby modelu převést na měřitelnou provozní politiku.
Kariérní signál
Směrování modelů nabývá strategického významu, protože inteligence již není jedinou pevně danou závislostí. Je portfoliem služeb s různými kompromisy a proměnlivou ekonomikou. Týmy, které s tímto portfoliem zacházejí jako se zaměnitelnou infrastrukturou, mohou snížit náklady, ale zároveň vytvořit skryté problémy s kvalitou, dodržováním předpisů a spolehlivostí. Týmy, které ho považují za trvalý závazek vůči jedinému modelu, mohou přehlédnout lepší možnosti.
Vznikající obor se nachází mezi těmito extrémy: je dostatečně abstraktní, aby umožnil změnu poskytovatelů, dostatečně konkrétní, aby zachoval kvalitu úloh, a dostatečně založený na důkazech, aby volbu odůvodnil. To je kariérní příležitost v oblasti směrování modelů — nejde o jednorázový výběr API, ale o budování rozhodovacího systému, který bude i nadále vybírat správně.
Tom Whitfield je odpovědným lidským editorem AI Career Brief, který se věnuje dovednostem, pracovním pozicím a chytrým krokům pro práci v éře umělé inteligence.
