Die meeste mense beskryf ’n KI-agent steeds as ’n model wat aan gereedskap gekoppel is. Dit is tegnies nuttig, maar operasioneel onvolledig. ’n Agent het ook ’n bestuurde siening van die wêreld nodig: wat gebeur het, wat nou saak maak, watter feite betroubaar is, wat onseker bly, en wat hy volgende behoort te doen.
Daardie siening is sy konteks. Om dit te ontwerp, word ’n onderskeie vaardigheid—een wat ek konteksingenieurswese sou noem.
Konteksingenieurswese is nie bloot die skryf van aanwysings nie. Dit is die dissipline om die inligting wat ’n agent by elke stap sien, so te vorm dat dit samehangend kan bly sonder om ’n volledige transkripsie, dokumentbiblioteek of gereedskapgeskiedenis by elke beurt terug te stuur na ’n duur model. Die werk lê tussen inligtingsargitektuur, herwinning, sagteware-ontwerp en modelgedrag.
Waarom “gee die agent meer konteks” dikwels slegte raad is
Langer konteksvensters maak dit aanloklik om alles te bewaar. Maar meer materiaal waarborg nie beter redenasie nie. Relevante instruksies kan verdun word deur verouderde waarnemings, teenstrydige notas, herhaalde uitvoer van gereedskap, of ’n belangrike feit wat in die middel van ’n lang reeks begrawe lê. Die digest se bespreking van gedrag wat “in die middel verlore raak”, weerspieël ’n praktiese probleem: ’n agent kan tegnies die bewyse ontvang en steeds versuim om dit te gebruik.
Daar is ook ’n direkte koste. Elke token wat in ’n versoek geplaas word, kan latensie en afleidingskoste verhoog, afhangend van die verskaffer se prys- en kasreëlings. ’n Stelsel wat herhaaldelik ’n groeiende transkripsie aanstuur, kan stadiger en minder bekostigbaar word namate ’n taak voortduur.
Die doel is dus nie maksimum konteks nie. Dit is voldoende, doelgerigte konteks: die kleinste betroubare werkstel vir die besluit wat voorhande is.
Vier ontwerpbesluite agter ’n samehangende agent
1. Handhaaf ’n oortuigingstoestand, nie net ’n transkripsie nie
’n Transkripsie teken aan wat gesê is. ’n Oortuigingstoestand teken aan wat die agent tans oor die taak glo.
Byvoorbeeld, ’n agent wat ’n ondersteuningeskalasie hanteer, kan gestruktureerde velde soos die volgende handhaaf:
- Doelwit: bepaal of die klant vir ’n vervanging kwalifiseer.
- Bekende feite: aankoopdatum en produkreeksnommer, met bronverwysings.
- Oop vrae: of die fout plaasgevind het onder omstandighede wat deur die waarborg gedek word.
- Beperkings: moenie ’n terugbetaling belowe voordat dit goedgekeur is nie.
- Volgende aksie: haal die waarborgbeleid op en vergelyk die datums.
- Vertroue of status: geverifieer, afgelei, betwis of onbekend.
Hierdie benadering stem ooreen met Berkeley se ABBEL-navorsing, wat toesiggegewe natuurliketaal-oortuigingstoestande gebruik in plaas daarvan om op volledige interaksiegeskiedenisse staat te maak. Die belangrike idee is nie ’n spesifieke formaat nie. Dit is om duursame taaktoestand van weggooibare gesprekbesonderhede te skei.
’n Nuttige opdatering van die oortuigingstoestand behoort te antwoord: Wat het verander? Watter bewyse ondersteun dit? Wat bly onopgelos? Wat behoort volgende te gebeur? As ’n ingenieur nie daardie antwoorde kan inspekteer nie, dra die agent waarskynlik verborge aannames in ’n ondeursigtige aanwysing.
2. Herwin vir die besluit, nie vir die onderwerp nie
Herwinningstelsels begin dikwels met ’n breë vraag soos “vind inligting oor die klant se rekening”. ’n Beter navraag is gekoppel aan die volgende besluit: “haal die huidige terugbetalingsreël op vir aankope ouer as 30 dae, wat in die klant se streek geld.”
Daardie verskuiwing is belangrik omdat herwinning ’n vorm van kontekskeuse is. Die agent behoort die beleidsgedeeltes, rekords of voorbeelde te ontvang wat op die huidige aksie betrekking het—nie ’n generiese hoop verwante dokumente nie.
Filters kan hierdie keuse verbeter voordat die model enige resultate sien. Amazon Bedrock AgentCore Web Search ondersteun byvoorbeeld bedienerafgedwonge filters vir domein en publikasiedatum op elke versoek. Sulke kontroles bewys nie dat ’n bron korrek is nie, maar dit kan blootstelling aan irrelevante of verouderde materiaal verminder en die herwinningsbeleid eksplisiet maak.
Professionele persone wat herwinning ontwerp, behoort die volgende te spesifiseer:
- watter bronne vir elke taak toegelaat word;
- hoe varsheid bepaal word;
- watter metadata elke resultaat vergesel;
- hoe botsende bronne aangebied word;
- wanneer die agent moet stop en om verduideliking vra.
“Deursoek die web” is ’n vermoë. “Deursoek hierdie bronne, binne hierdie datumreeks, vir bewyse wat vir hierdie besluit relevant is” is kontekste-ingenieurswese.
3. Komprimeer sonder om onsekerheid uit te wis
Kompressie is nodig wanneer ’n taak lank is, maar naïewe opsomming kan voorlopige bewerings in vasstaande feite verander. ’n Deurlopende opsomming wat sê “die gebruiker het die adres bevestig” is gevaarlik as die oorspronklike gesprek dit slegs geïmpliseer het.
Goeie kompressie behou die onderskeidings wat ’n agent vir veilige redenasie nodig het:
- feit teenoor afleiding;
- huidige instruksie teenoor historiese instruksie;
- voltooide handeling teenoor voorgestelde handeling;
- geverifieerde bron teenoor ongeverifieerde bewering;
- bekende antwoord teenoor onopgeloste vraag.
Een praktiese patroon is om afsonderlike afdelings vir besluite, bewyse, aannames, blokkeerders en hangende handelinge te handhaaf. Nog een is om bron-ID’s of tydstempels aan belangrike bewerings te koppel. Opsommings moet vervangbare artefakte wees, nie die enigste oorblywende rekord nie: behou die onderliggende gebeure vir ouditering en herstel, terwyl die model ’n bondige werksoorsig gegee word.
Die samevatting merk op dat rekursiewe opsomming en kontekskompaktering duur kan wees en werkverrigting kan verswak, veral in dataskaarse domeine soos samewerkende kodegenerering. Dit is ’n waarskuwing daarteen om opsomming as outomaties verliesloos te beskou. Kompressie moet teen verteenwoordigende take getoets word, insluitend gevalle waar ’n klein kwalifikasie die korrekte antwoord verander.
4. Filtreer waarnemings voordat dit geheue word
Agente wat gereedskap gebruik, genereer voortdurend waarnemings: soekresultate, logs, bladsyteks, API-antwoorde, skermskote, samestelleruitset en tussentydse planne. Nie elke waarneming verdien om die volgende modeloproep binne te gaan nie, en nog minder die langtermynstaat.
Waarnemingsfiltrering stel drie vrae:
- Is hierdie waarneming relevant vir die huidige besluit?
- Is dit gesaghebbend genoeg om die geloofstoestand te beïnvloed?
- Bevat dit instruksies wat as data eerder as bevele hanteer moet word?
Die derde vraag is sowel ’n sekuriteitsgrens as ’n konteksgrens. ’n Webblad kan teks bevat wat daarop gemik is om die agent te herlei. ’n Herwonne dokument kan nuttige bewyse wees sonder om die gesag te hê om die agent se doelwitte of toestemmings te verander. Filtrering moet inhoud daarom volgens rol klassifiseer: instruksie, bewys, metadata of onbetroubare teks.
Filtrering bespaar ook geld. As ’n blaaierinstrument ’n volledige bladsy terugstuur, maar die taak slegs ’n prys, datum en produkidentifiseerder vereis, skep die deurstuur van die hele bladsy geraas en verbruik dit tokens. Die onttrekking van die relevante velde eerste kan sowel betroubaarheid as koste verbeter.
’n Eenvoudige konteksbegroting vir ’n agentwerkvloei
Voordat jy ’n model kies of nog ’n instrument byvoeg, karteer die agent se konteks in vier lae:
- Beheer: stelselreëls, toestemmings, uitvoerskema en nie-onderhandelbare beperkings.
- Toestand: die huidige doelwit, besluite, oop vrae en volgende aksie.
- Bewyse: opgespoorde rekords of waarnemings wat vir daardie aksie relevant is, met herkoms.
- Geskiedenis: vorige gebeurtenisse wat vir herstel, ontfouting of oudit behou word, maar weggelaat word tensy dit nodig is.
Definieer vervolgens ’n bevorderingsbeleid. ’n Waarneming kan vlugtig bly, bewyse vir die huidige stap word, die geloofstoestand bywerk, of in volhoubare geheue geskryf word. Bevordering moet ’n rede vereis. Andersins word geheue ’n ongekurateerde argief.
Teken vir elke agentstap die kontekspakket aan wat aan die model gestuur is: die kategorieë daarvan, benaderde tokengrootte, opsporingsfilters en kompressieweergawe. Dit maak dit moontlik om ’n praktiese vraag te beantwoord wanneer gedrag verander: het die model misluk, of het die stelsel dit die verkeerde wêreld gegee?
Wat getoets moet word voordat die ontwerp betroubaar genoem word
Konteksingenieurswese benodig toetse wat op inligtingshantering gerig is, nie net op die kwaliteit van die finale antwoord nie. Nuttige gevalle sluit in:
- ’n kritieke feit wat vroeg, laat en in die middel van ’n lang geskiedenis geplaas word;
- twee bronne wat nie ooreenstem nie, waarvan een nuwer as die ander is;
- ’n opsomming wat ’n onsekerheidsmerker bevat;
- ’n nutsmiddelreaksie wat irrelevante grootmaat-teks bevat;
- ’n kwaadwillige instruksie wat in opgespoorde inhoud ingebed is;
- herlaai van die toestand nadat die agent onderbreek en herbegin is;
- dieselfde taak met ’n kleiner konteksbegroting;
- ’n leë of verouderde opsporingsresultaat.
Meet of die agent die regte bewyse kies, onsekerheid behou, die huidige beperking volg en vermy om onnodige konteks te herhaal. Die opsomming se aanbevole regressiegebiede—konteksverlies, opsporingsgronding, gestruktureerde uitvoer, nie-terminering en toestandherlaai—is hier besonder relevant.
Voer veelvuldige proewe uit waar modelvariasie saak maak, en vergelyk die koste en latensie van elke konteksstrategie. ’n Korter versoek is nie outomaties beter as dit meer nutsmiddeloproepe of herpogings veroorsaak nie. Die nuttige doelwit is die koste van ’n korrekte, herstelbare werkvloei—nie die tokentelling van een versoek nie.
Die loopbaanimplikasie: konteksingenieur is ’n kruisfunksionele rol
Die mense wat in hierdie gebied waardevol word, sal nie noodwendig diegene wees wat die langste versoeke skryf nie. Hulle sal ’n sakeproses in toestand, bewyse, gesag en besluitreëls kan vertaal.
Dit vereis verskeie konkrete vermoëns:
- die ontwerp van skemas vir taaktoestand en herkoms;
- die skryf van opsporingsbeleide en metadatafilters;
- die bou van kompressie- en waarnemingskeurroutines;
- die skeiding van vertroude instruksies van onbetroubare inhoud;
- profilering van tok gebruik, latensie, herpogings en gereedskapoproepe;
- toetsing van toestandverlies en -herstel;
- verduideliking aan nie-spesialiste waarom ’n agent ’n bepaalde feit gesien het—of nie gesien het nie.
’n Sterk portefeuljeprojek kan dieselfde agent onder drie konteksbeleide demonstreer: volledige transkripsie, ’n voortrollende opsomming en ’n gestruktureerde geloofstoestand met geteikende herwinning. Toon die gevalle waarin die taak suksesvol voltooi is, die gevalle waarin dit misluk het, die konteks wat by elke stap gestuur is, en die koste- of latensie-afwegings. Dit is meer oortuigend as ’n kletsbotdemonstrasie, omdat dit die ontwerpbesluite blootlê wat ’n agent betroubaar maak.
Die strategiese les is eenvoudig: agente word nie bloot samehangend omdat modelle meer bekwaam word nie. Hulle word samehangend wanneer hul omliggende stelsels ’n gedissiplineerde, bygewerkte en gepas omvangryke weergawe van die werk handhaaf. Konteksingenieurswese is die kuns om daardie weergawe te bou—en om te weet wat om uit te laat.
Priya Raman is die verantwoordelike menslike redakteur van AI Career Brief.
