Većina ljudi i dalje opisuje AI agenta kao model povezan sa alatima. To je tehnički korisno, ali operativno nepotpuno. Agentu je takođe potreban upravljani prikaz sveta: šta se dogodilo, šta je sada važno, kojim činjenicama se može verovati, šta je i dalje neizvesno i šta bi trebalo sledeće da uradi.
Taj prikaz je njegov kontekst. Njegovo oblikovanje postaje posebna veština — ona koju bih nazvao inženjeringom konteksta.
Inženjering konteksta nije samo pisanje upita. To je disciplina oblikovanja informacija koje agent vidi u svakom koraku, tako da može da ostane koherentan bez slanja čitavog transkripta, biblioteke dokumenata ili istorije korišćenja alata skupom modelu pri svakom potezu. Taj posao se nalazi na preseku informacione arhitekture, preuzimanja informacija, softverskog dizajna i ponašanja modela.
Zašto je savet „dajte agentu više konteksta“ često loš
Duži kontekstualni prozori podstiču nas da sačuvamo sve. Ali veća količina materijala ne garantuje bolje zaključivanje. Relevantna uputstva mogu biti razvodnjena zastarelim zapažanjima, protivrečnim beleškama, ponovljenim izlazima alata ili važnom činjenicom zakopanom u sredini dugog niza. Rasprava u sažetku o ponašanju „izgubljenog u sredini“ odražava praktičan problem: agent može tehnički da primi dokaze, a da ipak ne uspe da ih upotrebi.
Tu je i direktan trošak. Svaki token uključen u zahtev može povećati kašnjenje i troškove zaključivanja, u zavisnosti od cena provajdera i načina keširanja. Sistem koji iznova prosleđuje sve veći transkript može postajati sporiji i manje pristupačan kako se zadatak nastavlja.
Cilj stoga nije maksimalan kontekst. To je dovoljan, ciljno usmeren kontekst: najmanji pouzdani radni skup za odluku koja je pred nama.
Četiri dizajnerske odluke iza koherentnog agenta
1. Održavajte stanje uverenja, a ne samo transkript
Transkript beleži šta je rečeno. Stanje uverenja beleži šta agent trenutno veruje o zadatku.
Na primer, agent koji obrađuje eskalaciju korisničke podrške mogao bi da održava strukturisana polja kao što su:
- Cilj: utvrditi da li korisnik ispunjava uslove za zamenu.
- Poznate činjenice: datum kupovine i serijski broj proizvoda, uz reference na izvore.
- Otvorena pitanja: da li je do kvara došlo pod uslovima pokrivenim garancijom.
- Ograničenja: ne obećavati povraćaj novca pre odobrenja.
- Sledeća radnja: preuzeti garancijsku politiku i uporediti datume.
- Pouzdanost ili status: potvrđeno, izvedeno, osporeno ili nepoznato.
Ovaj pristup podseća na Berklijevo istraživanje ABBEL, koje koristi nadzirana stanja uverenja izražena prirodnim jezikom umesto oslanjanja na potpune istorije interakcije. Važna ideja nije određeni format. Važno je odvajanje trajnog stanja zadatka od potrošnih detalja razgovora.
Korisno ažuriranje stanja uverenja trebalo bi da odgovori na sledeća pitanja: Šta se promenilo? Koji dokazi to podržavaju? Šta je i dalje nerešeno? Šta bi trebalo da se dogodi sledeće? Ako inženjer ne može da pregleda te odgovore, agent verovatno nosi skrivene pretpostavke u neprozirnom upitu.
2. Preuzimajte informacije za odluku, a ne za temu
Sistemi za preuzimanje informacija često počinju širokim pitanjem poput „pronađi informacije o korisničkom nalogu“. Bolji upit vezan je za sledeću odluku: „preuzmi trenutno pravilo za povraćaj novca za kupovine starije od 30 dana, koje važi u regionu korisnika“.
Ta promena je važna zato što je preuzimanje informacija oblik odabira konteksta. Agent bi trebalo da dobije odlomke politika, zapise ili primere koji se odnose na trenutnu radnju — a ne generičku gomilu povezanih dokumenata.
Filteri mogu da unaprede ovaj odabir pre nego što model vidi bilo kakve rezultate. Na primer, Amazon Bedrock AgentCore Web Search podržava serverski nametnute filtere za domene i datume objavljivanja pri svakom zahtevu. Takve kontrole ne dokazuju da je izvor tačan, ali mogu smanjiti izloženost nerelevantnom ili zastarelom materijalu i učiniti politiku preuzimanja informacija eksplicitnom.
Stručnjaci koji dizajniraju sisteme za preuzimanje informacija trebalo bi da navedu:
- koji su izvori dozvoljeni za svaki zadatak;
- kako se utvrđuje svežina;
- koji metapodaci prate svaki rezultat;
- kako se predstavljaju sukobljeni izvori;
- kada agent mora da se zaustavi i zatraži pojašnjenje.
„Pretraži veb“ je sposobnost. „Pretraži ove izvore, u ovom vremenskom rasponu, u potrazi za dokazima relevantnim za ovu odluku“ jeste inženjering konteksta.
3. Sažimajte bez brisanja neizvesnosti
Sažimanje je neophodno kada je zadatak dug, ali naivno sažimanje može pretvoriti uslovne tvrdnje u utvrđene činjenice. Tekući sažetak koji kaže „korisnik je potvrdio adresu“ opasan je ako je prvobitna razmena samo nagovestila to.
Dobro sažimanje čuva razlike koje su agentu potrebne za bezbedno zaključivanje:
- činjenica nasuprot zaključku;
- trenutno uputstvo nasuprot istorijskom uputstvu;
- izvršena radnja nasuprot predloženoj radnji;
- provereni izvor nasuprot neproverenoj tvrdnji;
- poznat odgovor nasuprot nerešenom pitanju.
Jedan praktičan obrazac jeste održavanje odvojenih odeljaka za odluke, dokaze, pretpostavke, prepreke i radnje na čekanju. Drugi je dodavanje identifikatora izvora ili vremenskih oznaka važnim tvrdnjama. Sažeci treba da budu zamenljivi artefakti, a ne jedini preostali zapis: zadržite osnovne događaje radi revizije i oporavka, dok modelu pružate sažet radni prikaz.
Sažetak napominje da rekurzivno sažimanje i sažimanje konteksta mogu biti skupi i mogu pogoršati performanse, naročito u domenima sa malo podataka, kao što je zajedničko generisanje koda. To je upozorenje protiv tretiranja sažimanja kao procesa koji automatski ne gubi informacije. Sažimanje treba testirati na reprezentativnim zadacima, uključujući slučajeve u kojima mala ograda menja tačan odgovor.
4. Filtrirajte opažanja pre nego što postanu memorija
Agentima koji koriste alate opažanja neprestano pristižu: rezultati pretrage, dnevnici, tekst stranica, odgovori API-ja, snimci ekrana, izlaz kompajlera i međurezultati planiranja. Ne zaslužuje svako opažanje da uđe u sledeći poziv modela, a još manje u dugoročno stanje.
Filtriranje opažanja postavlja tri pitanja:
- Da li je ovo opažanje relevantno za trenutnu odluku?
- Da li je dovoljno autoritativno da utiče na stanje uverenja?
- Da li sadrži uputstva koja treba tretirati kao podatke, a ne kao naredbe?
Treće pitanje predstavlja bezbednosnu granicu, kao i granicu konteksta. Veb-stranica može sadržati tekst usmeren na preusmeravanje agenta. Preuzeti dokument može biti koristan dokaz, a da nema ovlašćenje da menja ciljeve ili dozvole agenta. Zato filtriranje treba da klasifikuje sadržaj prema ulozi: uputstvo, dokaz, metapodaci ili nepouzdan tekst.
Filtriranje takođe štedi novac. Ako alat za pregledač vrati celu stranicu, a zadatak zahteva samo cenu, datum i identifikator proizvoda, prosleđivanje cele stranice stvara šum i troši tokene. Prethodno izdvajanje relevantnih polja može poboljšati i pouzdanost i troškove.
Jednostavan budžet konteksta za radni tok agenta
Pre nego što izaberete model ili dodate još jedan alat, razložite kontekst agenta na četiri sloja:
- Kontrola: sistemska pravila, dozvole, šema izlaza i neupitna ograničenja.
- Stanje: trenutni cilj, donete odluke, otvorena pitanja i sledeća radnja.
- Dokazi: pronađeni zapisi ili zapažanja relevantna za tu radnju, uz navođenje porekla.
- Istorija: prethodni događaji sačuvani radi oporavka, otklanjanja grešaka ili revizije, ali izostavljeni osim ako nisu potrebni.
Zatim definišite politiku promocije. Zapažanje može ostati privremeno, postati dokaz za trenutni korak, ažurirati stanje uverenja ili biti upisano u trajnu memoriju. Za promociju treba da postoji razlog. U suprotnom, memorija postaje neselektivan arhiv.
Za svaki korak agenta zabeležite paket konteksta poslat modelu: njegove kategorije, približnu veličinu u tokenima, filtere za pretragu i verziju kompresije. Tako je moguće odgovoriti na praktično pitanje kada se ponašanje promeni: da li je model pogrešio ili mu je sistem predstavio pogrešan svet?
Šta treba testirati pre nego što dizajn proglasite pouzdanim
Inženjering konteksta zahteva testove usmerene na rukovanje informacijama, a ne samo na kvalitet konačnog odgovora. Korisni slučajevi obuhvataju:
- kritičnu činjenicu postavljenu na početak, kraj i sredinu duge istorije;
- dva izvora koji se ne slažu, pri čemu je jedan noviji od drugog;
- sažetak koji sadrži oznaku neizvesnosti;
- odgovor alata koji sadrži veliku količinu nerelevantnog teksta;
- zlonamerno uputstvo ugrađeno u pronađeni sadržaj;
- ponovno učitavanje stanja nakon što je agent pauziran i ponovo pokrenut;
- isti zadatak uz manji budžet konteksta;
- prazan ili zastareo rezultat pretrage.
Merite da li agent bira odgovarajuće dokaze, čuva neizvesnost, prati trenutno ograničenje i izbegava ponavljanje nepotrebnog konteksta. Preporučene oblasti regresionog testiranja u digestu — gubitak konteksta, utemeljenost pretrage, strukturisani izlaz, neprekidno izvršavanje i ponovno učitavanje stanja — ovde su naročito relevantne.
Sprovedite više pokušaja tamo gde je varijabilnost modela važna i uporedite cenu i kašnjenje svake strategije konteksta. Kraći upit nije automatski bolji ako dovodi do većeg broja poziva alata ili ponovnih pokušaja. Koristan cilj je cena tačnog procesa koji se može oporaviti — a ne broj tokena jednog zahteva.
Implikacija za karijeru: inženjer konteksta je međufunkcionalna uloga
Ljudi koji postanu vredni u ovoj oblasti neće nužno biti oni koji pišu najduže upite. Oni će umeti da poslovni proces prevedu u stanje, dokaze, autoritet i pravila odlučivanja.
To zahteva nekoliko konkretnih sposobnosti:
- dizajniranje šema za stanje zadatka i poreklo podataka;
- pisanje politika pretrage i filtera metapodataka;
- izgradnju rutina za kompresiju i izbor zapažanja;
- razdvajanje pouzdanih uputstava od nepouzdanog sadržaja;
- praćenje upotrebe tokena, latencije, ponovljenih pokušaja i poziva alata;
- testiranje gubitka stanja i njegove rehidratacije;
- objašnjavanje nestručnjacima zašto je agent video — ili nije video — određenu činjenicu.
Snažan portfolio projekat mogao bi da prikaže istog agenta pod tri politike konteksta: kompletan transkript, sažetak u pokretnom prozoru i strukturirano stanje uverenja sa ciljanim preuzimanjem podataka. Prikažite slučajeve uspešnog obavljanja zadatka, slučajeve neuspeha, kontekst koji se šalje u svakom koraku i kompromise u pogledu troškova ili latencije. To je ubedljivije od demonstracije četbota jer razotkriva odluke u dizajnu koje agenta čine pouzdanim.
Strateška pouka je jednostavna: agenti ne postaju koherentni samo zato što modeli postaju sposobniji. Postaju koherentni kada njihovi prateći sistemi održavaju disciplinovan, ažuran i odgovarajuće obiman prikaz rada. Inženjering konteksta je veština izgradnje tog prikaza — i znanja šta iz njega treba izostaviti.
Priya Raman je odgovorna ljudska urednica publikacije AI Career Brief.
