Sledeća važna primena veštačke inteligencije možda se neće odvijati u ogromnom klasteru u oblaku. Možda će se odvijati unutar kamere, fabričkog robota, vozila, medicinskog uređaja ili maloprodajnog terminala, gde su propusni opseg, energija, kašnjenje, privatnost i operativni troškovi važniji od posedovanja najvećeg mogućeg modela.

Ta promena stvara drugačiju vrstu posla u oblasti veštačke inteligencije. Timovima su i dalje potrebni graditelji modela, ali su im potrebni i ljudi koji umeju da prilagode modele stvarnom hardveru, mere kvalitet pod ograničenjima, integrišu izvorna okruženja za zaključivanje i odluče kada je manji model dovoljno dobar za određeni zadatak.

To je manje glamurozna polovina trke u razvoju modela: ne samo unapređivanje inteligencije, već i omogućavanje njene primene.

Zašto manji modeli menjaju pitanje primene

Model u oblaku često može da upotrebi više računarskih resursa kako bi odgovorio na zahtev. Ugrađeni sistem ne može da računa na pouzdanu mrežnu vezu, neograničenu bateriju ili izdašan budžet po pozivu. Robot koji čeka nekoliko stotina milisekundi na svaku odluku o opažanju ili upravljanju može biti nebezbedan ili neefikasan. Proizvod koji svaku sliku ili uzorak zvuka šalje API-ju može stvoriti neprihvatljive troškove privatnosti i prenosa podataka.

Ta ograničenja menjaju cilj inženjeringa. Pitanje glasi: koji je najmanji model koji na stvarnom uređaju ispunjava potrebne ciljeve u pogledu tačnosti, kašnjenja, memorije, potrošnje energije i pouzdanosti?

To pitanje seže mnogo dalje od potrošačkih uređaja. Važno je proizvođačima koji pregledaju delove na proizvodnoj liniji, logističkim kompanijama koje prate opremu, bolnicama koje obrađuju osetljive signale i dobavljačima softvera koji pokušavaju da ponude funkcije veštačke inteligencije, a da računi za zaključivanje ne postanu njihov najveći promenljivi trošak.

Tri tehnike koje pokreću ovu promenu

Kvantizacija predstavlja težine modela, a ponekad i aktivacije, brojevima niže preciznosti. Prelazak sa formata kao što su BF16 ili FP16 na 8-bitne ili 4-bitne reprezentacije može smanjiti memorijske zahteve i poboljšati protok, u zavisnosti od hardvera i implementacije. Kompromis je u tome što niža preciznost može smanjiti kvalitet ili izazvati numeričke probleme, pa to treba testirati, a ne pretpostaviti da je bezopasno.

Destilacija obučava manji, učenički model da reprodukuje korisno ponašanje većeg, učiteljskog modela. Učenik može učiti iz izlaza učitelja, međusignala ili primera specifičnih za zadatak. Ne mora da ponovi svaku sposobnost većeg modela; potrebno je da dovoljno dobro obavlja ciljni posao.

Optimizovano zaključivanje prilagođava izvršavanje određenom okruženju za izvršavanje i procesoru. To može obuhvatati izbor kernela, kompilaciju grafa, grupisanje, planiranje memorije, keširanje i ubrzanje specifično za hardver. TensorRT Model Connect kompanije NVIDIA, najavljen u javnoj preliminarnoj verziji, jedan je primer alata namenjenog pretvaranju podržanih Hugging Face ili lokalnih kontrolnih tačaka u zaključivanje kroz TensorRT od početka do kraja, bez međukoraka izvoza u ONNX. Njegov navedeni cilj obuhvata robotske, uređajne i platformske radne zadatke.

Ove tehnike se međusobno pojačavaju. Destilacijom se može dobiti kompaktan model; kvantizacija može dodatno smanjiti njegov memorijski otisak; optimizovano okruženje za izvršavanje može utvrditi da li je dobijeni model zaista brz na predviđenom čipu.

Korisni rezultat nije isto što i manja datoteka

Kompresiju modela treba posmatrati kao proizvodni i sistemski zadatak, a ne kao trik za rang-liste. Model koji je 40 procenata manji, ali propušta kritične objekte pri lošem osvetljenju, može biti gori za skladišnog robota. Jezički model koji je jeftin po tokenu, ali generiše neispravan strukturirani izlaz, može povećati naknadni posao popravke. Model koji se dobro pokazuje na testu može zakazati kada se pojave termičko prigušivanje, šum kamere, povremeni prekidi veze ili neuobičajeni korisnički unosi.

Izveštaj kompanije Liquid AI o destilaciji svesnoj kvantizacije za njene male modele LFM2.5 koristan je primer cilja. Kompanija je navela da je zadržano 96.5% do 97.4% performansi BF16, uz očuvanje memorijske potrošnje i protoka Q4_0. Te brojke je objavila kompanija i specifične su za modele; ne treba ih uopštavati na svaku arhitekturu. Ali one pokazuju kakvo poređenje stručnjaci treba da traže: očuvanje kvaliteta mereno zajedno sa memorijom i brzinom, umesto samog odnosa kompresije.

Za primenu, test prihvatanja treba da obuhvati najmanje:

  • kvalitet zadatka na reprezentativnim, teškim primerima;
  • zahteve za vršnom memorijom i skladištem;
  • kašnjenje prvog odgovora i kašnjenje u ustaljenom stanju;
  • protok pri realističnom istovremenom radu;
  • potrošnju energije ili termičko ponašanje, gde je relevantno;
  • ponašanje pri greškama kada ulazi nedostaju, bučni su ili odstupaju od distribucije;
  • troškove i operativno opterećenje ažuriranja modela.

Tačne metrike razlikuju se od proizvoda do proizvoda. Kameri mogu biti važni broj kadrova u sekundi i broj lažno negativnih rezultata. Glasovnom interfejsu može biti važno ukupno vreme odziva od početka do kraja. Robotu mogu biti važni rokovi upravljačke petlje i bezbedno ponašanje u rezervnom režimu. Poenta je povezati procenu modela sa fizičkim ili finansijskim posledicama greške.

Gde se pojavljuju novi poslovi

Rastuća prilika nije ograničena na ljude koji osmišljavaju arhitekture. Ona obuhvata nekoliko praktičnih uloga:

  • Inženjeri za inferencu profilišu modele na ciljnim akceleratorima, biraju izvršna okruženja, optimizuju grafove i dijagnostikuju uska grla u latenciji ili memoriji.
  • Inženjeri za kompresiju modela osmišljavaju tokove kvantizacije i destilacije, biraju podatke za kalibraciju i mere gubitak kvaliteta po zadatku i segmentu.
  • Inženjeri za mašinsko učenje na ivici mreže pripremaju modele za mobilna, ugrađena, industrijska ili automobilska okruženja i upravljaju ažuriranjima uz ograničenu povezanost.
  • Softverski inženjeri za robotiku povezuju modele opažanja sa senzorima, sistemima za planiranje i bezbednosnim ograničenjima tamo gde je pravovremenost važna.
  • Inženjeri proizvoda koji vode računa o hardveru odlučuju da li određeno opterećenje pripada uređaju, ivici mreže ili oblaku — i projektuju nesmetane prelaze između njih.
  • Specijalisti za isporuku i validaciju izrađuju testne skupove koji obuhvataju termičke, energetske i mrežne uslove, kao i uslove iz stvarnog okruženja.

Posla ima i za programere aplikacija. Tim za proizvod možda ne obučava model, ali i dalje mora da izabere format modela, integriše biblioteku za inferencu, obradi nepodržane operatore, omogući ponašanje vezano za pouzdanost ili uzdržavanje od odgovora i učini nadogradnje reverzibilnim.

Podela između oblaka i ivice mreže postaje veština projektovanja

Mali modeli ne eliminišu modele u oblaku. Oni čine hibridne sisteme privlačnijim. Uređaj može da koristi kompaktan model za neposredno otkrivanje, a zatim da odabrane događaje pošalje većem modelu radi objašnjenja ili dublje analize. Robot može da zadrži bezbednosno kritično opažanje lokalno, dok oblak koristi za učenje na nivou cele flote. Proizvod za korisničku podršku može rutinsku klasifikaciju da usmeri ka malom modelu, a nejasne slučajeve da prosledi sposobnijem modelu.

Ova arhitektura može da smanji propusni opseg i latenciju, ali uvodi odluke za koje je potrebno jasno odrediti odgovornost. Koje informacije se šalju van uređaja? Šta se dešava bez povezanosti? Koja verzija modela je proizvela određenu radnju? Može li uređaj bezbedno da se vrati na prethodnu verziju? Kako se prati učinak kada se svaka hardverska konfiguracija ponaša drugačije?

To su pitanja isporuke, a ne samo pitanja modela. Ona nagrađuju stručnjake koji razumeju veze između mašinskog učenja, ugrađenih sistema, umrežavanja, zahteva proizvoda i operacija.

Praktičan put učenja

Ako želite da se usmerite ka ovom poslu, napravite jednu malu, ali merljivu implementaciju, umesto da samo skupljate sertifikate za modele. Počnite od zadatka sa jasno definisanim ciljem, kao što su klasifikacija slika, prepoznavanje ključnih reči, kategorizacija dokumenata ili kompaktni lokalni asistent.

  1. Uspostavite početnu osnovu. Zabeležite kvalitet, veličinu modela, upotrebu memorije, latenciju i propusnost koristeći ponovljiv testni skup.
  2. Kvantizujte ga. Uporedite najmanje jednu verziju niže preciznosti sa početnom osnovom. Dokumentujte koji se primeri menjaju i da li se greške koncentrišu u važnoj kategoriji.
  3. Isprobajte destilaciju ili fino podešavanje specifično za zadatak. Izmerite da li manji model može da očuva ponašanje koje je proizvodu zaista potrebno.
  4. Pokrenite ga na ciljnom hardveru. Test na desktop računaru nije dokaz o ponašanju na telefonu, mikroračunaru, GPU-u, akceleratoru ili računaru robota.
  5. Pripremite implementaciju. Uključite pretprocesiranje, postprocesiranje, metapodatke o verziji, provere ispravnosti i rezervni put.
  6. Napišite izveštaj o kompromisima. Objasnite zašto izabrani model predstavlja najbolji izbor u pogledu kvaliteta, latencije, memorije, energije, privatnosti i troškova — a ne samo zašto ima najbolji rezultat.

Korisni alati zavise od ciljnog steka, ali prenosive veštine su dosledne: profilisanje, numeričko rezonovanje, izbor podataka, projektovanje testova, otklanjanje grešaka i jasno saopštavanje kompromisa. Naučite da čitate graf modela, proveravate podršku za operatore, prepoznajete premeštanje memorije kao usko grlo i razlikujete teorijski račun od izmerene latencije od početka do kraja.

Signal za karijeru

Važan pomak u karijeri jeste prelazak sa pitanja „Koji model je najpametniji?“ na pitanje „Koji sistem isporučuje zahtevani rezultat u stvarnim ograničenjima?“ Veliki modeli će i dalje biti dragoceni, naročito za otvoreno rezonovanje i složeno generisanje. Ali mnogi komercijalni zadaci i zadaci iz fizičkog sveta dovoljno su uski da kompaktan, brz i privatan model može biti bolji proizvod.

To otvara prostor za stručnjake koji mogu da povežu istraživanje i implementaciju. Pobednici neće uvek biti timovi sa najvećim modelom. To mogu biti timovi koji razumeju opterećenje, inteligentno kompresuju, pošteno mere performanse i isporučuju pouzdan sistem na dostupnom hardveru.

Za karijeru u veštačkoj inteligenciji, to je trajna lekcija: inteligencija je samo jedan deo onoga što se isporučuje. Drugi deo je učiniti da se uklopi.