Kuo prototipinis AI agentas skiriasi nuo produkcinio?

Prototipas įrodo, kad idėja įmanoma: jis gerai suveikia su tvarkingu įvedimu, kai žmogus stebi ir gali įsikišti. Produkcinis agentas turi veikti patikimai be priežiūros — su netvarkingais duomenimis, tinklo klaidomis, netikėtais atvejais ir didesne apimtimi. Skirtumas yra ne modelio kokybėje, o saugikliuose aplink jį: ribose, klaidų tvarkyme, žmogaus patvirtinimo taškuose, žurnale ir stebėjime. Todėl demo, kuris „veikia“, dažnai dar toli nuo to, ką galima palikti dirbti savaitgaliui.

Kiek laiko užtrunka paversti prototipą produkciniu agentu?

Patį prototipą dažnai galima pastatyti per kelias dienas, o didžiąją laiko dalį suvalgo būtent kelias į produkciją: klaidų atvejų surinkimas, testų sukūrimas, žmogaus patvirtinimo taškų sudėliojimas ir stebėjimo įdiegimas. Tikslus laikas priklauso nuo to, kiek rizikingi agento veiksmai ir kiek integracijų jis liečia — kuo daugiau negrįžtamų veiksmų (pinigai, laiškai klientams, duomenų trynimas), tuo daugiau reikia saugiklių. Praktinis būdas nesustoti amžinai — paleisti agentą siauroje, mažos rizikos srityje anksti ir plėsti tik įrodžius patikimumą.

Ko dažniausiai trūksta AI agentui, kuris „veikia demo, bet lūžta realybėje“?

Dažniausiai trūksta trijų dalykų. Pirma — tvarkymo, kai agentas nežino atsakymo arba gauna netikėtą įvedimą: vietoj to, kad sustotų ar paklaustų, jis „išsigalvoja“. Antra — žmogaus patvirtinimo prieš negrįžtamus veiksmus, todėl viena klaida iškart tampa reali. Trečia — stebėjimo ir žurnalo, todėl kai kažkas nutinka, niekas to nepastebi ir neįmanoma suprasti, kas atsitiko. Šiuos tris dalykus pridėjus, tas pats agentas iš „demo“ tampa tinkamas realiam darbui.

Ar produkciniam agentui reikia geresnio modelio?

Paprastai ne. Į produkciją agentą paverčia ne galingesnis modelis, o inžinerija aplink jį: aiškios ribos, klaidų tvarkymas, patvirtinimo taškai, žurnalas ir testai. Galingesnis modelis gali pagerinti atsakymų kokybę, bet nepašalins rizikos, kad jis atliks negrįžtamą veiksmą su bloga informacija. Todėl pirmiau verta investuoti į saugiklius, o modelio pasirinkimą optimizuoti vėliau — pagal realias klaidas ir savikainą.

Kaip saugiai didinti agento savarankiškumą?

Laipsniškai ir pagal įrodymus. Pradžioje agentas viską tik ruošia — juodraščius, pasiūlymus, veiksmų planus — o nieko negrįžtamo neatlieka pats. Kelias savaites stebi, kuriuose veiksmų tipuose jis buvo tikslus ir kur klaidos kaina maža; būtent tuos po vieną perkeli į automatinį vykdymą. Rizikingus ir retus veiksmus palieki tvirtinti žmogui dar ilgai. Taip sistema tampa savarankiškesnė tik ten, kur pati parodė, kad yra patikima.

Nuo prototipo iki produkcijos: kaip AI agentą paruošti realiam darbui

Nuo prototipo iki produkcijos AI agentą paruošti reiškia perėjimą nuo „veikia, kai aš stebiu“ prie „veikia patikimai, kai manęs nėra“. Prototipas įrodo idėją su vienu geru pavyzdžiu; produkcija turi atlaikyti blogus įvedimus, klaidas, pasikeitusius duomenis ir apimtį. Praktiškai tam reikia kelių dalykų: aiškiai apibrėžtų agento ribų ir teisių, tvarkymo, kai jis „nežino“ arba suklysta, žmogaus patvirtinimo negrįžtamiems veiksmams, veiksmų žurnalo, testų su realiais atvejais, stebėjimo su įspėjimais ir laipsniško autonomijos didinimo. Prototipą galima pastatyti per dienas; į produkciją jį paverčia ne dar vienas promptas, o šie saugikliai.

Beveik kiekvienas, kas pabando statyti AI agentą, greitai patiria tą patį jausmą: per porą vakarų atsiranda kažkas, kas realiai veikia. Agentas atsako į klausimą, sutvarko lentelę, parašo juodraštį — ir atrodo, kad darbas beveik baigtas. Tada jis paleidžiamas realiai, ir prasideda tikroji dalis: netvarkingas įvedimas, atvejai, apie kuriuos niekas negalvojo, tyli klaida, kurios niekas nepastebi. Šis atotrūkis tarp „veikia demo“ ir „galima palikti dirbti“ yra bene svarbiausias dalykas, kurį reikia suprasti apie AI agentus.

Kodėl demo apgauna

Prototipas apgauna, nes jį testuojame patys ir gražiai. Įvedame tvarkingą klausimą, stebime atsakymą, o jei kas negerai — iškart pataisome. Realybėje nė vienos iš šių sąlygų nebūna: įvedimą duoda klientas arba kita sistema, atsakymo niekas nestebi, o klaidą pamatai tik tada, kai jau vėlu. Prototipas atsako į klausimą „ar tai įmanoma?“, o produkcija atsako į visai kitą klausimą — „ar tai patikima, kai manęs nėra?“.

Todėl demo, kuris suveikia devynis kartus iš dešimties, dar nėra pusiaukelė iki produkcijos. Tas dešimtas kartas — blogas įvedimas, dviprasmiškas atvejis, nutrūkusi integracija — produkcijoje kartosis nuolat, ir būtent nuo to, kaip agentas jį sutvarko, priklauso, ar juo galima pasitikėti.

Ką realiai reikia pridėti

Kelias nuo prototipo iki produkcijos nėra „geresnis promptas“. Tai eilė saugiklių, kuriuos sudėlioji aplink tą patį agentą. Žemiau — pagrindinės sritys ir kuo jos skiriasi abiejose stadijose.

Sritis	Prototipas	Produkcija
Įvedimas	Tvarkingas, tavo paties	Netvarkingas, iš išorės, netikėtas
Klaidos	„Pataisysiu vietoje“	Numatytos, tvarkomos automatiškai
Ribos ir teisės	Neapibrėžtos	Aiškios: ką gali, ko ne, prie ko prieina
Negrįžtami veiksmai	Atliekami iškart	Tik su žmogaus patvirtinimu
Žurnalas	Nėra	Kiekvienas veiksmas užfiksuotas
Stebėjimas	Žiūri pats	Automatiniai įspėjimai, kai kažkas ne taip
Autonomija	Iškart „viską pats“	Didinama laipsniškai, pagal įrodymus

Šią lentelę verta laikyti kaip patikros sąrašą. Jei bent viena eilutė vis dar „prototipo“ stulpelyje, agento dar negalima palikti dirbti be priežiūros.

Ribos, teisės ir „nežinau“ saugiklis

Pirmas žingsnis į produkciją — aiškiai apibrėžti, ką agentas gali daryti, ko ne ir prie kokių duomenų jis apskritai prieina. Gera taisyklė paprasta: suteik tik tiek prieigos, kiek reikia darbui. Jei agentas tvarko vieną pašto aplanką, jam nereikia visos istorijos; jei jis ruošia sąskaitas, jam nereikia teisės jas išsiųsti. Kuo siauresnės teisės, tuo mažesnė klaidos kaina.

Antras, dažnai pamirštamas dalykas — kas nutinka, kai agentas nežino atsakymo arba gauna netikėtą įvedimą. Prototipe jis tiesiog „išsigalvoja“, nes taip atrodo sklandžiau. Produkcijoje tai pavojinga. Patikimas agentas turi turėti aiškų „nežinau“ kelią: sustoti, pažymėti atvejį ir perduoti žmogui, o ne užpildyti spragą prasimanymu. Tas pats galioja klaidoms — nutrūkusiai integracijai ar tuščiam atsakymui: jos turi būti numatytos ir tvarkomos, o ne griauti visą procesą.

Žmogaus patvirtinimas ir žurnalas

Kai agentas atlieka negrįžtamus ar reputaciją veikiančius veiksmus — siunčia laišką klientui, keičia kainą, tvirtina mokėjimą, trina duomenis — būtinas žmogaus patvirtinimo taškas. Tai nėra automatizacijos silpnybė; tai būtent tai, kas leidžia ramiai miegoti, kol sistema dirba. Modelis gali gražiai suformuluoti net rizikingą veiksmą, todėl paskutinį sprendimą jautriose vietose priima žmogus. Šį principą plačiau aptariame straipsnyje apie tai, kodėl AI agentui reikia žmogaus patvirtinimo.

Antras būtinas sluoksnis — veiksmų žurnalas. Produkcinis agentas turi palikti pėdsaką: ką gavo, ką nusprendė, ką padarė ir kada. Be žurnalo neįmanoma nei suprasti, kas nutiko, kai kažkas sulūžo, nei įrodyti, kad viskas vyko teisingai. Žurnalas taip pat yra pagrindas duomenų atsakomybei — kas prie ko prisilietė ir kada, o tai svarbu ir dėl duomenų privatumo bei GDPR reikalavimų.

Testai, stebėjimas ir laipsniška autonomija

Prototipą testuoji vienu geru pavyzdžiu. Produkcijai reikia rinkinio realių atvejų — ypač blogų: tuščias įvedimas, dviprasmiškas klausimas, netikėtas formatas, klaidingas duomuo. Kiekvieną kartą, kai agentas suklysta realybėje, tą atvejį verta paversti nauju testu, kad ta pati klaida nebepasikartotų. Taip testų rinkinys auga kartu su sistema ir tampa apsauga nuo regresijų — kad taisant vieną dalyką nesulūžtų kitas.

Stebėjimas atsako į klausimą, kurį prototipas ignoruoja: kaip sužinosi, kad kažkas ne taip, kai nežiūri? Produkcinis agentas turi turėti automatinius įspėjimus — kai klaidų daugėja, kai atsakymai keistėja, kai apimtis šokteli. Kaip pamatuoti, ar agentas realiai atlieka darbą gerai, plačiau rašome straipsnyje apie AI sprendimo kokybės matavimą.

Galiausiai — autonomija didinama laipsniškai. Nauja klaida yra tikėtis, kad agentas iškart darys viską pats. Kur kas patikimiau leisti jam pradžioje tik ruošti — juodraščius, pasiūlymus, planus — o negrįžtamų veiksmų neatlikti. Kelias savaites stebi, kur jis buvo tikslus ir kur klaidos kaina maža, ir būtent tuos veiksmus po vieną perkeli į automatinį vykdymą. Rizikingus ir retus veiksmus palieki tvirtinti žmogui dar ilgai. Tai tas pats principas, kurį taikome statydami pirmą agentą smulkiam verslui: pradėti siaurai ir plėsti tik įrodžius patikimumą.

Nuo ko pradėti

Jei jau turi prototipą, kuris „veikia“, nepradėk nuo antro agento — pradėk nuo to, kad šitą paverstum patikimu. Pasižymėk, kur jis atlieka negrįžtamus veiksmus, ir pirmiausia ten įdėk žmogaus patvirtinimo taškus. Tada surink kelis blogus atvejus, paversk juos testais ir įjunk paprastą veiksmų žurnalą. Tik tada leisk agentui veikti siauroje, mažos rizikos srityje ir stebėk kelias savaites, prieš plėsdamas.

Jei nori, kad prototipą paverstume produkciniu agentu — su aiškiomis ribomis, klaidų tvarkymu, žmogaus patvirtinimo taškais, žurnalu ir stebėjimu — pažiūrėk, ką apima AI agentų ir chatbotų paslauga ir kaip diegiame procesų automatizaciją nuo audito iki veikiančios sistemos automatizacijos diegimo paslaugoje. Platesnę galimybių apžvalgą rasi paslaugų puslapyje, o įvertinti, ką konkrečiai reikia pridėti tavo agentui prieš paleidžiant, galim kartu per nemokamą konsultaciją.