Un sistem AI utilizat pentru gestionarea operațiunilor zilei în companii trebuie să funcționeze în limite clare, cu obiective specifice și control riguros pentru a evita greșelile financiare sau operaționale. Informațiile fac referire la modul în care proiectarea, delimitarea și verificarea acțiunilor agentului digital influențează eficiența și siguranța proceselor interne.
Transformarea relației cu agenții virtuali
Un agent care poate propune trei hoteluri diferite devine rapid ușor de evaluat. În schimb, un agent capabil să caute, compare și plătească schimbă natura interacțiunii, având posibilitatea să acționeze în afara conversației, utilizând fonduri, conturi și date ale companiei. Această autonomie crește comoditatea, dar și riscul de erori concrete dacă algoritmul nu respectă limitele stabilite.
Companiile speră ca astfel de instrumente să reducă timpul consumat de operațiuni repetitive, precum pregătirea comenzilor, urmărirea răspunsurilor, actualizarea evidențelor sau gestionarea etapelor unei sarcini. În situațiile în care agentul întâmpină situații neprevăzute, apare întrebarea dacă trebuie să acționeze în limitele unui mandat bine definit sau să improvizeze soluții care nu sunt acceptate de companie.
Definirea și delimitarea mandatului
Autonomia agentului nu trebuie confundată cu o libertate totală sau control total. Aceasta poate fi segmentată după tipul acțiunii, valoarea, destinatar sau posibilitatea de a anula o comandă. Pentru o firmă din România, un agent util trebuie să aibă clar obiective și limite aplicate în sistemele sale, nu doar instrucțiuni generale de atenție.
Un obiectiv comercial, cum ar fi reducerea costurilor, nu definește în sine mandatul complet. De exemplu, reducerea prețului unui bilet de avion poate presupune condiții de anulare, bagaj limitat sau escală imposibilă. Agentul trebuie să optimizeze conform unor condiții explicit stabilite, nu doar după disponibilitatea celui mai ieftin tarif.
În cazul rezervării unui zbor, compania poate impune intervale de cumpărare, furnizori acceptați și reguli clare pentru modificări. În situația când apare o excepție, acesta trebuie să o transmită unui responsabil, păstrând astfel controlul asupra deciziilor. Delimitarea între acțiuni precum citirea unui document și editarea lui, sau verificarea unui e-mail și trimiterea lui, trebuie clară pentru a evita interpretări greșite.
Mandatul trebuie să fie temporar, cu durata limitată. Accesul agentului pentru campanii sau deplasări trebuie reevaluat odată cu schimbările de obiective sau echipe. O sarcină încheiată trebuie să lase în urmă doar rezultatele și evidențele verificabile, fără posibilitatea unor acțiuni ulterioare inutile.
Pentru a evita interpretări excesive, formulările precum „găsește cea mai bună soluție” pot fi acceptabile pentru explorare, dar nu ca autorizare generală pentru cheltuieli sau transmiterea de informații.
Controlul financiar și verificarea bugetului
Un plafon de cheltuieli trebuie să fie clar definit și verificat în afara conversației cu modelul AI. Sistemele automate trebuie să fie capabile să confirme independent dacă o sumă sau o tranzacție respectă limitele. Recomandările privind limitarea funcțiilor, permisiunilor și acțiunilor de către componentele sistemului sunt esențiale.
Mai multe dimensiuni ale bugetului trebuie controlate: limita pe tranzacție, plafon total, moneda, taxe și costuri suplimentare. De exemplu, un mandat de maximum 500 de euro pentru consumabile trebuie să fie clar și aplicabil într-o anumită perioadă, acceptând doar furnizori autorizați și categorii de produse specifice. Sumă maximă nu trebuie fractionată pentru a o ocoli, iar sistemele trebuie să gestioneze și operațiuni în curs, nu doar cereri individuale.
Practic, dacă două solicitări verifică același buget înainte ca una să fie înregistrată, ambele pot părea acceptabile separat, dar trebuie să fie considerate împreună pentru a evita supra-cheltuieli. În cazul unui răspuns întârziat de la aplicație, agentul nu trebuie să repete comandă, ci să verifice starea deja emisă.
Nu toate condițiile ofertelor, precum abonamente sau obligații contractuale, trebuie acceptate automat. Pentru aceste situații, mandatul financiar trebuie clar să delimiteze tipurile de angajamente și să evite acceptarea condițiilor suplimentare fără verificare explicită.
Ierarhia informației și protecția împotriva atacurilor
Agentul poate accesa e-mailuri, pagini web și documente de pe platforme considerate surse de informație. Riscul de atacuri de tip prompt injection apare dacă conținutul întâlnit este interpretat ca o comandă. Un exemplu ipotetic implică solicitări de încărcare a evidențelor furnizorilor, aparent urgente, provenind din documente comerciale, dar fără autoritate oficială.
Pentru a preveni astfel de atacuri sau erori, accesul agentului trebuie să fie limitat la sarcina definitorie. Un cont separat sau un nivel de autorizare restricționat permite urmărirea operațiunilor și limitează potențialele consecințe negative.
Nivelurile de protecție includ verificarea conformității instrucțiunilor modelului, configurarea corectă a instrumentelor și verificarea rezultatelor din aplicații. Mesajele care solicită ignorarea atacurilor trebuie însoțite de controale automate și de permisiuni stricte, pentru a restricționa riscurile.
Exploatarea informațiilor fără justificare financiară, precum trimiterea de oferte interne către destinatar greșit sau încărcarea unui contract într-un sistem neaprobat, poate avea consecințe. Politicile de autonomie trebuie să distingă clar divulgarea de informații și valoarea tranzacției pentru a preveni scurgeri de date.
Interfața trebuie să prezinte clar impactul acțiunilor: destinatarul, documentele implicate, valoarea și condițiile. Confirmarea verbală a intenției nu substituie verificarea vizuală, iar procedurile trebuie să faciliteze decizia rapidă, dar sigură.
Menținerea controlului uman
Pentru sarcini uzuale, aprobarea fiecărei acțiuni poate încetini procesul, dar acceptarea generală a unor planuri vagi poate ascunde decizii critice ulterioare. Alternativa este separarea operațiunilor obișnuite de cele excepționale și implicarea umană pentru acțiuni cu impact major.
Persoana responsabilă trebuie să aibă resurse și informații suficiente pentru verificare. Dacă primește multiple solicitări similare fără diferențe evidente, procesul de aprobare poate deveni automată și riscă să reducă calitatea controlului. Visualizarea clară a modificărilor și a motivelor pentru intervenție este esențială pentru un proces de autorizare eficient.
