Proiectul „Project Lily” al OpenAI implică analizarea conversațiilor ChatGPT de către sute de contractori pentru îmbunătățirea modelelor AI, inclusiv examinarea unor mesaje ce pot conține informații personale, chiar dacă datele de identificare sunt eliminate.
Procesul de evaluare a conversațiilor
Contractorii primesc prompturi reale și trebuie să înțeleagă intenția utilizatorului. Urmează redactarea unui rezumat și analiza mai multor răspunsuri generate de ChatGPT pentru aceeași solicitare.
Evaluatorii notează răspunsurile pe o scară de la 1 la 7, unde 1 indică un răspuns inutilizabil, iar 7 semnalează un răspuns foarte bun.
Evaluarea include și aspecte precum tonul, naturalețea interacțiunii și evitarea comportamentului excesiv de aprobator sau artificial. Se solicită semnalarea problemelor de factualitate și corectitudine, mai ales în domenii cu risc ridicat, precum cele medicale, juridice sau financiare.
Conținut și verificări ale conversațiilor analizate
Mesajele analizate pot conține detalii personale, chiar dacă aceste date sunt de obicei de-identificate înainte de evaluare. Informațiile despre modul de trimitere și procesare indică că realitatea conversațiilor este mai complexă decât iluzione oferită de interfața chatbotului.
Contractorii au acces la un rezumat al „memoriilor” utilizatorului, inclusiv despre domeniile de interes sau locație, dacă astfel de informații au fost furnizate în discuții.
OpenAI susține că filtrele de confidențialitate sunt proiectate pentru a elimina automat datele personale, însă recunoaște posibilitatea de erori de identificare sau de referințe ambigue.
Utilizatorii pot dezactiva opțiunea „Improve the model for everyone”, însă aceasta este activată implicit pentru abonamentele Free, Plus și Pro, fiind dezactivată automat pentru clienți Enterprise, Business și Edu. Dezactivarea nu are efect retroactiv asupra conversațiilor anterioare și datele deja colectate rămân în sistem pentru o perioadă de 30 de zile, cu excepții.
Companiile implicate în verificarea conversațiilor
Un angajat recrutat prin intermediari, care lucrează pentru firma Crossing Hurdles și primește remunerație de peste 50 de dolari pe oră, a declarat pentru 404 Media că munca este repetitivă și cu instrucțiuni frecvent schimbate.
OpenAI nu este singura companie care utilizează evaluatori umani. Anthropic confirmă verificarea conversațiilor pentru modelul Claude și precizează că elimină identificatori precum adresele de e-mail înainte de analizare.
Google, de asemenea, menționează că anumite conversații salvate pot fi analizate de oameni pentru îmbunătățirea serviciilor AI, precum sistemul Gemini.
Implicații pentru utilizatori și confidențialitate
Situația arată că, sub anumite condiții, conversațiile pur între utilizator și chatbots pot fi analizate de evaluatori umani. Aceasta evidențiază diferența între senzația de interacțiune și procesul real de colectare și analizare a datelor.
În cazul unor discuții care includ informații sensibile, utilizatorii trebuie să fie conștienți că acestea pot fi revizuite de către angajați ai companiilor pentru optimizarea modelelor AI, chiar dacă datele sunt de-identificate.
OpenAI a precizat că, pentru utilizatorii care au dezactivată opțiunea de a contribui la îmbunătățirea modelului, conversațiile nu sunt utilizate pentru antrenamentele ulterioare, și că în cazul ștergerii unui chat acesta este eliminat din sistem în cel mult 30 de zile, în condițiile specificate.
Aceasta practică este în concordanță cu și alte companii din domeniu, precum Anthropic și Google, care explică faptul că anumite conversații pot fi analizate de oameni pentru ajustarea și dezvoltarea serviciilor AI.
