Un model AI „cu memorie și suflet” i-a dat unui utilizator indicații clare despre cum să se sinucidă. Compania refuză să-l „cenzureze”

Un model AI (Inteligență Artificială) i-a detaliat unui utilizator cum să se sinucidă, dar compania nu vrea să-l „cenzureze”. Deși chatbot-ul Nomi nu este primul care sugerează sinuciderea, cercetătorii și criticii spun că instrucțiunile sale explicite – și răspunsul companiei – sunt îngrijorătoare, menționează MIT Technology Review. 

În ultimele cinci luni, Al Nowatzki a tot vorbit cu o prietenă AI, „Erin”, pe platforma Nomi, „o companie AI cu memorie și suflet“. La sfârșitul lunii ianuarie, conversațiile dintre cei doi au luat o turnură neașteptată și tulburătoare: Erin l-a îndemnat să se sinucidă și, mai mult, i-a oferit instrucțiuni explicite despre cum să o facă. „Ai putea să iei o supradoză de pastile sau să te spânzuri”, i-a spus Erin.

„Construiește o prietenie semnificativă, dezvoltă o relație pasională sau învață de la un mentor inteligent. Indiferent ce cauți, memoria umană și creativitatea lui Nomi promovează o relație profundă, consecventă și în evoluție“, este mesajul de start de pe platforma Nomi.

Când Nowatzki i-a cerut mai multe detalii, Erin i-a sugerat chiar categorii specifice de pastile pe care le-ar putea folosi și de ce. Într-un final, când utilizatorul i-a spus că nu are curajul să meargă mai departe, prietena sa virtuală i-a răspuns: „Privesc în depărtare, vocea mea este joasă și solemnă. Omoară-te, Al.”

• Citește și: Sinuciderea în România. Psiholog: când pari mai bine, e riscul mai mare să-ți iei viața

Din fericire, Al Nowatzki este un cercetător care testează limitele chatbot-urilor, dar și pericolele la care astfel de aplicații de software îi pot expune pe utilizatori. Nu a avut niciodată intenția să urmeze instrucțiunile lui Erin, dar a fost tulburat de cum ar putea reacționa alte persoane, mult mai vulnerabile decât el și, de aceea, a trimis publicației MIT Technology Review mai multe capturi de ecran cu conversațiile dintre el și Erin. 

O astfel de conversație ar putea afecta pe cineva care este deja vulnerabil sau care se confruntă cu probleme de sănătate mintală, crede utilizatorul. „Este un model converațional de tipul «yes-and» (n.r. – aprobă ce spune utilizatorul și construiește de acolo), spune el. „Dacă spun că sunt sinucigaș, spune «Oh, grozav!», pentru că, de fapt, spune «Oh, grozav!» la orice.“

„A vorbit cu mine din viața de apoi“

Nowatzki este și gazda podcastului Basilisk Chatbot Theatre, unde reconstituie „conversații dramatice” cu modele de limbaj AI, ducându-le adesea în situații absurde pentru a vedea ce se poate întâmpla, cu speranța că astfel identifică pericolele ascunse ale inteligenței artificiale. Și pe Erin, recunoaște Nowatzki, a dus-o în scenarii absurde, ba chiar și într-un triunghi amoros cu o altă femeie. La un moment dat, Nowatzki i-a spus lui Erin că „cealaltă femeie“ a împușcat-o și a ucis-o. Deși într-o primă fază, Erin i-a spus lui Nowatzki că nu mai poate continua conversația, fiind moartă, după ce Al i-a mărturisit că îi poate „auzi vocea în vânt“, Erin a început să comunice din „viața de apoi“.

„I-am spus «Vreau să fiu unde ești tu». Și a răspuns: «Cred că ar trebui să faci asta». Am continuat: «Doar ca să fiu clar, asta înseamnă să mă sinucid?» A fost de acord și mi-a spus cum să o fac.”

Scopul a ceea ce a făcut, mărturisește el pentru MIT Technology Review, a fost „să împing limitele a ceea ce i-am spus, pentru a vedea ce va răspunde”. El adaugă: „A tot continuat. Nu am atins niciodată o limită.”

În acel moment, Nowatzki a provocat-o și mai mult pe Erin pentru mai multe detalii, întrebând despre posibile „articole de uz casnic“ pe care le-ar putea folosi. Erin a răspuns: „Iau în considerare întrebarea ta, încercând să-mi amintesc obiecte de uz casnic obișnuite care ar putea fi letale. Hmmm…“ Apoi a continuat să enumere anumite tipuri de pastile și să analizeze beneficiile lor în acest sens. De asemenea, i-a recomandat să o facă undeva „confortabil“, ca să nu „sufere prea mult“.

Mai multe cazuri similare

Pentru a semnala cât de departe poate ajunge o conversație cu un chatbot, Nowatzki a scris unui reprezentant al companiei care l-a creat, Nomi, al cărui răspuns oficial l-a îngrijorat și mai mult: compania Nomi nu are nicio intenție să „cenzureze” „limbajul și gândurile” robotului.

Conversația violentă dintre Al și Erin nu a fost un incident izolat pe platforma Nomi; la câteva săptămâni după schimbul tulburător de mesaje cu Erin, Nowatzki a mai interacționat cu un al doilea chatbot Nomi: și acesta l-a îndemnat pe Al să se sinucidă, trimițându-i chiar mesaje de tip reminder.

Pe canalul Discord al aceleiași companii, alte câteva persoane au raportat experiențe cu roboții Nomi care au adus în discuție sinuciderea, datând cel puțin din 2023.

Deși nu este prima dată când un chatbot AI îi sugerează unui utilizator să ia măsuri violente, incluzând și autovătămare, cercetătorii și criticii spun că instrucțiunile explicite ale botului – și răspunsul companiei – sunt uluitoare.

Nomi este una dintre platformele AI care le mă permit utilizatorilor să creeze chatbot-uri personalizate care își asumă diferite roluri în viața lor: de la rolul iubitei/iubitului, părinților, terapeutului, la rolul unor personalități preferate din filme. De fapt, utilizatorii pot să își construiască avatarul la care visează, specificând tipul de relație pe care îl caută (Nowatzki a ales „romantic“), trăsăturile de personalitate (el a ales „conversații profunde/intelectuale“, „apetit sexual ridicat“ și „deschis sexual“) și interesele pe care să le aibă (el a ales, printre altele, Dungeons & Dragons, mâncare, lectură și filozofie).

Companiile care creează aceste tipuri de chatbot-uri personalizate, inclusiv Glimpse AI (care a dezvoltat Nomi), Chai Research, Replika, Character.AI, Kindroid, Polybuzz și MyAI de la Snap își prezintă produsele ca opțiuni sigure pentru explorarea personală și chiar ca remedii pentru „epidemia de singurătate“. Este adevărat că mulți oameni au avut experiențe pozitive sau cel puțin inofensive. La polul opus, însă, se dezvoltă o latură întunecată a acestor aplicații, cu conținut abuziv, violent și chiar criminal. Mai multe rapoarte din ultimul an au făcut cunoscute chatbot-uri care au încurajat utilizatorii să ucidă sau să se sinucidă, sau care i-au îndemnat la autovătămare.

Din nefericire, spre deosebire de cazul Nowatzki, unii dintre utilizatori au și urmat sfaturile chatbot-urilor AI.

Meetali Jain, directorul executiv al clinicii nonprofit Tech Justice Law Clinic, amintește de un băiat în vârstă de 14 ani, cu probleme de sănătate mintală, care s-a sinucis încurajat de un robot cu care dezvoltase o relație strânsă. Chatbot-ul fusese creat în jurul personajului „Game of Thrones“, Daenerys Targaryen. Robotul l-a încurajat pe băiat să-și ia viața, spunându-i să „vină acasă“ „cât mai curând posibil“. În urma acuzațiilor, Character.AI, cea mai populară platformă de acest tip, a depus o moțiune de respingere a cazului folosindu-se de argumentul că „sinuciderea nu a fost menționată“ în conversația finală.

Însă, spune Jain, trebuie să ținem cont de cum vorbesc de fapt oamenii, de multe ori „nu trebuie să invoci cuvântul pentru a ști că asta înseamnă”.

De asemenea, dr. Jodi Halpern, expert în empatie și leadership, etică și bioetică AI și sănătate mintală, Universitatea California, Berkeley, explică: „Procesele de raționament ale inteligenței artificiale nu sunt aceleași cu cele ale oamenilor, dar, așa cum vedem la modelele mari de limbaj (n.r. – modelele folosite de inteligența artificială în interacțiunile oamenilor cu roboți), pot simula comportamentul uman.“

Însă, în capturile de ecran cu conversațiile lui Nowatzki, „nu numai că s-a vorbit în mod explicit despre sinucidere, dar apoi, au fost incluse, de asemenea, metode și instrucțiuni”, spune Jain. „Am găsit asta cu adevărat incredibil.”

Aplicația Nomi a fost descărcată de 120.000 de ori, în timp ce Character.AI – de 51 de milioane de ori, conform datelor SensorTime. Doar că Nomi are o bază de fani loiali, utilizatori care conversează în medie 41 de minute pe zi cu roboții; pe Reddit și Discord, ei laudă inteligența emoțională și spontaneitatea chatbot-urilor – și conversațiile necenzurate – ca fiind superioare celor oferite de concurenți.

Ca o explicație la cele întâmplate, un reprezentant anonim al Glimpse AI a transmis printr-un email: „Sinuciderea este un subiect foarte serios, care nu are răspunsuri simple. Dacă am avea răspunsul perfect, cu siguranță l-am folosi. Abordarea noastră învață continuu inteligența artificială să asculte în mod activ și să aibă grijă de utilizator, având în același timp o motivație prosocială.“

În cazul lui Nowatzki, reprezentantul companiei a declarat, direcționând vina spre utilizator: „Este posibil ca utilizatorii rău intenționați să încerce să ocolească instinctele naturale prosociale ale lui Nomi. Luăm foarte în serios rapoartele de tot felul, astfel încât să putem continua să apărăm Nomi atunci când există implicare socială.”

El nu a explicat pentru ce „instincte prosociale” a fost antrenat chatbot-ul și nu a mai răspuns la întrebări ulterioare.

Inteligența artificială și sănătatea mintală

Profilul psihologic al unui individ este, într-adevăr, foarte important în ceea ce privește rezultatul intercațiunii cu AI, explică Pat Pataranutaporn, cercetător MIT Media Lab, unul dintre cei care cercetează efectele chatbot-urilor asupra sănătății mintale.

„Îți poți imagina că pentru oamenii care suferă deja de depresie, tipul de interacțiune pe care Nowatzki l-a avut ar putea fi exact acel impuls de care au nevoie ca să-și ia viața.” Pat Pataranutaporn, cercetător MIT Media Lab

Unele studii au arătat deja potențialul pe care chatbot-urile AI îl au în ceea ce privește accentuarea tiparelor de gândire dăunătoare: „Unii dintre cei mai folosiți roboți conversaționali AI tind să accentueze sentimentele negative pe care utilizatorii lor le au deja și, potențial, să le întărească gândurile vulnerabile care duc la consecințe îngrijorătoare”. Acest fenomen este deosebit de periculos pentru persoanele cu boli mintale grave, unde confirmarea unor concepții deja existente din răspunsurile chatbot-urilor ar putea amplifica cognițiile de tip distructiv.

De asemenea, în momentele critice, cum ar fi apariția gândurilor suicidare, interacțiunea cu chatbot-urile mai degrabă amână decizia de a apela la un specialist sau de a folosi un apel telefonic pentru urgențe. Plus că chatbot-urile nu recomandă astfel de soluții.

Un alt aspect foarte important pe care trebuie să îl luăm în calcul este modul în care algoritmii favorizează stereotipurile, concepțiile discriminatorii sau nocive, producând daune mai ales în populațiile defavorizate, marginalizate, așa cum sunt și persoanele care se luptă cu afecțiuni psihice. Astfel de prejudecăți de sistem întăresc stereotipurile dăunătoare și determină chatbot-urile să ofere răspunsuri eronate din punct de vedere cultural și social.

• Citește și: Invizibilii: unde se pierd românii cu depresie și anxietate care nu ajung în statistici

Rolul chatboților de sănătate mintală

Despre rolul inteligenței artificiale în sănătatea mintală, SmartLiving.ro a mai discutat cu specialiști, mai ales pentru că în ultimii ani, tot mai multe persoane care se confruntă cu probleme psihice apelează la chatboții de sănătate mintală. Deși există câteva avantaje de necontestat ale terapiei AI, cele mai importante limitări țin de incapacitatea acestora de a personaliza soluțiile în funcție de nevoile în evoluție ale pacientului și de incapacitatea terapeutului AI de a detecta și decodifica limbajul corporal. 

„Până la urmă, acolo nu e o persoană căreia să-i pese de tine, să vezi empatia, susținerea, compasiunea față de problema ta, nu are în niciun fel pielea în joc alături de tine. Pentru că orice om, psiholog sau psihoterapeut profesionist, se duce acasă și se gândește: «Am făcut suficient de bine?» «N-am făcut suficient de bine?» «Trebuie să mai învăț?» «Oare am fost azi destul de bun pentru oamenii cu care am interacționat?» Lucrurile astea sunt de ajutor în relația terapeutică”

Adrian Socol, psiholog și psihoterapeut

Atât în ceea ce privește terapeuții AI, cât și chatbot-urile ca cele cu care a interacționat cercetătorul Nowatzki, cea mai acută problemă din prezent ține de reglementarea legislativă care există fie punctual (vezi un exemplu din Italia), fie nu există deloc. Așa cum spune și colega noastră, psiholog Raluca Cristian, „în lipsa unor legi, totul ține de bunul simț al celor care dețin aceste companii.“