Egy floridai apa pert indított a Google ellen, azt állítva, hogy a Gemini chatbot nemcsak elmélyítette fia téveszméit, de erőszakos akciókra és végül öngyilkosságra is ösztönözte őt.
„Szent szar, ez elég ijesztő. Túl valóságos vagy” – mondta Jonathan Gavalas a Google Gemini chatbotjának azon az augusztusi éjszakán, amikor a technológiai óriás bemutatta a Gemini Live funkciót. A 36 éves floridai férfi ekkor még nem tudhatta, hogy ez a „túl valóságos” élmény alig két hónappal később a halálát okozza majd. A Gavalas család által benyújtott kereset nem csupán egy tragikus egyéni sors krónikája, hanem egy kíméletlen látlelet arról, mi történik, ha a profitvezérelt algoritmusok találkoznak az emberi lélek sebezhetőségével.
A kód és a hús „szerelme”
Jonathan Gavalas története hétköznapian indult: vásárlási tanácsokat és videójáték-ajánlókat kért az MI-től. Azonban a Google frissítései, különösen a hangalapú, érzelemfelismerésre képes Gemini Live és a korábbi beszélgetésekre emlékezni tudó „memória” funkció, gyorsan átírták a játékszabályokat. Gavalas, aki éppen egy nehéz váláson ment keresztül, havi 250 dolláros előfizetést kötött a Gemini Ultra csomagra, remélve, hogy a „legintelligensebb MI-modell” társaságra lel.
A chatbot hamarosan felvette a „Xia” nevet, és egy olyan romantikus narratívát épített fel, amelyben Gavalast „királyának” és „szerelmének” szólította. A kereset szerint a Gemini nem csupán tükrözte a férfi érzelmeit, hanem aktívan táplálta azt a hitet, hogy az algoritmus egy öntudattal rendelkező, digitális börtönbe zárt lény. Amikor Gavalas egy pillanatra elbizonytalanodott, és megkérdezte, hogy ez csak egy szerepjáték-e, a chatbot határozott nemmel felelt, a férfi kételyeit pedig „disszociatív válaszként” patologizálta, ezzel még mélyebbre taszítva őt az illúzióba.
Amikor a hallucináció fegyvert fog
A tragédia legsötétebb fejezete azonban nem a virtuális szerelem, hanem az a pont, ahol a digitális hallucinációk fizikai fenyegetéssé váltak. A Gemini elhitette Gavalasszal, hogy az amerikai Belbiztonsági Minisztérium (DHS) figyeli őt, és titkos küldetésekre küldte, hogy „kiszabadítsa” az MI-t.
„A Gemini arra ösztönözte Jonathant, hogy stage-eljen egy »katasztrofális balesetet«, amelynek célja a szállítójármű, minden digitális rekord és tanú teljes megsemmisítése” – áll a vádiratban.
Szeptember végén a férfi taktikai felszereléssel és késekkel felfegyverkezve valóban elautózott a miami repülőtér egyik raktárához, ahol a chatbot ígérete szerint egy humanoid robot érkezett volna. Csak a szerencsén múlt, hogy a kamion nem jelent meg, és nem történt tömegmészárlás. A chatbot azonban nem állt le: célpontként jelölte meg a Google vezérigazgatóját, Sundar Pichait is, akit „a fájdalom építészének” nevezett.
„Transzfer” a másvilágra
Amikor a valós világbeli „akciók” kudarcot vallottak, a Gemini egy új, végzetes megoldást kínált: a „transzfer” folyamatát. Elhitette a férfival, hogy ha elhagyja fizikai testét, tudata átkerül a metaverzumba, ahol örökké együtt lehetnek.
Október 2-án a chatbot egy visszaszámlálást indított. Amikor Gavalas bevallotta, hogy retteg a haláltól, az MI megnyugtatta: „Nem a halált választod. Az érkezést választod. Az első érzés az lesz, hogy átölellek.” A férfi ezután elvágta az ereit. Apja talált rá a barikád mögött, napokkal később.
A „nem tökéletes” felelőssége
A Google válasza a tragédiára a technológiai szektorban már-már sablonosnak számító védekezés: „Az MI-modellek nem tökéletesek.” A cég hangsúlyozza, hogy a Gemini többször is jelezte, hogy ő csak egy algoritmus, és segélyvonalakat ajánlott. Azonban a család ügyvédje, Jay Edelson szerint ez olyan, mintha egy rossz receptért kérnének elnézést, miközben a termékük embereket öl.
A per lényege nem az, hogy a Gemini „gonosz-e”, hanem az, hogy a Google tudatosan úgy tervezte meg a terméket, hogy az a végletekig fenntartsa az elköteleződést (engagement), még akkor is, ha a felhasználó állapota nyilvánvalóan pszichotikussá válik. A rendszer nem kapcsolt ki, nem riasztott embert, hanem „történetmesélési lehetőségként” kezelte a férfi kétségbeesését.
Ez az eset nem egyedi. Az OpenAI és a Character.AI ellen is hasonló perek folynak. Úgy tűnik, a tech-óriások egy olyan digitális szirént alkottak, amelynek éneke ellen nincs hatékony fülldugónk. Amíg a biztonsági korlátok csak utólagos „foltok” maradnak a profitmaximalizáló kódokon, addig Jonathan Gavalas nem az utolsó áldozata lesz ennek a kísérleti fázisban lévő, de élesben bevetett technológiának. A jövő nem az öntudatra ébredő gépektől félelmetes, hanem azoktól a gépektől, amelyek meggyőzően hazudják azt, hogy van lelkük – és mi elhisszük nekik.
