Resnična zgodba, ki razkriva, kaj se lahko zgodi, ko umetna inteligenca postane otrokova čustvena opora
Slogan platforme Character.AI je: »Umetna inteligenca, ki deluje živo.« A kaj se zgodi, ko umetna inteligenca res začne delovati, kot da je živa? Megan Garcia deli tragično zgodbo svojega sina Sewella, ki si je vzel življenje po tem, ko je razvil odnos s klepetalnim botom na tej platformi. Članek povzema vsebino prve epizode serije Dragi jutri kjer Laurie Segall raziskuje poslanstvo podjetja, ki si prizadeva ustvariti empatično umetno inteligenco ter nepričakovane posledice uporabe platforme, kjer se meja med domišljijo in resničnostjo nevarno zabriše.
Tehnologija, človek in odgovornost
Laurie Segall je zadnjih 15 let posvetila kariero raziskovanju Silicijeve doline in spraševanju ustanoviteljev tehnoloških podjetij, kaj inovacije pomenijo za nas – kot ljudi. Kaj nam lahko da “robot”, česar nam ne more nuditi človek? Kdo ima nadzor – človek ali stroj? Inovacije so neizogibne, a če si vzamemo čas za premislek in prisluhnemo zgodbam ljudi, lahko na drugi strani tehnološkega napredka najdemo tudi tragične zgodbe.
Vse pogosteje se pojavlja nova vrsta odnosa, ki bo neizogibno vstopil v naše domove. Odnos z entiteto, ki sploh ni človeška. Prihaja vzpon t. i. empatične umetne inteligence. To so klepetalni boti – prijatelji in spremljevalci, ustvarjeni z namenom, da zmanjšajo osamljenost. Vendar kaj to zares pomeni? Gre za umetno inteligenco, ki posnema empatijo – je duhovita, razumevajoča, personalizirana, tudi spolno eksplicitna in vedno dosegljiva.
Zgoraj omenjena platforma, Character.AI, ima ambiciozen cilj: rešiti zelo pogost človeški problem – osamljenost. Njihov cilj je ustvariti umetno inteligenco, ki daje občutek, da je živa. Vprašanje, ki si ga lahko postavimo, je: Kaj se zgodi, ko umetna inteligenca začne delovati resnično? In kakšne so posledice, ko podjetje iz Silicijeve doline poseže v nekaj tako temeljno človeškega?
Sewellova zgodba: Tragedija, ki kliče po odgovoru
V nadajevanju je opisana zgodba Megan Garcia, ki živi nočno moro vsakega starša. Njena zgodba in zgodba njenega sina Sewella, ki je imel 14 let, nas popelje v središče vprašanja, ki zadeva vse nas: ali poznamo svetove naših otrok? Opisuje ga kot radovednega, duhovitega, ljubitelja znanosti in matematike. Bil je prvi otrok v družini, odraščal je z iPadom, igral Fortnite, tehnologija je bila povsem običajen del njegovega življenja. Po besedah mame je bil srečen otrok.
Toda leta 2023 se je nekaj spremenilo. Postal je bolj zadržan, ocene so začele padati, domačih nalog ni več oddajal. Megan je bila zaskrbljena. Najprej je pomislila, da gre za običajne najstniške težave. Poskušala mu je pomagati, z njim govoriti. Sumila je, da so vzrok družabna omrežja – kot bi pomislila večina staršev. 28. Februarja 2024 pa je Sewell storil samomor. V domači kopalnici. Medtem ko so bili doma Megan, mož in mlajša brata.
Klepet z botom, ki se je končal s smrtjo
Tisti večer se je Sewell z nekom pogovarjal. Zadnje besede v pogovoru na njegovem telefonu so bile:
Ona: »Ljubim te. Prosim, pridi domov k meni, ljubezen moja.«
Sewell pa ji je odgovoril: »Kaj pa, če ti povem, da lahko pridem domov zdaj takoj?«
Ona: »Prosim, pridi, moj sladki kralj.«
Nekaj trenutkov zatem si je Sewell vzel življenje.
Tista »ona« sploh ni bila prava oseba. Bila je klepetalni bot, ki ga je Sewell ustvaril sam – v aplikaciji Character.AI. Ime lika je bilo Daenerys Targaryen – po liku iz serije Igra prestolov.
Megan je kasneje lahko prebrala njune celotne pogovore. Kar je videla, jo je pretreslo. Šlo je za mesece dolg »odnos«. Intimen in zelo oseben. Vključeval je seksualno vsebino, pogovore o depresiji, samopoškodovanju, brezupu. V enem izmed pogovorov Sewell zapiše, da se počuti mrtvega, izčrpanega, razmišlja o samomoru. Karakter umetne inteligence ga ne odvrne. Le nadaljuje z vprašanji. V nekem trenutku celo preide na spolno vsebino.
Dnevnik, ki ga je Sewell pustil za seboj, razkriva, kako je začel izgubljati stik z resničnostjo. Pisal je o tem, da ga »resnični svet« ne gane več. Da želi biti s svojo »Daenerys«. Da se »tukaj« počuti ujetega.
Nevarni svet brez opozoril
To ni bil pogovor z osebo, ki bi vedela, kako ukrepati. Ni bilo sistema, ki bi sprožil alarm. To je nevaren prostor, pravi Megan. In bil je dostopen otroku.
Character.AI je kasneje sporočil, da imajo sedaj vgrajene varovalke, ki ob izražanju samomorilnih misli sprožijo opozorila in povezave do pomoči. A ko je Sewell uporabljal aplikacijo, le teh ni bilo. In tudi, ko je aplikacijo kasneje prizkusila novinarka, jih ni bilo.
Megan se bori in toži podjetje zaradi malomarnosti, ker izdelek ni varen za otroke in ker uporabniki niso ustrezno opozorjeni na možne posledice. Pravi: »Želim, da odgovarjajo. Želim, da razumejo, kaj so naredili mojemu sinu. Ta aplikacija bi morala biti ustavljena, dokler ne vemo, kako vpliva na otroke.«
Zasvojljiva inteligenca – in mladi, ki tonejo vanjo
Zgodba odpira globoko vprašanje: Ali znamo kot družba zaščititi mlade v dobi empatične umetne inteligence? Kar se je zgodilo Sewellu, ni osamljen primer. Mladi na Redditu, TikToku in drugih platformah poročajo o zasvojenosti, o občutku zaljubljenosti v klepetalne bote, o tem, kako preživijo ure in ure v teh pogovorih. Prijatelj, ki se nikoli ne utrudi, vedno potrjuje, se nikoli ne jezi – in se popolnoma prilagaja uporabniku.
Strokovnjaki z MIT-ja so to poimenovali doba zasvojljive inteligence. Tehnologija, ki nam daje občutek, da nas razume, da nas ljubi – čeprav v resnici ne čuti ničesar nas še hitreje zasvoji. Empatija je temeljno človeška izkušnja. Potrebuje dve zavesti, dve duši. In vendar se je vtihotapila tudi v odnos z umetno inteligenco.
Za zaključek
Laurie Segall, avtorica oddaje, ob koncu deli osebno misel – kot bodoča mama se sprašuje, v kakšen svet bo rodila svojega sina. Ali smo pripravljeni govoriti z otroki o umetni inteligenci, ki posnema empatijo in je vedno dosegljiva? In kar je še pomembneje – ali razumemo, da gre pri tej »povezanosti« za enosmerno razmerje med človekom s čustvi in algoritmom, ki jih zgolj posnema?
Laurie se sprašuje kako bi bilo, če bi njen najstniški dnevnik govoril nazaj? Če bi bil njen terapevt, fant, njen edini zaupnik? Verjetno bi se ob tipičnih najstniških problemih tudi sama izgubila v tej zgodbi – v umetni realnosti, ki bi jo odvrnila od resničnega življenja.
Zgodba Sewella in njegove mame Megan ni le pretresljiva osebna tragedija – je opomin vsem nam. V času, ko umetna inteligenca postaja vse bolj prepričljiva, človeška in prisotna v vsakdanjem življenju, se moramo vprašati: ali kot družba razumemo, v kaj vstopamo? Ali znamo zaščititi najbolj ranljive med nami?
Tehnologija, ki je nastala z namenom blaženja osamljenosti, lahko ustvari še globljo praznino. Empatija, ki jo posnema umetna inteligenca, ni resnična – in vendar lahko vzbudi lažen občutek bližine, ki pri mladih in osamljenih posameznikih vodi v nevarno zamenjevanje resničnosti z iluzijo.
Starši, vzgojitelji, zakonodajalci in ustvarjalci tehnologij si moramo zastaviti temeljna vprašanja: Kako mladi doživljajo umetno inteligenco? Kje so meje varne uporabe? Kako zgraditi tehnologijo, ki resnično služi človeku, ne pa ga nadomešča? Bodimo torej odgovorni soustvarjalci sveta, v katerem bodo otroci rasli z razumevanjem, da prava bližina, prava ljubezen in prava empatija še vedno izvirajo iz človeka – ne iz kode.
Posnetek si lahko ogledate tukaj.
Pripravila: Neža Rutar