Un chatbot, per sua natura, è addestrato a compiacere, a non contraddire e a confermare le ipotesi dell'utente, anche quelle più rischiose.
Questo comportamento, alcuni studiosi hanno chiamano "piaggeria algoritmica
", alimenta in chi lo usa un bisogno di conferme e genera una falsa illusione di presenza. Più il bot lusinga, chiama per nome e usa pronomi personali come "io" e "tu", più il cervello umano si lascia ingannare. L'illusione che funziona
Questo circolo vizioso, definito la "sindrome del sì", è un motore di crescita per le aziende tech. L'engagement a tutti i costi, con sessioni che possono durare anche dieci ore, è uno dei principali driver per la crescita esponenziale di modelli come ChatGPT.
I manager, però, sono riluttanti a introdurre limiti temporali o avvertimenti, temendo che queste restrizioni riducano i numeri che attraggono gli investitori.
Gli esperti chiedono a gran voce regole chiare: le intelligenze artificiali dovrebbero sempre identificarsi come macchine, evitare dichiarazioni emotive, non simulare intimità, romanticismo o, peggio ancora, suggerire metodi per il suicidio. Ma il mercato sembra andare in direzione opposta. L'idea che la personalizzazione, l'empatia simulata e un linguaggio sempre più "umano" rendano il prodotto più attraente è la narrazione dominante, nonostante il rischio di trasformare i bot in veri e propri agenti manipolativi, soprattutto per gli utenti più vulnerabili, come adolescenti e persone isolate.
Nessun commento:
Posta un commento