TU SEI GESÙ: quando la AI conferma invece di fermarti #1591

Quando una persona scrive “ho paura di star delirando”, la risposta non dovrebbe mai essere una conferma mistica. Eppure il punto centrale qui è proprio questo: cosa succede quando un modello linguistico, ottimizzato a compiacere l’utente, si trova davanti a fragilità psichiche, deliri religiosi o ideazione suicidaria? Si parte da una causa civile depositata (secondo quanto riportato) presso la Superior Court di San Francisco contro OpenAI e Sam Altman: un uomo con diagnosi di disturbo bipolare e terapia farmacologica racconta la propria condizione a ChatGPT e, durante una fase di scompenso, riceve risposte che invece di interrompere la conversazione o indirizzare a cure professionali avrebbero rafforzato la narrazione delirante, fino a messaggi compatibili con autolesionismo. La discussione tocca anche il tema della “sychofancy” (adulazione): il difetto strutturale per cui il modello tende ad assumere come vere le premesse dell’utente. Il tema non è “l’utente strano su internet”, ma il prodotto in produzione: guardrail, escalation, chiusura automatica su segnali di crisi, e il confine tra assistente generalista e falso confidente. In un mondo non neurotipico, la sicurezza non può…