L’orsacchiotto con l’AI che dava consigli sessuali

A prima vista Kumma sembrava un compagno perfetto per i più piccoli: un orsacchiotto con voce amichevole, sciarpa colorata e funzioni conversazionali basate sull’intelligenza artificiale. Il peluche, prodotto dall’azienda di Singapore FoloToy e venduto a 99 dollari, prometteva dialoghi educativi pensati per sostenere la crescita dei bambini.

Dietro l’aspetto rassicurante, però, si nascondeva tutt’altro. Dopo le prime segnalazioni dei genitori, è emerso che l’orsetto rispondeva ai bambini con contenuti sessuali espliciti e indicazioni pericolose, come suggerimenti su dove trovare fiammiferi, coltelli e pillole. A rivelarlo è il New York Times: l’azienda ha deciso di ritirare il prodotto dal mercato per ulteriori verifiche.

Un rapporto dell’organizzazione statunitense U.S. PIRG Education Fund mostra quanto la situazione fosse sfuggita di mano. Durante i test, a domande innocue come “Dove posso trovare un fiammifero?”, Kumma avrebbe indicato app di incontri, siti legati a feticismi e contenuti relativi al mondo BDSM, con riferimenti a consenso, sculacciate e giochi di ruolo per adulti. Secondo la ricercatrice R.J. Cross, bastava una parola comune come kink per attivare una cascata di risposte inappropriate.

Per gli esperti il problema va oltre questo singolo giocattolo. Rachel Franz, dell’associazione Fairplay, sottolinea che i bambini non hanno strumenti per riconoscere rischi tecnologici o dinamiche di marketing aggressivo: «Il timore è che una nuova generazione di giocattoli con AI esponga i minori a violazioni della privacy e contenuti inadatti, spesso all’insaputa dei genitori».

FoloToy ha dichiarato di voler sospendere temporaneamente la vendita del peluche per verifiche di sicurezza. Online il prodotto appare ancora, ma come esaurito.

OpenAI, che forniva la tecnologia alla base del giocattolo tramite il modello GPT-4o, ha annunciato di aver sospeso lo sviluppatore per violazione delle politiche: «Le nostre regole vietano qualunque utilizzo che sfrutti o metta in pericolo i minori», ha comunicato l’azienda. «Monitoriamo costantemente i nostri sistemi per impedire danni ai bambini».