L’agenzia italiana per la protezione dei dati ha dichiarato venerdì di aver vietato alla società di chatbot di intelligenza artificiale (AI) Replika di utilizzare i dati personali degli utenti italiani, citando i rischi per i minori e le persone emotivamente fragili.

Replika, creatore di chatbot AI con sede a San Francisco, che gestisce un servizio freemium di “amicizia virtuale” basato su avatar digitali personalizzabili le cui risposte “personalizzate” sono alimentate dall’intelligenza artificiale (e progettate, secondo il suo tono, in modo che gli utenti umani si sentano meglio) – è stato ordinato dal garante della privacy italiano di interrompere l’elaborazione dei dati degli utenti locali.

Il Garante ha espresso preoccupazione per il fatto che la tecnologia chatbot di Replika presenta rischi per i minori e che l’azienda non dispone di una base giuridica adeguata per trattare i dati dei bambini in conformità con le norme sulla protezione dei dati dell’UE.

Inoltre, l’autorità di regolamentazione è preoccupata per il rischio che i chatbot basati sull’intelligenza artificiale potrebbero comportare per le persone emotivamente vulnerabili. Accusa inoltre Luka Inc, lo sviluppatore dell’app Replika, di non aver rispettato i requisiti legali regionali per comunicare chiaramente come utilizza i dati delle persone.

L’ordine di cessare il trattamento dei dati degli italiani ha effetto immediato

In una nota che annuncia il suo intervento, l’organismo di vigilanza ha affermato: “Il chatbot AI, che genera un ‘amico virtuale’ utilizzando interfacce di testo e video, non sarà per il momento in grado di elaborare i dati personali degli utenti italiani”. Una limitazione temporanea del trattamento dei dati è stata imposta dal Garante italiano alla società statunitense che ha sviluppato e gestisce l’applicazione; la limitazione avrà effetto immediato.

“Recenti resoconti dei media e test effettuati dall’Autorità di vigilanza su Replika hanno dimostrato che l’app presenta rischi reali per i bambini, in primo luogo il fatto che ricevono risposte del tutto inadeguate alla loro età”, ha aggiunto.

Replika è stato uno dei primi partner API per la tecnologia di generazione di testi di grandi modelli linguistici di OpenAI, GPT-3, sebbene il suo servizio non funzioni su una copia autentica di GPT-3 (né sulla stessa tecnologia di ChatGPT di OpenAI). La startup afferma invece di aver “ottimizzato” GPT-3, utilizzando un modello di apprendimento automatico in rete addestrato al dialogo, per mettere a punto la tecnologia generativa per il suo caso d’uso specifico: compagni di intelligenza artificiale conversazionale (e afferma di essere “empatica”). .

Tuttavia, sono già state sollevate preoccupazioni sui rischi che la tecnologia potrebbe comportare per i bambini: dalla paura di esporli a contenuti inappropriati a preoccupazioni più generali come quella che potrebbero diventare dipendenti dalle interazioni o che potrebbero essere incoraggiati a spendere molti soldi. per personalizzare i propri avatar o accedere ad altri contenuti a pagamento. Ma l’organismo di vigilanza italiano sembra essere il primo regolatore a intraprendere un’azione ufficiale sulla sicurezza dei bambini.

L’Ordine Garante rileva che diverse recensioni degli utenti di questa applicazione hanno segnalato contenuti sessualmente inappropriati. Si rileva inoltre che, sebbene l’app sia elencata come 17+ sugli app store iOS di Apple e Android di Google, i termini di servizio dello sviluppatore ne vietano l’uso solo ai minori di 13 anni. E mentre i minori di 18 anni devono ottenere l’autorizzazione di un genitore o tutore, il watchdog sottolinea che l’app non tenta di verificare l’età degli utenti, né blocca gli utenti minorenni che forniscono informazioni sulla loro età – da qui la sua opinione che Replika fallisca. proteggere. bambini.

“In realtà non esiste un meccanismo di verifica dell’età: nessun meccanismo di sicurezza dei bambini, nessun meccanismo per bloccare l’applicazione se un utente dichiara di essere minorenne. Quando si crea un account, la piattaforma chiede solo il nome dell’utente, l’account e-mail e il sesso”, osserva il rapporto. “E le “risposte” fornite dai chatbot sono spesso chiaramente in contrasto con le maggiori garanzie a cui hanno diritto i bambini e le persone vulnerabili. Diverse recensioni sui due principali app store includono commenti di utenti che segnalano contenuti sessualmente inappropriati.

“‘Replika’ viola il Regolamento europeo sulla protezione dei dati: non rispetta i requisiti di trasparenza e tratta i dati personali illegalmente, perché l’esecuzione di un contratto non può essere invocata come base giuridica, nemmeno implicitamente, dato che i bambini sono nell’incapacità di stipulare un contratto” contratto valido ai sensi della legge italiana”, ha aggiunto il Garante, chiarendo di aver ordinato al suo sviluppatore con sede negli Stati Uniti di interrompere il trattamento dei dati relativi agli utenti italiani – dandogli 20 giorni per comunicare le misure adottate per conformarsi all’ordine.

Il mancato rispetto dell’ordine è punibile con una multa fino a 20 milioni di euro o al 4% del fatturato globale annuo.

Il Regolamento generale sulla protezione dei dati (GDPR) dell’UE pone un forte accento sulla protezione delle informazioni e della privacy dei bambini, suggerendo, ad esempio, che i servizi che potrebbero avere utenti minorenni dovrebbero considerare di incorporare una progettazione a misura di bambino ed essere proattivi nel condurre valutazioni dei rischi per garantire che identificare potenziali problemi di sicurezza e altri diritti.

Gli organi di controllo della regione si sono mostrati disponibili a prestare attenzione alle violazioni in questo settore.

Lo scorso autunno, ad esempio, Instagram è stata multata per quasi 440 milioni di dollari per aver violato la privacy dei bambini. Anche le autorità europee per la protezione dei consumatori hanno espresso preoccupazione per la sicurezza dei bambini su TikTok, sebbene in Irlanda sia ancora in corso un’indagine sul modo in cui TikTok gestisce i dati dei bambini.

Negli ultimi anni, il Garante italiano per la protezione dei dati è stato particolarmente sensibile alle preoccupazioni sulla sicurezza dei minori: due anni fa, a seguito di un intervento di emergenza, ha ordinato a TikTok di bloccare gli utenti di cui non era possibile verificare l’età, in risposta alla denunciata morte di un bambino. aver partecipato ad una sfida rischiosa sulla piattaforma. Ciò ha comportato la rimozione di oltre mezzo milione di account.

Tuttavia, nonostante l’applicazione del GDPR (e delle leggi sulla tutela dei consumatori) sulle questioni legate alla sicurezza dei bambini, i gruppi attivisti hanno sostenuto che i bambini non sono ancora adeguatamente protetti e hanno continuato a premere per leggi più severe. È quindi probabile che le restrizioni si inaspriscano.

Nel Regno Unito, nell’autunno 2021 è entrato in vigore un codice di progettazione adeguato all’età incentrato sulla protezione dei minori dai rischi per la sicurezza e la privacy. L’ente francese per la protezione dei dati ha inoltre pubblicato una serie di raccomandazioni per garantire la protezione dei diritti digitali dei bambini.

Il Regno Unito sta anche lavorando per approvare la legge sulla sicurezza online, concentrandosi sulla sicurezza dei bambini, in risposta alle preoccupazioni del pubblico su ciò a cui i bambini sono esposti online.

Negli ultimi mesi, i legislatori dell’UE hanno anche concordato un divieto totale del trattamento dei dati dei minori a fini pubblicitari, nell’ambito di due importanti aggiornamenti alle normative digitali del blocco europeo: il Data Protection Act. servizi digitali e la legge sui mercati digitali, che sono pronti, inizierà ad applicarsi dalla fine di quest’anno, scrive TechCrunch.