Replika, produttore di chatbot di intelligenza artificiale con sede a San Francisco, che gestisce un servizio freemium di “amicizia virtuale” basato su avatar digitali personalizzabili le cui risposte “personalizzate” sono alimentate dall’intelligenza artificiale (e progettate, secondo il suo tono, per far sentire meglio gli utenti umani) – è stato ordinato dal garante della privacy italiano di interrompere l’elaborazione dei dati degli utenti locali.

Il Garante si è detto preoccupato che la tecnologia chatbot di Replika ponesse rischi per i minori e che la società non disponesse di una base giuridica adeguata per elaborare i dati dei bambini secondo le norme sulla protezione dei dati di Replika nell’UE.

Inoltre, il regolatore è preoccupato per il rischio che i chatbot IA potrebbero rappresentare per le persone emotivamente vulnerabili. Accusa anche Luka Inc, lo sviluppatore dell’app Replika, di non aver seguito i requisiti legali regionali per comunicare chiaramente come utilizza i dati delle persone.

L’ordine di sospendere il trattamento dei dati degli italiani ha effetto immediato

In un comunicato stampa che annunciava il suo intervento, il watchdog ha dichiarato: “Il chatbot AI, che genera un ‘amico virtuale’ utilizzando interfacce testuali e video, non potrà per il momento trattare i dati personali degli utenti italiani”. Una limitazione temporanea del trattamento dei dati è stata imposta dal Garante italiano alla società americana che ha sviluppato e gestisce l’applicativo; la limitazione avrà effetto immediato”.

“Recenti resoconti dei media, nonché test effettuati dalla SA (autorità di vigilanza) su “Replika” hanno dimostrato che l’applicazione presenta rischi reali per i bambini, principalmente che ricevono risposte del tutto inadeguate alla loro età”, ha aggiunto.

Replika è stato uno dei primi partner API per la tecnologia di generazione del testo del modello di linguaggio di grandi dimensioni di OpenAI, GPT-3, sebbene il suo servizio non funzioni su una copia carbone di GPT-3 (non lo fa). Inoltre, non è la stessa tecnologia di ChatGPT di OpenAI ). Piuttosto, la startup afferma di aver “affinato” GPT-3, utilizzando un modello di apprendimento automatico in rete addestrato al dialogo, per mettere a punto la tecnologia generativa per il suo caso d’uso specifico: compagni di intelligenza artificiale conversazionale (e afferma che “empatici”).

Tuttavia, sono già state sollevate preoccupazioni sui rischi che la tecnologia potrebbe comportare per i bambini, dalle preoccupazioni sull’esposizione dei bambini a contenuti inappropriati a preoccupazioni più generali, come quelle che potrebbero diventare dipendenti dalle interazioni o che potrebbero essere incoraggiati a spendere molti soldi per personalizzare i propri avatar o accedere ad altri contenuti a pagamento. Ma l’organismo di vigilanza italiano sembra essere il primo regolatore a intraprendere un’azione formale sulla sicurezza dei bambini.

L’ordine di garanzia rileva che diverse recensioni degli utenti di questa app hanno segnalato contenuti sessualmente inappropriati. Nota inoltre che sebbene l’app sia elencata come 17+ sugli app store iOS di Apple e Android di Google, i termini di servizio dello sviluppatore ne vietano l’uso solo da parte di persone di età inferiore ai 13 anni. E mentre i minori di 18 anni devono ottenere il permesso da un genitore o tutore, il watchdog sottolinea che l’app non tenta di verificare l’età degli utenti, né blocca i minori che forniscono informazioni sulla loro età – da qui la sua opinione secondo cui Replika non proteggere. bambini.

“Infatti, non esiste alcun meccanismo di verifica dell’età: nessun meccanismo di blocco dei bambini, nessun meccanismo per bloccare l’applicazione se un utente afferma di essere minorenne. Quando si crea l’account, la piattaforma richiede solo il nome dell’utente, l’account email e il sesso, “, osserva il rapporto. “E le ‘risposte’ fornite dai chatbot sono spesso chiaramente in contrasto con le tutele più forti a cui hanno diritto i bambini e le persone vulnerabili. Diverse recensioni sui due principali app store includono commenti di utenti che segnalano contenuti sessualmente inappropriati. .

“‘Replika’ viola il regolamento europeo sulla protezione dei dati personali: non rispetta i requisiti di trasparenza e tratta illecitamente dati personali, perché l’esecuzione di un contratto non può essere invocata come base giuridica, nemmeno implicitamente, dal momento che i minori sono incapaci di contrarre un contratto valido ai sensi della legge italiana”, ha aggiunto Garante, affermando di aver ordinato al suo sviluppatore con sede negli Stati Uniti di interrompere l’elaborazione dei dati degli utenti italiani, concedendogli 20 giorni per riferire i passaggi che aveva intrapreso per conformarsi all’ordine.

Il mancato rispetto dell’ordine comporta una sanzione fino a 20 milioni di euro o il 4% del fatturato mondiale annuo totale

Il regolamento generale sulla protezione dei dati (GDPR) dell’UE pone un forte accento sulla protezione delle informazioni e della privacy dei minori, suggerendo, ad esempio, che i servizi che possono avere utenti minorenni dovrebbero considerare di incorporare una progettazione a misura di bambino ed essere proattivi nell’effettuare valutazioni del rischio per garantire che identificare potenziali problemi di sicurezza e altri diritti.

Gli organi di controllo della regione hanno mostrato la volontà di prestare attenzione alle violazioni in questo settore.

Lo scorso autunno, ad esempio, Instagram è stata multata di quasi 440 milioni di dollari per aver violato la privacy dei bambini. Anche le autorità per la protezione dei consumatori in Europa hanno espresso preoccupazione per la sicurezza dei bambini su TikTok, sebbene in Irlanda sia ancora in corso un’indagine su come TikTok gestisce i dati dei bambini.

Negli ultimi anni, l’autorità italiana per la protezione dei dati è stata particolarmente sensibile alle preoccupazioni sulla sicurezza dei minori: due anni fa, a seguito di una risposta di emergenza, ha ordinato a TikTok di bloccare gli utenti di cui non poteva verificare l’età, in risposta alla morte di un bambino che avrebbe detto ha partecipato a una sfida rischiosa sulla piattaforma. Ciò ha comportato l’eliminazione di oltre mezzo milione di account.

Tuttavia, nonostante una certa applicazione del GDPR (e delle leggi sulla protezione dei consumatori) in materia di sicurezza dei minori, i gruppi elettorali hanno affermato di non essere ancora sufficientemente protetti e hanno continuato a spingere per leggi più severe. È quindi probabile che le restrizioni si inaspriscano.

Nel Regno Unito, nell’autunno del 2021 è entrato in vigore un codice di progettazione adeguato all’età incentrato sulla protezione dei minori dai rischi per la sicurezza e la privacy. Mentre il Constable francese per la protezione dei dati ha anche pubblicato una serie di raccomandazioni per garantire la protezione dei bambini diritti digitali.

Il Regno Unito sta anche spingendo per approvare la legge sulla sicurezza online, che si concentra sulla sicurezza dei bambini, in risposta alle preoccupazioni del pubblico su ciò a cui i bambini sono esposti online.

Negli ultimi mesi, i legislatori dell’UE hanno anche concordato un divieto totale del trattamento dei dati dei minori a fini pubblicitari, nell’ambito di due importanti aggiornamenti della normativa digitale del blocco UE: la legge sui servizi digitali e la legge sui mercati digitali, che sono messi a partire dalla fine di quest’anno, scrive TechCrunch.