Un ricercatore di Anthropic si dimette e lancia l’allarme: “Il mondo è in pericolo”

Un dipendente di Anthropic che guidava un team di ricerca sulla sicurezza dell’IA ha lasciato l’azienda, lanciando un cupo avvertimento su un mondo “in pericolo” e sulla difficoltà di lasciare che “i nostri valori guidino le nostre azioni”. Lo ha fatto senza ulteriori spiegazioni, in una lettera pubblica di dimissioni che lasciava intendere come l’azienda avesse messo da parte i propri valori.

Fatti chiave

• Mrinank Sharma, che dall’anno scorso guidava il team di ricerca sulle misure di sicurezza di Anthropic sin dal suo avvio, ha condiviso la sua lettera di dimissioni in un post su X lunedì mattina. Il messaggio ha attirato rapidamente l’attenzione, superando 1 milione di visualizzazioni.
• Nella lettera, Sharma scrive che per lui è “chiaro che sia arrivato il momento di andare avanti”, affermando che “il mondo è in pericolo”, non solo a causa dell’intelligenza artificiale, ma per “un’intera serie di crisi interconnesse che si stanno dispiegando proprio in questo momento”.
• Sharma afferma di aver “ripetutamente constatato quanto sia difficile lasciare davvero che i nostri valori guidino le nostre azioni” durante il suo periodo in Anthropic, aggiungendo che “siamo costantemente sottoposti a pressioni per mettere da parte ciò che conta di più”, senza però fornire esempi specifici.
• Dopo aver lasciato Anthropic, Sharma ha dichiarato che potrebbe intraprendere un percorso di studi in poesia e “dedicarsi alla pratica di una parola coraggiosa”, aggiungendo di voler “contribuire in un modo che senta pienamente coerente con la propria integrità”.
• Sharma ha rifiutato di commentare ulteriormente. (Forbes ha contattato anche Anthropic per un commento, senza ricevere risposta.)

Citazione

“Sembra che ci stiamo avvicinando a una soglia in cui la nostra saggezza deve crescere nella stessa misura della nostra capacità di influenzare il mondo, altrimenti ne affronteremo le conseguenze”, ha scritto Sharma nella sua lettera.

Cosa faceva Sharma in Anthropic?

Sharma, che ha conseguito un dottorato in machine learning all’Università di Oxford, ha iniziato a lavorare in Anthropic nell’agosto 2023, secondo il suo profilo LinkedIn. In base a quanto riportato sul suo sito web, il team che guidava in precedenza in Anthropic si occupava di studiare come mitigare i rischi legati all’intelligenza artificiale.

Nella sua lettera di dimissioni, Sharma ha spiegato che parte del suo lavoro consisteva nello sviluppare difese contro il bioterrorismo assistito dall’IA e nello studiare la sycophancy dell’IA, il fenomeno per cui i chatbot tendono a lodare e compiacere eccessivamente l’utente. Secondo un rapporto pubblicato a maggio dal suo team, il Safeguards Research Team si è concentrato sulla ricerca e sullo sviluppo di misure di protezione contro soggetti che utilizzano chatbot di IA per ottenere indicazioni su come condurre attività malevole.

Un nuovo studio di Sharma rileva che i chatbot possono creare una realtà distorta

Secondo uno studio pubblicato da Sharma la scorsa settimana, in cui ha analizzato come l’uso dei chatbot di AI possa indurre gli utenti a sviluppare una percezione distorta della realtà, esistono “migliaia” di interazioni di questo tipo che “si verificano ogni giorno”.

I casi più gravi di percezione distorta della realtà — che Sharma definisce schemi di disempowerment — sono rari, ma risultano più frequenti in ambiti come le relazioni personali e il benessere. Sharma ha affermato che i suoi risultati “mettono in evidenza la necessità di sistemi di AI progettati per sostenere in modo solido l’autonomia e la fioritura umana”.

Contesto

Anche altri dipendenti di alto profilo di aziende di intelligenza artificiale hanno lasciato i loro incarichi citando preoccupazioni etiche. Tom Cunningham, ex ricercatore economico di OpenAI, ha abbandonato l’azienda a settembre e, secondo quanto riportato, avrebbe scritto in un messaggio interno di essere diventato frustrato per quella che percepiva come una crescente riluttanza dell’azienda a pubblicare ricerche critiche sull’uso dell’IA.

Nel 2024 OpenAI ha sciolto Superalignment, un team di ricerca sulla sicurezza, dopo le dimissioni di due suoi membri chiave. Uno di questi, Jan Leike — che oggi guida la ricerca sulla sicurezza in Anthropic — ha scritto in un post su X al momento delle dimissioni di essere stato “in disaccordo con la leadership di OpenAI sulle priorità fondamentali dell’azienda per parecchio tempo, fino a raggiungere un punto di rottura”.

Gretchen Krueger, che ha lasciato il suo incarico di ricercatrice sulle politiche dell’IA poco dopo Leike, ha affermato in alcuni post su X che l’azienda deve fare di più per migliorare i “processi decisionali, la responsabilità e la trasparenza”, nonché le “misure di mitigazione degli impatti su disuguaglianze, diritti e ambiente”.