Yuval Noah Harari: 10 Warnings on Artificial Intelligence

Yuval Noah Harari (Israele, 1976) è considerato uno degli intellettuali più influenti dei nostri tempi, seguito da Barack Obama, Bill Gates e dall'attore e autore Stephen Fry, e noto per gli oltre 45 milioni di copie vendute dei suoi tre libri pubblicati finora, tra cui Sapiens: Da animali a Dèi, un'indagine divertente e relativamente breve di niente meno che l'intera storia dell'umanità.

SAPIENS

Ma l'influenza di Harari non si misura solo in base alle cifre di vendita o ai consensi delle celebrità, ma soprattutto per la sua capacità di rendere accessibile a tutti una visione ampia della storia della civiltà. I suoi saggi sono notevoli nel rivelare la struttura sottostante e collegare idee apparentemente complesse di diverse discipline accademiche —storia, ma anche economia, sociologia o ecologia— con la vita quotidiana e le preoccupazioni della società nel suo complesso.

NEXUS

Il titolo del nuovo libro di Harari fa ritorno al latino ed è di nuovo una storia (non molto) breve (496 pagine), in questo caso delle “reti di informazione dall'età della pietra all'intelligenza artificiale”. In Nexus (Bompiani), il professore di storia dell'Università Ebraica di Gerusalemme si concentra sul ruolo di un elemento difficile da definire, l'informazione; sulle reti in cui si organizza e attraverso cui si diffonde, sulle tecnologie con cui lo ha fatto nel tempo e, soprattutto, su come influenza il nostro modo di organizzarci come civiltà. 

INTELLIGENZA ARTIFICIALE

In un incontro online da Washington D.C., Harari ha messo in discussione vari assiomi: per esempio l'equivalenza tra informazione e libertà o la tecnologia come uno strumento di impatto neutro. Ha parlato alla stampa senza apparire in video, spingendo un giornalista a domandare come poteva essere sicuro che fosse davvero Harari a parlare e non un avatar generato dall'intelligenza artificiale. Pur non offrendo alcuna prova in un senso o nell'altro, la voce di Harari ha lasciato dieci interessanti riflessioni/avvertimenti (alcuni sotto forma di domanda) sull'IA.

1. “AI is not a tool, is an agent.”

“AI is different from every previous technology we ever invented, because it's not a tool, it is an agent, an independent agent. Every previous technology, nuclear weapons, the atom bomb, of course… they have immense destructive power. But still the power is in human hands. Now in some of the most important media platforms in the world, like Twitter, like Facebook, the role of the editor has been taken over by AI. It’s algorithms deciding what will be the recommended story, what will be at the top of the news feed. An AI can produce new things by itself. It starts small with producing images and texts and writing computer code, but ultimately AI could create more powerful AI. So this could lead to this kind of explosion of AI, which is out of our control.” 

“L’intelligenza artificiale è diversa da qualsiasi tecnologia che abbiamo inventato precedentemente, perché non è uno strumento, ma un agente, un agente indipendente. Tutte le tecnologie precedenti, le armi nucleari, la bomba atomica, naturalmente... hanno un immenso potere distruttivo. Ma il potere risiede ancora in mani umane. Ora, su alcune delle più importanti piattaforme mediatiche del mondo, come Twitter, come Facebook, il ruolo dell’editore è stato assunto dall’intelligenza artificiale. Sono gli algoritmi a decidere quali notizie raccomandare, a decidere quali storie fare apparire nel feed. Un’IA può produrre nuove cose da sola. Inizia producendo immagini e testo e scrivendo codice, ma alla fine l’IA potrebbe creare un’IA ancora più potente. E questo potrebbe portare a un’esplosione di IA che sfuggirà al nostro controllo”. 

2. “If you flood the world with information, the truth will not float to the surface, it will sink to the bottom.”

“The most important thing to know about information is that information isn't truth, that information isn't knowledge. The naive view which dominates in places like Silicon Valley mistakingly argues that information is truth. The truth is a rare subset, a rare category of information. The truth is costly. The truth is often complicated. Because reality is complicated, whereas fiction can be made as simple as you would like it to be, and people usually prefer simple stories to complicated ones. And the truth is often painful. The expectation is that if you flood the world with information, the truth will will kind of float to the surface. No, it sinks to the bottom.”

“La cosa più importante da sapere sull’informazione è che l’informazione non è verità, che l’informazione non è conoscenza. C’è una visione ingenua dominante in luoghi come la Silicon Valley che ritiene erroneamente che l’informazione sia verità. La verità è un sottoinsieme eccezionale, una categoria rara, dell’informazione. La verità è costosa. La verità è spesso complicata. Perché la realtà è complicata, mentre la finzione può essere semplificata a piacimento e le persone spesso preferiscono storie semplici a storie complicate. E la verità è spesso dolorosa. L’aspettativa è che se il mondo è inondato da informazioni, la verità venga a galla. No, la verità affonda”. 

3. “The conversation is breaking down.”

“Maybe the most important question is why is it that we have the most sophisticated information technology in history and people are unable to talk with each other? This is the one thing that everybody in Washington, everybody in New York, everybody in the States agree on. Republicans and Democrats don't agree on anything except that the conversation is breaking down, that people can't agree on the most basic facts that people can no longer hold a rational conversation. And this is happening after these tech giants created this incredibly sophisticated information technology and promised us that this technology will connect everybody and will spread the truth.”

“Forse la domanda più importante è: perché, se disponiamo della tecnologia informatica più sofisticata della storia, le persone non riescono ad avere una conversazione? Questa è l’unica cosa su cui tutti a Washington, tutti a New York, tutti negli Stati Uniti concordano. Repubblicani e democratici non sono d’accordo su nulla, se non sul fatto che la conversazione si sta interrompendo, che le persone non riescono ad accordarsi sui fatti più elementari, che non possono più avere una conversazione razionale. E questo accade dopo che questi giganti della tecnologia hanno creato questa tecnologia informatica incredibilmente sofisticata e ci hanno promesso che questa tecnologia avrebbe collegato il mondo e diffuso la verità”.

4. “The media has immense power to either destroy democracy or protect it.”

“When democracy is a conversation without the truth, without facts, the conversation means nothing. If we just exchange lies and fantasies, this is not really a conversation. The media has immense power to either destroy democracy or protect it. Some of the biggest dictators of the modern era started as journalists and as editors. Before he was the dictator of the Soviet Union, the only job that Lenin had was editor of the newspaper Iskra. And Mussolini? He started as a socialist journalist. Then he changed his mind and founded a newspaper, a Fascist newspaper, I think it was called Avanti. Today, this power is in the hands of the new media giants Facebook and Twitter and Instagram. I agree that Social media companies should be very, very careful about censoring or banning human beings. But the main problem is not the content produced by the human users. The main problem is the editorial decisions of the algorithms.” 

“Quando la democrazia è una conversazione senza verità, senza fatti, la conversazione non significa nulla. Se ci scambiamo solo bugie e fantasie, non è una vera conversazione. I media hanno un potere immenso nel distruggere la democrazia o nel proteggerla. Alcuni dei più grandi dittatori dell’era moderna all’inizio erano giornalisti e redattori. Prima di diventare dittatore dell’Unione Sovietica, l’unico lavoro di Lenin era quello di redattore del giornale Iskra. E Mussolini? Iniziò come giornalista socialista. Poi ha cambiato idea e ha fondato un giornale, un giornale fascista, credo si chiamasse Avanti. Oggi questo potere è nelle mani dei giganti dei nuovi media: Facebook, Twitter e Instagram. Sono d’accordo sul fatto che le aziende di social media dovrebbero essere molto, molto attente a censurare o bandire le persone. Ma il problema principale non sono i contenuti prodotti dagli esseri umani. Il problema principale sono le decisioni editoriali degli algoritmi”. 

5. “Social media companies deliberately spread fake news and conspiracy theories.”

“People have a right to stupidity. People have a right even to tell lies. In extreme cases, which the law defines, it can be a crime to tell a lie, but in many situations people lie and it's not good, but it's still protected by the law and it's part of freedom of speech. However, the algorithms of the companies discovered that the easiest way to capture human attention, the easiest way to keep more people longer on the platform, is to press the hate button or the fear button or the anger button in in the mind. And they deliberately spread fake news and conspiracy theories, which increase hate and fear and anger because this makes people engaged and stay longer on the platform. This is not freedom of speech.”

“Le persone hanno il diritto alla stupidità. Le persone hanno anche il diritto di dire bugie. In casi estremi, secondo la legge, dire una bugia può essere un reato, ma in molte situazioni le persone mentono e, sebbene non sia giusto, è comunque protetto dalla legge e fa parte della libertà di espressione. Tuttavia, gli algoritmi delle aziende hanno scoperto che il modo più semplice per catturare l’attenzione degli esseri umani, il modo più semplice per mantenere più persone a lungo sulla piattaforma, è quello di premere il tasto dell’odio o della paura o della rabbia nella loro testa. E diffondono deliberatamente fake news e teorie del complotto, che aumentano l’odio, la paura e la rabbia, perché fanno sì che le persone si impegnino e rimangano più a lungo sulla piattaforma. Non è libertà di parola”.

6. “We haven't seen anything yet.”

“If you think about the evolution of AI as analogous to biological evolution, the AI's of today are just amoebas. It took billions of years for amoebas to evolve into dinosaurs and mammals and humans, because organic evolution is slow. It takes millions and billions of years. The AI digital evolution is millions of times faster. It will not take a billion years for GPT, the AI amoeba, to evolve into the AI dinosaur. It could take maybe just ten years or twenty years. Now if ChatGPT is the amoeba, how would the AI T-Rex look like? What could it do? We haven't seen anything yet.”

“Se pensiamo all’evoluzione delle IA come analoga all’evoluzione biologica, le IA di oggi non sono altro che amebe. Le amebe hanno impiegato miliardi di anni per evolversi in dinosauri, mammiferi ed esseri umani, perché l’evoluzione biologica è lenta. Richiede milioni e miliardi di anni. L’evoluzione digitale dell’IA è milioni di volte più veloce. GPT, l’ameba dell’IA, non impiegherà un miliardo di anni per evolversi in un dinosauro dell’IA. Potrebbe farlo in soli dieci o vent’anni. Ora, se ChatGPT è l’ameba, come sarà il T-Rex dell’IA? Cosa sarà in grado di fare? Non abbiamo ancora visto nulla”.

7. “Nobody knows the psychological effects of AI.”

“For all of history, humans lived cocooned inside human culture. All the stories, music, poems, theatre plays, images… were product of the human mind. Now more and more of these cultural artifacts, stories, TV series, images, music will be the product of an alien intelligence. What will this do to human society, to human psychology? Nobody knows that. That's the very big question.” 

“Nel corso della storia, gli esseri umani hanno vissuto avvolti dalla cultura umana. Tutte le storie, la musica, le poesie, le opere teatrali, le immagini... erano prodotti della mente umana. Ora, sempre di più questi artefatti culturali, le storie, le serie televisive, le immagini, la musica saranno il prodotto di un’intelligenza aliena. Quali effetti avrà questo sulla nostra società, sulla psicologia umana? Nessuno lo sa. Questa è la grande domanda”.

8. “There is a totalitarian potential in AI unlike anything we’ve seen before.”

“Even Hitler and Stalin had limits to how much control their subjects because they couldn't follow everybody all the time. So even in the Soviet Union there was some measure of privacy. Now, AI might make it possible to create total surveillance regimes that will annihilate privacy. Because in an AI country you don't need human agents to follow all the humans around, you have smartphones and computers and cameras and face recognition software and voice recognition software. So it is technically possible to follow everybody all the time and to annihilate privacy. And you also don't need human analysts to go over all the information, because you have AI. There is a totalitarian potential in AI unlike anything we've seen before in history. My own home country of Israel is building exactly such a total surveillance regime in the occupied Palestinian territories.”

“Anche Hitler e Stalin avevano dei limiti per controllare i loro cittadini, perché non potevano seguire tutti per tutto il tempo. Quindi anche nell’Unione Sovietica c’era una certa misura di privacy. Ora, l’IA potrebbe rendere possibili regimi di sorveglianza totale che annienteranno la privacy. Perché in un Paese governato dall’IA, non c’è bisogno di agenti umani per seguire ogni cittadino, ci sono smartphone e computer e telecamere e software di riconoscimento facciale e vocale. Quindi è tecnicamente possibile tracciare tutti i cittadini per tutto il tempo, eliminando la privacy. E non c’è nemmeno bisogno di analisti umani per esaminare tutte le informazioni, perché c’è l’IA. L’IA ha un potenziale totalitario che non ha precedenti nella storia. Il mio Paese, Israele, sta costruendo esattamente un regime di sorveglianza totale di questo tipo nei territori palestinesi occupati”.

9. “If you destroy trust in all institutions, you pave the way for dictatorship.”

“Historically this is a place where the far right and the far left meet, and this is something that Donald Trump agrees with Karl Marx. And what they share is a very deep distrust of the institutions that are the guarantors of the truth. What you hear on both the far right and the far left is suspicion of all the institutions that traditionally were established by human society to identify and promote the true. Which is traditional media and universities and science and the courts and so forth. If you cannot trust any institution to tell you the truth, then all the institutions collapse and the only regime that can survive under these conditions is dictatorship. If you destroy trust in all institutions, we you paved the way for dictatorship.”

“Storicamente questo è un punto di incontro tra l'estrema destra e l’estrema sinistra, e in questo Donald Trump coincide con Karl Marx. Ciò che li accomuna è una profonda sfiducia nelle istituzioni che sono i garanti della verità. Sia l’estrema destra che l’estrema sinistra nutrono un profondo sospetto nei confronti di tutte le istituzioni che la società umana ha storicamente creato per identificare e promuovere la verità. Vale a dire, i media tradizionali, le università, la scienza, i tribunali e così via. Se non ci si può fidare di nessuna istituzione che fornisce certezze, allora tutte le istituzioni crollano e l’unico regime che può sopravvivere in queste condizioni è la dittatura. Se distruggiamo la fiducia in tutte le istituzioni, apriamo la strada alla dittatura”. 

10. “People like Putin, people like Maduro, people like Netanyahu in Israel, they don't seem particularly happy individuals.”

“Both the far right and the far left, they share a very cynical view of the world which says that the only reality is power. That human beings are only interested in gaining power, that all human interactions are power struggles. This obsession with power, that everything is just a power struggle, that all the only thing that humans want is power, is destructive to society and especially to democracy. If you look at these power hungry individuals, you look at people who are obsessed only with power and don't care about at all about the truth, people like Putin, people like Maduro, people like Netanyahu in Israel, they don't seem particularly happy individuals. Humans have a deep yearning for the truth. We want to know the truth about ourselves, about the world, about life. Because ultimately, without the truth, we can never be happy. If you don't know the true sources of your misery in life, you will always be miserable.”

“Sia l’estrema destra che l’estrema sinistra condividono una visione molto cinica del mondo, secondo la quale l’unica realtà è il potere. Essa ritiene che gli esseri umani siano interessati solo ad acquisire potere, che tutte le interazioni umane siano lotte di potere. Questa ossessione per il potere, che riduce tutto a una lotta di potere, pensando che tutto ciò che gli esseri umani vogliono sia il potere, è distruttiva per la società e soprattutto per la democrazia. Se guardiamo a questi individui assetati di potere, se guardiamo a persone ossessionate dal potere che non si preoccupano affatto della verità, persone come Putin, come Maduro, come Netanyahu in Israele, non sembrano individui particolarmente felici. Gli esseri umani hanno un profondo desiderio di verità. Vogliamo conoscere la verità su noi stessi, sul mondo, sulla vita. Perché in definitiva, senza la verità, non potremo mai essere felici. Se non si conoscono le vere fonti della propria infelicità nella vita, si sarà sempre infelici”.