"Ils ne font que vendre un produit..." : la charge de Carissa Veliz (Oxford) contre les "prophètes" de l'IA
Les prédictions sont aussi vieilles que l’humanité. Dans l’Antiquité, une foule faisait la queue devant l’oracle de Delphes, qui délivrait les prophéties d’Apollon. A Rome, l’empereur Tibère avait son astrologue de cour, Thrasyllus. Près de deux millénaires plus tard, le président François Mitterrand consultera la reine des horoscopes Elizabeth Teissier. Dans Prophecy (Swift Press), qui vient de paraître en anglais et a été salué par The Economist, le New York Times ou le Financial Times, Carissa Veliz revient sur ce besoin qu’ont les humains de se voir annoncer leur avenir. Elle avertit sur le fait que les prophéties sont bien plus un enjeu de pouvoir et d’argent dans le présent que de connaissances du futur. Surtout, la professeure associée de philosophie à l’université d’Oxford montre à quel point l’IA a remplacé les oracles d’antan, tandis que les gourous de la tech font figure de nouveaux prophètes, entre prédictions catastrophistes ou lendemains qui chantent.
Pour L’Express, Carissa Veliz explique pourquoi il faut toujours se méfier des prédictions et invite à ne pas utiliser les agents conversationnels comme des devins. Elle donne aussi de précieux conseils pour faire face à un monde forcément incertain.
L'Express : Les prophéties sont selon vous toujours plus une question d’argent et de pouvoir dans le présent que de connaissances du futur. Pourquoi faut-il s’en méfier ?
Carissa Veliz : Tout dépend bien sûr du type de prédiction. Les prévisions météorologiques relèvent de connaissances scientifiques. Mais dès qu’il s’agit de prédictions concernant les personnes, nous avons tendance à prendre cela pour un fait, alors qu’il s’agit avant tout d’une question de pouvoir. Nous devrions être bien plus critiques, et nous demander pourquoi nous, les humains, sommes si vulnérables aux prédictions. Nous sommes des êtres intelligents, mais anxieux face à l’avenir, parce que nous savons que les choses peuvent mal tourner. D’où notre besoin d’avoir des certitudes. Les prédictions ressemblent à des descriptions du monde à venir, mais bien souvent elles ne reposent sur rien de sérieux.
Vous rappelez que déjà, durant l’Antiquité, l’oracle de Delphes était une activité lucrative…
La première chose qui ressort quand on étudie l’histoire des prophéties, c’est que cela a toujours été une activité commerciale. Les prophètes sont des marchands de la prédiction. Pour consulter la Pythie de Delphes, il fallait offrir un mouton en sacrifice, et les prêtres prélevaient un morceau de viande. A Delphes étaient aussi organisés tous les quatre ans les Jeux pythiques, des festivités très rentables pour la région.
Les voyants et les devins avaient tendance à diagnostiquer un problème, puis à proposer une solution d’une manière qui vous obligeait à recourir davantage à leurs services. Quand on transpose ça dans le monde actuel, on se rend compte que très souvent, les entreprises technologiques diagnostiquent les problèmes d’une manière qui les désigne comme la solution, alors même que ce sont souvent elles qui les ont créés !
En quoi le christianisme a-t-il lutté contre les prédictions, telle l’astrologie ou les oracles ?
Le christianisme a essayé de se débarrasser de l’astrologie, mais n’y est pas totalement parvenu. Il a en tout cas poussé cette pratique dans une forme de clandestinité, y voyant une concurrente. L’empereur Constantin a ainsi prévenu son entourage qu’aucun astrologue ou devin n’échapperait au châtiment et à la torture. En 409, l’empereur Flavius Honorius a forcé les astrologues à brûler leurs livres face aux évêques. Car si des gens consultent des astrologues, des voyants ou des médiums, le Dieu omniscient perd un peu de son pouvoir, tout comme l’Eglise.
Par la suite, avec les Lumières, il y a eu une mathématisation de la prédiction, liée à un désenchantement du monde, à la mécanisation de la nature et au culte des chiffres et des statistiques. C’est aussi dû au développement de nos sociétés. Quand on ne connaît plus la personne avec qui on fait des échanges, que ce n’est plus votre ami, votre cousin ou votre voisin, se pose une question de confiance. Comment savoir si ce produit est de bonne qualité ? Comment savoir si je vais le recevoir ? Comment être sûr qu'il pèse bien ce que cette personne affirme? Les nombres nous ont aidés à combler ce fossé. Nous faisons confiance aux chiffres parce que nous ne faisons plus confiance aux gens, oubliant au passage que ce sont les humains qui les produisent.
Les succès remportés par les prédictions mathématiques nous ont en tout cas amenés à penser qu’il ne s’agissait que d'une question de temps avant que nous puissions transformer tout ce qui est actuellement imprévisible en quelque chose de prévisible. Et la conviction que l’esprit est une machine statistique nous a finalement poussés à inventer l’intelligence artificielle à son image, dans l’espoir de construire la machine de prédiction ultime…
Si vous avertissez sur le fait que l'IA a le pouvoir de détruire l'humanité, cela impressionne.
Selon vous, l’IA serait notre nouvel oracle de Delphes, et les grandes figures de la tech nos nouveaux prophètes…
Nous utilisons aujourd’hui l’IA comme jadis nous consultions des astrologues, oracles ou prophètes. Le machine learning, ou apprentissage automatique, n’est au fond rien d’autre qu’une machine à prédire, que ce soient des mots, ou le fait de déterminer si quelqu’un va être un bon employé ou qu’il risque de commettre un crime. Par ailleurs, les dirigeants de la tech occupent aujourd’hui une place prépondérante dans la sphère publique, et leurs annonces sont prises pour des faits, alors qu’il s’agit très souvent de prédictions.
Si la technologie a bien sûr évolué depuis l’oracle de Delphes ou l’astrologie, le rôle politique de ces prédictions est assez similaire. Si vous aviez interrogé une personne durant l’Antiquité, elle vous aurait répondu que l'astrologie est une technologie de pointe, une discipline très technique et opaque, même pour les astrologues eux-mêmes, mais qui aide à prendre des décisions. Nous disons en partie la même chose sur l’IA. C'est très technique, on ne comprend pas exactement ce qui se passe, mais c'est notre méthode de pointe pour prendre des décisions.
Mais les gourous de la tech font aujourd’hui des prophéties très différentes sur l’avenir de l’IA. Certains, les "doomers", brandissent des scénarios apocalyptiques, d’autres se montrent bien plus positifs et rassurants…
Cela suggère que ni les uns ni les autres n’en savent rien (rires). Sans aucun doute, la réalité se situe quelque part entre les deux. Mais ce que ces deux types de prédictions ont en commun, c'est que ceux qui les font dépeignent l’IA comme étant bien plus puissante que la technologie dont nous disposons actuellement. Si vous avertissez sur le fait que l'IA a le pouvoir de détruire l'humanité, cela impressionne. Si vous dites qu’elle pourra résoudre tous nos problèmes actuels ou futurs, comme les traitements contre le cancer, cela la fait aussi passer pour un outil très puissant. On voit bien l'intérêt financier de ces personnes, et le fait qu'elles vendent avant tout un produit.
J’observe d’ailleurs des similitudes entre les tactiques psychologiques utilisées par certains dirigeants de la tech, et des dynamiques l’on observe dans les relations abusives. L’une des caractéristiques des relations abusives est qu’elles sont parfois très bonnes, puis horribles, et que les gens deviennent accros à ce genre de revirements. De la même manière, on nous dit que l’IA va être la plus grande chose de nos vies, puis le lendemain qu’elle va nous détruire. Cela crée de la désorientation et une vulnérabilité psychologique auprès du grand public. On nous explique que la technologie engendre des problèmes immenses, mais qu’elle sera aussi la solution.
Mais ce qui m’inquiète le plus dans ces prédictions, c’est le manque de respect pour la démocratie que l’on y retrouve souvent, et la volonté de créer des produits qui s’inscrivent parfaitement dans les tendances autoritaires, allant à l’encontre de l’autonomie des citoyens.
Pourquoi doit-on donc considérer notre agent conversationnel comme un devin ?
C’est une machiste probabiliste, qui effectue une analyse statistique pour produire une réponse probable, susceptible d’être acceptée par un être humain. Ces agents conversationnels ne sont nullement conçus pour rechercher la vérité, consulter des bases de données, suivre des preuves empiriques ou comprendre le monde. Ils ont été élaborés pour satisfaire nos désirs et nous impliquer. En raison de leur nature probabiliste, ils ne peuvent pas être précis à 100 %. Mais aujourd’hui, certains grands modèles de langage deviennent plus précis, justement parce que leur conception évolue et s’éloigne de la prédiction. Nous savons par exemple qu'ils ne calculent pas, ne sachant pas additionner ou soustraire. Mais désormais, certains d'entre eux sont capables de se connecter à une calculatrice. C’est intéressant, car cela signifie que nous atteignons un niveau de précision avec des méthodes plus traditionnelles de recherche de la vérité.
Je précise d’ailleurs que la critique que je formule dans ce livre porte sur la prédiction, et non l’IA dans son ensemble. Le danger, c’est de s’appuyer de manière excessive sur de nouvelles formes de prédictions.
Si vous pensez aux moments les plus importants de votre vie, aux personnes essentielles de votre existence, il y a probablement une bonne part de hasard là-dedans.
Dans le domaine artistique, vous rappelez aussi qu’une série aussi géniale que Seinfeld, énorme succès dans les années 1990, n’aurait jamais vu le jour si on s’était fié aux algorithmes de Netflix…
J’ai regardé tous ces documentaires sur Seinfeld. On oublie à quel point cette série était impopulaire à ses débuts. Le pilote a été un véritable échec, les gens trouvaient ça ennuyeux. Ils ne comprenaient pas cette "série sur rien". Mais un cadre de NBC l’a défendue malgré toutes les preuves que ce serait un flop. Comme tout grand art, Seinfeld a changé notre façon de voir le monde, et notamment l’humour des personnes. Elle est passée d'un format un peu hermétique à l’une des fictions les plus réussies de l’histoire de la télévision. L’une des choses que j’adore dans Seinfeld, c’est que cela vous apprend en quelque sorte à voir le monde d’une certaine manière. Vous commencez à identifier des moments "à la Seinfeld" dans votre propre vie. Et ce qui n’était auparavant qu’une source d’agacement ou de nuisance devient désormais un divertissement et un amusement.
Aujourd’hui, les séries basées sur des algorithmes sensés prédire ce qu’attendent les spectateurs sont de plus en ennuyeuses, ne faisant que ressasser ce que nous savons déjà. J’ai rencontré des producteurs de télévision qui me disent qu’ils traversent une véritable crise, que les gens ne regardent plus autant les séries qu’avant, que les jeunes passent le temps sur TikTok et ont une capacité d’attention de 20 secondes. Bien sûr, il y a de nombreux facteurs en jeu. Mais je me demande si, à force de ne plus mettre les téléspectateurs au défi et de ne suivre que des formules basées sur des succès précédents, on ne contribue pas à ce désamour actuel.
Vous finissez votre livre par des conseils personnels pour mieux vivre dans un monde incertain. L’un d’entre eux est de favoriser la sérendipité dans nos existences, c’est-à-dire la faculté de découvrir par hasard quelque chose qu’on n’attendait pas forcément…
Je voulais que les lecteurs ne repartent pas avec juste quelques idées intéressantes, mais voient aussi que la philosophie éthique peut avoir des implications très pratiques. Parmi mes dix conseils, je recommande notamment de se préparer plutôt que de chercher à prédire l’avenir. Cela peut sembler être la même chose, mais c’est un processus différent. Il s’agit plutôt d’avoir de grandes idées et de créer d’excellents produits pour rendre notre société et nos vies plus solides, face à de possibles "cygnes noirs". C’est construire l’avenir plutôt que de vouloir le deviner. Car si vous considérez la prédiction comme une sorte de dévoilement du futur, vous finissez par adhérer à l'idée de destin. Or l’avenir n’est pas écrit, c’est à nous de le faire. Que voulons-nous bâtir ? Quel genre de vie voulons-nous mener ? De grands projets peuvent bien sûr changer le monde. Mais quand vous passez votre dimanche après-midi à lire un livre, cela y contribue aussi, parce que c’est une conversation entre humains, durant laquelle les géants de la tech ne vous envoient pas de notifications et ne vous surveillent pas.
Mon autre grand conseil, c’est effectivement celui d’accroître la sérendipité. Plus nous laissons les algorithmes déterminer ce que nous voyons, dans quel café nous allons et qui nous rencontrons, moins nous nous permettons d’être surpris par le monde. Si vous pensez aux moments les plus importants de votre vie, aux personnes essentielles de votre existence, il y a probablement une bonne part de hasard là-dedans. Cela signifie donc d'aller se promener et de s’ouvrir au monde, de parler à des inconnus, de ne pas laisser les algorithmes déterminer qui vous voyez, de lire beaucoup, de regarder des choses excentriques, ou simplement de se promener sur la plage, parce qu’on ne sait jamais ce que la marée pourrait apporter.
