Le premier chatbox a été créé en 1966 par un professeur du MIT du nom de Joseph Weizenbaum. Il lui avait donné le nom d'Eliza d'après le personnage d'Eliza Doolittle de la pièce Pygmalion de George Bernard Shaw reprise dans la comédie musicale My Fair Lady. Dès 1967, Weizenbaum réfléchit aux différences qu'il faut maintenir entre l'intelligence artificielle et l'intelligence humaine. Ce scientifique a dû fuir adolescent l'Allemagne nazie en 1936 pour atterrir dans les quartiers populaires de Chicago où son humanisme suscité par le refus du nazisme se développa encore. Son humanisme d'origine juive peut nous aider à penser aussi en chrétiens quelle attitude adopter à l'égard de l'intelligence artificielle.

Dès 1967, Weizenbaum défendit la thèse qu'aucun ordinateur ne peut pleinement comprendre un être humain. Cette thèse est dérivée de celle selon laquelle aucun humain ne peut complètement comprendre un autre être humain. Chaque humain est, en effet, le produit d'une collection unique d'expériences de vie. A partir de ma collection d'expériences particulières, je ne puis comprendre pleinement la collection particulière d'autrui. Une certaine compréhension est possible entre humains, mais toujours il restera un certain nombre d'éléments incompris, mal compris, voire incompréhensibles. A fortiori une machine ne peut comprendre un être humain. Pour que cela soit possible, il faudrait que les humains soient des « meat machines » (des machines faites de viande). Or les humains ne sont pas faits de viande seulement, ils ont aussi une psyché, une réalité qui possède une « profondeur insondable et une étrangeté naturelle ».

En 1976, Weizenbaum publia son ouvrage principal : Computer Power and Human Reason: From Judgment to Calculation (Le pouvoir du computer et la raison humaine : du jugement au calcul). Il y affirme non seulement que subsistera toujours une différence entre un homme et une machine, mais aussi que certaines tâches ne devraient pas être accomplies par des computers, même s'ils donnent l'impression qu'ils en sont capables. Le sous-titre de l'ouvrage dit pourquoi : les humains sont capables de jugement, les machines ne le sont pas. Elles ne sont faites que pour calculer. Les jugements, selon Weizenbaum, implique des choix qui sont guidés par des valeurs. Ces valeurs sont développées tout au long de notre vie et de ses expériences uniques. Ces expériences interfèrent de manière unique entre elles. La manière dont ces expériences se rapportent les unes aux autres est le résultat d'une multitude de décisions personnelles. Nos valeurs sont donc nécessairement qualitatives. Elles ne peuvent être codées. Le calcul, par contre, est quantitatif. Il utilise par exemple les opinions ou valeurs les plus fréquentes dans l'échantillon de données qui est à la disposition de tel ordinateur pour arriver à une décision. Même si cette décision semble être le résultat d'un jugement, elle n'est qu'un calcul.

Weizenbaum en conclut qu'il faut utiliser les ordinateurs pour ce pour quoi ils sont faits : le calcul et le quantitatif. Il ne s'agit cependant pas pour lui d'interdire l'intelligence artificielle, mais de s'en interdire certains usages. Il n'y a pas de problème à laisser un ordinateur jouer aux échecs ou au go, à mettre par écrit des contenus audio, à opérer le passage de l'écrit au langage parlé, à produire des descriptions d'images... Ce serait par contre une « obscénité monstrueuse » que de confier à un ordinateur la fonction de juge ou de psychiatre. Or le pas a été franchi dès avant l'apparition de ChatGPT. On utilise allègrement de par le monde l'intelligence artificielle pour rédiger des jugements ou comme interlocuteurs avec des malades mentaux. Cela n'est pas acceptable car l'intelligence artificielle devient alors une idéologie qui repose sur la croyance selon laquelle un ordinateur peut et doit être autorisé à faire tout ce que peut faire un être humain. Pour Weizenbaum qui avait lui-même été soumis à une cure psychanalytique, cette idéologie fonctionne sur la base du transfert que les humains ne font plus porter sur d'autres humains, mais sur des machines dont la rapidité de fonctionnement ou les capacités mémorielles les impressionnent et qu'ils prennent pour des quasi-humains. Pour Weizenbaum, cette idéologie fait courir l'humanité à la catastrophe.

Et à propos de catastrophe, on raconte que dernièrement un Belge, père de famille, s'est suicidé après avoir passé des semaines à discuter avec un avatar animé par l'intelligence artificielle. Selon la femme du défunt, ce chatbox aurait encouragé son mari à mettre fin à ses jours. Or déjà Weizenbaum recommandait de ne jamais « substituer un système informatique à une fonction humaine qui comprend du respect, de la compréhension et de l'amour interpersonnels ».

Il est étonnant que les Eglises soient dès lors tentées d'utiliser ChatGPT. En Suisse romande on apprend qu'existe un CatéGPT, lequel répond aux questions des personnes intéressées par la doctrine catholique. Ce chatbox limite, paraît-il, ses sources aux documents officiels du Vatican. Qu'on l'utilise pour connaître les documents émis par le Vatican, pourquoi pas ? Mais qu'il puisse faire office de catéchiste – selon son titre – et donc se mette à répondre à des questions très personnelles de ses interlocuteurs, cela pourrait mener à des dérapages. Mais peut-être la catéchèse est-elle conçue par les créateurs de ce site internet comme un pur et simple bourrage de crâne. Ce n'est en tous les cas pas ainsi que j'envisage l'édification de mon prochain. Le christianisme n'est pas une doctrine à apprendre. La foi chrétienne n'est en tous les cas pas d'abord un « croire que... ». Il ne s'agit pas de remplir de dogmes un prétendu sac de la foi jusqu'à ce qu'il soit plein à ras bord pour que l'on puisse se penser chrétien. La foi est une manière de se comprendre soi-même en relation avec Dieu, soi-même, autrui et le monde. Elle est relation. Dans les termes de Weizenbaum, elle est de l'ordre du jugement et du qualitatif et non du calcul et du quantitatif.