Que se passe-t-il lorsque les machines commencent à s'améliorer elles-mêmes sans que nous leur disions quoi faire ? Voici une pensée folle : si la puissance de calcul continue d'évoluer d'elle-même, entraînant des percées que nous n'avons pas programmées, et que suffisamment de bénéfices sont réinvestis dans la construction de systèmes encore plus puissants, la richesse pourrait s'accumuler plus rapidement que tout ce que nous avons jamais vu auparavant.

Nous parlons d'une croissance exponentielle. Pas la montée progressive à laquelle nous sommes habitués, mais quelque chose de fondamentalement différent. La boucle de rétroaction est simple mais terrifiante : des machines plus intelligentes génèrent plus de valeur, cette valeur finance du matériel plus avancé, on rince et on répète. Aucun goulot d'étranglement humain ne freine les choses.

La vraie question n'est pas de savoir si cette trajectoire technologique est encore possible. C'est qui contrôle le robinet de la richesse quand il s'ouvre complètement.