Что произойдет, когда машины начнут улучшать себя без нашего указания? Вот дикая мысль: если вычислительная мощность продолжает эволюционировать самостоятельно, приводя к прорывам, которые мы не программировали, и достаточно прибыли будет направлено на создание еще более мощных систем — богатство может накапливаться быстрее, чем мы когда-либо видели.

Мы говорим о экспоненциальном росте. Не о постепенном подъеме, к которому мы привыкли, а о чем-то принципиально другом. Обратная связь проста, но пугающа: более умные машины создают больше ценности, эта ценность финансирует более продвинутое оборудование, и так далее. Нет человеческого узкого места, замедляющего процесс.

Настоящий вопрос не в том, возможна ли эта технологическая траектория. Важно, кто контролирует источник богатства, когда он полностью откроется.