Chuyện gì sẽ xảy ra khi máy móc bắt đầu tự cải thiện mà không cần chúng ta chỉ bảo phải làm gì? Đây là một suy nghĩ điên rồ: nếu sức mạnh tính toán tiếp tục phát triển một cách độc lập, tạo ra những đột phá mà chúng ta không lập trình, và đủ lợi nhuận được dẫn trở lại để xây dựng những hệ thống mạnh mẽ hơn—giàu có có thể tích lũy nhanh hơn bất cứ điều gì chúng ta đã từng chứng kiến trước đây.

Chúng ta đang nói về sự tăng trưởng theo cấp số nhân. Không phải là sự leo dốc từ từ mà chúng ta quen thuộc, mà là một điều gì đó hoàn toàn khác biệt. Chu trình phản hồi rất đơn giản nhưng đáng sợ: những cỗ máy thông minh hơn tạo ra nhiều giá trị hơn, giá trị đó tài trợ cho phần cứng tiên tiến hơn, cứ như vậy mà lặp lại. Không có nút thắt cổ chai nào của con người làm chậm lại.

Câu hỏi thực sự không phải là liệu quỹ đạo công nghệ này có còn khả thi hay không. Mà là ai kiểm soát dòng tài sản khi nó hoàn toàn mở ra.