AGI đã xuất hiện chưa? Còn xa lắm, theo một tiêu chuẩn đánh giá AI mới

Tóm tắt ngắn gọn

• ARC-AGI-3 phơi bày khoảng cách lớn giữa tuyên bố về AGI và thực tế, với các mô hình AI hàng đầu đạt điểm dưới 1% trong khi con người đạt hiệu suất hoàn hảo.
• Bài kiểm tra đánh giá khả năng tổng quát thực sự — yêu cầu các tác nhân khám phá, lập kế hoạch và học hỏi từ đầu trong môi trường chưa biết thay vì chỉ nhớ các mẫu đã huấn luyện.
• Dù ngành công nghiệp đang hưng thịnh, các hệ thống AI hiện tại vẫn còn xa mới đạt tới AGI, thiếu khả năng lý luận và thích nghi mà thậm chí trẻ nhỏ cũng thể hiện tự nhiên.

CEO Nvidia Jensen Huang tuần trước đã xuất hiện trên podcast của Lex Fridman và nói rõ ràng, "Tôi nghĩ chúng ta đã đạt được AGI." Hai ngày sau, bài kiểm tra AI nghiêm ngặt nhất đã công bố chuẩn mới về trí tuệ nhân tạo tổng quát — và tất cả các mô hình tiên tiến đều dưới 1%.

Quỹ Giải thưởng ARC đã phát hành ARC-AGI-3 trong tuần này, và kết quả thật khắc nghiệt. Gemini 3.1 Pro của Google dẫn đầu với 0.37%. GPT-5.4 của OpenAI đạt 0.26%. Claude Opus 4.6 của Anthropic đạt 0.25%, trong khi Grok-4.20 của xAI chạm mức zero. Trong khi đó, con người đã giải quyết 100% các môi trường.

Đây không phải là một bài kiểm tra đố vui hay kỳ thi lập trình, hay thậm chí là các câu hỏi cấp độ tiến sĩ cực kỳ khó. ARC-AGI-3 là một thử thách hoàn toàn khác biệt so với bất kỳ điều gì ngành AI từng đối mặt trước đây.

Bài kiểm tra này do quỹ của François Chollet và Mike Knoop xây dựng, đã thiết lập một studio game nội bộ và tạo ra 135 môi trường tương tác nguyên bản từ đầu. Ý tưởng là thả một tác nhân AI vào một thế giới giống trò chơi chưa quen thuộc, không có hướng dẫn, không mục tiêu rõ ràng, và không mô tả quy tắc. Tác nhân phải khám phá, hiểu rõ nhiệm vụ, lập kế hoạch và thực thi.

Nếu điều đó nghe có vẻ như bất kỳ đứa trẻ năm tuổi nào cũng làm được, bạn bắt đầu hiểu vấn đề rồi đấy. Nếu muốn thử xem bạn có giỏi hơn AI không, bạn có thể chơi các trò chơi trong bài kiểm tra bằng cách nhấn vào liên kết này. Chúng tôi đã thử một trò; ban đầu khá lạ, nhưng sau vài giây, bạn dễ dàng làm quen.

Nó cũng là ví dụ rõ ràng nhất về ý nghĩa của chữ “G” trong AGI. Khi bạn tổng quát hóa, bạn có thể tạo ra kiến thức mới (cách hoạt động của một trò chơi kỳ lạ) mà không cần huấn luyện trước.

Các phiên bản trước của ARC từng kiểm tra các câu đố hình ảnh tĩnh — hiển thị mẫu, dự đoán mẫu tiếp theo. Ban đầu rất khó. Sau đó, các phòng thí nghiệm đổ thêm sức mạnh tính toán và huấn luyện để vượt qua các bài kiểm tra này, đến mức các chuẩn đánh giá gần như bị bỏ rơi. ARC-AGI-1, ra mắt năm 2019, tập trung vào huấn luyện thời gian thực và các mô hình lý luận. ARC-AGI-2 tồn tại khoảng một năm trước khi Gemini 3.1 Pro đạt 77.1%. Các phòng thí nghiệm rất giỏi trong việc bão hòa các chuẩn đánh giá mà họ có thể huấn luyện.

Phiên bản 3 được thiết kế đặc biệt để ngăn chặn điều đó. Với 110 trong số 135 môi trường được giữ riêng tư — 55 môi trường bán riêng tư để kiểm thử API, 55 môi trường hoàn toàn khóa để thi đấu — không còn bộ dữ liệu nào để ghi nhớ. Bạn không thể brute-force qua logic trò chơi mới mà chưa từng thấy.

Điểm số cũng không phải là đạt/không đạt. ARC-AGI-3 sử dụng chỉ số gọi là RHAE — Hiệu quả hành động của con người tương đối. Mức chuẩn là hiệu suất của con người ở lần chạy thứ hai tốt nhất. Một AI cần gấp mười lần hành động của con người mới đạt 1% điểm, chứ không phải 10%. Công thức này bình phương hình phạt cho sự kém hiệu quả. Đi lang thang, quay lại, đoán mò để tìm ra câu trả lời đều bị phạt nặng.

Tác nhân AI tốt nhất trong thử nghiệm dành cho nhà phát triển kéo dài một tháng đạt 12.58%. Các mô hình LLM tiên tiến thử qua API chính thức, không tùy chỉnh công cụ, không thể vượt quá 1%. Con người bình thường giải quyết tất cả 135 môi trường mà không cần huấn luyện trước hay hướng dẫn. Nếu đó là tiêu chuẩn, thì các mô hình hiện tại chưa đạt tới.

Có một tranh luận thực sự về phương pháp luận ở đây. Báo cáo của ARC cho biết một bộ khung tùy chỉnh do Duke xây dựng đã đẩy Claude Opus 4.6 từ 0.25% lên 97.1% trong một biến thể môi trường gọi là TR87. Điều này không có nghĩa Claude đạt 97.1% trong toàn bộ ARC-AGI-3; điểm chuẩn chính thức của nó vẫn là 0.25%, nhưng sự thay đổi này vẫn đáng chú ý.

Chuẩn chính thức cung cấp mã JSON cho tác nhân, không phải hình ảnh. Đó có thể là một thiếu sót về phương pháp hoặc là minh chứng cho việc các mô hình ngày nay xử lý tốt hơn thông tin thân thiện với con người so với dữ liệu dạng thô. Quỹ của Chollet đã thừa nhận tranh luận này, nhưng không thay đổi định dạng.

“Nhận thức nội dung khung hình và định dạng API không phải là yếu tố hạn chế hiệu suất của các mô hình tiên tiến trên ARC-AGI-3,” theo bài báo. Nói cách khác, họ dường như bác bỏ ý kiến rằng các mô hình thất bại vì “không thể nhìn thấy” đúng nhiệm vụ, mà thay vào đó cho rằng khả năng nhận thức đã đủ — và khoảng cách thực sự nằm ở lý luận và tổng quát hóa.

Kiểm tra thực tế về AGI đã diễn ra trong tuần khi cỗ máy hype hoạt động hết công suất. Ngoài bình luận của Huang, Arm đã đặt tên cho chip trung tâm dữ liệu mới là "CPU AGI." Sam Altman của OpenAI nói rằng họ đã “gần như xây dựng xong AGI,” và Microsoft đã bắt đầu tiếp thị một phòng thí nghiệm tập trung vào xây dựng ASI: một bước tiến của sau khi đạt được AGI. Thuật ngữ này đang bị kéo dài đến mức nó có nghĩa là bất cứ điều gì phù hợp với lợi ích thương mại.

Quan điểm của Chollet rất đơn giản. Nếu một người bình thường không cần hướng dẫn mà vẫn làm được, còn hệ thống của bạn thì không, thì bạn chưa có AGI — chỉ là một trình tự tự động hoàn chỉnh rất đắt tiền cần nhiều sự giúp đỡ.

Giải thưởng ARC 2026 đang trao 2 triệu đô la cho ba hạng mục thi đấu, tất cả đều tổ chức trên Kaggle. Mọi giải pháp chiến thắng đều phải mở mã nguồn. Thời gian đang trôi, và hiện tại, các máy móc còn xa mới đạt được điều đó.