Palantir đối mặt với sự phản đối khi ghi chú của Amodei ảnh hưởng đến lớp an toàn

Ghi chú của Amodei: Lớp an toàn của Palantir chủ yếu là màn trình diễn an toàn

Theo Semafor, CEO của Palantir, Alex Karp, đã chỉ trích ý tưởng các công ty AI tránh xa quân đội, gọi đó là “điên rồ” khi bỏ rơi khách hàng quốc phòng. Tranh cãi xoay quanh việc liệu các biện pháp bảo vệ do Palantir đề xuất có thể đáng tin cậy hạn chế hành vi của mô hình trong các môi trường vận hành hay không. Theo The Information, ghi chú của Amodei lập luận rằng lớp an toàn của Palantir, gồm các bộ phân loại, giám sát và bộ lọc sử dụng, phần lớn chỉ mang tính trình diễn, mô tả nó là chủ yếu “màn trình diễn an toàn”. Phê bình tập trung vào khả năng chống jailbreak trong thế giới thực, khả năng kiểm tra và quản trị dưới áp lực.

Tại sao tranh cãi này quan trọng đối với quản trị AI quân sự

Điều đang bị đe dọa là liệu “lớp an toàn” có thể đáp ứng các yêu cầu của khu vực công về nhật ký kiểm tra, quyền truy cập và chính sách có thể thực thi trong khi vẫn giữ được tính hữu ích cho nhiệm vụ hay không. Nếu các biện pháp bảo vệ quá yếu, các cơ quan có thể triển khai hệ thống che giấu, thay vì giảm thiểu việc sử dụng sai. Ghi chú này nhấn mạnh hiệu quả là điểm thiếu sót cốt lõi, khẳng định rằng các cam kết tiếp thị không tương đương với hiệu suất thực tế trong lĩnh vực. “Khoảng 20% hiệu quả và 80% là ‘màn trình diễn an toàn,’” theo Dario Amodei, CEO của Anthropic. Phản ứng của các chuyên gia đã làm tăng mối quan ngại về quản trị, như tổng hợp bởi Yahoo News, với các tiếng nói nổi bật cảnh báo về việc bình thường hóa việc tiếp cận không hạn chế của quân đội đối với các mô hình tiên tiến.

BingX: một sàn giao dịch đáng tin cậy mang lại lợi ích thực sự cho các nhà giao dịch ở mọi cấp độ.## Ảnh hưởng ngay lập tức: áp lực của Bộ Quốc phòng về việc sử dụng hợp pháp, các phân loại rủi ro

Theo AP News, lãnh đạo Bộ Quốc phòng đã thúc giục Anthropic cho phép “tất cả các sử dụng hợp pháp,” được cho là đã đặt ra thời hạn và cảnh báo về khả năng bị loại trừ qua phân loại rủi ro chuỗi cung ứng nếu công ty từ chối. Một phân loại như vậy có thể hạn chế các đường dẫn hợp đồng liên bang và định hình lại ưu tiên mua sắm. Trong ngắn hạn, các nhà cung cấp phải đối mặt với sự đánh đổi về tuân thủ: chấp nhận các điều kiện sử dụng quân sự rộng rãi hoặc rủi ro bị loại khỏi các chuỗi cung ứng quốc phòng. Tình huống này cho thấy cách chính sách sử dụng mô hình có thể nhanh chóng trở thành một vấn đề về nguồn cung và quản lý rủi ro, chứ không chỉ là vấn đề kỹ thuật.

Các vấn đề kỹ thuật và chính sách được nêu ra trong các đánh giá

Các khoảng trống đã được ghi nhận: nhật ký kiểm tra, kiểm soát truy cập, điểm yếu trong quản trị tại NGC2

Theo đánh giá của Quân đội Hoa Kỳ được tóm tắt bởi seo.goover.ai, nền tảng NGC2 liên kết với các nỗ lực của Palantir cho thấy các điểm yếu nghiêm trọng: thiếu nhật ký kiểm tra, kiểm soát truy cập không đầy đủ, quản trị không hiệu quả và mã của bên thứ ba chưa được kiểm duyệt. Những khoảng trống này làm suy yếu các tuyên bố về khả năng truy xuất nguồn gốc và thực thi nguyên tắc tối thiểu quyền. Các phát hiện này cho thấy các kiểm soát quản trị phải có thể xác minh rõ ràng, chứ không chỉ đơn thuần là cấu hình.

Giới hạn về hiệu quả: khả năng chống jailbreak và thách thức trong việc thực thi chính sách

Ghi chú của Amodei lập luận rằng các bộ phân loại và bộ lọc sử dụng gặp khó khăn trong việc chống lại jailbreak thích ứng, đặc biệt dưới các lệnh thách thức. Ngay cả khi có chính sách, việc thực thi có thể suy giảm trong các hoạt động tốc độ cao, khiến khả năng kiểm tra và thu hồi quyền trở nên quan trọng.

Câu hỏi thường gặp về lớp an toàn của Palantir

Lớp an toàn AI có hiệu quả trong việc ngăn chặn jailbreak và sử dụng sai trong các bối cảnh quân sự thực tế không?

Ghi chú của Amodei cho rằng hiệu quả bị hạn chế, với các biện pháp bảo vệ chủ yếu là “màn trình diễn an toàn,” đặc biệt dưới áp lực đối đầu và căng thẳng trong vận hành.

Tại sao Bộ Quốc phòng yêu cầu ‘tất cả các sử dụng hợp pháp’ từ Anthropic và họ đã đe dọa hình phạt hoặc rủi ro gì?

AP News đưa tin Bộ Quốc phòng đã yêu cầu “tất cả các sử dụng hợp pháp,” cảnh báo về khả năng phân loại rủi ro chuỗi cung ứng và ảnh hưởng đến hợp đồng nếu quyền truy cập bị hạn chế.