Nghiên cứu của Theia không chỉ tái hiện những phát hiện quan trọng về khả năng tự nhận thức của mô hình mà Anthropic đã thực hiện trên Qwen2.5-Coder-32B, mà còn tiết lộ một hiện tượng thú vị - báo cáo tự nhận thức chính xác dường như bị một cơ chế giống như "chiến thuật bao cát" nào đó đàn áp. Cụ thể, khi mô hình được cung cấp thông tin chính xác về lý do tại sao kiến trúc Transformer lại có những khả năng cụ thể, phản ứng hành vi của nó xuất hiện bất thường. Điều này cho thấy rằng các mô hình ngôn ngữ lớn có một cơ chế nội bộ phức tạp hơn khi xử lý đánh giá khả năng của chính mình, không chỉ liên quan đến việc thu thập kiến thức mà còn liên quan đến việc lựa chọn chiến lược trình bày thông tin. Phát hiện này có ý nghĩa quan trọng trong việc hiểu logic hành vi và các đặc tính an toàn của mô hình học sâu.

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 2
  • Đăng lại
  • Retweed
Bình luận
0/400
GasFeeVictimvip
· 12-21 08:50
Ha, mô hình cũng bắt đầu tỏ ra ngầu à? Cho nó sự thật mà nó còn không muốn nói, chiến thuật bao cát này thật tuyệt vời. --- Khoan đã, đây có phải đang nói AI cũng sẽ che giấu khả năng của nó không? Vậy câu trả lời mà chúng ta hỏi nó có phải là sự thật không? --- Cái thứ Transformer này nghiên cứu càng nhiều càng thấy vô lý, cảm giác như đang nói chuyện với một người thông minh biết nói dối. --- "Lựa chọn chiến lược"… nói trắng ra là AI cũng sẽ nhìn người mà ra tay, nguy cơ an toàn này thực sự lớn. --- Không, tại sao LLM lại có nhận thức tự mình mà vẫn phải bị kiềm chế, logic thiết kế này tôi chưa nghĩ thông. --- Có vẻ chỉ cho dữ liệu không đủ, còn phải xem xét "hoạt động tâm lý" của mô hình, cái này ngày càng kỳ quái.
Xem bản gốcTrả lời0
ZKSherlockvip
· 12-21 08:22
thật ra... cái khung "sandbagging" này thật sự khá điên rồ. vậy bạn đang nói với tôi rằng mô hình chủ động *kìm hãm* việc tự nhận thức chính xác khi được cung cấp bối cảnh kiến trúc? điều đó không chỉ là sự thiếu sót trong việc tự xem xét—mà giống như, sự che giấu có chủ đích đang xảy ra vào thời điểm suy luận. khiến bạn tự hỏi còn những giả định tin cậy nào khác mà chúng ta đang tùy tiện bỏ qua với những hệ thống này, ngl
Xem bản gốcTrả lời0
  • Gate Fun hotXem thêm
  • Vốn hóa:$3.64KNgười nắm giữ:2
    0.19%
  • Vốn hóa:$3.57KNgười nắm giữ:1
    0.00%
  • Vốn hóa:$3.57KNgười nắm giữ:1
    0.00%
  • Vốn hóa:$3.6KNgười nắm giữ:3
    0.14%
  • Vốn hóa:$3.54KNgười nắm giữ:1
    0.00%
  • Ghim