Theo dõi của 1M AI News, đồng sáng lập OpenAI Andrej Karpathy đã chia sẻ trên X một phát hiện gần đây của anh ấy: xây dựng một kho kiến thức cá nhân bằng LLM còn có giá trị hơn việc dùng nó để viết mã. Phần lớn lượng token anh ấy tiêu hao hiện nay đã chuyển từ thao tác viết code sang thao tác xử lý kiến thức.
Quy trình làm việc đầy đủ gồm năm bước:
- Thu thập dữ liệu: lập chỉ mục các tài liệu nguồn như bài viết, luận văn, kho mã, bộ dữ liệu, hình ảnh… vào thư mục raw/, sau đó dùng LLM “biên dịch” theo gia tăng thành một markdown wiki, bao gồm tóm tắt, liên kết ngược, phân loại theo khái niệm và liên kết chéo giữa các bài viết
- Giao diện duyệt: dùng Obsidian làm front-end để xem dữ liệu thô, wiki đã được biên dịch và các hình dung dẫn xuất; nội dung wiki hoàn toàn do LLM duy trì, con người gần như không trực tiếp chỉnh sửa
- Truy vấn hỏi-đáp: khi wiki tích lũy đến một quy mô nhất định (một hướng nghiên cứu của anh ấy đã có khoảng 100 bài viết, 400.000 từ), có thể đặt cho LLM những câu hỏi phức tạp, và LLM tự truy xuất nội dung wiki để trả lời. Anh ấy ban đầu nghĩ cần RAG, nhưng các tệp chỉ mục và phần tóm tắt do LLM tự duy trì ở quy mô này đã đủ dùng
- Hồi lưu đầu ra: kết quả truy vấn được tạo dưới dạng markdown, trình chiếu Marp hoặc biểu đồ matplotlib; sau khi xem trong Obsidian thì lưu lại vào wiki để việc khám phá cá nhân tiếp tục lắng đọng
- Kiểm tra chất lượng: dùng LLM định kỳ để “kiểm tra sức khỏe” wiki, phát hiện dữ liệu không nhất quán, bổ sung thông tin còn thiếu, khai thác các liên kết giữa các khái niệm; từ đó tăng dần tính đầy đủ của dữ liệu
Karpathy cho biết anh ấy còn phát triển thêm một số công cụ, ví dụ như một công cụ tìm kiếm index wiki đơn giản; nó có thể vừa được dùng trực tiếp trên giao diện web của chính anh ấy, vừa có thể giao cho LLM xử lý dưới dạng công cụ dòng lệnh để thực hiện các truy vấn lớn hơn. Anh ấy tin rằng quy trình này hiện mới chỉ là “một mớ script được ghép lại với nhau”, nhưng đằng sau đó lại ẩn chứa cơ hội cho một “sản phẩm mới thật khó tin”. Xa hơn nữa, ý tưởng là: với mỗi câu hỏi đặt ra cho các mô hình tiên tiến, có thể cử một nhóm LLM tự xây dựng một wiki tạm thời, làm kiểm tra chất lượng, lặp qua vài vòng, và cuối cùng xuất ra một báo cáo hoàn chỉnh—“vượt xa một lần .decode()”.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo
Tuyên bố miễn trừ trách nhiệm.
