Andrej Karpathy 開源 autoresearch 項目,AI 自動運行百次 LLM 訓練實驗

Gate News 消息,3 月 9 日,Eureka Labs 創始人、OpenAI 聯合創始人 Andrej Karpathy 昨日(3 月 8 日)公開開源項目 autoresearch,將此前在 LLM 訓練項目 nanochat 上的 AI Agent 自動調優工作流程獨立打包,供開發者使用。該項目採用「人寫 Markdown,AI 寫程式」的設計模式:開發者通過編寫 program.md 文件定義研究方向,AI Agent 自主修改包含完整 GPT 模型、Muon + AdamW 優化器和訓練循環的 train.py 代碼(約 630 行)。每次實驗固定運行 5 分鐘,以驗證集每字節比特數(val_bpb)為唯一評估指標,優於基線的改進將被保留提交,否則丟棄。按此節奏,每小時可運行約 12 次實驗,一夜可完成約 100 次。Karpathy 展示的範例顯示,83 次實驗中產出 15 次有效改進。該項目僅需一塊 NVIDIA GPU(已在 H100 上測試),依賴 PyTorch 和少量軟體包,採用 MIT 協議開源。目前社群已出現 macOS 和 MLX 適配分支。
免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆