Karpathy 的 Autoresearch 與 PROGRAM.md:讓 AI 在你睡覺時執行實驗
2026 年 3 月 7 日,前特斯拉 AI 總監、OpenAI 共同創辦人 Andrej Karpathy 發布了一個讓 AI 世界沸騰的儲存庫:autoresearch。
這個想法看似簡單,實則深刻:給 AI 代理一個小型但真實的 LLM 訓練環境,讓它在夜間自主執行實驗。它修改程式碼,訓練 5 分鐘,檢查結果是否改善,保留或丟棄更改,然後重複。
你睡覺時,100 個實驗在執行。零人工干預。
但有一點對程式設計的未來至關重要:人類不寫 Python。人類寫的是一個 Markdown 檔案。
什麼是 program.md?
autoresearch 的核心是一個名為 program.md 的檔案。這是一個 Markdown 文件,作為 AI 代理的操作手冊。
研究人員不再手動調整超參數、調整學習率或修改 Python 中的神經網路架構,而是在 program.md 中用自然語言寫下指令。AI 代理讀取這些指令,並據此自主修改訓練程式碼(train.py)。
正如 Karpathy 所說:你不會像通常的研究人員那樣去修改 Python 檔案。相反,你在撰寫 program.md Markdown 檔案,為 AI 代理提供上下文。
Autoresearch 如何運作
這個系統的優雅在於其簡潔:
- 人類編輯
program.md— 設定研究目標、約束和策略 - AI 代理(Claude、Codex 或其他 LLM)讀取
program.md並修改train.py - 訓練恰好執行 5 分鐘,測量驗證損失(val_bpb)
- 若有改善,將更改作為 git commit 保留在功能分支上
- 若無改善,git 重置回起始狀態
- 無限重複
整個訓練程式碼庫約 630 行 Python — 小到足以完整放入 LLM 的上下文視窗。這是有意為之的。代理需要理解整個系統才能做出智慧修改。
實驗結果
Karpathy 在一個深度為 12 的模型上讓 autoresearch 執行了約兩天。AI 代理自主發現了約 20 項改進,將 Time to GPT-2 基準從 2.02 小時降低到 1.80 小時 — 在零人工干預的情況下提升了 11%。
視覺化中的每個點都代表一次完整的 LLM 訓練執行。代理在自主迴圈中工作,在為神經網路架構、優化器和超參數找到更好設定時累積 git commits。
為什麼 program.md 超越了 ML 研究的範疇
Autoresearch 關於 ML 訓練,但它引入的模式是普適的:用 Markdown 檔案程式化 AI 代理。
這不是孤立的想法。看看整個 AI 生態系統正在發生什麼:
| 檔案 | 用途 |
|---|---|
program.md | 程式化自主研究代理(Karpathy) |
AGENTS.md | 程式化 AI 編程代理(60K+ 儲存庫,Linux 基金會) |
CLAUDE.md | 程式化 Claude Code 行為 |
.cursorrules | 程式化 Cursor AI 行為 |
llms.txt | 程式化 AI 爬蟲理解網站的方式 |
每次的模式都一樣:人類寫一個 Markdown 檔案,AI 代理將其用作自主運作的指令。
Markdown 已經成為 AI 代理的程式設計語言。
從「氛圍編程」到代理工程
Karpathy 本人在 2025 年創造了「vibe coding(氛圍編程)」— 透過描述意圖而非語法來編寫程式碼的理念。但在 2026 年初,他說氛圍編程已經過時了。
新詞是什麼?Agentic engineering(代理工程):99% 的時間你不直接寫程式碼。你在協調執行工作的代理,扮演監督者角色。
Autoresearch 是這個理念最純粹的體現。研究人員的工作從「你今天執行了多少實驗?」轉變為「你設定的實驗方向有多好?」Markdown 檔案就是你設定這些方向的方式。
這對知識工作者意味著什麼
你不需要訓練 LLM 才能從 autoresearch 中學到東西。這個模式適用於任何地方:
- 開發者寫 AGENTS.md 來引導 AI 編程助手
- 研究人員寫 program.md 來引導自主實驗
- 內容創作者寫提示詞來引導 AI 寫作助手
- 分析師寫指令來引導 AI 資料處理流水線
在每種情況下,人類的工作正在變成:寫出最好的 Markdown 指令。AI 負責執行。
建構以 Markdown 為核心的工作流程
如果 Markdown 正在成為 AI 代理的通用介面,那麼擁有清晰的參考資料 Markdown 版本就變得至關重要。
當你為 autoresearch 寫 program.md 或為程式碼庫寫 AGENTS.md 時,你會從你在網路上看到的文件、論文、部落格文章和範例中汲取靈感。Save 讓你一鍵將這些內容擷取為乾淨的 Markdown — 隨時可供參考、摘錄或輸入到代理指令中。
工作流程:在網路上找到有用的內容,用 Save 將其儲存為 Markdown,用它來寫出更好的代理指令。
Save 將任何網頁轉換為乾淨的 Markdown — AI 代理最能理解的格式。建構你的參考庫,寫出更好的 AI 指令。免費試用 Save。