【美國加州門洛帕克訊】Remy 程式設計 AI 代理的開發方 Corepass 已經完成了其自有 Scout 系列首個模型的訓練。公司的測量結果顯示,與作為起點的模型相比,它找到正確程式碼更準確,速度也更快。
這個模型屬於 Corepass 稱為 Scout 的系列——按公司的描述,是面向程式碼搜尋和結果可驗證任務的輕量級專用模型。公司表示,Scout 的首個模型擁有 40 億引數,已在真實程式碼庫上完成強化學習,並已整合到程式碼搜尋工作流中。
數字說明了什麼
Corepass 在程式碼探索基準 SWE-Explore-Bench 的全部 848 個任務上測量了這個模型。它的檢索 F1 值——一種常用指標,兼顧系統找到的相關檔案數量與返回的無關檔案數量——為 0.180,約為基座模型 0.077 的 2.3 倍。它的速度也更快:每個任務耗時 5.4 秒,而基座模型為 7.6 秒,減少了 29%。
| 指標 | Scout(4B) | 基座模型 | 變化 |
|---|---|---|---|
| 檢索 F1 | 0.180 | 0.077 | 2.3× |
| 每個任務耗時 | 5.4 秒 | 7.6 秒 | −29% |
這些資料來自公司自己的報告,尚未由外部團隊復現。從絕對值看,0.180 的 F1 仍有相當大的提升空間;這一提升是相對起點模型而言,並非與其他系統比較。
按公司自己的測量,Scout 首個模型的檢索得分達到其基座模型的兩倍多。
兩個更大的模型正在開發
Scout 是三個模型系列中最小的一個。被描述為能力均衡的 Voyager,以及公司計劃中的推理旗艦模型 Horizon,都在開發之中。Corepass 表示,它們由名為 Vera 和 Forge 的兩套系統支撐,負責真實世界任務、評估和訓練。公司稱,其模型研究以後訓練為核心,同時繼續開展預訓練工作。
尚未向外部開發者開放
這些模型目前沒有公開介面。Corepass 表示,外部 API 訪問尚未開放,模型訪問、AI 代理執行及相關工具將通過 Corepass Platform 分階段開放。