【米国カリフォルニア州メンローパーク】コーディングエージェント「Remy」を手がけるCorepassは、独自のScoutシリーズ初のモデルのトレーニングを完了しました。同社の測定によると、このモデルは出発点となったモデルよりも正確かつ高速に適切なコードを見つけます。
このモデルは、CorepassがScoutと呼ぶシリーズに属します。同社の説明によれば、Scoutはコード検索や結果を検証できるタスクを対象とした軽量な特化型モデルです。同社によると、40億パラメータのScout初のモデルは、実際のコードベースでの強化学習を完了し、コード検索のワークフローに組み込まれています。
数字が示すもの
Corepassは、コード探索のベンチマークであるSWE-Explore-Benchの全848タスクでこのモデルを測定しました。検索のF1スコア（システムが関連ファイルをどれだけ見つけたかと、無関係なファイルをどれだけ返したかのバランスを示す標準的な指標）は0.180で、ベースモデルの0.077の約2.3倍でした。処理も速く、1タスクあたりの所要時間はベースモデルの7.6秒に対して5.4秒と、29%短縮されました。
| 指標 | Scout（4B） | ベースモデル | 変化 |
|---|---|---|---|
| 検索F1 | 0.180 | 0.077 | 2.3× |
| 1タスクあたりの時間 | 5.4秒 | 7.6秒 | −29% |
これらの数値は同社自身のレポートによるもので、外部のグループによる再現は行われていません。また、F1スコア0.180は絶対値としてはまだ大きな改善の余地を残しています。この向上は出発点のモデルと比べたものであり、他のシステムと比べたものではありません。
同社自身の測定によると、Scout初のモデルは検索スコアでベースモデルの2倍以上を記録しました。
開発中の2つの大型モデル
Scoutは3つのモデルシリーズの中で最も小さいものです。バランスの取れた能力を持つとされるVoyagerと、同社が推論向けのフラッグシップとして計画しているHorizonは、いずれも開発中です。Corepassによると、これらは同社がVeraとForgeと呼ぶ2つのシステムに支えられており、実世界のタスク、評価、トレーニングを担っています。同社は、モデル研究の中心はポストトレーニングであり、並行して事前学習の取り組みも続けているとしています。
外部の開発者にはまだ未公開
これらのモデルは公開インターフェースを通じては提供されていません。Corepassによると、外部向けのAPIアクセスはまだ公開されておらず、モデルへのアクセス、エージェントの実行、関連ツールはCorepass Platformを通じて段階的に公開される予定です。