내부 테스트 결과: Corepass의 첫 Scout 모델, 올바른 코드를 더 빠르게 찾는다

미국 캘리포니아주 멘로파크 — 코딩 에이전트 Remy를 만드는 Corepass가 자체 Scout 계열의 첫 모델 학습을 마쳤습니다. 회사의 측정에 따르면 이 모델은 출발점이 된 모델보다 올바른 코드를 더 정확하고 빠르게 찾아냅니다.

이 모델은 Corepass가 Scout라고 부르는 계열에 속합니다. 회사의 설명에 따르면 Scout는 코드 검색과 결과를 검증할 수 있는 작업을 겨냥한 경량 전문 모델입니다. 회사는 40억 개 매개변수 규모인 Scout의 첫 모델이 실제 코드베이스에서 강화 학습을 마쳤으며 코드 검색 워크플로에 통합되었다고 밝혔습니다.

수치가 보여 주는 것

Corepass는 코드 탐색 벤치마크인 SWE-Explore-Bench의 848개 작업 전체로 이 모델을 측정했습니다. 시스템이 찾아낸 관련 파일의 수와 반환한 무관한 파일의 수 사이의 균형을 나타내는 표준 점수인 검색 F1은 0.180으로, 기본 모델의 0.077보다 약 2.3배 높았습니다. 속도도 더 빨라, 작업당 5.4초가 걸려 기본 모델의 7.6초보다 29% 단축되었습니다.

이 수치는 회사의 자체 보고서에서 나온 것으로, 외부 그룹이 재현한 적은 없습니다. 또한 F1 0.180은 절대적인 기준으로 보면 개선의 여지가 상당히 큽니다. 향상 폭은 다른 시스템이 아니라 출발점이 된 모델과 비교해 측정한 것입니다.

회사 자체 측정에 따르면, Scout의 첫 모델은 기본 모델의 검색 점수를 두 배 넘게 끌어올렸습니다.

개발 중인 더 큰 두 모델

Scout는 세 가지 모델 계열 중 가장 작습니다. 균형 잡힌 성능을 갖춘 것으로 소개된 Voyager와, 회사가 추론용 플래그십으로 계획하고 있는 Horizon은 모두 개발 중입니다. Corepass는 이 모델들이 Vera와 Forge라는 두 시스템의 지원을 받으며, 이 시스템들이 실제 작업, 평가, 학습을 담당한다고 밝혔습니다. 회사는 모델 연구가 지속적인 사전 학습 작업과 함께 사후 학습에 중점을 두고 있다고 말합니다.

아직 외부 개발자에게는 미공개

이 모델들은 공개 인터페이스로 제공되지 않습니다. Corepass는 외부 API 접근이 아직 열려 있지 않으며, 모델 접근, 에이전트 실행 및 관련 도구가 Corepass Platform을 통해 단계적으로 공개될 것이라고 밝혔습니다.