MENLO PARK, California — Corepass, creadora del agente de programación Remy, ha terminado de entrenar el primer modelo de su propia línea Scout, y las mediciones de la empresa indican que encuentra el código correcto con más precisión y más rápido que el modelo del que partió.
El modelo pertenece a una línea que Corepass llama Scout: especialistas ligeros, según la descripción de la empresa, orientados a la búsqueda de código y a tareas cuyos resultados se pueden verificar. El primer modelo de Scout, de 4000 millones de parámetros, ha completado el aprendizaje por refuerzo en bases de código reales y está integrado en flujos de búsqueda de código, según la empresa.
Qué muestran las cifras
Corepass midió el modelo en las 848 tareas de SWE-Explore-Bench, un benchmark de exploración de código. Su F1 de recuperación —una puntuación estándar que equilibra cuántos de los archivos relevantes encuentra un sistema frente a cuántos irrelevantes devuelve— fue de 0,180, unas 2,3 veces el 0,077 del modelo base. También fue más rápido: tardó 5,4 segundos por tarea frente a los 7,6 del modelo base, una reducción del 29 %.
| Medida | Scout (4B) | Modelo base | Cambio |
|---|---|---|---|
| F1 de recuperación | 0,180 | 0,077 | 2,3× |
| Tiempo por tarea | 5,4 s | 7,6 s | −29 % |
Las cifras proceden del propio informe de la empresa y ningún grupo externo las ha replicado. Un F1 de 0,180 también deja mucho margen de mejora en términos absolutos; la ganancia se mide frente al modelo de partida, no frente a otros sistemas.
El primer modelo de Scout duplicó con creces la puntuación de recuperación de su modelo base, según la propia medición de la empresa.
Dos modelos más grandes en desarrollo
Scout es la más pequeña de tres líneas de modelos. Voyager, descrito como de capacidad equilibrada, y Horizon, el futuro modelo insignia de la empresa para el razonamiento, están en desarrollo. Corepass afirma que se apoyan en dos sistemas a los que llama Vera y Forge, que se encargan de las tareas del mundo real, la evaluación y el entrenamiento. La empresa dice que su investigación de modelos se centra en el post-entrenamiento, junto con trabajo continuado de preentrenamiento.
Aún no abierto a desarrolladores externos
Los modelos no están disponibles a través de una interfaz pública. Corepass afirma que el acceso externo a la API aún no está abierto, y que el acceso a los modelos, la ejecución de agentes y las herramientas relacionadas se abrirán por fases a través de Corepass Platform.