MENLO PARK (Californie) — Corepass, qui développe l’agent de programmation Remy, a terminé l’entraînement du premier modèle de sa propre gamme Scout, et les mesures de l’entreprise indiquent qu’il trouve le bon code avec plus de précision et plus rapidement que le modèle dont il est issu.
Le modèle appartient à une gamme que Corepass appelle Scout : des spécialistes légers, selon la description de l’entreprise, destinés à la recherche de code et aux tâches dont les résultats peuvent être vérifiés. Le premier modèle Scout, doté de 4 milliards de paramètres, a achevé son apprentissage par renforcement sur de vraies bases de code et est intégré à des flux de recherche de code, selon l’entreprise.
Ce que montrent les chiffres
Corepass a mesuré le modèle sur l’ensemble des 848 tâches de SWE-Explore-Bench, un benchmark d’exploration de code. Son F1 de recherche (un score standard qui met en balance le nombre de fichiers pertinents qu’un système trouve et le nombre de fichiers non pertinents qu’il renvoie) atteint 0,180, soit environ 2,3 fois le 0,077 du modèle de base. Il a aussi été plus rapide, avec 5,4 secondes par tâche contre 7,6 pour le modèle de base, soit une réduction de 29 %.
| Mesure | Scout (4B) | Modèle de base | Évolution |
|---|---|---|---|
| F1 de recherche | 0,180 | 0,077 | 2,3× |
| Temps par tâche | 5,4 s | 7,6 s | −29 % |
Les chiffres proviennent du propre rapport de l’entreprise et n’ont pas été reproduits par un groupe extérieur. Un F1 de 0,180 laisse aussi une large marge de progression en valeur absolue ; le gain est mesuré par rapport au modèle de départ, et non par rapport à d’autres systèmes.
Le premier modèle Scout a plus que doublé le score de recherche de son modèle de base, selon les propres mesures de l’entreprise.
Deux modèles plus grands en développement
Scout est la plus petite des trois gammes de modèles. Voyager, présenté comme équilibré en capacités, et Horizon, le futur modèle phare de l’entreprise pour le raisonnement, sont tous deux en développement. Corepass indique qu’ils s’appuient sur deux systèmes baptisés Vera et Forge, qui prennent en charge les tâches réelles, l’évaluation et l’entraînement. L’entreprise précise que ses recherches sur les modèles portent avant tout sur le post-entraînement, parallèlement à la poursuite des travaux de pré-entraînement.
Pas encore ouvert aux développeurs externes
Les modèles ne sont pas disponibles via une interface publique. Corepass indique que l’accès externe à l’API n’est pas encore ouvert, et que l’accès aux modèles, l’exécution d’agents et les outils associés seront ouverts par étapes via Corepass Platform.