MENLO PARK, Califórnia — A Corepass, criadora do agente de programação Remy, concluiu o treinamento do primeiro modelo de sua própria linha Scout, e as medições da empresa indicam que ele encontra o código certo com mais precisão e mais rapidez do que o modelo do qual partiu.
O modelo pertence a uma linha que a Corepass chama de Scout — especialistas leves, na descrição da empresa, voltados para busca de código e tarefas cujos resultados podem ser verificados. O primeiro modelo do Scout, com 4 bilhões de parâmetros, concluiu o aprendizado por reforço em bases de código reais e está integrado a fluxos de busca de código, segundo a empresa.
O que os números mostram
A Corepass mediu o modelo nas 848 tarefas do SWE-Explore-Bench, um benchmark de exploração de código. Seu F1 de recuperação — uma pontuação padrão que equilibra quantos dos arquivos relevantes um sistema encontra e quantos irrelevantes ele retorna — foi de 0,180, cerca de 2,3 vezes o 0,077 do modelo base. Ele também foi mais rápido: levou 5,4 segundos por tarefa, contra 7,6 do modelo base, uma redução de 29%.
| Medida | Scout (4B) | Modelo base | Variação |
|---|---|---|---|
| F1 de recuperação | 0,180 | 0,077 | 2,3× |
| Tempo por tarefa | 5,4 s | 7,6 s | −29% |
Os números vêm do próprio relatório da empresa e não foram replicados por nenhum grupo externo. Um F1 de 0,180 também deixa bastante espaço para melhorar em termos absolutos; o ganho é medido em relação ao modelo de partida, não a outros sistemas.
O primeiro modelo do Scout mais que dobrou a pontuação de recuperação do seu modelo base, segundo a medição da própria empresa.
Dois modelos maiores em desenvolvimento
O Scout é a menor de três linhas de modelos. O Voyager, descrito como de capacidade equilibrada, e o Horizon, futuro modelo carro-chefe da empresa para raciocínio, estão ambos em desenvolvimento. A Corepass afirma que eles se apoiam em dois sistemas que ela chama de Vera e Forge, responsáveis por tarefas do mundo real, avaliação e treinamento. A empresa diz que sua pesquisa de modelos se concentra no pós-treinamento, junto com trabalho contínuo de pré-treinamento.
Ainda não aberto a desenvolvedores externos
Os modelos não estão disponíveis por uma interface pública. A Corepass afirma que o acesso externo à API ainda não está aberto e que o acesso aos modelos, a execução de agentes e as ferramentas relacionadas serão abertos em etapas por meio da Corepass Platform.