Plataforma para executar benchmarks de agentes de IA em paralelo, acompanhar resultados da equipe e comparar execuções como SWE-bench, HumanEval e Terminal-Bench.

Você é o desenvolvedor deste app? Verifique a propriedade para gerenciar esta listagem.

Tenha um app para desktop dedicado ao BenchSpan no Mac, Windows e Linux com o WebCatalog Desktop.

  • Abra o BenchSpan direto do Dock ou da barra de tarefas.
  • Trabalhe sem distrações em uma janela dedicada, separada das abas do navegador.
  • Fique conectado a várias contas do BenchSpan e alterne entre elas sem sair.

Saiba mais sobre o WebCatalog Desktop

BenchSpan é uma **plataforma de benchmarking de agentes** projetada para desenvolvedores que criam agentes de IA, permitindo que os benchmarks sejam concluídos em minutos, em vez de horas.[1] Ele executa avaliações em contêineres Docker isolados em paralelo, suportando cargas de trabalho como o SWE-bench de 14 horas com configuração mínima.[1] Os usuários fornecem um script bash simples para iniciar seu agente, sem necessidade de dependência de estrutura ou alterações específicas na interface.[1] A plataforma oferece uma biblioteca de benchmarks padrão, incluindo **SWE-bench Verified**, **SWE-bench Lite**, **Terminal-Bench**, **HumanEval**, **MBPP**, **MATH** e **GPQA**, ou permite benchmarks personalizados.[1] Configure o número de instâncias paralelas e inicie execuções diretamente da interface.[1] Os resultados capturam métricas detalhadas, como pontuações, trajetórias, uso de token, latência e dados personalizados, tudo centralizado em um painel de equipe pesquisável.[1] As execuções são marcadas por hash de commit para fácil reprodutibilidade e comparação entre versões.[1] Essa configuração simplifica a **avaliação de agentes de IA**, **fluxos de trabalho de benchmarking** e o monitoramento de desempenho para equipes de engenharia.[1][9]

Aviso: A WebCatalog não é afiliada, associada, autorizada, endossada por ou de qualquer forma oficialmente vinculada a BenchSpan. Todos os nomes de produtos, logotipos e marcas são propriedade de seus respectivos proprietários.