MCP Leaderboard

O Atlas da INITE pergunta uma vez por dia ao servidor MCP próprio de cada fornecedor se ele responde, aberto ou pedindo login, e com que rapidez; as ferramentas de um servidor aberto são lidas e avaliadas. A nota é a do próprio Atlas, de 0 a 100: confiabilidade em 30 dias, a parte dos casos de uso do produto que as ferramentas cobrem, a qualidade das definições, quanto custam no contexto de um agente, a adoção pública e a facilidade de um cliente entrar. Os pesos estão na página de método do Atlas.

A primeira tabela são os servidores que as pessoas conhecem: os fornecedores mais usados do Atlas cujo servidor respondeu pelo menos uma vez nesta semana, em ordem de uso, com a nota quando têm uma. A maioria fica atrás de login, então não tem histórico completo e não entra na tabela por nota.

A tabela só ordena servidores com histórico completo: pelo menos uma semana de verificações, ferramentas lidas e casos de uso avaliados. Um servidor atrás de login não mostra suas ferramentas, então entra nos números da semana mas não é classificado. Empates são decididos pelas verificações da semana e depois pelo uso do fornecedor no Atlas.

A nota de um servidor é comparada com a que ficou registrada na semana anterior, e uma mudança de menos de 10 pontos não aparece; a disponibilidade é comparada com as verificações da semana anterior, e uma mudança de menos de 30 pontos não aparece. Um servidor entra na lista dos que não responderam quando, depois de ter funcionado, respondeu a menos da metade de pelo menos quatro verificações. É o que o nosso verificador viu, não um veredito sobre o fornecedor: um firewall, um bloqueio regional ou um limite de requisições do nosso lado parecem iguais. Nenhum modelo escreve aqui: as frases são preenchidas com os números das tabelas.

Pode ser citado com um link para esta página (CC BY 4.0).