MCP Leaderboard

Атлас INITE раз в день спрашивает собственный MCP-сервер каждого вендора, отвечает ли он, открыто или с запросом входа, и как быстро; у открытого сервера читаются и оцениваются инструменты. Оценка своя, Атласа, из 100: надёжность за 30 дней, доля сценариев продукта, которые закрывают инструменты, качество описаний инструментов, сколько они занимают в контексте агента, публичное использование и насколько легко клиенту войти. Веса опубликованы на странице метода Атласа.

В первой таблице серверы, которые все знают: вендоры, которыми в Атласе пользуются больше всего и чей сервер ответил хотя бы раз за неделю, по порядку использования, с оценкой, если она есть. Большинство из них за входом, поэтому полной истории у них нет и в рейтинг по оценке они не попадают.

В рейтинг попадают только серверы с полной историей: не меньше недели проверок, прочитанные инструменты, оценённые сценарии. Сервер за входом никому не показывает инструменты, поэтому он входит в цифры недели, но не в рейтинг. При равной оценке выше тот, кто чаще отвечал за неделю, затем тот, кем больше пользуются в Атласе.

Оценку сервера сравниваем с оценкой, зафиксированной неделей раньше, и изменение меньше 10 пунктов не показываем; доступность сравниваем с проверками прошлой недели, изменение меньше 30 пунктов не показываем. Сервер попадает в список не ответивших, если после работающей недели ответил меньше чем на половину из хотя бы четырёх проверок. Это то, что увидела наша проверка, а не приговор вендору: файрвол, региональная блокировка или лимит запросов на нашей стороне выглядят так же. Модель здесь ничего не пишет: предложения собраны из чисел в таблицах.

Можно цитировать со ссылкой на эту страницу (CC BY 4.0).