MCP-сервер BenchLeader

• Имя в реестреcom.benchleader/benchleaderподтверждён в реестре MCP

Имя в реестре лежит в пространстве benchleader.com. Реестр пускает в такое пространство только того, кто доказал владение доменом через DNS или HTTP.

• Состояниеотвечаетпроверено 2026-10-31
• Инструменты7
• Сервер называет себяbenchleader
• Версия сервера1.0.0
• Версия протокола2025-06-18

2026-10-31 сервер ответил на initialize и tools/list без входа. Первый ответ за 135 мс.

• Делают ли инструменты работу продукта, ещё не проверено.
• Проверок пока 2 из 7, нужных, чтобы судить о надёжности.

Вывод сделан правилами по замерам выше. Вероятный первый вызов выбрала модель по списку инструментов: прочитайте описание, прежде чем на него полагаться.

• Оценка INITE MCPчерез неделюдля оценки нужно 7 ежедневных проверок, пока 2
• Отвечалидёт замерпроверок пока 2, долю покажем после 7
• Медиана первого ответа120 мс
• Место в контексте агента≈ 1 348 токеновописания всех инструментов (7), они занимают контекст агента на каждом ходу
• Описания инструментовA · 100 из 100
• Типизированные ответы0 из 7 инструментовобъявлен outputSchema: ответ приходит с типами и читается сразу

• Все инструменты проходят все шесть проверок.

Программа проверяет сервер раз в день: initialize и tools/list, без модели. Токены - это длина описаний из расчёта примерно четыре символа на токен. Оценка - среднее шести проверок имени, описания, схемы и аннотаций каждого инструмента. Она говорит, насколько понятно описаны инструменты, а не о том, работают ли они. Оценка складывается только из замеренного: отвечает ли сервер (25%), делает ли работу продукта (25%), описания (20%), контекст (10%), использование (10%) и насколько просто подключиться (10%). Незамеренная часть не учитывается, а скрытая инструкция ограничивает оценку 40 баллами. Состояние MCP-серверов вендоров: методика и цифры →

• get_leaderboard

  The BenchLeader Index leaderboard of large language models: a daily composite of independent public benchmarks, one row per model (its best reasoning-effort configuration) as on the homepage. Optionally rank by one category score (coding…

• search_models

  Find models by name, alias, id or developer ("opus", "gemini 4", "deepseek"). Returns each match's id, rank, Index and reasoning-effort configurations, for use with get_model and compare_models.

• get_model

  One model's BenchLeader profile: Index and rank, category scores, list price, speed, latency, context window, its other reasoning-effort configurations, and its strongest independent benchmark results (each with its board rank, publisher…

• compare_models

  Head-to-head comparison of two models with BenchLeader's verdict: who leads on quality (a lead is claimed only outside the combined margin of error), price and speed ratios, category-by-category wins, when to choose each, and shared…

• list_benchmarks

  The benchmarks BenchLeader reads: what each measures, publisher, category, whether it feeds the Index (and its weight), how many models it covers, status and caveats. Filter by category or a search query. Paged.

• get_benchmark

  One benchmark: what it measures, unit, publisher and source, whether and how much it counts in the BenchLeader Index, status and caveats, and its top models (one row per model, best result first).

• about_benchleader

  What BenchLeader is, how the BenchLeader Index is computed, the current method version, data date and update cadence, coverage counts, licence and how to cite it.