MCP-сервер OpenMark

• Адресhttps://openmark.ai/mcpнет в официальном реестре: ответил на запрос

Ни одна запись официального реестра MCP не называет этот сервер. Он ответил, когда Атлас запросил openmark.ai по одному из обычных для MCP-серверов адресов, значит, сервер принадлежит самому вендору. Клиенты и каталоги, которые берут серверы из реестра, его не показывают.

• Состояниеотвечаетпроверено 2026-10-27
• Инструменты9
• Сервер называет себяopenmark
• Версия сервера1.0.0
• Версия протокола2025-06-18

2026-10-27 сервер ответил на initialize и tools/list без входа. Первый ответ за 186 мс.

• Делают ли инструменты работу продукта, ещё не проверено.
• Проверок пока 1 из 7, нужных, чтобы судить о надёжности.

Вывод сделан правилами по замерам выше. Вероятный первый вызов выбрала модель по списку инструментов: прочитайте описание, прежде чем на него полагаться.

• Оценка INITE MCPчерез неделюдля оценки нужно 7 ежедневных проверок, пока 1
• Отвечалидёт замерпроверок пока 1, долю покажем после 7
• Медиана первого ответа249 мс
• Место в контексте агента≈ 2 172 токеновописания всех инструментов (9), они занимают контекст агента на каждом ходу
• Описания инструментовB · 78 из 100
• Типизированные ответы0 из 9 инструментовобъявлен outputSchema: ответ приходит с типами и читается сразу

• Параметры без описания: в 3 из 9
• Не сказано, только читает инструмент или может удалять: 9 из 9

Программа проверяет сервер раз в день: initialize и tools/list, без модели. Токены - это длина описаний из расчёта примерно четыре символа на токен. Оценка - среднее шести проверок имени, описания, схемы и аннотаций каждого инструмента. Она говорит, насколько понятно описаны инструменты, а не о том, работают ли они. Оценка складывается только из замеренного: отвечает ли сервер (25%), делает ли работу продукта (25%), описания (20%), контекст (10%), использование (10%) и насколько просто подключиться (10%). Незамеренная часть не учитывается, а скрытая инструкция ограничивает оценку 40 баллами. Состояние MCP-серверов вендоров: методика и цифры →

• get_task_format

  How to write an OpenMark task: the YAML structure, all 18 scoring modes, and tips. Call this before writing a task. Pass a topic for the full detail on one subject (the app's Task Guide): fields, scoring, composite, chaining, documents…

• validate_task

  Check a task YAML the way OpenMark will before running it: structure, scoring settings, and the test limit of the user's plan. Free, saves nothing. Returns the problems to fix and warnings worth a look.

• list_models

  Current OpenMark model ids with list prices ($ per 1M tokens), as text and as a structured list. Use these ids in run_benchmark. Append @low, @medium or @high to a reasoning model id to set its reasoning effort.

• prepare_attachments

  Get an upload_uid and a one-hour upload link (no API key needed) for images, PDFs or text documents, with the exact curl command. Upload the files, reference them by file name in each test's attachments list, then pass the upload_uid to…

• estimate_cost

  Credits a run_benchmark call would use, before spending anything: the expected total, the split per model, the balance needed to start, the worst case, and the user's balance. Same inputs and run settings as run_benchmark. Use it to drop…

• run_benchmark

  Save a task (YAML, see get_task_format) to the user's OpenMark account and run it on the given models with real API calls. Returns a job_id and the expected cost; poll get_results. Spends the user's credits; pass max_credits to only start…

• get_results

  Status of a benchmark job, and once completed the ranked results (score, stability, cost per run, latency), the tests each model missed with its answer, a recommendation for the chosen objective and quick picks for the others.

• get_account

  The user's plan, credit balance and limits, and what a credit pack, Pro or Expert would unlock. Use it before large runs, or when a run is refused for credits or limits.

• watch_task

  Watch the task of a completed job: when new or cheaper models ship, OpenMark re-tests up to 4 of them next to the user's pick and emails the user only when one beats it. Each check uses the user's credits at the normal rate.