Инструменты для эксплуатации LLM с API
В INITE Atlas их 121, чаще всего используют OpenRouter, AI21, Mistral, Modal и Truefoundry.
На главной показан API или SDK: можно вызывать из кода.
Где это сказано у каждого
По использованию
Цифра и полоса: визитов/мес, оценка · год: в сети с
- #3
OpenRouter
Маршрутизирует API-запросы к 500 языковым моделям от 80 провайдеров через единый интерфейс.
224kЖивойОт $5,50/мес2023 - #4
AI21
Маршрутизирует запросы между открытыми и передовыми моделями для снижения затрат на токены при сохранении качества.
103kЖивойОт $0,20 за использование2017 - #7
Mistral
Предоставляет передовые языковые модели, агентов и инфраструктуру для создания пользовательских систем искусственного интеллекта.
63.6kЖивойОт $14,99/польз./мес2023 - #9
Modal
Запускает inference, training и batch processing на GPU с мгновенным автомасштабированием и холодными стартами менее чем за секунду.
52.1kЖивойОт $0/мес - #10
Truefoundry
Маршрутизирует запросы к языковым моделям и агентам с наблюдаемостью, контролем доступа и развёртыванием в облачной или локальной инфраструктуре.
46.2kЖивойОт $25/польз./мес - #11
Replicate
Запускает и дообучает модели машинного обучения через API одной строкой кода.
37kЖивойОт $0,00 за использование - #12
Together AI
Запускает языковые модели с открытым исходным кодом с serverless-инференсом, пакетной обработкой и кластерами GPU.
32.7kЖивой2022 - #14
GreenPT
Предоставляет ИИ-чат, API и специализированные инструменты на европейской инфраструктуре с возобновляемой энергией и прозрачным учетом энергопотребления.
28kЖивойОт ≈ $5,04/мес2025 - #16
Weights & Biases
Отслеживает эксперименты машинного обучения, ведет модели и датасеты и мониторит ИИ-приложения в продакшене.
21.2kЖивойОт $60/мес2017 - #17
GMI Cloud
Запускает вывод AI моделей и агентов на бессерверной или выделенной GPU инфраструктуре с автоматическим масштабированием.
19.7kЖивойОт $2 за использование - #19
LiteLLM
Маршрутизирует запросы через 140+ провайдеров LLM и 1800+ моделей через единый API gateway с оптимизацией стоимости и контролем доступа.
15.2kЖивойЕсть бесплатный тариф2023 - #22
Liquid AI
Распространяет небольшие фундаментальные модели, оптимизированные для работы на устройствах без отправки данных на серверы.
11.3kЖивойЕсть бесплатный тариф2023 - #24
Fireworks AI
Хостит открытые языковые модели и модели изображений для быстрого инференса через API, с дообучением и выделенными GPU-развёртываниями.
8.7kЖивойОт $0,01 за использование - #25
Langfuse
Отслеживает, оценивает и контролирует приложения на основе языковых моделей в продакшене с помощью observability и управления промптами.
7.5kЖивойОт $29/мес - #28
Barndoor AI
Пропускает запросы к AI-моделям и агентам через контроль доступа, защиту от утечек данных и журнал аудита, прежде чем они дойдут до модели.
6.5kЖивойПо запросу - #30
Baseten
Развертывает и обслуживает AI модели в production с оптимизированным inference на облачной инфраструктуре.
5.9kЖивойЕсть бесплатный тариф2019 - #31
Portkey
Направляет запросы к 1600 языковым моделям через единый API с наблюдаемостью, защитными ограничениями и управлением промптами.
5.9kЖивойОт $49/мес - #33
Supermemory MCP
Хранит и извлекает долговременную память для AI-агентов через API: индексирует диалоги и файлы и подставляет нужный контекст в промпты.
4.6kЖивойОт $19/мес - #34
Maxim AI
Симулирует, оценивает и мониторит AI-агентов и LLM-приложения: тестовые наборы, автоматические и ручные оценщики, трассировка в продакшене и открытый шлюз.
4.2kЖивойЕсть бесплатный тариф - #35
Humanloop
Humanloop присоединилась к Anthropic и прекращает работу своей платформы.
3.6kПоддерживаетсяЕсть бесплатный тариф - #36
Helicone
Маршрутизирует, отлаживает и анализирует вызовы LLM API с помощью наблюдаемости и мониторинга.
2.7kЖивойОт $79/мес - #39
Agent Forge
Предоставляет децентрализованную инфраструктуру GPU-вычислений и координирует автономные AI-агенты в сети.
1.1kЖивойОт $20/мес - #40
LLM Gateway Chat
Маршрутизирует запросы через 40 провайдеров LLM по единому API с отслеживанием затрат и автоматическим переключением при отказе.
989ЖивойОт $5 за использование - #41
Aleph Alpha
Разрабатывает специализированные суверенные большие языковые модели для критичных бизнес-приложений с услугами кастомизации и оптимизации.
820Живой2019 - #42
OmniRoute
Направляет запросы к 352 провайдерам моделей через один эндпоинт, совместимый с OpenAI, и автоматически переключается на другой провайдер, когда тот недоступен или исчерпал квоту.
641Живой - #44
Cyfuture AI
Предоставляет GPU-инфраструктуру, инференс моделей, fine-tuning и AI-приложения, включая чатботы, голосовых агентов и RAG-системы.
397ЖивойОт $0,60 за использование2001 - #45
FastRouter.ai
Маршрутизирует запросы через 200+ LLM с помощью единого OpenAI-совместимого API с интеллектуальным переключением при сбое и оптимизацией затрат.
319ЖивойОт $199/мес - #46
OminiGate
Маршрутизирует запросы к текстовым, графическим и видеомоделям от нескольких провайдеров через единую конечную точку API.
298ЖивойОт $0,01 за использование2025 - #47
wafer
Оптимизирует обслуживание инференса языковых моделей для снижения задержки и повышения пропускной способности.
224Живой - #48
MegaLLM
Маршрутизирует запросы через 70 языковых моделей, автоматически выбирая самого дешёвого и быстрого провайдера.
167Живой - #49
Regolo.ai
Предоставляет языковые модели, совместимые с OpenAI, из центров обработки данных ЕС с нулевым сохранением данных.
162ЖивойОт ≈ $44/мес - #53
EvoX Genesis
GPU-ускоренная среда выполнения для самоэволюционирующих агентов, моделей и рабочих процессов с эволюционными алгоритмами.
132Живой - #56
AI Stats
Маршрутизирует запросы между провайдерами моделей ИИ через унифицированный API-шлюз, совместимый с OpenAI.
97ЖивойОт $1 за использование - #57
GPU FinderMCP · открыт
Сравнивает цены on-demand и spot на облачные GPU, комиссии за исходящий трафик и наличие мощностей у 31 провайдера, с поиском, обновляемым каждый час.
83Живой - #63
EmpirioLabs AIMCP · нужен вход
Размещает открытые модели на собственных GPU и обслуживает эндпоинты проприетарных моделей через чат и API-интерфейс.
46ЖивойОт $19,90/мес2025 - #64
flatkey.ai
Маршрутизирует запросы через 100+ моделей ИИ и 1000+ инструментов с использованием одного API ключа и единого биллинга.
38ЖивойОт $10/мес - #67
A4F
Маршрутизирует запросы к сотням языковых моделей через единый API с автоматическим переключением провайдера при сбое.
35ЖивойОт $25/мес - #68
RedPill
Маршрутизирует запросы AI inference через проверенные доверенные окружения выполнения с зашифрованными каналами и криптографическими доказательствами.
32ЖивойОт $0,01 за использование - #69
CostPerPrompt
Отображает текущие цены для 313 языковых моделей у разных поставщиков и рассчитывает ежемесячные затраты на API.
32ЖивойБесплатно - #70
Sunbird AIMCP · нужен вход
Открытая диалоговая языковая модель и API для работы с речью на африканских языках, а также спутниковый поиск площадок для солнечных мини-сетей.
32Живой2019 - #71
Nerra
Создает слой общей памяти из инструментов вашей компании и предоставляет его AI-агентам через MCP.
31Живой2024 - #73
DecionisMCP · нужен вход
Оценивает действия AI-агентов и автоматизированных систем на соответствие политике и возвращает allow, escalate или block вместе с подписанными записями решений.
27ЖивойОт $49/мес2026 - #75
Plano
Маршрутизирует промпты и оркестрирует агентов с наблюдаемостью, guardrails и выбором модели.
26ЖивойOpen source - #77
ApexApi
Маршрутизирует запросы к 130 моделям ИИ через единый API ключ и совместимую с OpenAI точку входа.
24ЖивойОт $10 за использование - #79
Phoenix Grove Systems™
Предоставляет доступ к открытым языковым моделям с архитектурой, ориентированной на приватность, и сохранением памяти между сеансами.
22Живой - #80
CoralBricks
Предоставляет открытые языковые модели через API, совместимый с OpenAI, оптимизированный для агентов кодирования и исследований.
22Живой - #83
TrustedRouter
Маршрутизирует запросы между провайдерами AI моделей через единый OpenAI-совместимый API с проверяемой приватностью и без логирования промптов.
19ЖивойОт $5,50 за использование - #84
FloTorch
Маршрутизирует запросы между несколькими LLM и управляет RAG-конвейерами с наблюдаемостью и кешированием для корпоративных развёртываний.
18Поддерживается
Как мы читаем инструмент
Без голосов, без отзывов, без заявлений вендора. Каждую неделю краулер читает собственный сайт инструмента и несколько публичных реестров, а слова на карточке - полосы над тем, что он прочитал.
- Использование: визиты на сайт (оценка), установки из npm и PyPI, присутствие в отчёте Chrome об использовании.
- Активность: последний релиз на GitHub, npm или PyPI; самая свежая датированная страница сайта; открытые вакансии на публичной доске.
- Цена: собственная страница цен вендора, прочитанная с датой. Число печатается, только если оно есть на той странице.
- Строку и сценарии пишем мы сами по главной странице, по одному инструменту за раз, и отбраковываем, когда они повторяют маркетинг вендора.
Как AI-ассистенты читают каждый сайт - чтение, о котором нас спрашивают вендоры, - на отдельной странице видимости каждого инструмента.
Как мы читаем каждый инструмент → · Автор: Редакция INITE Atlas
Cookie
Прежде чем засчитать визит
Аналитика и измерение рекламы показывают, какие страницы работают и какая наша реклама приносит результат: Google Analytics и Google Ads, пиксель Meta, Яндекс Метрика и один наш собственный идентификатор. До вашего ответа ничего не сохраняется, а после отказа сайт работает так же.