Инструменты для эксплуатации LLM с бесплатным тарифом

Цифра и полоса: визитов/мес, оценка · год: в сети с

1. #3O

   OpenRouter

   Маршрутизирует API-запросы к 500 языковым моделям от 80 провайдеров через единый интерфейс.

   224k
   Живой
   От $5,50/мес
   2023
2. #4A

   AI21

   Маршрутизирует запросы между открытыми и передовыми моделями для снижения затрат на токены при сохранении качества.

   103k
   Живой
   От $0,20 за использование
   2017
3. #5L

   LangChain

   Дает открытые фреймворки LangChain и LangGraph для LLM-приложений и агентов, а также LangSmith для трассировки, оценки и развертывания.

   92.2k
   Живой
   От $39/польз./мес
   2023
4. #7M

   Mistral

   Предоставляет передовые языковые модели, агентов и инфраструктуру для создания пользовательских систем искусственного интеллекта.

   63.6k
   Живой
   От $14,99/польз./мес
   2023
5. #9M

   Modal

   Запускает inference, training и batch processing на GPU с мгновенным автомасштабированием и холодными стартами менее чем за секунду.

   52.1k
   Живой
   От $0/мес
6. #10T

   Truefoundry

   Маршрутизирует запросы к языковым моделям и агентам с наблюдаемостью, контролем доступа и развёртыванием в облачной или локальной инфраструктуре.

   46.2k
   Живой
   От $25/польз./мес
7. #13L

   LLM Stats

   Ранжирует и сравнивает 300 моделей ИИ по интеллекту, скорости, цене и контекстному окну.

   29.1k
   Живой
   Бесплатно
8. #14G

   GreenPT

   Предоставляет ИИ-чат, API и специализированные инструменты на европейской инфраструктуре с возобновляемой энергией и прозрачным учетом энергопотребления.

   28k
   Живой
   От ≈ $5,04/мес
   2025
9. #16W

   Weights & Biases

   Отслеживает эксперименты машинного обучения, ведет модели и датасеты и мониторит ИИ-приложения в продакшене.

   21.2k
   Живой
   От $60/мес
   2017
10. #19L

    LiteLLM

    Маршрутизирует запросы через 140+ провайдеров LLM и 1800+ моделей через единый API gateway с оптимизацией стоимости и контролем доступа.

    15.2k
    Живой
    Есть бесплатный тариф
    2023
11. #20L

    Lightning AI

    Облачная платформа от команды PyTorch Lightning для разработки, обучения и развёртывания моделей ИИ на GPU.

    14.1k
    Живой
    Есть бесплатный тариф
12. #21B

    Braintrust

    Платформа observability, которая отслеживает выполнение агентов, оценивает их выходные данные и находит закономерности в продакшене для повышения качества.

    13.7k
    Живой
    От $249/мес
    2022
13. #22L

    Liquid AI

    Распространяет небольшие фундаментальные модели, оптимизированные для работы на устройствах без отправки данных на серверы.

    11.3k
    Живой
    Есть бесплатный тариф
    2023
14. #24F

    Fireworks AI

    Хостит открытые языковые модели и модели изображений для быстрого инференса через API, с дообучением и выделенными GPU-развёртываниями.

    8.7k
    Живой
    От $0,01 за использование
15. #25L

    Langfuse

    Отслеживает, оценивает и контролирует приложения на основе языковых моделей в продакшене с помощью observability и управления промптами.

    7.5k
    Живой
    От $29/мес
16. #27H

    HoneycombMCP · нужен вход

    Хранит и запрашивает распределенные трассировки, логи и метрики в реальном времени для отладки сервисов в продакшене, включая вызовы LLM и агентов.

    6.5k
    Живой
    От $150/мес
    2016
17. #29E

    EdgeChatMCP · открыт

    Запускает одну языковую модель на вашем Mac для офлайн-чата, слайд-презентаций, медицинских и юридических справок и веб-поиска с разрешения пользователя.

    6.1k
    Живой
18. #30B

    Baseten

    Развертывает и обслуживает AI модели в production с оптимизированным inference на облачной инфраструктуре.

    5.9k
    Живой
    Есть бесплатный тариф
    2019
19. #31P

    Portkey

    Направляет запросы к 1600 языковым моделям через единый API с наблюдаемостью, защитными ограничениями и управлением промптами.

    5.9k
    Живой
    От $49/мес
20. #32O

    OpenLayer Agents

    Тестирует и мониторит ML- и LLM-системы: настраиваемые проверки до релиза, трассировка, контроль затрат и политик в продакшене.

    4.7k
    Живой
    Есть бесплатный тариф
    2021
21. #33S

    Supermemory MCP

    Хранит и извлекает долговременную память для AI-агентов через API: индексирует диалоги и файлы и подставляет нужный контекст в промпты.

    4.6k
    Живой
    От $19/мес
22. #34M

    Maxim AI

    Симулирует, оценивает и мониторит AI-агентов и LLM-приложения: тестовые наборы, автоматические и ручные оценщики, трассировка в продакшене и открытый шлюз.

    4.2k
    Живой
    Есть бесплатный тариф
23. #35H

    Humanloop

    Humanloop присоединилась к Anthropic и прекращает работу своей платформы.

    3.6k
    Поддерживается
    Есть бесплатный тариф
24. #36H

    Helicone

    Маршрутизирует, отлаживает и анализирует вызовы LLM API с помощью наблюдаемости и мониторинга.

    2.7k
    Живой
    От $79/мес
25. #37W

    WhatLLM.org

    Ранжирует и сравнивает языковые модели по качеству, цене и скорости у разных провайдеров.

    2.5k
    Живой
    Бесплатно
26. #39A

    Agent Forge

    Предоставляет децентрализованную инфраструктуру GPU-вычислений и координирует автономные AI-агенты в сети.

    1.1k
    Живой
    От $20/мес
27. #40L

    LLM Gateway Chat

    Маршрутизирует запросы через 40 провайдеров LLM по единому API с отслеживанием затрат и автоматическим переключением при отказе.

    989
    Живой
    От $5 за использование
28. #43L

    LangWatch

    Тестирует и оценивает AI-агентов через симуляцию, трассировку и скоринг перед развёртыванием в production.

    452
    Живой
    От ≈ $32/польз./мес
29. #45F

    FastRouter.ai

    Маршрутизирует запросы через 200+ LLM с помощью единого OpenAI-совместимого API с интеллектуальным переключением при сбое и оптимизацией затрат.

    319
    Живой
    От $199/мес
30. #49R

    Regolo.ai

    Предоставляет языковые модели, совместимые с OpenAI, из центров обработки данных ЕС с нулевым сохранением данных.

    162
    Живой
    От ≈ $44/мес
31. #51O

    Ollama LLM Throughput Benchmark

    Тестирует пропускную способность языковых моделей на различном оборудовании и конфигурациях.

    141
    Живой
    Open source
32. #55A

    AiverseWorld

    Обнаруживает, сравнивает и оценивает AI инструменты с утилитами для промптов и калькуляторами стоимости.

    109
    Живой
    От $7/мес
33. #58I

    Inferencer

    Запускает и инспектирует большие языковые модели локально с контролем на уровне токенов и распределённым выводом.

    77
    Живой
    От $9,99/мес
34. #60F

    Flowtask

    Структурирует Slack, email и документы в исполняемую память задач для AI-агентов и команд.

    71
    От ≈ $5,26/мес
    2024
35. #61G

    gpu.fund

    Сравнивает текущие цены на аренду GPU у облачных провайдеров и отслеживает изменения цен во времени.

    54
    Живой
    Бесплатно
36. #64F

    flatkey.ai

    Маршрутизирует запросы через 100+ моделей ИИ и 1000+ инструментов с использованием одного API ключа и единого биллинга.

    38
    Живой
    От $10/мес
37. #66C

    Chat LLM

    Доступ к 395 моделям ИИ, включая GPT, Claude и Gemini, через бесплатный веб-интерфейс чата.

    37
    Живой
    От $5/мес
    2024
38. #67A

    A4F

    Маршрутизирует запросы к сотням языковых моделей через единый API с автоматическим переключением провайдера при сбое.

    35
    Живой
    От $25/мес
39. #68R

    RedPill

    Маршрутизирует запросы AI inference через проверенные доверенные окружения выполнения с зашифрованными каналами и криптографическими доказательствами.

    32
    Живой
    От $0,01 за использование
40. #69C

    CostPerPrompt

    Отображает текущие цены для 313 языковых моделей у разных поставщиков и рассчитывает ежемесячные затраты на API.

    32
    Живой
    Бесплатно
41. #72P

    Plurai

    Генерирует тестовые сценарии и оценивает AI-агентов на предмет нарушений политики и граничных случаев в production.

    29
    Живой
    От $0,15 за использование
42. #75P

    Plano

    Маршрутизирует промпты и оркестрирует агентов с наблюдаемостью, guardrails и выбором модели.

    26
    Живой
    Open source
43. #76B

    Benchable.ai

    Проводит тестирование и сравнение больших языковых моделей по стоимости, скорости и точности для ваших конкретных задач.

    26
    Живой
44. #78P

    Paralleliq

    Выявляет неиспользуемые GPU и несоответствия типов в парках вывода моделей для снижения стоимости за токен без изменений production.

    24
    Живой
    Есть бесплатный тариф
45. #81N

    NoemaAI Launch

    Запускает языковые модели локально на устройствах Apple с поиском файлов и интеграцией инструментов, синхронизируя данные между Mac, iPhone, iPad и Vision Pro.

    20
    Живой
    Бесплатно
46. #85M

    memgram

    Сохраняет и извлекает контекстную память для AI-агентов в диалогах с инспекцией и управлением.

    18
    От $29/мес
47. #86S

    Septor Labs

    Маршрутизирует запросы к языковым моделям, embeddings и агентам через единую OpenAI-совместимую точку входа с кешированием и наблюдаемостью.

    17
    Живой
    От $14/мес
    2025
48. #88C

    Cattus

    Маршрутизирует запросы к нескольким моделям ИИ и агрегирует ответы в одном интерфейсе.

    16
    Поддерживается
    От ≈ $18/мес