Инструменты для эксплуатации LLM, которые ставят на свой сервер

Цифра и полоса: визитов/мес, оценка · год: в сети с

1. #14G

   GreenPT

   Предоставляет ИИ-чат, API и специализированные инструменты на европейской инфраструктуре с возобновляемой энергией и прозрачным учетом энергопотребления.

   28k
   Живой
   От ≈ $5,04/мес
   2025
2. #19L

   LiteLLM

   Маршрутизирует запросы через 140+ провайдеров LLM и 1800+ моделей через единый API gateway с оптимизацией стоимости и контролем доступа.

   15.2k
   Живой
   Есть бесплатный тариф
   2023
3. #22L

   Liquid AI

   Распространяет небольшие фундаментальные модели, оптимизированные для работы на устройствах без отправки данных на серверы.

   11.3k
   Живой
   Есть бесплатный тариф
   2023
4. #30B

   Baseten

   Развертывает и обслуживает AI модели в production с оптимизированным inference на облачной инфраструктуре.

   5.9k
   Живой
   Есть бесплатный тариф
   2019
5. #42O

   OmniRoute

   Направляет запросы к 352 провайдерам моделей через один эндпоинт, совместимый с OpenAI, и автоматически переключается на другой провайдер, когда тот недоступен или исчерпал квоту.

   641
   Живой
6. #53E

   EvoX Genesis

   GPU-ускоренная среда выполнения для самоэволюционирующих агентов, моделей и рабочих процессов с эволюционными алгоритмами.

   132
   Живой
7. #58I

   Inferencer

   Запускает и инспектирует большие языковые модели локально с контролем на уровне токенов и распределённым выводом.

   77
   Живой
   От $9,99/мес
8. #81N

   NoemaAI Launch

   Запускает языковые модели локально на устройствах Apple с поиском файлов и интеграцией инструментов, синхронизируя данные между Mac, iPhone, iPad и Vision Pro.

   20
   Живой
   Бесплатно
9. #89L

   Lekh AI

   Запускает большие языковые модели, генерирует изображения и видео, создаёт музыку полностью на устройстве без интернета и сбора данных.

   16
10. #90O

    Outlier

    Запускает большие языковые модели локально на Mac с Apple Silicon для программирования, редактирования файлов и исследований без отправки данных на серверы.

    16
    Живой
    От $249 разово
11. #92L

    LiberaGPT

    Запускает большие языковые модели полностью в автономном режиме на устройствах iPhone и Android без подписок и сбора данных.

    14
    Живой
    Бесплатно
12. #107G

    Gridlight

    Запускает AI inference на собственном оборудовании с маршрутизацией моделей, управлением затратами и контролем размещения данных.

    3
    Живой
    По запросу
13. #109B

    Bodhi App

    Единый шлюз для запуска локальных языковых моделей, облачных API и инструментов MCP через единый интерфейс чата.

    3
    Живой
14. #114B

    Bike4MindMCP · открыт

    Запускает чат, фоновые задачи агентов и интерактивные артефакты на размещённых фронтирных моделях и на самостоятельно развёрнутых открытых моделях с открытыми весами, из одной рабочей среды.

    3
    Живой
    От $30/мес
15. #120M

    mlx-serve

    Запускает открытые языковые модели и инструменты генерации локально на Mac с возможностями чата, генерации изображений, клонирования голоса и агентов.

    2
    Живой
16. #131B

    Base Compute

    Оптимизирует большие языковые модели для локального запуска на устройствах с минимальной задержкой и затратами.

    1
    Живой
17. #132F

    Fortaify

    Запускает языковые модели, генерацию изображений и обработку голоса локально на вашем устройстве без отправки данных в облако.

    1
    Живой
    От $8,99/мес
18. #149P

    PandaProbe

    Отслеживает запуски агентов, оценивает результаты и генерирует проверенные исправления, чтобы агенты могли автономно учиться на ошибках.

    99 ссылающихся доменов
    Живой
    От $29/мес
19. #151Y

    Your Own AI

    Запускает большие языковые модели локально на вашей машине с опциональной маршрутизацией в облако для передовых моделей.

    60 ссылающихся доменов
    Живой
    От $200/год
20. #154C

    co/core

    Запускает открытые модели ИИ на общем оборудовании участников через стандартный API, совместимый с клиентами OpenAI.

    44 ссылающихся доменов
    Живой
21. #159V

    varCHAR

    Обучает специализированные языковые модели внутри вашей сети без экспорта данных.

    39 ссылающихся доменов
    Живой
    От $15 000 разово
    2025
22. #166A

    AI Cost Gate

    Самостоятельно развертываемый шлюз, который журналирует метаданные вызовов LLM и применяет лимиты расходов для каждого проекта и каждого агента.

    27 ссылающихся доменов
    Живой
    От $29 разово
23. #172Z

    zizka.ai

    Сохраняет трассы выполнения агентов, воспроизводит сессии и обнаруживает дрейф поведения в production.

    29 ссылающихся доменов
    Живой
24. #173S

    Splyntra

    Traces AI agent runs with per-step cost and risk scoring, and flags prompt injection and secrets in tool calls.

    23 ссылающихся доменов
    Живой
    От $20/мес
25. #182K

    KernelAI

    Запускает 53 открытых языковых модели локально на телефоне без учётной записи и интернета.

    20 ссылающихся доменов
    Живой
26. #188D

    Dryade

    Организует агентов языковых моделей на ваших серверах с управляемыми политиками, маршрутизацией инструментов и криптографическими журналами аудита.

    Набирает аудиторию
    Живой
    От ≈ $55/польз./мес
27. #191D

    Decentralized AI Protocol/Launchpad

    Децентрализованный протокол AI, где майнеры получают награды за вычисления на GPU, а разработчики запускают модели AI на Solana.

    Набирает аудиторию
28. #198J

    jitllm

    Выполняет инференс LLM, компилируя ядра для ваших CPU и GPU и подгружая блоки модели с диска по мере необходимости.

    52 ★
    Живой
29. #201R

    Ryuksaidso MVP

    Управляет выполнением агентов с трассировкой, одобрениями и отказоустойчивостью между несколькими провайдерами для production AI систем.

    Признаков использования мало
    Живой
30. L

    Libra

    Запускает сжатые большие языковые модели локально на Mac с чипами Apple silicon с помощью фреймворка MLX.

    1
    Живой
    От ≈ $12/мес
31. T

    Titen

    Хранит память агента в виде источниковых наблюдений и утверждений, собирает контекстные пакеты с ограничением по бюджету и отдаёт их через API и MCP.

    1.6k установок/мес
    Живой