Что входит в развертывание LLM
Можно начать с одной модели и веб-чата для команды, а шлюз, RAG и мониторинг добавить, когда появится нагрузка.
Расчёт и подбор железа
Сколько видеопамяти нужно, зависит от модели, квантования, длины контекста и числа одновременных пользователей.
- ✓расчёт VRAM под модель и нагрузку
- ✓своё железо или аренда GPU-сервера
- ✓сравнение с ценой облачного API
- ✓срок окупаемости на ваших объёмах
Инференс
Движок выбирается под задачу: много пользователей, слабое железо или быстрый старт.
- ✓vLLM для нагрузки и параллельных запросов
- ✓llama.cpp для CPU и небольших GPU
- ✓выбор модели и квантования под качество
- ✓автозапуск и перезапуск при сбоях
API-шлюз
Один адрес для всех приложений, как у OpenAI, но внутри вашей сети.
- ✓LiteLLM с OpenAI-совместимым API
- ✓ключи для отделов и сервисов
- ✓лимиты и учёт токенов
- ✓резерв на облачную модель, если локальная не справилась
Веб-чат для сотрудников
Чтобы с моделью могли работать люди, а не только программы.
- ✓Open WebUI с входом через корпоративные учётные записи
- ✓история диалогов на вашем сервере
- ✓права доступа к моделям
- ✓загрузка файлов в чат
RAG по документам
Модель отвечает по вашим регламентам, договорам и базе знаний со ссылками на источник.
- ✓загрузка и разбор PDF, DOCX, Confluence
- ✓векторная база: pgvector или Qdrant
- ✓обновление индекса по расписанию
- ✓проверка качества ответов на ваших вопросах
Мониторинг
GPU-сервер стоит дорого, поэтому важно видеть, как он загружен и где упирается.
- ✓загрузка и температура GPU, видеопамять
- ✓очередь запросов и время ответа
- ✓токены по пользователям и отделам
- ✓алерты в Telegram или Пачку
Безопасность
Закрытый контур имеет смысл, только если он действительно закрыт.
- ✓доступ только из внутренней сети или VPN
- ✓без исходящих соединений с сервера модели
- ✓журнал запросов для аудита
- ✓шифрование дисков с документами
Поддержка
Новые открытые модели выходят каждые несколько месяцев и часто заметно лучше старых.
- ✓проверка новых моделей на ваших задачах
- ✓обновление без простоя
- ✓обновления системы и драйверов
- ✓бэкапы конфигурации и индексов
Стоимость развертывания LLM
Перед началом называю оценку в часах, работы начинаются после вашего согласия. Железо или аренда GPU оплачиваются отдельно.
| Формат | Цена | Что входит |
|---|---|---|
| Расчёт | от 15 000 ₽ | задачи, модель, железо, сравнение с облачным API и срок окупаемости; отчёт с планом |
| Развертывание | 3 000 ₽/час | инференс, шлюз, веб-чат, RAG, мониторинг |
| Поддержка | от 25 000 ₽/мес | обновление моделей и системы, мониторинг, реакция на сбои |
Примеры расчёта
| Задача | Оценка |
|---|---|
| Модель и веб-чат для команды на одном GPU-сервере | 8-12 часов |
| OpenAI-совместимый шлюз с ключами и лимитами | 4-6 часов |
| RAG по базе документов до нескольких тысяч файлов | 16-30 часов |
| Мониторинг GPU и очереди запросов с алертами | 3-5 часов |
Как проходит развертывание
- 1
Задачи и объёмы
Выясняем, что будет делать модель, сколько людей и программ к ней обращаются и сколько токенов в месяц уходит сейчас.
- 2
Проверка модели
Прогоняю несколько открытых моделей на ваших примерах в арендованном GPU, до покупки железа. Так видно, хватает ли качества.
- 3
Железо
По результатам проверки - конфигурация сервера или тариф аренды и расчёт окупаемости.
- 4
Развертывание
Инференс, шлюз, веб-чат и мониторинг. Конфигурация хранится в Git, сервер можно пересобрать с нуля.
- 5
Передача
Инструкции для команды и администраторов. Дальше можно поддерживать самостоятельно или оставить мне.
Когда нужна своя LLM
Служба безопасности запрещает облачный ИИ
Персональные данные, коммерческая тайна или требования заказчика не позволяют отправлять документы внешнему провайдеру.
Счета за API растут каждый месяц
Через российские облака доступ к моделям стоит в 1.5-9 раз дороже прямых цен. На больших объёмах свой сервер окупается за месяцы.
Сотрудники уже пользуются ChatGPT через VPN
Документы компании уходят в личные аккаунты. Внутренний чат закрывает эту потребность без утечек.
Доступ к зарубежным моделям нестабилен
Блокировки аккаунтов и смена условий останавливают процессы. Локальная модель работает, пока работает ваш сервер.
Когда свой сервер выгоднее облачного API
Свой сервер - это фиксированные расходы, API - плата за каждый токен. Ориентиры:
- Российские облака продают доступ к моделям с наценкой от 1.5 до 9 раз к прямым ценам разработчиков (Коммерсант, ноябрь 2026).
- Аренда GPU-сервера окупается, когда счёт за API стабильно больше её месячной цены.
- Своё железо выгодно при постоянной нагрузке на горизонте от года, иначе дешевле аренда.
- Если токенов мало или нужна самая сильная модель, облачный API остаётся лучшим вариантом.
Часто выгоден гибрид: рутинные задачи на локальной модели, сложные через шлюз в облачный API. Для приложений это один и тот же адрес.
Какой сервер нужен для LLM
Главное ограничение - видеопамять: в неё должны поместиться веса модели и контекст всех одновременных запросов.
| Модель | Видеопамять (4 бита) | Для чего |
|---|---|---|
| 7-14 млрд параметров | 8-16 ГБ | классификация, извлечение данных, простой чат |
| 30-35 млрд | 24-48 ГБ | чат для команды, RAG по документам, код |
| 70 млрд и больше | 48-96 ГБ | сложные ответы, много пользователей |
| MoE-модели (Qwen, DeepSeek) | зависит от числа экспертов | качество крупной модели при скорости средней |
Цифры приблизительные: на каждого одновременного пользователя с длинным контекстом нужно ещё несколько гигабайт. Точный расчёт делаю под вашу нагрузку.
Ollama, vLLM или llama.cpp
| Ollama | vLLM | llama.cpp | |
|---|---|---|---|
| Сильная сторона | простой запуск | много параллельных запросов | слабое железо, CPU |
| Нагрузка | несколько пользователей | десятки и сотни | несколько пользователей |
| Железо | GPU или CPU | GPU NVIDIA или AMD | любое, включая CPU |
| Для продакшена | для пилота | да | да, для небольшой нагрузки |
Ollama удобна, чтобы попробовать. Для команды и приложений я ставлю vLLM, на слабом железе - llama.cpp.
Технологии
- Инференс
- vLLMllama.cppOllama
- Модели
- QwenDeepSeekGigaChatLlamaMistral
- Шлюз и интерфейс
- LiteLLMOpen WebUI
- RAG
- pgvectorQdrant
- Инфраструктура
- DockerKubernetesNVIDIA Container ToolkitROCm
- Мониторинг
- PrometheusGrafanaDCGM exporter
Импортозамещение
OpenAI и Anthropic не работают с российскими компаниями напрямую. Варианты без зарубежных провайдеров:
- Открытые модели на ваших серверах
- Qwen, DeepSeek, GigaChat с открытыми весами: без подписок и передачи данных
- Yandex AI Studio, Cloud.ru, MWS Cloud
- модели в российских облаках с оплатой в рублях по договору
- Аренда GPU в российских облаках
- Selectel, Yandex Cloud, Cloud.ru: свой инференс без покупки железа
Примеры работ
ML-платформа: инфраструктура и выкладка в закрытый контур
ML-сервисы работали на трёх домашних серверах, обновления нужно было доставлять и во внутреннюю сеть заказчика, закрытую снаружи.
Перенёс платформу с MLflow в Selectel, настроил выкладку в контур заказчика через VPN и зеркалирование Git, мониторинг и бэкапы.
Автономные тракторы: ML-пайплайн в AWS
Моделям перцепции для флота автономных тракторов нужна была инфраструктура обучения и доставки.
Настроил ML-пайплайн на SageMaker, кластер EKS и деплой через ArgoCD.
Почему со мной удобно
Инфраструктура, а не презентация
Не продаю ИИ-трансформацию. Делаю сервер, который работает, считает токены и не падает.
Честный расчёт
Если на ваших объёмах облачный API дешевле, так и скажу.
Проверка до покупки
Модель проверяется на ваших примерах в арендованном GPU, железо покупается после.
Всё в коде
Конфигурация в Git, без ручной настройки, которую никто не сможет повторить.
Частые вопросы
Сколько стоит развертывание локальной LLM? +
Модель с веб-чатом для команды на одном GPU-сервере обычно занимает 8-12 часов, по 3 000 ₽/час. Расчёт железа и окупаемости стоит от 15 000 ₽, поддержка - от 25 000 ₽ в месяц. Сервер или аренда GPU оплачиваются отдельно.
Локальная модель так же хороша, как ChatGPT или Claude? +
Нет, самые сильные облачные модели лучше. Но для работы с документами, извлечения данных, ответов по базе знаний и помощи с кодом открытых моделей обычно хватает. Это проверяется на ваших примерах до покупки железа.
Какой сервер нужен для LLM? +
Для модели на 30 млрд параметров и команды из 10-20 человек достаточно одной видеокарты с 48 ГБ памяти. Для небольших моделей хватит 16-24 ГБ. Точная конфигурация зависит от модели и числа одновременных запросов.
Подходит ли это под 152-ФЗ? +
Модель работает на вашем сервере в России и никуда не отправляет данные, поэтому вопрос передачи персональных данных третьим лицам не возникает. Остальные требования закона (доступ, журналы, защита) выполняются так же, как для любой системы с персональными данными.
Можно ли арендовать GPU вместо покупки? +
Да, для пилота и переменной нагрузки аренда в Selectel, Yandex Cloud или Cloud.ru выгоднее. Своё железо окупается при постоянной нагрузке.
Будут ли работать наши приложения, написанные под OpenAI? +
Да. Шлюз отдаёт OpenAI-совместимый API, в приложении меняются только адрес и ключ.
Оставить заявку
Напишите, какие задачи хотите отдать модели, сколько человек будут с ней работать и сколько сейчас тратите на API. Скажу, окупится ли свой сервер и какой.