Дружба Linux и Windows, или как поиграться с ИИ-моделями на втором компьютере без видеокарты
Автор отказался от виртуальной машины, Docker и VDS: для его сценария это добавляло сложность, вопросы сетевого доступа и риски безопасности. Вместо этого на свободный настольный компьютер с отдельным SSD установлен Linux Mint XFCE в dual-boot, затем LMStudio в AppImage-версии, где скачиваются GGUF-модели и включается локальный сервер с доступом по сети.
Основной Windows-компьютер выступает клиентом: на нём через Miniforge создаётся Python-окружение, устанавливается open-webui и настраивается подключение к OpenAI-compatible endpoint LMStudio, например к адресу вида http://192.168.1.62:1234/v1. Для запуска open-webui отдельно описаны переменные среды: UVICORN_WORKERS = 1 для миграции базы, HF_HUB_OFFLINE = 1 для оффлайн-режима и WEBUI_AUTH = 0 как опциональное отключение авторизации до создания пользователя.
На CPU средние модели объёмом 8–20 ГБ в квантизации 4L_M дают примерно 5–10 токенов в секунду, чего достаточно для первого знакомства и личных задач вроде перевода текстов. Нерешёнными остаются автозапуск LMStudio, тонкая настройка inference, более жёсткое отключение внешних сервисов open-webui, безопасный доступ извне, RAG, подключение мобильных клиентов и выбор видеокарты для апгрейда.
Коротко
- Схема строится как клиент-сервер: LMStudio с моделями работает на отдельном Linux-компьютере, open-webui запускается на Windows-клиенте.
- Для Linux выбран Mint XFCE: автор ставит его на отдельный SSD, предупреждает о выборе диска и рекомендует сделать бэкап перед установкой.
- LMStudio используется для загрузки GGUF-моделей, тестового чата и публикации API в локальной сети через режим Serve on Local Network.
- open-webui ставится через Python-окружение Miniforge; подключение к LMStudio задаётся как OpenAI-compatible endpoint без лишнего /api/.
- Без GPU производительность ограничена, но CPU-сценарий даёт около 5–10 токенов в секунду на средних моделях 8–20 ГБ.
FAQ
Зачем запускать локальную LLM на отдельном компьютере, если можно пользоваться облачными сервисами или поставить модель на основной ноутбук?
Автору нужна автономность: запросы не уходят в интернет, модель не работает с личными данными на основном компьютере, а нагрузка уходит на свободный настольный ПК.
Почему в этой схеме выбран Linux Mint с LMStudio, а не Docker, виртуальная машина или выделенный сервер?
Docker, виртуализация и VDS показались автору более сложными по настройке сети, окружения и безопасности. Linux Mint на отдельном SSD оказался проще для домашнего клиент-серверного сценария.
Какие ограничения остаются после такой установки локального ИИ-помощника без видеокарты?
Скорость inference на CPU невысокая, автозапуск и удалённый доступ требуют отдельной настройки, а RAG, мобильный клиент и апгрейд видеокартой остаются открытыми задачами.
Читайте также
Локальный запуск GLM-5.1- Локальный AI в Obsidian без подписок: рабочая связка с Ollama, Gemma 4 и Infio Copilot
- Hybrid RAG для бизнеса: умный поиск по документам без облака и утечки данных
- Как я локально тестировал новый Qwen 3.6 и Gemma 4
- Бесплатный API для нейросетей от NVIDIA: более 100 моделей, OpenAI-совместимый эндпоинт и 40 запросов в минуту
- Локальная LLM как изолированный клиент-серверный контур: Для безопасного эксперимента с LLM можно вынести модель на отдельный компьютер, а основной рабочий ноутбук использовать только как клиент. Такая схема снижает риск передачи запросов во внешние облака и не требует держать модель на основной рабочей машине.
[Локальные LLM и приватность]
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Практический гайд с Хабра показывает, как запустить локальную LLM на отдельном компьютере без видеокарты и пользоваться ею с основного Windows-ноутбука. Схема собрана вокруг Linux Mint, LMStudio и open-webui, с упором на автономность, безопасность и минимальный порог входа.