Пошаговый гид от «Хабра» показывает, как развернуть локальную LLM за 5 минут на Ubuntu с помощью Ollama и OpenWebUI в Docker. Минимальные требования: оперативная память от 8 ГБ, 4+ CPU (желательно с GPU), дисковое пространство от 25 ГБ. Устанавливается Docker Engine и Compose, затем создается entrypoint.sh, который запускает ollama serve и подтягивает модель llama3. Композиция из двух контейнеров: ollama (порт 11434, переменная OLLAMA_DEVICE=cpu, том для моделей) и openwebui (порт 80→8080, подключение к Ollama). Запуск командой docker compose up -d; веб-интерфейс доступен по http://<host_IP>.

• Быстрый деплой без ручной сборки: готовые образы ollama/ollama и ghcr.io/open-webui/open-webui:main.
• Локальный режим повышает контроль над данными; возможен офлайн-инференс после загрузки модели.
• Смена и обновление моделей через ollama pull; в примере используется llama3:latest.
• API-интеграция через LangChain (langchain_ollama) по адресу base_url на порту 11434 для программного доступа.
• Ограничения: без GPU производительность ниже; крупные модели требуют значительного дискового пространства и трафика.