Открываем RAG и интернет для LM Studio
Публикация показывает, как «открыть» интернет и локальные файлы для локальных моделей в LM Studio через протокол Model Context Protocol (MCP, Anthropic, ноябрь 2024). Автор на ПК с AMD Ryzen AI 9 HX 370 и 96 ГБ ОЗУ (половина — под VRAM) использует llama.cpp (Vulkan) и MoE-модели: qwen/qwen3-coder-30b (qwen3moe, 10–18 ток/с) и эмбеддинги nomic-embed-text-v2-moe-GGUF.
- Инфраструктура: LM Studio в режиме сервера (http://localhost:1234/v1), C# MCP-сервер (Microsoft mcp-for-beginners, NuGet: ModelContextProtocol, Hosting), транспорт stdio.
- Инструменты: RandomNumber, калькулятор (Add/Subtract/Multiply/Divide/Power/Sqrt), файловые операции (Write/Read/List), GitHub Search (PAT), веб-поиск (DuckDuckGo POST-скрейп, Firecrawl API, экспериментально Baidu), конфигурация через mcp.json и ENV (WEB_SEARCH_*, GITHUB_TOKEN).
- RAG: локальные эмбеддинги, парсинг PDF/DOCX/XLSX/PPTX; кастомный Word-экстрактор с секциями/таблицами; векторное хранилище FaissVectorStore (вместо InMemoryVectorStore), поиск по топ-N с порогом сходства.
- Практика безопасности/UX: «Ask before running» для инструментов; рекомендация отдавать приоритет MoE-архитектурам из-за скорости на локальном железе.
Читайте также
Как тимлид заменил десятки вкладок на файловую систему и Claude Code
Дружба Linux и Windows, или как поиграться с ИИ-моделями на втором компьютере без видеокарты
Hybrid RAG для бизнеса: умный поиск по документам без облака и утечки данных
Как переложить нагрузку по code review с разработчиков на LLM
Как научить LLM исправлять код без лишних изменений
Ключевые инсайты из новости (по версии ChatGPT)
- MCP-сервер для LM Studio: базовая архитектура: LM Studio может подключать внешние MCP-серверы по stdio-транспорту и вызывать их инструменты как функции. Это позволяет локальной LLM безопасно выполнять поиск, работу с файлами и другие операции без облака.
[Протоколы и стандарты]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!