Открываем RAG и интернет для LM Studio
Публикация показывает, как «открыть» интернет и локальные файлы для локальных моделей в LM Studio через протокол Model Context Protocol (MCP, Anthropic, ноябрь 2024). Автор на ПК с AMD Ryzen AI 9 HX 370 и 96 ГБ ОЗУ (половина — под VRAM) использует llama.cpp (Vulkan) и MoE-модели: qwen/qwen3-coder-30b (qwen3moe, 10–18 ток/с) и эмбеддинги nomic-embed-text-v2-moe-GGUF.
- Инфраструктура: LM Studio в режиме сервера (http://localhost:1234/v1), C# MCP-сервер (Microsoft mcp-for-beginners, NuGet: ModelContextProtocol, Hosting), транспорт stdio.
- Инструменты: RandomNumber, калькулятор (Add/Subtract/Multiply/Divide/Power/Sqrt), файловые операции (Write/Read/List), GitHub Search (PAT), веб-поиск (DuckDuckGo POST-скрейп, Firecrawl API, экспериментально Baidu), конфигурация через mcp.json и ENV (WEB_SEARCH_*, GITHUB_TOKEN).
- RAG: локальные эмбеддинги, парсинг PDF/DOCX/XLSX/PPTX; кастомный Word-экстрактор с секциями/таблицами; векторное хранилище FaissVectorStore (вместо InMemoryVectorStore), поиск по топ-N с порогом сходства.
- Практика безопасности/UX: «Ask before running» для инструментов; рекомендация отдавать приоритет MoE-архитектурам из-за скорости на локальном железе.
Читайте также
Анализ документов нейросетью с цитатами из источников: скилл research-docs для Claude Code
Как кодинг-агенты используют инструменты, память и контекст репозитория, чтобы писать код лучше
Яндекс Поиск сэкономил 4,5 млрд ₽ в 2025 году благодаря ИИ — при этом качество ответов Алисы AI выросло в 3 раза
ИИ для управления проектами. Для чего его на самом деле применяют российские организации
Как мы построили AI-экзоскелет для QA-инженера: от идеи до 11 автономных агентов
Ключевые инсайты из новости (по версии ChatGPT)
- MCP-сервер для LM Studio: базовая архитектура: LM Studio может подключать внешние MCP-серверы по stdio-транспорту и вызывать их инструменты как функции. Это позволяет локальной LLM безопасно выполнять поиск, работу с файлами и другие операции без облака.
[Протоколы и стандарты]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!