Открываем RAG и интернет для LM Studio
Публикация показывает, как «открыть» интернет и локальные файлы для локальных моделей в LM Studio через протокол Model Context Protocol (MCP,
Anthropic, ноябрь 2024). Автор на ПК с AMD Ryzen AI 9 HX 370 и 96 ГБ ОЗУ (половина — под VRAM) использует llama.cpp (Vulkan) и MoE-модели: qwen/qwen3-coder-30b (qwen3moe, 10–18 ток/с) и эмбеддинги nomic-embed-text-v2-moe-GGUF.
- Инфраструктура: LM Studio в режиме сервера (http://localhost:1234/v1), C# MCP-сервер (
Microsoft mcp-for-beginners, NuGet: ModelContextProtocol, Hosting), транспорт stdio. - Инструменты: RandomNumber, калькулятор (Add/Subtract/Multiply/Divide/Power/Sqrt), файловые операции (Write/Read/List), GitHub Search (PAT), веб-поиск (DuckDuckGo POST-скрейп, Firecrawl API, экспериментально Baidu), конфигурация через mcp.json и ENV (WEB_SEARCH_*, GITHUB_TOKEN).
- RAG: локальные эмбеддинги, парсинг PDF/DOCX/XLSX/PPTX; кастомный Word-экстрактор с секциями/таблицами; векторное хранилище FaissVectorStore (вместо InMemoryVectorStore), поиск по топ-N с порогом сходства.
- Практика безопасности/UX: «Ask before running» для инструментов; рекомендация отдавать приоритет MoE-архитектурам из-за скорости на локальном железе.
Читайте также
Базовый RAG-компонент для локального семантического поиска на Python
Учим LM Studio ходить в интернет при ответах на вопросы
Microsoft Advertising тестирует товарную карусель Shopping Ads с переключателем нескольких изображений
Три сигнала, которые меняют правила игры для брендов в 2026 году
New Relic запускает платформу ИИ-агентов и инструменты OpenTelemetry
Ключевые инсайты из новости (по версии ChatGPT)
- MCP-сервер для LM Studio: базовая архитектура: LM Studio может подключать внешние MCP-серверы по stdio-транспорту и вызывать их инструменты как функции. Это позволяет локальной LLM безопасно выполнять поиск, работу с файлами и другие операции без облака.
[Протоколы и стандарты]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!