Открываем RAG и интернет для LM Studio

Публикация показывает, как «открыть» интернет и локальные файлы для локальных моделей в LM Studio через протокол Model Context Protocol (MCP, , ноябрь 2024). Автор на ПК с AMD Ryzen AI 9 HX 370 и 96 ГБ ОЗУ (половина — под VRAM) использует llama.cpp (Vulkan) и MoE-модели: qwen/qwen3-coder-30b (qwen3moe, 10–18 ток/с) и эмбеддинги nomic-embed-text-v2-moe-GGUF.

  • Инфраструктура: LM Studio в режиме сервера (http://localhost:1234/v1), C# MCP-сервер ( mcp-for-beginners, NuGet: ModelContextProtocol, Hosting), транспорт stdio.
  • Инструменты: RandomNumber, калькулятор (Add/Subtract/Multiply/Divide/Power/Sqrt), файловые операции (Write/Read/List), GitHub Search (PAT), веб-поиск (DuckDuckGo POST-скрейп, Firecrawl API, экспериментально Baidu), конфигурация через mcp.json и ENV (WEB_SEARCH_*, GITHUB_TOKEN).
  • RAG: локальные эмбеддинги, парсинг PDF/DOCX/XLSX/PPTX; кастомный Word-экстрактор с секциями/таблицами; векторное хранилище FaissVectorStore (вместо InMemoryVectorStore), поиск по топ-N с порогом сходства.
  • Практика безопасности/UX: «Ask before running» для инструментов; рекомендация отдавать приоритет MoE-архитектурам из-за скорости на локальном железе.

Читайте также

  1. Базовый RAG-компонент для локального семантического поиска на Python
  2. Google персонализирует некоторые ответы AI Overviews и AI Mode
  3. Ваш ноутбук пока не готов к LLM, но скоро это изменится
  4. Список дел в формате RPG, экспресс-чтение по 5 минут в день и ещё 8 российских стартапов
  5. Осознанный вайб-кодинг
Ключевые инсайты из новости (по версии ChatGPT)
  • MCP-сервер для LM Studio: базовая архитектура: LM Studio может подключать внешние MCP-серверы по stdio-транспорту и вызывать их инструменты как функции. Это позволяет локальной LLM безопасно выполнять поиск, работу с файлами и другие операции без облака.
    [Протоколы и стандарты]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
← Назад в лентуЧитать оригинал →
✈️ Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!