Открываем RAG и интернет для LM Studio

Публикация показывает, как «открыть» интернет и локальные файлы для локальных моделей в LM Studio через протокол Model Context Protocol (MCP, , ноябрь 2024). Автор на ПК с AMD Ryzen AI 9 HX 370 и 96 ГБ ОЗУ (половина — под VRAM) использует llama.cpp (Vulkan) и MoE-модели: qwen/qwen3-coder-30b (qwen3moe, 10–18 ток/с) и эмбеддинги nomic-embed-text-v2-moe-GGUF.

  • Инфраструктура: LM Studio в режиме сервера (http://localhost:1234/v1), C# MCP-сервер ( mcp-for-beginners, NuGet: ModelContextProtocol, Hosting), транспорт stdio.
  • Инструменты: RandomNumber, калькулятор (Add/Subtract/Multiply/Divide/Power/Sqrt), файловые операции (Write/Read/List), GitHub Search (PAT), веб-поиск (DuckDuckGo POST-скрейп, Firecrawl API, экспериментально Baidu), конфигурация через mcp.json и ENV (WEB_SEARCH_*, GITHUB_TOKEN).
  • RAG: локальные эмбеддинги, парсинг PDF/DOCX/XLSX/PPTX; кастомный Word-экстрактор с секциями/таблицами; векторное хранилище FaissVectorStore (вместо InMemoryVectorStore), поиск по топ-N с порогом сходства.
  • Практика безопасности/UX: «Ask before running» для инструментов; рекомендация отдавать приоритет MoE-архитектурам из-за скорости на локальном железе.

Читайте также

  1. Вам нужна RAM, а не VRAM: параметр -cmoe для локального запуска больших MoE-LLM. Ускоряем GPT-OSS-120B
  2. Shopify: покупки с использованием ИИ выросли в 11 раз
  3. Microsoft и People Inc. заключили соглашение об использовании ИИ
  4. Основы аналитики и ML простым языком. Часть 1
  5. AI-браузер Dia добавляет лучшие фичи Arc в свой функционал
Ключевые инсайты из новости (по версии ChatGPT)
  • MCP-сервер для LM Studio: базовая архитектура: LM Studio может подключать внешние MCP-серверы по stdio-транспорту и вызывать их инструменты как функции. Это позволяет локальной LLM безопасно выполнять поиск, работу с файлами и другие операции без облака.
    [Протоколы и стандарты]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
← Назад в лентуЧитать оригинал →
✈️ Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!