Сборка высокопроизводительного AI-десктопа

Автор рассказывает, как превратил серверный NVIDIA Grace-Hopper (NVL2) в домашний AI-десктоп: увидел на систему за €10 000 и договорился о покупке за €7 500, хотя одна H100 обычно оценивается в 30-40 тыс. евро.

  • Конфигурация: 2× GH200 (Grace CPU 72C + Hopper H100), 1152 ГБ высокоскоростной памяти (LPDDR5X ECC + HBM3).
  • Интерконнект NVLink-C2C: 900 ГБ/с; настраиваемый TDP 1000-2000 Вт; БП 3000 Вт (48 В).
  • Расширение: 4× PCIe Gen5 x16 и слоты M.2 Gen4.

Ключевые проблемы — «пылесосный» шум серверных вентиляторов, переход с воздушного охлаждения на водяное (4× AIO), критические ошибки BMC по вентиляторам и аварийные отключения из-за датчика, который показывал 16 777 214°C (значение почти = 2^24 - 2, типичный признак сбоя/плохого контакта). В итоге автор отключал сервис мониторинга вентиляторов и восстанавливал плату пайкой повреждённых 0402-компонентов под микроскопом.

Финальная стоимость сборки — около €9 000 (без инструментов). В первых бенчмарках Llama.cpp: ~66 ток/с на Qwen3-235B (Q4) и до ~196 ток/с на 120B-модели; потребление во время прогонов — ~300 Вт на GPU, заметно ниже потолка 900 Вт. Итог — локальный запуск моделей до 235B параметров дома по цене «меньше, чем одна H100».

Читайте также

  1. Новый релиз Ollama 0.15.5
  2. Запуск gpt-oss на 20B и 120B параметров на Core i9: сравнение инференса на CPU и GPU (RTX 4090)
  3. Ускоряем LLM по максимуму: кроссплатформенный FlashAttention 2 на Triton с поддержкой архитектур Turing+ и не только
  4. Личное облако на Proxmox: нейросети, LLM и эмбеддинги
  5. Заглянуть под капот ИИ-агентов: новый инструмент раскрывает «магию» Claude Code
Ключевые инсайты из новости (по версии ChatGPT)
  • Как распознать «фантомные» температуры датчиков (почти максимум разрядности): Если температурный датчик внезапно показывает значение, близкое к максимальному для своей разрядности (в тексте пример 16 777 214 = 0xFFFFFE ≈ 2^24-2), это часто не «перегрев», а признак ошибки чтения: плохой контакт, повреждение цепи или сбой инициализации. В таких случаях полезно искать причину в аппаратной части и соединениях, а не в охлаждении.
    [Диагностика железа]
Для получения полного доступа оформите подписку PubMag PRO.
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться
Инсайты автоматически генерируются с помощью искусственного интеллекта на основе текста статьи.
← Назад в лентуЧитать оригинал →
✈️ Подписывайтесь на мой Telegram-канал — там еще больше интересного про AdTech, MarTech, AI и многое другое!