Сборка высокопроизводительного AI-десктопа
Автор рассказывает, как превратил серверный NVIDIA Grace-Hopper (NVL2) в домашний AI-десктоп: увидел на
Reddit систему за €10 000 и договорился о покупке за €7 500, хотя одна H100 обычно оценивается в 30-40 тыс. евро.
- Конфигурация: 2× GH200 (Grace CPU 72C + Hopper H100), 1152 ГБ высокоскоростной памяти (LPDDR5X ECC + HBM3).
- Интерконнект NVLink-C2C: 900 ГБ/с; настраиваемый TDP 1000-2000 Вт; БП 3000 Вт (48 В).
- Расширение: 4× PCIe Gen5 x16 и слоты M.2 Gen4.
Ключевые проблемы — «пылесосный» шум серверных вентиляторов, переход с воздушного охлаждения на водяное (4× AIO), критические ошибки BMC по вентиляторам и аварийные отключения из-за датчика, который показывал 16 777 214°C (значение почти = 2^24 - 2, типичный признак сбоя/плохого контакта). В итоге автор отключал сервис мониторинга вентиляторов и восстанавливал плату пайкой повреждённых 0402-компонентов под микроскопом.
Финальная стоимость сборки — около €9 000 (без инструментов). В первых бенчмарках Llama.cpp: ~66 ток/с на Qwen3-235B (Q4) и до ~196 ток/с на 120B-модели; потребление во время прогонов — ~300 Вт на GPU, заметно ниже потолка 900 Вт. Итог — локальный запуск моделей до 235B параметров дома по цене «меньше, чем одна H100».
Читайте также
Новый релиз Ollama 0.15.5
Запуск gpt-oss на 20B и 120B параметров на Core i9: сравнение инференса на CPU и GPU (RTX 4090)
Ускоряем LLM по максимуму: кроссплатформенный FlashAttention 2 на Triton с поддержкой архитектур Turing+ и не только
Личное облако на Proxmox: нейросети, LLM и эмбеддинги
Заглянуть под капот ИИ-агентов: новый инструмент раскрывает «магию» Claude Code
- Как распознать «фантомные» температуры датчиков (почти максимум разрядности): Если температурный датчик внезапно показывает значение, близкое к максимальному для своей разрядности (в тексте пример 16 777 214 = 0xFFFFFE ≈ 2^24-2), это часто не «перегрев», а признак ошибки чтения: плохой контакт, повреждение цепи или сбой инициализации. В таких случаях полезно искать причину в аппаратной части и соединениях, а не в охлаждении.
[Диагностика железа]
Зарегистрированные пользователи видят только два тезиса.
Зарегистрироваться