Проверка шла на ASUS Vivobook S 16 M3607HA с Ryzen 7 260, встроенной Radeon 780M, 32 GB DDR5 5600 и Windows 11. Модель запускалась в LM Studio 0.4.16-1 x64 при Context Length 16384, 32768 и 65536; GPU Offload был выставлен в 20, CPU Threads1 — 8, Unified KV Cache включён. Важно, что Context Length здесь был лимитом окна, а не фактически заполненным контекстом.

Скорость генерации в тестовых сценариях держалась в диапазоне 8,05–10,63 tok/sec, средние значения составили около 9,32 tok/sec при 16384, 9,09 tok/sec при 32768 и 9,55 tok/sec при 65536. Главный лимит — RAM: пик памяти вырос с 27,6 GB при 16384 до 28,7 GB при 32768 и 30,0 GB при 65536 из доступных 31,3 GB. Диск во время генерации почти не нагружался, NPU не использовался, CPU держался около 46–50%, а встроенная Radeon 780M — примерно 63–73%.

Для повседневной локальной работы с кодом и текстом автор считает более безопасными режимы 16384 или 32768. При 65536 модель тоже отвечает, но свободной памяти остаётся около 1,2–1,4 GB, поэтому параллельный браузер, IDE или Docker могут быстро привести систему к пределу. Больший Context Length не гарантирует лучшее качество: лучший Python-скрипт для обработки больших логов получился при 32768, а при 65536 код был рабочим, но более грубым.