Локальные языковые модели давно перестали быть игрушкой для энтузиастов с топовым «железом» — но насколько они полезны на скромном ПК? Автор протестировал семейство Qwen3.8 (27B и дистиллированную 9B) на старой машине с GTX 1070 и 8 Гбайт VRAM через среду Unsloth Desktop.
Qwen3.8-27B в максимально сжатой квантизации UD-IQ1_S (7,1 Гбайт) формально запускается даже на скромном «железе», но скорость инференса удручает — 0,2–0,4 токена в секунду. При обработке текста в 44 тыс. знаков модель ушла в «плоский штопор» рассуждений, зациклившись на арифметической ошибке в тексте, и через пять часов исчерпала всю доступную память.
Дистиллированная Qwen3.8-9B (проект энтузиастов Empero, обучена на «учительских» трассах рассуждений более крупной модели) оказалась значительно практичнее: та же задача аннотирования текста заняла у неё около полутора минут против нескольких часов у старшей модели.
Демонстрации возможностей:
— Резюмирование текста: Qwen3.8-9B справилась быстро и качественно, изящно обойдя логическую ловушку с ошибкой в тексте. Qwen3.8-27B тоже справилась, но за 4 часа против 21 секунды у облачной GPT-5.6 Luna.
— Составление писем: обе модели уверенно генерируют деловую переписку и заметки на её основе, включая ироничные и сатирические тексты.
— Стихосложение с ограничениями (все слова на одну букву): обе модели провалились, зациклившись на повторении одного слова.
— OCR и перевод: Qwen3.8-27B неплохо распознала текст XIX века и перевела его на английский и китайский.
— Опросники по тексту: Qwen3.8-9B успешно создала вопросы с развёрнутыми ответами.
— Понимание мемов: Qwen3.8-27B верно объяснила шутку про перепутанные градусы.
— Написание кода: Qwen3.8-9B зависла после нескольких неудачных попыток; Qwen3.8-27B за 6 часов выдала рабочий, хоть и странный, калькулятор.
Вывод автора: локальные модели полезны там, где важна конфиденциальность и не критична скорость, но для видеокарт менее 12–16 Гбайт VRAM работа с крупными моделями остаётся мучительно медленной. Дистиллированные версии вроде Qwen3.8-9B — разумный компромисс между качеством и производительностью на слабом «железе».