Локальные языковые модели давно перестали быть игрушкой для энтузиастов с топовым «железом» — но насколько они полезны на скромном ПК? Автор протестировал семейство Qwen3.8 (27B и дистиллированную 9B) на старой машине с GTX 1070 и 8 Гбайт VRAM через среду Unsloth Desktop.
Unsloth — платформа для локального запуска, обучения и развёртывания ИИ-моделей: LLM, диффузионных, эмбеддинг- и аудиомоделей. Поддерживает интеграцию с Claude Code, Codex, MCP, инструменты поиска, RAG и мультимодальные задачи на CPU, NVIDIA, AMD, Intel и macOS.
Для обучения доступны LoRA, QLoRA, полный fine-tuning, RL, GRPO, DPO и FP8 — до 2× быстрее и с экономией VRAM до 70%. Модели экспортируются в GGUF, NVFP4, FP8, подключаются через OpenAI-совместимый API и облачных провайдеров.
