Как выбрать видеокарту для локальных нейросетей: VRAM, квантизация и модели GPU

Для запуска нейросетей на собственном компьютере видеокарта часто важнее процессора. Именно от GPU и прежде всего от объёма видеопамяти зависит, какую языковую модель удастся полностью загрузить в память, насколько быстро будет генерироваться текст, можно ли комфортно создавать изображения и хватит ли ресурсов для локальной генерации видео.

При этом выбирать видеокарту для локальных нейросетей по тем же критериям, что и GPU для игр, не совсем правильно. В играх более быстрый графический процессор с 8 ГБ памяти может оказаться предпочтительнее более медленной 16-гигабайтной модели. Для локального ИИ ситуация часто обратная: если модель требует 12-14 ГБ VRAM, на карте с 8 ГБ она просто не поместится целиком, независимо от производительности самого GPU.

Разберём, сколько видеопамяти нужно для локальных LLM, что такое Q4, Q5 и Q8, какие видеокарты NVIDIA подходят для LM Studio, Stable Diffusion, FLUX и генерации видео, а также почему RTX 5090 с 32 ГБ памяти принципиально отличается от быстрых 16-гигабайтных моделей.

Актуальные модели можно посмотреть в разделе видеокарт AplTech.kz.

Главный параметр для нейросетей - объём VRAM

Видеопамять, или VRAM, используется для хранения весов модели, промежуточных вычислений и части служебных данных.

Если модель полностью помещается в видеопамять, GPU может выполнять большую часть вычислений без постоянного обмена с системной оперативной памятью. Это обычно даёт наиболее высокую скорость.

Если VRAM не хватает, часть данных можно перенести в обычную RAM. Так умеют работать llama.cpp, LM Studio и некоторые другие инструменты, однако обмен через PCI Express значительно медленнее локальной памяти видеокарты.

Именно поэтому при выборе GPU для локального ИИ часто действует простое правило:

лучше немного менее быстрый GPU с большим объёмом VRAM, чем более мощная видеокарта, в память которой нужная модель не помещается.

Сколько видеопамяти нужно для локальных нейросетей

Это ориентировочные значения. Реальное потребление памяти зависит не только от количества параметров, но и от архитектуры модели, квантизации, контекста, размера KV-кэша, количества одновременно обрабатываемых запросов и используемого runtime.

Почему 16 ГБ сейчас можно считать разумной отправной точкой

Видеокарта с 8 ГБ памяти всё ещё способна запускать локальные нейросети, но ограничения проявляются достаточно быстро.

Модель на 7-8 миллиардов параметров в 4-битной квантизации работает нормально, однако при переходе к 14B, мультимодальным моделям, FLUX или генерации видео памяти начинает не хватать.

Поэтому для нового компьютера, который собирается именно под локальный ИИ, 16 ГБ VRAM является гораздо более универсальным вариантом.

Например, GeForce RTX 5060 Ti 16 ГБ можно рассматривать как одну из начальных современных моделей для локальных нейросетей.

Что такое количество параметров 7B, 14B, 32B и 70B

Буква B означает billion, то есть миллиарды параметров.

Например:

• 8B - около 8 млрд параметров;
• 14B - около 14 млрд;
• 32B - около 32 млрд;
• 70B - около 70 млрд.

При одинаковой архитектуре более крупная модель обычно способна решать более сложные задачи, но требует больше памяти и вычислительной мощности.

Однако количество параметров нельзя использовать как единственный показатель качества. Хорошо обученная современная 14B-модель иногда оказывается полезнее старой 30B-модели.

Почему модель 32B не обязательно требует 64 ГБ видеопамяти

В исходном формате FP16 один параметр приблизительно занимает 2 байта. Поэтому только веса 32B-модели могут потребовать около 64 ГБ памяти.

Для домашнего запуска такие модели обычно подвергаются квантизации.

Вместо хранения каждого веса с точностью 16 бит используется 8, 6, 5, 4 или даже меньше бит. Размер модели резко уменьшается, ценой некоторого снижения точности.

Что такое квантизация нейросети

Квантизация - это уменьшение точности чисел, которыми представлены веса модели.

Проще говоря, нейросеть сжимается таким образом, чтобы занимать меньше RAM и VRAM.

В GGUF-файлах часто встречаются обозначения:

• Q8_0;
• Q6_K;
• Q5_K_M;
• Q4_K_M;
• Q3_K_M;
• различные IQ-квантизации.

Чем меньше бит используется, тем меньше файл и требования к памяти, но тем выше вероятность потери качества.

Q4_K_M - один из наиболее практичных вариантов

Для домашнего использования Q4_K_M часто является хорошим балансом между размером, скоростью и качеством ответа.

Она позволяет значительно уменьшить модель, при этом падение качества для многих задач остаётся приемлемым.

Если памяти достаточно, можно выбирать Q5_K_M или Q6. Для задач, где важна максимальная точность и памяти много, используют Q8 или более высокую точность.

Сколько памяти примерно занимает LLM после квантизации

Цифры приблизительные и относятся прежде всего к весам. При фактическом запуске требуется дополнительная память для контекста, KV-кэша и самого runtime.

Почему нельзя выбирать видеокарту ровно под размер GGUF-файла

Предположим, скачанная модель занимает 14 ГБ, а видеокарта имеет 16 ГБ.

Это ещё не означает, что модель будет комфортно работать при любом контексте. Дополнительная память используется для KV-кэша и обработки входных данных.

Чем длиннее контекст, тем больше потребление памяти.

Поэтому желательно оставлять запас. Если приложение показывает использование VRAM практически под 100%, увеличение контекста может привести к выгрузке части данных в RAM или ошибке нехватки памяти.

Что такое контекст модели

Контекст определяет, сколько текста нейросеть способна учитывать одновременно.

Например, небольшой чат на несколько сообщений требует намного меньше памяти, чем анализ большого документа на десятки тысяч токенов.

В LM Studio размер контекста можно изменять при загрузке модели.

Поэтому пользователь с 16 ГБ VRAM может успешно запустить определённую модель на контексте 4096 или 8192 токенов, но получить нехватку памяти при попытке сразу выставить очень большое окно.

LM Studio - простой способ запускать LLM локально

LM Studio позволяет загружать и запускать языковые модели на собственном компьютере без необходимости вручную настраивать Python, CUDA и множество библиотек.

Программа доступна для Windows, Linux и компьютеров Mac на Apple Silicon.

Через раздел Discover можно искать и скачивать готовые модели, в том числе семейства:

• Qwen;
• Llama;
• Mistral;
• Gemma;
• DeepSeek;
• gpt-oss;
• другие совместимые модели с Hugging Face.

Для большинства пользователей удобнее выбирать готовые версии в формате GGUF.

Какие модели можно попробовать в LM Studio

Для первого запуска не обязательно скачивать огромную 70B-модель.

Практичная последовательность выглядит так:

Например, LM Studio позволяет загружать такие модели, как gpt-oss-20b, а через встроенный поиск доступны многочисленные GGUF-варианты Qwen, Llama, Gemma и других семейств.

LM Studio само предлагает разные квантизации

При поиске одной модели пользователь может увидеть несколько файлов:

Q4_K_M, Q5_K_M, Q6_K, Q8_0 и другие.

Если компьютер имеет достаточно памяти, LM Studio рекомендует ориентироваться на 4-битные варианты или выше.

Для большинства домашних систем разумно начинать с Q4_K_M, оценивать качество и скорость, а затем при наличии свободной VRAM переходить на Q5 или Q6.

Что такое GPU Offload в LM Studio

LM Studio позволяет перенести на видеокарту только часть слоёв модели.

Например, если 32B-модель не помещается в 16 ГБ VRAM, часть модели может работать на GPU, а оставшаяся часть будет храниться и обрабатываться через системную оперативную память.

Так модель удаётся запустить, но скорость снижается.

Поэтому наличие 64 ГБ обычной RAM не делает 16-гигабайтную видеокарту эквивалентом GPU с 48 ГБ VRAM.

Сколько обычной оперативной памяти нужно

Для системы с локальным ИИ желательно иметь RAM не меньше объёма видеопамяти, а для больших моделей - значительно больше.

Большой объём RAM особенно полезен, если используется CPU offload или запускаются крупные модели.

NVIDIA или AMD для локального ИИ

Для универсальной рабочей станции под нейросети наиболее беспроблемным вариантом обычно остаётся NVIDIA.

Причина не только в Tensor Cores. Огромное количество AI-программ изначально разрабатывается с расчётом на CUDA.

Особенно это заметно в:

• PyTorch;
• ComfyUI;
• Stable Diffusion;
• FLUX;
• генерации видео;
• обучении LoRA;
• различных CUDA-расширениях.

AMD тоже можно использовать для локальных нейросетей, особенно в Linux с ROCm. Большой объём памяти у некоторых Radeon делает их привлекательными, однако совместимость конкретной программы следует проверять заранее.

Если компьютер собирается с нуля и нужен максимально широкий выбор AI-инструментов без длительной настройки, NVIDIA обычно проще.

RTX 5060 Ti 16 ГБ - хороший начальный вариант

GeForce RTX 5060 Ti 16 ГБ интересна прежде всего объёмом памяти.

Она подходит для:

• 7B-14B LLM;
• 20B в 4-битной квантизации в зависимости от модели и контекста;
• Stable Diffusion;
• SDXL;
• FLUX с подходящей оптимизацией;
• Whisper;
• локального TTS;
• экспериментов с небольшими видео-моделями.

Если выбор стоит между 8- и 16-гигабайтной версией одной видеокарты именно под AI, имеет смысл брать 16 ГБ.

RTX 5070 Ti 16 ГБ - быстрее, но модели помещаются примерно те же

GeForce RTX 5070 Ti 16 ГБ значительно производительнее младших решений.

Она быстрее генерирует токены, изображения и выполняет вычисления, но объём VRAM остаётся тем же - 16 ГБ.

Это важный нюанс. RTX 5070 Ti позволит быстрее работать с моделью, которая уже помещается в 16 ГБ, но не позволит полностью загрузить LLM, требующую 24 ГБ.

RTX 5080 16 ГБ - высокая скорость без увеличения VRAM

GeForce RTX 5080 16 ГБ имеет значительно более производительный GPU и высокую пропускную способность памяти.

Она особенно интересна для генерации изображений, видео, тяжёлых вычислений и задач, где скорость важнее максимального размера модели.

Но для LLM есть тот же предел в 16 ГБ. Поэтому при выборе исключительно для больших языковых моделей RTX 5080 не всегда является настолько большим шагом вперёд относительно других 16-гигабайтных карт, как это выглядит в игровых тестах.

RTX 4090 24 ГБ остаётся сильным вариантом

GeForce RTX 4090 имеет 24 ГБ GDDR6X.

Для локального ИИ это всё ещё очень полезный объём, позволяющий комфортнее запускать 32B-модели в 4-битной квантизации, работать с FLUX и использовать более тяжёлые workflows в ComfyUI.

При покупке на вторичном рынке стоит учитывать состояние карты, охлаждение и историю эксплуатации.

RTX 5090 32 ГБ - один из лучших потребительских GPU для локального ИИ

GeForce RTX 5090 32 ГБ получила 32 ГБ GDDR7.

Именно дополнительная память делает её особенно интересной для AI, а не только высокая вычислительная производительность.

32 ГБ позволяют:

• комфортно запускать многие 32B LLM;
• использовать более качественную квантизацию;
• увеличивать контекст;
• работать с тяжёлыми FLUX workflows;
• быстрее генерировать видео;
• выполнять LoRA и QLoRA для небольших и средних моделей;
• одновременно держать больше AI-компонентов в VRAM.

Но даже 32 ГБ недостаточно, чтобы без компромиссов полностью загрузить большинство 70B-моделей в Q4 вместе с большим контекстом.

Для 70B лучше смотреть на 48 ГБ и больше

70B-модель в Q4 обычно требует около 40 ГБ только для весов.

Поэтому для её полноценного размещения на одной видеокарте интереснее профессиональные решения с 48 ГБ VRAM, например NVIDIA RTX 6000 Ada.

Для ещё более тяжёлых задач существует NVIDIA RTX PRO 6000 Blackwell с 96 ГБ GDDR7 ECC.

Это уже класс AI-рабочих станций, а не обычных домашних компьютеров.

Можно ли поставить две видеокарты

Некоторые AI-runtime умеют распределять модель между несколькими GPU.

Например, две карты по 16 ГБ могут использоваться для модели, которая не помещается на одной видеокарте.

Но это не означает, что система автоматически получает одну общую сверхбыструю память на 32 ГБ. Модель разделяется между GPU, а обмен между ними имеет дополнительные накладные расходы.

Кроме того, не каждое приложение одинаково хорошо поддерживает multi-GPU.

Для домашней системы одна карта с большим объёмом VRAM обычно проще в настройке.

Какая видеокарта нужна для Stable Diffusion

Генерация изображений предъявляет немного другие требования, чем LLM.

Для старых моделей Stable Diffusion можно работать даже с 6-8 ГБ VRAM.

Для SDXL комфортнее иметь 8-12 ГБ или больше.

Большая VRAM позволяет:

• увеличивать разрешение;
• использовать ControlNet;
• подключать несколько LoRA;
• работать с upscale;
• использовать несколько моделей в одном workflow;
• обрабатывать изображения пакетами.

FLUX требует больше ресурсов

FLUX относится к более тяжёлым моделям генерации изображений.

Например, FLUX.1 dev содержит около 12 млрд параметров.

Полная версия требует много памяти, поэтому на домашних GPU часто используются квантизация, FP8, CPU offload и другие оптимизации.

На 12-16 ГБ запуск возможен с соответствующим workflow, но 24-32 ГБ дают значительно больше свободы.

Для изображений удобно использовать ComfyUI

ComfyUI является одним из наиболее гибких локальных интерфейсов для генерации изображений.

В нём можно создавать цепочки из:

• Stable Diffusion;
• SDXL;
• FLUX;
• ControlNet;
• LoRA;
• upscaler;
• image-to-image;
• inpainting;
• удаления или замены объектов.

Чем сложнее workflow, тем полезнее большой объём видеопамяти.

Можно ли локально создавать видео с помощью ИИ

Да. Генерация видео уже доступна на потребительских GPU, но она значительно тяжелее создания текста или одного изображения.

Существуют локальные модели:

• Wan;
• HunyuanVideo;
• различные image-to-video модели;
• специализированные видео-модели в ComfyUI.

Например, компактная модель Wan 2.1 T2V 1.3B рассчитана примерно на 8 ГБ VRAM, но более крупные модели требуют значительно больше памяти.

Для локального видео 16 ГБ - скорее начало

С 16 ГБ можно экспериментировать с оптимизированными моделями и небольшим разрешением.

Для серьёзной генерации видео намного интереснее 24 или 32 ГБ.

Большая память позволяет использовать более крупную модель, больше кадров и более высокое разрешение с меньшим количеством offload.

Поэтому для пользователя, который планирует заниматься именно локальным AI-видео, RTX 5090 32 ГБ значительно интереснее любой 16-гигабайтной карты.

Локальная работа с аудио

GPU можно использовать не только для текста и изображений.

Один из самых полезных инструментов - Whisper, который умеет:

• распознавать речь;
• делать транскрипцию записей;
• создавать субтитры;
• обрабатывать интервью;
• переводить речь.

Для Whisper огромный объём VRAM не требуется, и даже видеокарты среднего класса справляются с ним достаточно хорошо.

Синтез речи и клонирование голоса

Локальные TTS-модели позволяют превращать текст в речь.

В зависимости от выбранного решения можно:

• озвучивать текст;
• создавать голосовых ассистентов;
• делать дубляж;
• работать с несколькими голосами;
• создавать синтетическую речь без отправки текста в облако.

Для обычного TTS требования к GPU значительно ниже, чем для генерации видео.

Другие задачи локального ИИ

Современная видеокарта может использоваться сразу для нескольких направлений:

Мультимодальные модели требуют дополнительной памяти

Мультимодальная модель умеет работать не только с текстом, но и с изображениями.

Например, пользователь может показать скриншот интерфейса, фотографию оборудования или документ и задать по нему вопрос.

Для обработки изображения часто используется дополнительный vision encoder, который тоже занимает память.

Поэтому мультимодальная 14B-модель может потребовать немного больше ресурсов, чем чисто текстовая модель того же размера.

Можно ли обучать нейросети на обычной GeForce

Да, но нужно различать полноценное обучение и дообучение.

Обучить современную LLM с нуля на одной домашней RTX практически нереально.

Зато можно выполнять:

• LoRA;
• QLoRA;
• fine-tuning небольших моделей;
• обучение LoRA для Stable Diffusion и FLUX;
• обучение классификаторов;
• эксперименты с небольшими собственными моделями.

Для fine-tuning требования к памяти обычно значительно выше, чем для обычного запуска модели.

16 ГБ или 24 ГБ для обучения

16 ГБ достаточно для экспериментов с небольшими моделями и LoRA при аккуратных настройках.

24 ГБ заметно удобнее и позволяют увеличить batch size, разрешение или размер модели.

32 ГБ дают ещё больше свободы.

Если основной сценарий - именно обучение, а не inference, стоит покупать максимальный объём VRAM, который позволяет бюджет.

Не забывайте о скорости памяти

После объёма VRAM имеет значение её пропускная способность.

LLM постоянно считывает веса модели из памяти, поэтому высокая bandwidth может напрямую влиять на скорость генерации токенов.

Именно по этой причине две карты с одинаковыми 16 ГБ могут заметно отличаться по скорости AI-задач.

Но высокая пропускная способность не компенсирует нехватку объёма: очень быстрая 16-гигабайтная память всё равно остаётся 16-гигабайтной.

Что выбрать: RTX 5060 Ti, 5070 Ti, 5080 или 5090

Какая видеокарта оптимальна по соотношению возможностей

Для нового домашнего компьютера под локальные нейросети разумной отправной точкой является 16 ГБ VRAM.

Если бюджет ограничен, RTX 5060 Ti 16 ГБ позволяет познакомиться практически со всеми основными направлениями локального AI.

Если нужны 32B LLM и более тяжёлая генерация, стоит стремиться к 24 ГБ.

Если компьютер собирается под серьёзный локальный ИИ, генерацию видео и большие модели, RTX 5090 с 32 ГБ значительно универсальнее любых 16-гигабайтных карт.

Подобрать подходящую модель можно в каталоге видеокарт AplTech.kz.