Ollama на VPS без видеокарты: какие модели пойдут на 8 ГБ и сколько это стоит

Что получится и что понадобится

Ollama скачивает языковую модель и отвечает на запросы по HTTP прямо на вашем сервере. Своя модель нужна, когда данные нельзя отдавать наружу, когда хочется бота без оплаты за каждый запрос или просто попробовать. Видеокарта для этого не обязательна. Размер модели меряют в параметрах, буква B после числа значит миллиарды: модели на 3-4 миллиарда отвечают на процессоре по 15-20 токенов в секунду, это быстрее, чем вы читаете. Дорогой сервер с видеокартой нужен позже, когда моделей станет больше или ответов нужны сотни в минуту.

Понадобится сервер с Ubuntu 24.04, пользователь с sudo и доступ по SSH, как в инструкции про первую настройку VPS. Памяти от 8 ГБ: модель грузится в оперативную память целиком, и на 4 ГБ пойдут только игрушечные варианты на миллиард параметров. Диска от 30 ГБ: каждая модель - это файл на 2-8 ГБ, а их захочется попробовать несколько.

Проверено 13 октября 2026 по документации Ollama 0.40.3. Скорость мерил на своей машине, прижав Ollama к четырём физическим ядрам Intel Core i7-13700H в режиме энергосбережения, то есть примерно на уровне типового VPS; на вашем сервере числа будут отличаться, порядок величины сохранится. На живом VPS команды установки не прогонялись, они взяты из документации один в один.

Шаг 1. Установка

Один скрипт ставит бинарник, создаёт пользователя ollama и службу systemd, которая стартует при загрузке. Архив упакован zstd, и без этой утилиты скрипт остановится с просьбой её поставить, поэтому сначала она.

sudo apt install -y zstd
curl -fsSL https://ollama.com/install.sh | sh
ollama -v
systemctl status ollama --no-pager

Если скрипту вы не доверяете, документация описывает ручной путь: архив ollama-linux-amd64.tar.zst распаковывается в /usr, а служба создаётся руками с пользователем ollama. Старого архива .tgz в релизах больше нет, ссылки из руководств прошлого года отдают «Not Found». Логи службы смотрят так:

journalctl -e -u ollama

По умолчанию Ollama слушает только 127.0.0.1 на порту 11434, то есть снаружи до неё не достучаться. Это правильно, и не трогайте это, пока не прочитаете шаг 4.

Шаг 2. Первая модель и первый ответ

Модели живут в библиотеке на ollama.com, команда run скачивает нужную и открывает чат в терминале. Начните с llama3.2:3b, файл на 2 ГБ. Ключ --verbose добавляет после каждого ответа статистику.

ollama run llama3.2:3b --verbose

Задайте вопрос по-русски и посмотрите, как модель отвечает. Выход из чата по /bye. В статистике строка eval rate - это скорость генерации в токенах в секунду. Токен - это кусок слова, в моих замерах на русском вышло 0,5-0,6 слова на токен. Что сейчас загружено и сколько это занимает, показывает ollama ps: в колонке SIZE память модели вместе с контекстом, в колонке PROCESSOR на сервере без видеокарты должно стоять 100% CPU.

ollama ps
ollama list

Модель остаётся в памяти пять минут после последнего запроса, потом выгружается, и следующий ответ начнётся с паузы на загрузку. Для бота, который отвечает редко, это нормально, для чата лучше держать модель постоянно: переменная OLLAMA_KEEP_ALIVE=-1 в настройках службы, о них в шаге 4.

Шаг 3. Что помещается в 8 ГБ и с какой скоростью

Я прогнал три модели на четырёх ядрах по одному вопросу на русском, три ответа каждая, 200 токенов на ответ. Память - это колонка SIZE из ollama ps, то есть модель вместе с контекстом 4096 токенов.

Разброс в скорости дали повторные прогоны в разное время: ноутбук меняет частоту, VPS с фиксированной долей ядра даст ровнее. Восемь токенов в секунду у 9B - это четыре-пять слов, для бота терпимо. У qwen3.5:4b в памяти меньше, чем на диске, потому что в файле лежит ещё блок для работы с картинками, а текстовому запросу он не нужен.

qwen3.5 по умолчанию рассуждает перед ответом. При лимите в 300 и даже 600 токенов все они ушли в скрытый блок размышлений, а поле ответа осталось пустым. Для коротких ответов выключайте размышление параметром think со значением false, в шаге 4 он есть в примере запроса; скорость от этого не меняется.

Качество ответов на русском у 3B и 9B разное. На вопрос, зачем серверу файл подкачки, llama3.2:3b уверенно объяснила, что это файл логов. qwen3.5:4b ответила верно, но про Windows. qwen3.5:9b дала точный ответ с оговоркой, что подкачка нужна системе, а не веб-серверу. Для чата с людьми берите 9B и 16 ГБ, для классификации, выжимок и простых команд хватит 4B на 8 ГБ.

Модель на 9 миллиардов в 8 ГБ помещается, 6,2 ГБ вместе с контекстом, но системе и вашему боту остаётся меньше двух гигабайт. Модели на 12 и больше миллиардов на 8 ГБ не работают: gemma3:12b весит 8,2 ГБ на диске, qwen3:14b 9,3, вместе с контекстом это больше, чем есть. Ollama на процессоре память заранее не проверяет, поэтому такая модель либо падает при загрузке, либо стартует и отвечает из подкачки по слову в десятки секунд; на живом сервере я этот случай не снимал. Им нужен сервер на 16 ГБ, а разговор про 27-30 миллиардов начинается с 32 ГБ или с видеокарты. По свежести на октябрь 2026: qwen3.5, gemma4 и gemma3 обновлены в октябре, llama3.2 и qwen2.5 не обновлялись два года, они годятся для проверки, но для работы лучше брать новые.

Отдельно про контекст. На сервере без видеокарты Ollama по умолчанию держит окно в 4096 токенов, это порядка двух тысяч русских слов на вопрос и ответ вместе. Чем шире окно, тем больше памяти, поэтому на 8 ГБ не ставьте num_ctx в 32 тысячи ради длинных документов, сначала посмотрите по ollama ps, сколько осталось.

Шаг 4. Доступ по API и что не открывать наружу

Боту или скрипту Ollama нужна как API. Запрос с самого сервера выглядит так, строка think здесь выключает размышления у моделей вроде qwen3.5, остальным она не мешает:

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.2:3b",
  "prompt": "Объясни в двух предложениях, что такое VPS",
  "think": false,
  "stream": false
}'

В ответе кроме текста есть eval_count и eval_duration, по ним считают скорость: eval_count делить на eval_duration и умножить на миллиард, потому что длительность в наносекундах. Для диалога с историей есть /api/chat, а библиотекам, написанным под OpenAI, Ollama отдаёт совместимый адрес /v1/chat/completions на том же порту: ключ API там обязателен по форме, но не проверяется.

Если бот живёт на том же сервере, ничего открывать не надо. Если на другом, не ставьте OLLAMA_HOST=0.0.0.0: у Ollama нет пароля, и открытый порт 11434 означает, что любой в интернете гоняет модель на вашей машине за ваш счёт, а заодно читает список ваших моделей, скачивает новые гигабайтами на ваш диск или удаляет их, API это позволяет без ключа. Правильный путь: порт 11434 оставить на 127.0.0.1, а с машины бота пробросить его к себе туннелем SSH. Пока команда ниже работает, запросы на localhost:11434 той машины уходят на сервер по шифрованному каналу:

ssh -N -L 11434:127.0.0.1:11434 user@адрес-сервера

Настройки службы, если нужно поменять время жизни модели или каталог с моделями, задаются через редактирование службы:

sudo systemctl edit ollama

На Ubuntu откроется nano с шаблоном из комментариев. Вставьте между ними секцию с переменными, сохраните Ctrl+O и Enter, выйдите Ctrl+X, затем перезапустите службу:

[Service]
Environment="OLLAMA_KEEP_ALIVE=-1"
Environment="OLLAMA_MODELS=/data/ollama"

sudo mkdir -p /data/ollama
sudo chown -R ollama:ollama /data/ollama
sudo systemctl restart ollama

Строка с OLLAMA_MODELS нужна, только если системный диск маленький: по умолчанию модели лежат в /usr/share/ollama/.ollama/models. Новому каталогу обязательно отдать права пользователю службы, как в примере, иначе модели не скачаются.

Если медленно или не грузится

Ответ идёт по одному слову в несколько секунд. Посмотрите ollama ps: если модель загружена, а скорость ниже 5 токенов в секунду на 3B-модели, скорее всего ядер у сервера меньше, чем вы думали, или это доля ядра, а не целое. Сколько их на самом деле, покажет lscpu: строки Core(s) per socket и Thread(s) per core, потоки и ядра не одно и то же. В моём замере та же llama3.2:3b на двух физических ядрах с шестью потоками выдавала полтокена в секунду, на четырёх ядрах с четырьмя потоками 17. Число потоков можно задать параметром num_thread в options запроса, в документации он не описан, но в API есть; ставьте его равным числу физических ядер и сравните скорость с ответом без него.

Ответ обрывается ошибкой про остановленный llama-server или модель отвечает по слову в десятки секунд. Скорее всего, модель вместе с контекстом не поместилась в память, см. шаг 3. Возьмите вариант поменьше или уменьшите окно контекста.

Первый ответ после паузы идёт долго. Это загрузка модели с диска после выгрузки, на SSD две-три секунды для 3B, на HDD-тарифах заметно дольше. OLLAMA_KEEP_ALIVE=-1 убирает паузу ценой постоянно занятой памяти.

Чтобы обновить саму Ollama, запустите скрипт установки ещё раз, модели при этом остаются.

Какой сервер под это нужен

Считать надо память, диск и физические ядра. В нашем каталоге на 12 октября 2026 в России без видеокарты и без условия о предоплате таких тарифов с памятью от 8 ГБ и диском от 40 ГБ 97. Самые дешёвые: Selectel VDS 4-8-80 за 1 100 ₽ в месяц, AdminVPS Start на 3,6 ГГц за 1 289 ₽ и FirstVDS Отрыв (SSD) за 1 579 ₽, все три на 4 ядра, 8 ГБ и 80 ГБ. Для моделей на 9-14 миллиардов нужны 16 ГБ: таких тарифов 46, от 3 000 ₽ за Selectel VDS 8-16-160 и 3 379 ₽ за AdminVPS Pro на 8 ядер. Промежуточный вариант с 12 ГБ стоит от 2 000 ₽ за Selectel VDS 6-12-120. У самого дешёвого сервера с видеокартой в каталоге, VDSina GPU 8/8/150 за 4 770 ₽, всего 2 ГБ видеопамяти, в которые ни одна из моделей выше не поместится; осмысленные тарифы с видеокартой начинаются выше 9 000 ₽, и к ним стоит переходить, когда процессорный сервер уже упёрся. Пресет «ИИ / LLM» в каталоге подбирает от 16 ГБ, карточки ниже показывают тарифы с 8 ГБ, с них можно начать.