Как установить DeepSeek локально на компьютер?

Модель DeepSeek R-1 можно развернуть локально, чтобы сохранить конфиденциальность обрабатываемых данных, не отправляя их на внешние сервера, иметь доступ к DeepSeek без интернета, а так же иметь возможность бесплатно использовать сеть, в случае, если её в будущем сделают платной.

Установка

Для локального запуска DeepSeek R-1 потребуется установить программу Ollama. Скачайте её с официального сайта (для Windows/Linux/macOS).
Перейдите в режим Models и введите запрос «deepseek-r1». В результатах поиска выберите размер модели в зависимости от мощности вашего компьютера.
Запустите выбранную модель, выполнив команду:
ollama run deepseek-r1:5b
Начнётся загрузка выбранной модели (мы выбрали 5b, цифра обозначает число миллиардов параметров).
По окончанию загрузки модель сразу будет запущена локально.
К ней можно обращаться, отправляя промты в адресную строку.

Системные требования

Минимальные

  • Linux (рекомендуется Ubuntu 20.04 или выше), Windows 10 или 11, macOS
  • Многоядерный процессор (например, Intel Xeon или AMD Ryzen) с поддержкой AVX2
  • Видеокарта с поддержкой CUDA (например, NVIDIA GTX 1080 или выше)
  • 32 ГБ ОЗУ
  • 50 ГБ свободного места на диске

Рекомендуемые

  • Linux (рекомендуется Ubuntu 20.04 или выше), Windows 10 или 11, macOS
  • Процессор с 16 ядрами и выше
  • Видеокарта с 16 ГБ видеопамяти (например, NVIDIA A100, RTX 3090 или выше)
  • 64 ГБ ОЗУ
  • 100 ГБ свободного места на диске
Более подробно о требованиях читайте здесь

Исправление ошибок

Если DeepSeek не запускается локально, то:
  • Проверьте совместимость версий Python, CUDA и PyTorch/TensorFlow.
  • Если возникла ошибка "llama runner process has terminated: error loading model: unable to allocate CUDA_Host buffer" - то проверьте, достаточно ли памяти на GPU.
  • Попробуйте запустить модель с меньшим количеством параметров.

Альтернативные способы установки

Если Ваше железо недостаточно мощное для установки DeepSeek, можно арендовать сервер в хостинг-центре, либо использовать платное облачное решение (например Google Colab, AWS, или Azure).
Так же вместо использования командной строки можно установить расширение для браузера Chrome либо добавить к установленной модели пользовательский интерфейс Gradio или Chatbox AI.

Примечания

Для самых больших моделей (например DeepSeek-R1-Zero) домашнего комьютера недостаточно, необходимо запускать их на распределенных GPU. Более маленькие дистиллированные версии возможно запустить на обычной видеокарте.