Что такое дистиллированные версии DeepSeek

Флагманская DeepSeek‑R1 — это архитектура Mixture‑of‑Experts (MoE) с 671 млрд параметров (активных 37B на токен). Её прямой запуск требует промышленных кластеров. Для локального использования команда DeepSeek сгенерировала 800 000 примеров с цепочками рассуждений (Chain‑of‑Thought) и дообучила на них открытые модели Qwen2.5 и Llama‑3. Так появились дистиллированные (distill) версии — компактные, но мощные модели, работающие на обычном оборудовании.

Зачем использовать дистилляты вместо полной модели

• Ресурсы: полная R1 требует сотни гигабайт VRAM и NVLink. Distill 32B помещается в 24 ГБ с 4‑битной квантизацией.
• Скорость: плотные модели генерируют токены в 3–5 раз быстрее на том же GPU.
• Контроль: вы можете дообучать модель под свои данные с помощью LoRA на обычной видеокарте.
• Экономия: отсутствие платы за DeepSeek API, нет лимитов на запросы.

Полный каталог дистиллированных версий

Выбор между Qwen и Llama: Qwen‑линейка оптимизирована под математику и логику (основа — Qwen2.5‑Math). Llama‑версии лучше справляются с общими знаниями и следованием инструкциям.

Оценка реальных требований к оборудованию

Приведённые выше значения VRAM — для полной точности FP16. На практике применяется квантизация, радикально снижающая потребление памяти.

Сравнение методов локального развёртывания

Установка через Ollama (рекомендуемый способ для разработчика)

1. Установите Ollama с ollama.com (Windows, macOS, Linux).
2. Загрузите модель: ollama run deepseek-r1:14b (автоматически загрузит квантизованную Q4_K_M версию).

FROM deepseek-r1:14b
PARAMETER temperature 0.6
PARAMETER num_ctx 8192
# Затем выполнить: ollama create my-deepseek -f Modelfile

REST API доступен на http://localhost:11434. Пример curl:

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-r1:14b",
  "prompt": "Explain distillation in LLMs.",
  "stream": false
}'

Высокопроизводительный сервер с vLLM

vLLM поддерживает PagedAttention и continuous batching. Для 32B модели с 4‑битной квантизацией:

pip install vllm
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
    --quantization fp4 \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.95

Сервер поднимается на порту 8000 и совместим с OpenAI API.

llama.cpp — максимальная эффективность на CPU и Apple Silicon

Работает с моделями в формате GGUF. Скачайте GGUF с Hugging Face (например, от AmpereComputing или Roobbert).

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make -j  # для CUDA: make LLAMA_CUDA=1
./llama-cli -m deepseek-r1-distill-qwen-32b.Q4_K_M.gguf -p "Hello" -n 512 -t 16 -ngl 0

На MacBook Pro M2 Max скорость с Metal достигает 120–150 токенов/с для 14B модели (Q4).

Гайд по квантизации: GGUF, FP4, GPTQ

GGUF (llama.cpp / Ollama)

FP4 в vLLM (для GPU Blackwell+)

Снижает потребление памяти на 75% с минимальной потерей точности. Включается флагом --quantization fp4.

AWQ / GPTQ

Альтернативные форматы для ExLlamaV2 и AutoGPTQ. AWQ часто точнее GPTQ при том же битрейте.

Продвинутая настройка производительности

• temperature: 0.1–0.3 для точных задач, 0.7–1.0 для творческих.
• max_tokens: ограничьте, чтобы избежать зацикливания в рассуждениях.
• num_ctx: дистилляты обучены на 4096, но стабильно работают до 8192 (при достаточной VRAM).

vllm serve ... \
    --max-num-batched-tokens 8192 \
    --enable-prefix-caching \
    --gpu-memory-utilization 0.98

Тонкая настройка (Fine‑Tuning) дистиллированных моделей

Дистилляты можно дообучать с помощью LoRA/QLoRA на одной видеокарте. Рекомендуемый инструмент — Unsloth.

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B",
    max_seq_length = 2048,
    load_in_4bit = True,
)
model = FastLanguageModel.get_peft_model(model, r=16, target_modules=["q_proj","k_proj","v_proj","o_proj"])
# Далее стандартный цикл обучения с Hugging Face Trainer

Для полного дообучения 70B потребуется несколько A100/H100, но LoRA позволяет адаптировать даже 32B модель на 24 ГБ.

Сравнение производительности на практике

Тесты на RTX 4090 (24 ГБ) с 4‑битной квантизацией (Q4_K_M):

На MacBook Pro M2 Max 14B модель (Q4) выдаёт 120–150 токенов/с через llama.cpp с Metal.

Заключение: оптимальный путь для инженера

1. Выбор модели: начните с deepseek-r1:14b (Q4) для GPU 16+ ГБ или 7b для 8–12 ГБ.
2. Фреймворк: для разработки — Ollama, для продакшена — vLLM, для CPU/Apple — llama.cpp.
3. Квантизация: используйте Q4_K_M как баланс качества и скорости.
4. Дообучение: при необходимости кастомизируйте модель с Unsloth + LoRA.