Локальная нейросеть · Llama 70B

Llama 70B: какое железо нужно и сколько видеопамяти

Самый популярный размер для корпоративного чата. В 4 битах помещается в одну карту на 48 ГБ, в 8 битах — в одну на 96 ГБ.

Посчитать под свою модель

Параметров70BLlama 3.3 70B

4 бита, 1 пользователь49 ГБс контекстом 32K

FP8, команда119 ГБ8 запросов по 32K

Установкапод ключvLLM, Open WebUI, API

Llama 3.3 70B: сколько видеопамяти нужно

Веса, KV-кеш и служебная память. Один пользователь — контекст 32K; команда — 8 одновременных запросов по 32K.

Точность	Веса	1 пользователь	Команда (8 запросов)	Минимальная конфигурация для команды
FP16 / BF16	141 ГБ	162 ГБ	237 ГБ	4× RTX PRO 6000 Max-Q — 14,8 млн ₽
FP8	71 ГБ	82 ГБ	119 ГБ	4× 4090 48 ГБ (мод.) — 2,78 млн ₽
4 бита	40 ГБ	49 ГБ	86 ГБ	DGX Spark — 858 000 ₽

Llama 3.3 70B: что подойдёт

Самые доступные конфигурации из каталога, в которые модель помещается в 4 битах с контекстом 32K.

Конфигурация	Что это	Память	Цена от	Срок
DGX Spark	настольная, память 273 ГБ/с	128 ГБ	858 000 ₽	1–3 дня
RTX PRO 5000 72 ГБ	1 карта	72 ГБ	1,81 млн ₽	1–3 дня
2× 4090 48 ГБ (мод.)	рабочая станция	96 ГБ	1,84 млн ₽	4–8 нед.
H100 PCIe	1 ускоритель	80 ГБ	2,75 млн ₽	1–3 дня
Сервер 4U 8× RTX PRO 6000 Server	сервер 4U	768 ГБ	20,8 млн ₽	4–8 нед.

Что важно знать

Llama 3.3 70B — плотная модель: на каждый токен работают все 70 млрд параметров. Веса занимают около 140 ГБ в FP16, 70 ГБ в FP8 и около 40 ГБ в 4 битах. К этому добавляется KV-кеш — около 10 ГБ на каждые 32K токенов контекста одного пользователя в FP16.

Для одного пользователя хватает карты на 48 ГБ в 4 битах. Для команды из 30–50 человек, которые работают одновременно, рассчитывайте на 8–16 параллельных запросов: это 2 карты на 96 ГБ или сервер на 4 RTX PRO 6000 в FP8.

Скорость ответа зависит от пропускной способности памяти: на H100 и H200 генерация заметно быстрее, чем на картах с GDDR. Подберём конфигурацию под нужную скорость.

Частые вопросы

Какая видеокарта нужна для Llama 70B?

Минимум — 48 ГБ для 4 бит: RTX 4090 48 ГБ, L40S, RTX 6000 Ada или две RTX 5090. Для 8 бит — 96 ГБ: RTX PRO 6000, H100 NVL или две карты по 48 ГБ.

Сколько стоит сервер под Llama 70B на компанию?

Для 30–50 одновременных пользователей — сервер на 4 карты RTX PRO 6000 или 2 H200. Цены конфигураций — в таблице выше, точная цена — в КП.

Коммерческое предложение

Пришлём КП с ценой, сроком и заменами

Опишите задачу своими словами — модель, нагрузку, бюджет или просто «нужно 8 карт к декабрю». Инженер подберёт 2–3 варианта и честно скажет, где можно сэкономить.

2 чКП в рабочее время, цена фиксируется на 3 дня

72 чстресс-тест каждой карты, отчёт и серийники до оплаты

22 %счёт с НДС, договор поставки, ГТД, УПД

Llama 3.3 70B: сколько видеопамяти нужно

Llama 3.3 70B: что подойдёт

Что важно знать

Частые вопросы

Смотрите также

Пришлём КП с ценой, сроком и заменами

Запрос КП