Под заказ
Дообучение LoRA меняет небольшую часть весов, поэтому требует немногим больше памяти, чем запуск модели. Для 8B-модели хватает одной карты на 24–32 ГБ, для 70B — карты на 80–96 ГБ в режиме QLoRA.
Полное обучение хранит веса, градиенты и состояние оптимизатора — около 16 байт на параметр. Для 8B-модели это уже больше 128 ГБ и несколько карт, для 70B — больше терабайта и несколько серверов HGX.
Для обучения на многих картах важен NVLink: платформы HGX на 8 ускорителей SXM обмениваются данными в разы быстрее, чем PCIe-карты. Для LoRA и обучения небольших моделей хватает серверов на PCIe-картах.