Периферийные ИИ-аппаратные решения
Вычислительные модули для развёртывания встроенного и периферийного ИИ.
| Фото | Товар | Цена | Ёмкость |
|---|
Понимание ёмкости модели
Ёмкость модели означает количество параметров в модели ИИ (например, 70B = 70 миллиардов параметров). Более крупные модели обычно требуют больше памяти и вычислительной мощности, но могут обеспечить лучшее качество вывода и рассуждений.
Точность (FP16 / FP8 / FP4) влияет на объём памяти, необходимый для данной ёмкости модели: форматы с меньшей точностью примерно вдвое снижают требования к памяти на каждом шаге (FP16 → FP8 → FP4), ценой некоторого снижения точности вывода.
| Размер модели | Типичный объём памяти (FP16) | Типичный объём памяти (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |