Web shop za AI hardver
Pregledajte mini računala, NAS uređaje, radne stanice, poslužitelje i edge AI hardver — svaki se sustav može kombinirati s uslugom instalacije i softverskim inovacijama tvrtke ⏻ On Intelligence.
| Slika | Proizvod | Cijena | Kapacitet |
|---|
Razumijevanje kapaciteta modela
Kapacitet modela odnosi se na broj parametara koje AI model sadrži (npr. 70B = 70 milijardi parametara). Veći modeli općenito zahtijevaju više memorije i računalne snage, ali mogu ponuditi poboljšano zaključivanje i kvalitetu izlaza.
Preciznost (FP16 / FP8 / FP4) utječe na količinu memorije koju određeni kapacitet modela zahtijeva: formati niže preciznosti otprilike prepolovljuju zahtjeve za memorijom po svakom koraku niže (FP16 → FP8 → FP4), uz određeni gubitak preciznosti izlaza.
| Veličina modela | Tipična memorija (FP16) | Tipična memorija (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |