Yapay zekâ projelerinde ilk soru hep aynıdır: "Bu modeli çalıştırmak için hangi GPU'yu almalıyız?" Cevabın büyük kısmı tek bir değere bağlı: GPU belleği.
GPU belleği hesaplayıcı
Model boyutunu ve hassasiyeti seçin. Bağlam belleği (KV cache) ve ek yük için %30 pay eklenir.
Yaklaşık değerlerdir. Uzun bağlam ve çok sayıda eş zamanlı kullanıcı daha fazla bellek ister; kesin boyutlandırma için kullanım senaryonuzu birlikte hesaplıyoruz.
Hesabın mantığı
Bir modelin GPU'da kapladığı yer kabaca parametre sayısı × parametre başına bayttır:
- FP16/BF16: Parametre başına 2 bayt. 70 milyar parametreli model ≈ 140 GB.
- FP8: 1 bayt; kalite kaybı çoğu iş için ihmal edilebilir, bellek yarıya iner. Yeni nesil NVIDIA kartlar FP8'i donanımda destekler.
- INT4: Yarım bayt; belleği dörtte birine indirir, ama matematik, kod ve uzun bağlamda kalite kaybı belirginleşebilir.
Bunun üzerine kullanıcı sohbetlerinin bağlamını tutan KV cache ve yazılımın ek yükü gelir. Eş zamanlı kullanıcı sayısı arttıkça bu pay büyür.
Doğru GPU, "en büyük GPU" değildir; modelinize ve kullanıcı sayınıza sığan en verimli GPU'dur.
Proxmox'un payı: esneklik
GPU'yu satın aldıktan sonra ihtiyacınız değişecek. Bugün tek bir büyük modeli çalıştıran kart, yarın üç küçük projeye bölünmek isteyecek. Proxmox ile:
- GPU'nun tamamını tek bir model sunucusuna verebilir (passthrough),
- NVIDIA vGPU ve MIG ile birden çok sanal makineye bölebilir,
- modeli başka bir sunucuya taşıyabilir, anlık görüntü alıp güvenle deneyebilirsiniz.
Ayrıntılar: Bir GPU, on proje
GPU'lu sunucuyu, Proxmox aboneliğini ve kurulumu tek tekliften alın. NVIDIA NPN iş ortağı ve Supermicro distribütörü olarak.
Teklif isteyin


