İçeriğe geç
Proxmox'un Türkiye'deki tek yetkili partneri Proxmox'ta doğrulayın ↗ +90 212 639 45 43 [email protected]
Ana sayfa / Blog / Yapay Zekâ
Yapay Zekâ

Hangi yapay zekâ modeli hangi GPU'ya sığar? 30 saniyede hesaplayın

Model boyutunu ve hassasiyeti seçin, ihtiyacınız olan GPU belleğini ve örnek kartı anında görün.

GTM Open Source · 4 dakikalık okuma

Yapay zekâ projelerinde ilk soru hep aynıdır: "Bu modeli çalıştırmak için hangi GPU'yu almalıyız?" Cevabın büyük kısmı tek bir değere bağlı: GPU belleği.

GPU belleği hesaplayıcı

Model boyutunu ve hassasiyeti seçin. Bağlam belleği (KV cache) ve ek yük için %30 pay eklenir.

Model ağırlıkları—
Önerilen toplam bellek—
Örnek GPU—

Yaklaşık değerlerdir. Uzun bağlam ve çok sayıda eş zamanlı kullanıcı daha fazla bellek ister; kesin boyutlandırma için kullanım senaryonuzu birlikte hesaplıyoruz.

Hesabın mantığı

Bir modelin GPU'da kapladığı yer kabaca parametre sayısı × parametre başına bayttır:

  • FP16/BF16: Parametre başına 2 bayt. 70 milyar parametreli model ≈ 140 GB.
  • FP8: 1 bayt; kalite kaybı çoğu iş için ihmal edilebilir, bellek yarıya iner. Yeni nesil NVIDIA kartlar FP8'i donanımda destekler.
  • INT4: Yarım bayt; belleği dörtte birine indirir, ama matematik, kod ve uzun bağlamda kalite kaybı belirginleşebilir.

Bunun üzerine kullanıcı sohbetlerinin bağlamını tutan KV cache ve yazılımın ek yükü gelir. Eş zamanlı kullanıcı sayısı arttıkça bu pay büyür.

Doğru GPU, "en büyük GPU" değildir; modelinize ve kullanıcı sayınıza sığan en verimli GPU'dur.

Proxmox'un payı: esneklik

GPU'yu satın aldıktan sonra ihtiyacınız değişecek. Bugün tek bir büyük modeli çalıştıran kart, yarın üç küçük projeye bölünmek isteyecek. Proxmox ile:

  • GPU'nun tamamını tek bir model sunucusuna verebilir (passthrough),
  • NVIDIA vGPU ve MIG ile birden çok sanal makineye bölebilir,
  • modeli başka bir sunucuya taşıyabilir, anlık görüntü alıp güvenle deneyebilirsiniz.

Ayrıntılar: Bir GPU, on proje

GPU'lu sunucuyu, Proxmox aboneliğini ve kurulumu tek tekliften alın. NVIDIA NPN iş ortağı ve Supermicro distribütörü olarak.

Teklif isteyin

Modelinize uygun GPU sunucusunu birlikte seçelim

Hangi modeli, kaç kullanıcıyla çalıştıracağınızı yazın; GPU, sunucu ve Proxmox yapılandırmasıyla dönelim.