Kendi yapay zekâ altyapınız: Proxmox ile GPU sanallaştırma
Dil modellerini kurumunuzun içinde çalıştırın; veri dışarı çıkmaz, maliyet öngörülebilir kalır. Proxmox VE, GPU'ları sanal makinelere ve konteynerlere dağıtır; aynı sunucuda model sunucusu, geliştirme ortamı ve uygulamalar yan yana çalışır.
Büyük ölçekli model eğitimi (çok düğümlü HGX sistemler) genellikle sanallaştırmasız, doğrudan donanım üzerinde çalıştırılır. Proxmox; çıkarım, ince ayar, geliştirme ve birden çok ekibin GPU paylaştığı ortamlar için idealdir.
GPU'yu paylaştırmanın üç yolu
İş yüküne ve kullanıcı sayısına göre aynı sunucuda birlikte de kullanılabilir.
GPU passthrough
GPU'nun tamamı tek bir sanal makineye doğrudan bağlanır; performans fiziksel sunucuyla aynıdır. Model sunucusu ve ince ayar için en yaygın yol. Ek GPU lisansı gerekmez.
NVIDIA vGPU ve MIG
Bir GPU birden çok sanal makineye bölünür. MIG destekleyen kartlarda (H100, H200, RTX PRO 6000 Blackwell gibi) her parçanın belleği ve işlem gücü donanım düzeyinde ayrılır. NVIDIA'nın vGPU lisansı ayrıca gerekir.
Konteyner (LXC)
GPU, ana sistemin sürücüsüyle hafif konteynerlere verilir; birden çok konteyner aynı GPU'yu kullanabilir. Ollama gibi tek servisli kurulumlar ve geliştirme ortamları için pratik.
Model boyutu ve GPU belleği
Bir modeli çalıştırmak için gereken GPU belleği kabaca parametre sayısı ile hassasiyetin çarpımıdır: FP16'da parametre başına 2 bayt, FP8'de 1 bayt, INT4'te yarım bayt. Bağlam belleği (KV cache) ve ek yük için %20–30 pay bırakılır.
| Model | Hassasiyet | Ağırlık belleği | Örnek GPU |
|---|---|---|---|
| 8B | FP16 | ~16 GB | 1 × RTX PRO 4000 Blackwell (24 GB) |
| 32B | FP8 | ~32 GB | 1 × L40S (48 GB) |
| 70B | FP8 | ~70 GB | 1 × RTX PRO 6000 Blackwell (96 GB) |
| 70B | FP16 | ~140 GB | 2 × RTX PRO 6000 Blackwell (192 GB) |
| 235B (MoE) | FP8 | ~235 GB | 4 × RTX PRO 6000 Blackwell (384 GB) |
Yaklaşık değerlerdir; uzun bağlam ve çok sayıda eş zamanlı kullanıcı ek bellek ister. Kesin seçim için kullanım senaryonuzu birlikte hesaplıyoruz.
Tek GPU sunucusu
Proxmox VE kurulu tek sunucuda 1–4 GPU. Model sunucusu, sohbet arayüzü ve geliştirme ortamı ayrı sanal makinelerde. Küçük ve orta ölçekli kurumların başlangıç noktası.
HCI Kurumsal paketi (GPU takılabilir)Küme + GPU sunucuları
Sanallaştırma kümesine GPU'lu sunucular eklenir; modeller Ceph üzerinde ortak depoda durur, GPU sunucusu bakıma alınırken servisler diğerine taşınır.
HCI paketleri
Modeliniz sizin sunucunuzda, verileriniz kurumunuzun ağında.
Neden kurum içinde?
Veri dışarı çıkmaz
Belgeler, müşteri kayıtları ve kaynak kod kurumunuzun ağında kalır. KVKK ve sektör düzenlemeleri açısından en sade yol.
Öngörülebilir maliyet
Kullanım arttıkça artan token faturası yerine sabit donanım ve abonelik maliyeti.
Model seçme özgürlüğü
Açık ağırlıklı modeller arasında seçim yapar, kendi verinizle ince ayar yaparsınız; tek bir sağlayıcıya bağlı kalmazsınız.
İlgili çözümler
YapayZekaServer
GPU sunucuları, iş istasyonları ve iş yüküne göre sistem seçimi rehberi.
yapayzekaserver.comNVIDIA DGX Station
Masaüstünde veri merkezi sınıfı yapay zekâ gücü; geliştirme ve ince ayar için.
gtmteknoloji.comLLMnow
Donanım almadan, Türkiye'deki altyapıda çalışan dil modeli hizmeti.
llmnow.aiYapay zekâ altyapınızı birlikte planlayalım
Hangi modeli ya da kullanım senaryosunu düşündüğünüzü, kullanıcı sayısını ve verinizin hassasiyetini yazın; GPU ve mimari önerisiyle dönelim.
- Global fiyatla aynı fiyat, fark ödemeden yerel fatura
- Proxmox sertifikalı mühendislerle ön görüşme
- Proxmox aboneliği + isteğe bağlı GTM kurulum/destek tek tekliften
Telefon: +90 212 639 45 43
E-posta: [email protected]