GPU kullanmanın üç yolu
| Yol | Nasıl | Ne zaman |
|---|---|---|
| PCI passthrough | GPU'nun tamamı tek sanal makineye | Model sunucusu, ince ayar, tek kullanıcılı iş istasyonu |
| NVIDIA vGPU | Bir GPU birden çok sanal makineye bölünür | Sanal masaüstü (VDI), çok kullanıcılı çıkarım, render |
| LXC konteyner | Ana sistemin sürücüsü konteynerlerle paylaşılır | Ollama gibi tek servisli kurulumlar, geliştirme |
Bu rehber en yaygın yol olan passthrough'u adım adım anlatır, sonunda vGPU'ya değinir. Hangi modelin hangi GPU'ya sığdığını yapay zekâ mimarisi sayfasında bulabilirsiniz.
Gereksinimler
- İşlemci ve anakart: IOMMU desteği (Intel'de VT-d, AMD'de AMD-Vi) ve kesme yeniden eşleme (interrupt remapping). Güncel sunucu platformlarının hepsinde vardır.
- GPU: UEFI açılışı destekleyen bir kart; sunucu GPU'ları (L4, L40S, RTX PRO Blackwell Server Edition, H100, H200) sorunsuz çalışır.
- Sanal makine: q35 makine tipi ve OVMF (UEFI) önerilir.
1. BIOS ayarları
Sunucunun BIOS'unda şu seçenekleri açın; adları üreticiye göre değişebilir:
- Intel VT-d ya da AMD IOMMU / AMD-Vi
- SR-IOV (vGPU kullanılacaksa ve yeni nesil NVIDIA kartlarda)
- ACS (cihazların ayrı IOMMU gruplarına düşmesi için, varsa)
- Above 4G Decoding (büyük bellekli GPU'lar için)
BIOS'u güncel sürüme yükseltin; IOMMU gruplaması ve passthrough desteği sonraki sürümlerde sıklıkla iyileşir.
2. IOMMU ve VFIO
AMD işlemcilerde IOMMU varsayılan olarak açıktır. Intel işlemcilerde de Linux 6.8 ve sonraki çekirdeklerde (güncel Proxmox VE sürümleri) varsayılan olarak açıktır; daha eski çekirdeklerde çekirdek parametresine intel_iommu=on eklenir.
VFIO modüllerinin açılışta yüklenmesi için:
cat >> /etc/modules-load.d/vfio.conf <<'SON'
vfio
vfio_iommu_type1
vfio_pci
SON
update-initramfs -u -k all
reboot
Yeniden başlatmadan sonra IOMMU'nun açık olduğunu doğrulayın:
dmesg | grep -e DMAR -e IOMMU -e AMD-Vi
Çıktıda IOMMU, DMAR ya da interrupt remapping'in etkin olduğunu gösteren satırlar görünmelidir.
3. Ana sistemin GPU sürücüsü
Ana sistemin GPU'yu kendisi kullanmaya çalışmaması gerekir. En sade yol, ilgili sürücüleri devre dışı bırakmaktır:
# NVIDIA kartlar için
echo "blacklist nouveau" >> /etc/modprobe.d/blacklist.conf
echo "blacklist nvidia*" >> /etc/modprobe.d/blacklist.conf
update-initramfs -u -k all
reboot
Sunucunun kendi ekran çıkışı genellikle anakart üzerindeki yönetim (BMC) yongasından verilir; bu yüzden GPU'nun ana sistemden alınması sunucu konsolunu etkilemez.
4. GPU'yu sanal makineye eklemek
- Sanal makineyi q35 makine tipi ve OVMF (UEFI) BIOS ile oluşturun; işlemci tipini
hostseçin. - Hardware → Add → PCI Device ile GPU'yu seçin. All Functions (GPU'nun ses aygıtı dahil) ve PCI-Express seçeneklerini işaretleyin.
- Makineyi açın ve konuk işletim sistemine NVIDIA sürücüsünü kurun.
- Linux konukta
nvidia-smikomutuyla GPU'nun göründüğünü doğrulayın.
Kümede aynı GPU'ya sahip birden çok sunucu varsa, GPU'yu Datacenter → Resource Mappings altında eşleyin. Böylece sanal makine, yüksek erişilebilirlik ile diğer sunucuda aynı türde GPU'yla yeniden başlatılabilir.
Sık sorunlar
| Belirti | Çözüm |
|---|---|
| "Interrupt remapping" hatası, cihaz atanamıyor | BIOS'ta VT-d / AMD-Vi ve ilgili seçenekleri kontrol edin; donanım desteği yoksa güvenlik riskini bilerek güvensiz kesmelere izin verilebilir |
| GPU başka cihazlarla aynı IOMMU grubunda | BIOS'ta ACS'i açın, GPU'yu başka bir PCIe yuvasına takın |
| Büyük bellekli GPU'da "BAR can't reserve" hatası | İşlemci tipini host yapın; gerekirse OVMF'in 64-bit adres alanını büyütün |
| Siyah ekran | Konukta ekran ayarlarını kontrol edin; uzaktan masaüstüyle bağlanın |
NVIDIA vGPU ile paylaştırma
NVIDIA vGPU yazılımının 18. sürümünden itibaren Proxmox VE, NVIDIA'nın resmi olarak desteklediği platformlar arasında. Proxmox, kurulumu RTX A5000 ve RTX PRO 6000 Blackwell Server Edition ile test etmiştir.
- Lisans: NVIDIA vGPU lisansı ayrıca gerekir. Destek alabilmek için kümede Basic ya da üzeri bir Proxmox VE aboneliği de gerekir.
- Kurulum: Ana sisteme NVIDIA'nın vGPU sürücüsü kurulur; Ampere ve sonraki nesil kartlarda SR-IOV etkinleştirilir. GPU, Resource Mappings'te "mediated devices" için eşlenir ve her sanal makineye uygun vGPU profili verilir.
- MIG: RTX PRO 6000 Blackwell Server Edition ile birlikte, donanım düzeyinde bölünmüş MIG parçaları üzerinde vGPU oluşturmak da mümkün. MIG parçaları şimdilik komut satırından yönetiliyor.
NVIDIA AI Enterprise, vGPU'dan ayrı bir üründür ve şu an Proxmox VE'de resmi olarak desteklenmiyor. Lisans alırken bu ayrıma dikkat edin.
GPU'lu Proxmox altyapısı
GPU seçimi, sunucu, passthrough ya da vGPU kurulumu ve model sunucusu; NVIDIA NPN iş ortağı olarak uçtan uca kuruyoruz.
Yapay zekâ mimarisiSık sorulan sorular
GPU passthrough için lisans gerekir mi?
Hayır. GPU'nun tamamını tek bir sanal makineye bağlamak için ek lisans gerekmez. Bir GPU'yu birden çok sanal makineye bölmek (vGPU) ise NVIDIA'nın vGPU lisansını gerektirir.
Passthrough yapılan GPU ile performans kaybı olur mu?
Pratikte fark edilmez. GPU doğrudan sanal makineye verildiği için performans fiziksel sunucuya çok yakındır.
Bir GPU aynı anda birden çok sanal makinede kullanılabilir mi?
Passthrough ile hayır; GPU bir anda tek bir sanal makineye aittir. Paylaştırmak için NVIDIA vGPU ya da GPU'yu konteynerlerle paylaşan LXC yapısı kullanılır.
GPU'lu sanal makine canlı taşınabilir mi?
Passthrough yapılmış bir GPU'ya sahip sanal makine canlı taşınamaz; başka bir sunucuya taşımak için kapatılması gerekir. Kümede aynı GPU'ya sahip sunucular varsa kaynak eşleme (resource mapping) ile makine diğer sunucuda yeniden başlatılabilir.
Kaynaklar