İçeriğe geç
Proxmox'un Türkiye'deki tek yetkili partneri Proxmox'ta doğrulayın ↗ +90 212 639 45 43 [email protected]
Ana sayfa / Çözümler / Yapay zekâ
Çözüm mimarisi · Yapay zekâ

Kendi yapay zekâ altyapınız: Proxmox ile GPU sanallaştırma

Dil modellerini kurumunuzun içinde çalıştırın; veri dışarı çıkmaz, maliyet öngörülebilir kalır. Proxmox VE, GPU'ları sanal makinelere ve konteynerlere dağıtır; aynı sunucuda model sunucusu, geliştirme ortamı ve uygulamalar yan yana çalışır.

Kullanıcılarsohbet arayüzüAPI · iş uygulamalarıModel sunucususanal makine ya da konteynervLLM · Ollama · TritonGPU sunucusuProxmox VEpassthrough · vGPUModel ve veri deposuCeph ya da ZFSyedek: Backup ServerKullanıcılarsohbet arayüzüAPI · iş uygulamalarıModel sunucususanal makine ya da konteynervLLM · Ollama · TritonGPU sunucusuProxmox VEpassthrough · vGPUModel ve veri deposuCeph ya da ZFSyedek: Backup Server

Büyük ölçekli model eğitimi (çok düğümlü HGX sistemler) genellikle sanallaştırmasız, doğrudan donanım üzerinde çalıştırılır. Proxmox; çıkarım, ince ayar, geliştirme ve birden çok ekibin GPU paylaştığı ortamlar için idealdir.

GPU'yu paylaştırmanın üç yolu

İş yüküne ve kullanıcı sayısına göre aynı sunucuda birlikte de kullanılabilir.

1

GPU passthrough

GPU'nun tamamı tek bir sanal makineye doğrudan bağlanır; performans fiziksel sunucuyla aynıdır. Model sunucusu ve ince ayar için en yaygın yol. Ek GPU lisansı gerekmez.

2

NVIDIA vGPU ve MIG

Bir GPU birden çok sanal makineye bölünür. MIG destekleyen kartlarda (H100, H200, RTX PRO 6000 Blackwell gibi) her parçanın belleği ve işlem gücü donanım düzeyinde ayrılır. NVIDIA'nın vGPU lisansı ayrıca gerekir.

3

Konteyner (LXC)

GPU, ana sistemin sürücüsüyle hafif konteynerlere verilir; birden çok konteyner aynı GPU'yu kullanabilir. Ollama gibi tek servisli kurulumlar ve geliştirme ortamları için pratik.

Model boyutu ve GPU belleği

Bir modeli çalıştırmak için gereken GPU belleği kabaca parametre sayısı ile hassasiyetin çarpımıdır: FP16'da parametre başına 2 bayt, FP8'de 1 bayt, INT4'te yarım bayt. Bağlam belleği (KV cache) ve ek yük için %20–30 pay bırakılır.

ModelHassasiyetAğırlık belleğiÖrnek GPU
8BFP16~16 GB1 × RTX PRO 4000 Blackwell (24 GB)
32BFP8~32 GB1 × L40S (48 GB)
70BFP8~70 GB1 × RTX PRO 6000 Blackwell (96 GB)
70BFP16~140 GB2 × RTX PRO 6000 Blackwell (192 GB)
235B (MoE)FP8~235 GB4 × RTX PRO 6000 Blackwell (384 GB)

Yaklaşık değerlerdir; uzun bağlam ve çok sayıda eş zamanlı kullanıcı ek bellek ister. Kesin seçim için kullanım senaryonuzu birlikte hesaplıyoruz.

Tek GPU sunucusu

Proxmox VE kurulu tek sunucuda 1–4 GPU. Model sunucusu, sohbet arayüzü ve geliştirme ortamı ayrı sanal makinelerde. Küçük ve orta ölçekli kurumların başlangıç noktası.

HCI Kurumsal paketi (GPU takılabilir)

Küme + GPU sunucuları

Sanallaştırma kümesine GPU'lu sunucular eklenir; modeller Ceph üzerinde ortak depoda durur, GPU sunucusu bakıma alınırken servisler diğerine taşınır.

HCI paketleri
Kurum içi yapay zekâ

Modeliniz sizin sunucunuzda, verileriniz kurumunuzun ağında.

Verikurum dışına çıkmaz
Sabittoken faturası yerine öngörülebilir maliyet
Açıkağırlıklı modellerle seçim özgürlüğü

Neden kurum içinde?

Veri dışarı çıkmaz

Belgeler, müşteri kayıtları ve kaynak kod kurumunuzun ağında kalır. KVKK ve sektör düzenlemeleri açısından en sade yol.

Öngörülebilir maliyet

Kullanım arttıkça artan token faturası yerine sabit donanım ve abonelik maliyeti.

Model seçme özgürlüğü

Açık ağırlıklı modeller arasında seçim yapar, kendi verinizle ince ayar yaparsınız; tek bir sağlayıcıya bağlı kalmazsınız.

Yapay zekâ altyapınızı birlikte planlayalım

Hangi modeli ya da kullanım senaryosunu düşündüğünüzü, kullanıcı sayısını ve verinizin hassasiyetini yazın; GPU ve mimari önerisiyle dönelim.

  • Global fiyatla aynı fiyat, fark ödemeden yerel fatura
  • Proxmox sertifikalı mühendislerle ön görüşme
  • Proxmox aboneliği + isteğe bağlı GTM kurulum/destek tek tekliften

Telefon: +90 212 639 45 43
E-posta: [email protected]