Çalışanlarınız yapay zekâ kullanıyor. Soru şu: Şirketinizin teklifleri, sözleşmeleri ve müşteri bilgileri o sohbet kutusuna yazılırken nereye gidiyor?
Genel yapay zekâ servisleri inanılmaz kullanışlı. Ama her soru, her yapıştırılan paragraf, kurumunuzun dışındaki bir veri merkezine gidiyor. KVKK sorumluluğu ise sizde kalıyor. Bu yüzden giderek daha fazla kurum aynı sonuca varıyor: Asistan bizim olsun, veri bizde kalsın.
Nasıl çalışır?
Kurum içi yapay zekâ asistanı üç parçadan oluşur ve üçü de Proxmox üzerinde, sanal makine ya da konteyner olarak yan yana çalışır:
- Model sunucusu: vLLM ya da Ollama gibi açık kaynak yazılımlar, dil modelini GPU üzerinde çalıştırır.
- Sohbet arayüzü: Çalışanların tarayıcıdan kullandığı, bildik sohbet ekranı. Kurum kullanıcı hesaplarıyla giriş yapılır.
- Model: Llama, Qwen, Mistral, Gemma ya da DeepSeek ailesinden açık ağırlıklı bir model. İhtiyaca göre değiştirilebilir.
Proxmox, GPU'yu doğrudan model sunucusuna verir; performans fiziksel sunucuyla aynıdır. Aynı makinede sohbet arayüzü, kullanıcı yönetimi ve yedek de çalışır. Tek bir ekrandan yönetilen, kendi kendine yeten bir yapay zekâ altyapısı.
"Verimizi kimseye göndermeden, kendi sunucumuzda yapay zekâ kullanıyoruz." Kurum içi asistanın tüm değeri bu tek cümlede.
Neden Proxmox?
- Bir sunucuda her şey: Model sunucusu, arayüz, veritabanı, izleme… Ayrı ayrı donanım gerekmez.
- GPU esnekliği: Bir GPU'yu tek bir modele verebilir ya da NVIDIA vGPU ile birden çok projeye paylaştırabilirsiniz. Proxmox, NVIDIA vGPU yazılımının resmi olarak desteklenen platformları arasında.
- Anlık görüntü ve yedek: Yeni modeli denemeden önce tek tıkla anlık görüntü; beğenmezseniz saniyeler içinde geri dönün.
- Lisans sürprizi yok: Proxmox aboneliği soket başına; GPU sayısı ya da kullanıcı sayısı fiyatı değiştirmez.
Hangi model hangi GPU'ya sığar? 30 saniyede kendiniz hesaplayın.
HesaplayıcıNereden başlamalı?
- 1. Hafta · PilotTek GPU'lu bir sunucu, Proxmox ve 20–30 kişilik bir pilot ekip. Hangi işlerde kullanıldığını ölçün.
- 2–4. Hafta · Belgelerle beslemeAsistanı şirket belgeleriyle konuşur hale getirin. RAG nasıl çalışır?
- 2. Ay · YaygınlaştırmaKullanıcı sayısına göre GPU ekleyin; yüksek erişilebilirlik ve yedeği devreye alın.
GTM ile tek elden
GPU'lu sunucu (Supermicro, NVIDIA), Proxmox'un resmi aboneliği, kurulum, model seçimi ve devreye alma. NVIDIA NPN iş ortağı ve Proxmox'un Türkiye'deki tek yetkili partneri olarak hepsini tek tekliften sunuyoruz. Yapay zekâ mimarisinin ayrıntıları için yapay zekâ çözüm sayfamıza bakabilirsiniz.


