Ne kuruyoruz?
Bu rehberde üç sunuculu, hiper-yakınsak bir küme kuruyoruz: Her sunucu hem sanal makineleri çalıştırır hem de disklerini Ceph'e verir. Ayrı bir depolama cihazı (SAN) gerekmez. Ceph verinin her parçasını üç farklı sunucuda tutar; bir sunucu tamamen kapansa bile sanal makineler diğer ikisinde çalışmaya devam eder.
Kullanılabilir alan: Ham kapasitenin yaklaşık üçte biri. Ayrıca kendini onarma payı için havuzu %80'in üzerinde doldurmamak gerekir. Örneğin her sunucuda 4 × 3,84 TB NVMe ile ham 46 TB, kullanılabilir yaklaşık 12 TB olur.
Donanım gereksinimleri
| Bileşen | Öneri |
|---|---|
| Sunucu sayısı | En az 3, tercihen aynı donanım |
| Disk bağlantısı | HBA; RAID kartı kullanılmaz |
| Ceph diskleri | Güç kaybı korumalı kurumsal NVMe/SSD; sunucular arasında eşit sayı ve boyut |
| Sistem diski | Ayrı, tercihen iki diskli ayna (ZFS mirror) |
| Bellek | Sanal makinelere ek olarak her OSD için en az 8 GB önerilir |
| İşlemci | Her Ceph servisi için en az 1 çekirdek; NVMe disklerde OSD başına daha fazla |
Proxmox, dengeli dağılmış en az 12 OSD'li (sunucu başına 4 disk) bir kümeyi iyi bir başlangıç olarak öneriyor. HDD kullanılacaksa, Ceph'in iç kayıtlarını (DB/WAL) tutmak için her sunucuya hızlı bir NVMe eklenir.
Ağ planı
Ceph'in performansını en çok ağ belirler. Yüksek performanslı kurulumlar için ayrı ağlar önerilir:
| Ağ | Ne taşır | Öneri |
|---|---|---|
| Küme (corosync) | Proxmox sunucularının birbirini izlemesi | Ayrı, düşük gecikmeli 1 Gbps yeterli; yedekli |
| Ceph public | Sanal makinelerin disklerine erişim | En az 10 Gbps, NVMe'de 25–100 Gbps |
| Ceph cluster (isteğe bağlı) | Disk kopyalama ve onarım trafiği | Public ile aynı hızda ayrı ağ |
| Sanal makine ağı | Kullanıcı trafiği | İhtiyaca göre; VLAN ile |
Üç ila beş sunuculu kümelerde 10 Gbps ve üzeri switch yoksa, sunucuları çift portlu kartlarla doğrudan birbirine bağlayan full mesh yapısı kullanılabilir.
1. Proxmox kümesini kurmak
- Üç sunucuya Proxmox VE'yi kurun, güncelleme deposunu ayarlayıp sistemi güncelleyin.
- Ağ arayüzlerini yukarıdaki plana göre yapılandırın; sunucuların birbirine her ağdan erişebildiğini kontrol edin.
- İlk sunucuda Datacenter → Cluster → Create Cluster ile kümeyi oluşturun. Küme ağı olarak ayrı corosync ağını seçin.
- Join Information ile katılım bilgisini kopyalayın; diğer iki sunucuda Join Cluster ile kümeye katılın.
Aynı işlem komut satırından:
# ilk sunucuda
pvecm create gtm-kume
# diğer sunucularda (ilk sunucunun küme ağı adresi)
pvecm add 10.10.10.11
2. Ceph kurulumu
Proxmox, Ceph'i kendi arayüzünden kurar ve yönetir. Herhangi bir sunucuda Ceph menüsüne girin; Ceph kurulu değilse kurulum sihirbazı açılır.
- Ceph sürümünü ve depoyu seçin (abonelik varsa Enterprise, yoksa No-Subscription). Sihirbaz gerekli paketleri kurar.
- Public Network olarak Ceph ağını seçin. Ayrı bir Ceph cluster ağınız varsa Cluster Network olarak onu belirtin; bu ayar sonradan da yapılabilir.
- Sihirbaz ilk monitor'ü kurar ve başarı sayfasında sonraki adımları gösterir.
- Paketleri diğer iki sunucuya da kurun: her sunucuda Ceph menüsünden sihirbazı çalıştırın.
# komut satırı karşılığı
pveceph install # her sunucuda
pveceph init --network 10.20.20.0/24 # yalnız bir sunucuda
3. Monitor ve manager
Monitor'ler kümenin haritasını tutar; çoğunluk (kuorum) için en az üç gerekir. Üç sunuculu kümede her sunucuya bir monitor kurun. Manager servisi izleme ve yönetim arayüzünü sağlar; yedekli olması için her sunucuya bir tane kurulabilir.
pveceph mon create # her sunucuda
pveceph mgr create # her sunucuda
4. Diskler (OSD)
Ceph'e verilecek her disk bir OSD olur. Ceph → OSD → Create: OSD ile her sunucudaki boş diskleri tek tek ekleyin. Diskler boş olmalıdır; üzerinde bölüm ya da eski veri varsa önce temizlenir.
pveceph osd create /dev/nvme0n1
# HDD + hızlı NVMe (DB/WAL) için
pveceph osd create /dev/sdb -db_dev /dev/nvme0n1
Sistem diskini OSD yapmayın ve aynı sunucuda farklı boyutlu diskleri karıştırmaktan kaçının. Ceph, eşit boyutlu ve sunuculara eşit dağılmış disklerle en iyi sonucu verir.
5. Havuz ve depolama
Sanal makine diskleri bir Ceph havuzunda (pool) durur. Ceph → Pools → Create ile havuzu oluşturun ve Add as Storage seçeneğini işaretleyin; havuz Proxmox'ta depolama olarak görünür.
pveceph pool create vm-havuzu --add_storages
Varsayılan ayar size 3, min_size 2'dir: Veri üç kopya tutulur, en az iki kopya erişilebilir oldukça okuma ve yazma devam eder.
min_size değerini asla 1 yapmayın. Tek kopyayla yazmaya izin vermek, ikinci bir arızada veri kaybına yol açabilir.
6. Yüksek erişilebilirlik ve test
- Sanal makineleri oluşturun ya da Ceph havuzuna taşıyın.
- Datacenter → HA bölümünde kritik sanal makineleri HA kaynağı olarak ekleyin.
- Teslimden önce mutlaka test edin: Bir sunucuyu kapatın; HA'daki makinelerin diğer sunucularda açıldığını ve Ceph'in "degraded" durumda çalışmaya devam ettiğini doğrulayın. Sunucuyu geri açın ve Ceph'in kendiliğinden "HEALTH_OK" durumuna döndüğünü izleyin.
- Bir diski çıkarıp yeniden takarak onarım sürecini de deneyin.
Sık yapılan hatalar
| Hata | Sonuç |
|---|---|
| RAID kartı arkasında diskler | Ceph diski doğru göremez, arıza yönetimi bozulur |
| Tüketici SSD'ler | Yazma performansı çok düşük |
| 1 Gbps ya da paylaşılan ağ | Yavaş disk erişimi, uzun onarım süreleri |
| Corosync'in Ceph ile aynı ağda olması | Yoğun Ceph trafiğinde küme kararsızlaşabilir |
| Dengesiz disk dağılımı | Bir sunucu dolarken diğerleri boş kalır |
| Havuzu %80'in üzerinde doldurmak | Bir arızada onarım için yer kalmaz, yazma durabilir |
Hazır, test edilmiş kümeler
Bu rehberdeki mimariyi Supermicro sunucularla, Proxmox aboneliği ve kurulumla birlikte paket olarak sunuyoruz. Teslimden önce arıza testlerini yapıp raporluyoruz.
HCI paketleriSık sorulan sorular
Ceph için en az kaç sunucu gerekir?
En az üç sunucu. Ceph verinin üç kopyasını farklı sunucularda tutar ve küme kararları için üç izleme servisi (monitor) önerilir. Mümkünse sunucular aynı donanıma sahip olmalıdır.
RAID kartı kullanmalı mıyım?
Hayır. Ceph veriyi kendisi kopyalar ve diskleri doğrudan görmek ister. Disklerin RAID kartı yerine HBA (doğrudan bağlantı) ile bağlanması gerekir.
Ceph için ne kadar hızlı bir ağ gerekir?
Proxmox, yalnız Ceph trafiğine ayrılmış en az 10 Gbps öneriyor. NVMe disklerde 25 Gbps ve üzeri gerekir. Üç ila beş sunuculu kümelerde switch kullanmadan sunucuları doğrudan birbirine bağlayan full mesh yapısı da kullanılabilir.
Tüketici sınıfı SSD kullanabilir miyim?
Önermiyoruz. Ceph, her yazmanın diske kalıcı olarak işlendiğini doğrular. Güç kaybı koruması (PLP) olmayan tüketici SSD'lerde bu işlem çok yavaştır ve performans beklenenin çok altında kalır.
Kurulumdan sonra sunucu ekleyebilir miyim?
Evet. Yeni sunucu Proxmox kümesine katılır, disklerinden OSD oluşturulur; Ceph veriyi yeni disklere kendiliğinden dağıtır. Bu işlem sırasında küme çalışmaya devam eder.
Kaynaklar