Dört trafik türü
Bir Proxmox kümesinde birbirinden çok farklı ihtiyaçları olan dört trafik akar. İyi bir ağ tasarımı, bunların birbirini rahatsız etmemesini sağlar.
| Trafik | İhtiyacı | Hassasiyeti |
|---|---|---|
| Küme (corosync) | Az bant genişliği | Gecikmeye çok hassas; kesintide küme kararları etkilenir |
| Depolama (Ceph) | Çok yüksek bant genişliği | Yavaşlarsa tüm sanal makinelerin diski yavaşlar |
| Canlı taşıma | Kısa süreli yüksek bant genişliği | Yavaşlarsa taşıma uzar |
| Sanal makine ve yönetim | İş yüküne göre | Kullanıcı deneyimi |
Örnek yerleşim
Her sunucuda iki adet 1 Gbps yerleşik port, bir adet çift portlu 25 Gbps ve bir adet çift portlu 100 Gbps kart olan üç sunuculu bir küme:
| Port | Kullanım | Not |
|---|---|---|
| 1 GbE #1 | Corosync link0 + yönetim | Ayrı switch ya da VLAN |
| 1 GbE #2 | Corosync link1 | Farklı fiziksel switch |
| 2 × 25 GbE (bond, LACP) | Sanal makine ağı, VLAN'lar | VLAN farkındalıklı köprü vmbr0 |
| 2 × 100 GbE | Ceph public + cluster, canlı taşıma | Switch ya da switch'siz full mesh |
Küçük kurulumlarda trafik türleri VLAN'larla aynı portlarda taşınabilir; ancak corosync'in yoğun depolama trafiğiyle aynı fiziksel bağlantıyı paylaşmaması en önemli kuraldır.
Küme ağı (corosync)
Proxmox sunucuları corosync ile birbirini izler ve küme kararlarını alır. Corosync çok az bant genişliği kullanır, ama gecikme ve gecikme dalgalanmasına çok hassastır. Depolama ya da yedek trafiği aynı bağlantıyı doldurursa küme, sunucuları "erişilemez" sanabilir; yüksek erişilebilirlik devredeyse sunucular gereksiz yere kendini yeniden başlatabilir.
- Ana corosync bağlantısı için ayrılmış bir fiziksel port kullanın; 1 Gbps çoğu durumda yeterlidir.
- İkinci bir bağlantıyı farklı bir fiziksel ağda tanımlayın. Corosync sekize kadar bağlantıyı destekler ve aralarında kendisi geçiş yapar.
- Yedek bağlantı olarak sanal makine ağını düşük öncelikle eklemek de mümkündür; ana bağlantı çalıştığı sürece kullanılmaz.
# küme kurarken iki bağlantı
pvecm create gtm-kume --link0 10.10.10.11 --link1 10.20.20.11
# kümeye katılırken
pvecm add 10.10.10.11 --link0 10.10.10.12 --link1 10.20.20.12
Bonding
Bonding, birden çok portu tek bir mantıksal bağlantıda birleştirir; hem yedeklilik hem bant genişliği sağlar.
| Mod | Ne zaman |
|---|---|
| 802.3ad (LACP) | Switch LACP destekliyorsa: tüm portlar kullanılır, biri koparsa diğerleri devam eder. İki switch arasında MLAG ile önerilir. |
| active-backup | Switch desteği yoksa: bir port çalışır, o koparsa diğeri devreye girer. |
auto bond0
iface bond0 inet manual
bond-slaves ens1f0np0 ens1f1np1
bond-mode 802.3ad
bond-miimon 100
bond-xmit-hash-policy layer3+4
Ağ ayarlarını Proxmox arayüzünden (Sistem → Ağ) değiştirip Apply Configuration ile yeniden başlatmadan uygulayabilirsiniz. Uzaktan çalışıyorsanız önce sunucunun konsoluna (IPMI) erişiminiz olduğundan emin olun.
VLAN ve köprüler
Sanal makineler ağa Linux köprüsü (bridge) üzerinden bağlanır. En pratik yöntem, VLAN farkındalığı açık tek bir köprü kullanmaktır: her sanal makinenin ağ kartına VLAN numarası yazılır, switch tarafında port trunk olarak ayarlanır.
auto vmbr0
iface vmbr0 inet manual
bridge-ports bond0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
# yönetim adresi VLAN 5 üzerinde
auto vmbr0.5
iface vmbr0.5 inet static
address 10.5.0.11/24
gateway 10.5.0.1
MTU: Ceph ve canlı taşıma ağlarında 9000 baytlık jumbo frame performansı artırabilir; ancak yoldaki tüm switch ve kartlarda aynı değer ayarlanmalıdır. Uyumsuz MTU, bulunması zor bağlantı sorunlarına yol açar.
Canlı taşıma ağı
Proxmox varsayılan olarak canlı taşımayı küme ağı üzerinden yapar. Bu hem yavaştır hem de corosync'i rahatsız edebilir. Datacenter → Options → Migration Settings bölümünden taşıma ağını hızlı bir ağa (örneğin 100 Gbps depolama ağına) yönlendirin. Büyük bellekli sanal makinelerin taşınması saniyelere iner.
SDN ne zaman?
Proxmox'un yazılım tanımlı ağı (SDN), ağları tek tek sunucularda değil küme düzeyinde tanımlamanızı sağlar.
- VLAN bölgesi: Az sayıda VLAN'ı tüm sunucularda tek yerden tanımlamak için.
- VXLAN / EVPN: Çok kiracılı ortamlar, lokasyonlar arası katman 2 ağlar ve bulut sağlayıcı senaryoları için.
- Güvenlik duvarı ve IPAM: Küme genelinde dağıtık güvenlik duvarı ve IP adres yönetimi.
Tek kiracılı, birkaç VLAN'lı bir kurum için VLAN farkındalıklı köprü yeterlidir; SDN, ağ sayısı ve kiracı arttıkça değer kazanır.
Kontrol listesi
- Corosync'in ayrılmış bir portu ve farklı fiziksel ağda ikinci bir bağlantısı var
- Ceph trafiği sanal makine trafiğinden ayrı ve en az 10 Gbps
- Canlı taşıma ağı hızlı ağa yönlendirildi
- Bonding modu switch'e uygun (LACP ya da active-backup)
- MTU tüm yolda aynı
- Switch'ler yedekli; tek switch arızası kümeyi durdurmuyor
- Teslimden önce her bağlantı tek tek çekilerek test edildi
Ağ tasarımını birlikte yapalım
Mevcut switch'lerinizi, kablolamanızı ve büyüme planınızı inceleyip Proxmox ve Ceph için ağ şemasını çıkarıyoruz.
DanışmanlıkSık sorulan sorular
Küme trafiği için ne kadar hızlı ağ gerekir?
Küme iletişimi (corosync) çok az bant genişliği kullanır; ayrılmış bir 1 Gbps port çoğu durumda yeterlidir. Önemli olan düşük ve tutarlı gecikmedir; bu yüzden yoğun trafik taşıyan ağlardan ayrı tutulmalıdır.
Corosync için bonding kullanmalı mıyım?
Gerek yok. Corosync, birden çok bağlantı (link) arasında kendisi geçiş yapabilir. Ayrı fiziksel ağlarda iki bağlantı tanımlamak, bonding'den daha güvenilirdir.
Hangi bonding modunu seçmeliyim?
Switch'iniz LACP (802.3ad) destekliyorsa onu, desteklemiyorsa active-backup modunu kullanın.
VLAN için her sanal makineye ayrı köprü mü açmalıyım?
Hayır. VLAN farkındalığı açık tek bir Linux köprüsünde her sanal makinenin ağ kartına VLAN numarası verilir. Çok sayıda VLAN ve kiracı varsa SDN ile merkezi yönetilir.