Obje depolama nedir?
Obje depolamada veri, klasör ağacındaki dosyalar ya da diskteki bloklar yerine, kova (bucket) içinde benzersiz bir anahtarla saklanan nesneler olarak tutulur. Erişim HTTP üzerinden bir API ile yapılır; bu API'nin fiilî standardı S3'tür.
Ceph'te obje depolamayı RADOS Gateway (RGW) sağlar: Ceph kümesinin önünde çalışan, S3 ve OpenStack Swift uyumlu bir HTTP servisidir.
Neden kendi S3'ünüz?
- Veri Türkiye'de ve kurumunuzda: KVKK ve sektör düzenlemeleri açısından en sade yol.
- Öngörülebilir maliyet: Genel bulutlardaki istek ve dışarı veri aktarım (egress) ücretleri yoktur.
- Ölçek: Kapasite sunucu ekleyerek petabayt ölçeğine büyür.
- Uyumluluk: S3 destekleyen yüzlerce yazılım doğrudan kullanır.
Kullanım alanları
- Yedek hedefi: Proxmox Backup Server ve S3 destekleyen yedek yazılımları için.
- Arşiv: Belgeler, görüntüler, kamera kayıtları ve ölçüm verileri. Arşiv mimarisi
- Uygulama depolaması: Web ve mobil uygulamaların dosya yüklemeleri, medya kütüphaneleri.
- Yapay zekâ ve analitik: Eğitim veri setleri ve model dosyaları için ortak depo.
Mimari
| Katman | Bileşen |
|---|---|
| İstemciler | Uygulamalar, yedek yazılımları, S3 araçları |
| Yük dengeleyici | HTTPS sonlandırma, birden çok RGW arasında dağıtım |
| RGW servisleri | En az iki adet, yedekli |
| Ceph kümesi | Veri havuzu (kopya ya da erasure coding) ve üst veri havuzları |
Küçük ortamlarda RGW, Proxmox + Ceph kümesinin üzerinde çalışabilir. Büyük kapasite ve yoğun trafik için obje depolamaya ayrılmış bir Ceph kümesi önerilir.
Veri koruma ve değiştirilemezlik
- Nesne kilidi (Object Lock): Belirlenen süre boyunca nesnelerin silinmesini ve üzerine yazılmasını engeller. Fidye yazılımına karşı değiştirilemez yedek kopyası için kullanılır.
- Sürümleme: Üzerine yazılan ya da silinen nesnelerin önceki sürümleri saklanır.
- Yaşam döngüsü kuralları: Belirli süreyi dolduran nesnelerin otomatik silinmesi.
- Çok lokasyon (multisite): Kovalar iki veri merkezi arasında eşitlenir; bir lokasyon kaybedilse de veri diğerinde durur.
- Erişim politikaları: Kova ve kullanıcı düzeyinde yetkilendirme; her uygulamaya yalnız kendi kovasına erişim.
Kapasite ve verim
Obje depolama büyük, sıralı yazılan veri için idealdir; bu yüzden veri havuzunda erasure coding kullanmak verimlidir. Örneğin 6 sunucuda EC 4+2, ham alanın yaklaşık üçte ikisini kullandırır; 3 kopyada bu oran üçte birdir. Kapasite örnekleri
Üst veri (indeks) havuzlarını hızlı NVMe diskler üzerinde tutun; milyonlarca nesneli kovalarda listeleme ve arama performansını bu belirler.
Dikkat edilecekler
- Proxmox arayüzü RGW'yi yönetmez: Kurulum ve yapılandırma Ceph'in kendi araçlarıyla yapılır; işletim bilgisi gerektirir.
- HTTPS ve sertifika: RGW'yi her zaman HTTPS üzerinden, geçerli bir sertifikayla sunun.
- Erasure coding sunucu sayısı: EC 4+2 için en az 6, tercihen 7 sunucu.
- Uyumluluk testi: Kullanacağınız uygulamanın ihtiyaç duyduğu S3 özelliklerini kurulumdan önce deneyin.
Kurum içi S3 obje depolama
Ceph kümesi, RGW servisleri, yük dengeleme, nesne kilidi ve ikinci lokasyona eşitleme ile uçtan uca kurulum.
Arşiv mimarisiSık sorulan sorular
Proxmox arayüzünden S3 kurulabilir mi?
Hayır. Proxmox arayüzü Ceph'in blok (RBD) ve dosya (CephFS) depolamasını yönetir. S3 için Ceph'in RADOS Gateway (RGW) servisi Ceph'in kendi araçlarıyla ayrıca kurulur ve yapılandırılır.
Mevcut S3 uygulamalarım çalışır mı?
Ceph RGW, S3 API'sinin geniş bir alt kümesiyle uyumludur; S3 destekleyen yedek yazılımları, uygulamalar ve araçların çoğu yalnız uç nokta adresi değiştirilerek çalışır. Kullanılacak özel S3 özelliklerini önceden test edin.
Proxmox Backup Server yedeklerini Ceph S3'e yazabilir mi?
Evet. Proxmox Backup Server, S3 uyumlu obje depolamayı datastore olarak kullanabilir; Ceph RGW bu amaçla kurum içinde ya da ikinci lokasyonda kullanılabilir.
Kaynaklar