BT ekipmanı
Bu bölümde, bir rafa takılabilen her şeyi (rafa monte ekipman) BT ekipmanı olarak adlandıracağız. Bu ekipmanlar arasında genellikle sunucular, ayrılmış depolama dizileri, ağ anahtarları ve yönlendiriciler, güç dağıtımı ve uzaktan yönetim cihazları yer alır. Özellikle de bir kabin kasasının içindeki dört direkli rafı ifade ediyoruz. Bu modülün ilerleyen kısımlarında ek raf türleri açıklanmaktadır.
Sunucular
Rafa monte sunucu, kule bilgisayara benzer; tek farkı, yatay olarak döndürülüp daha ince ve daha derin bir kasaya sığdırılmasıdır (bkz. Şekil 1). Yükseklik, raf birimlerinin katları olarak ölçülür; burada 1U = 4,45 cm’dir (1,75 inç). Bir 1U sunucu, CPU ve RAM açısından yoğun olabilir, ancak G/Ç genişletme kartları için çok az yer (genellikle iki) bırakır. 2U veya 3U olan bir sunucuda altı ila sekiz G/Ç kart yuvası bulunabilir. Ayrıca küçük kasalarda daha küçük fanlar bulunmalıdır ve bu da ortalama masaüstü bilgisayarınıza kıyasla çok fazla gürültüye neden olur. (Çoğu sunucu odası insanlar tarafından işgal edilmediğinden bu kabul edilebilir.) 4U, 5U veya daha büyük kasaya sahip sistemlerin genellikle özel bir işlevi vardır. Dikey olarak monte edilmiş yardımcı kartlar üzerinde CPU yuvaları ve RAM bulunan 80 çekirdekli Intel sunucu buna örnek olarak verilebilir. Bir diğer örnekse, dörtlü GPU hızlandırıcı sunucudur. Üçüncü bir örnek olarak da 24, 36 veya 48 dahili sabit sürücü içeren bir sunucu kasası verilebilir.
Şekil 1: (a) Standart 19 inç rafa monte edilmiş sunucular. (b) 1U rafa monte sunucunun içine bir bakış. (Kaynak)
Rafa monte sunucuların kendi fanları, güç kaynağı birimleri (PSU), ağ ve G/Ç’si vardır; ancak bölme sunucuları ise tüm bunları aynı bölme kasası (bölme kasası) içinde birçok düğüm arasında paylaşır. Genel bir bölme standardı yoktur, bu nedenle her bir satıcının bölmeleri yalnızca kendi kasası içinde çalışır. Bölmeler ince, dikey metal kasalardır ve bir bölme kasasının önüne doğru kaydırılarak genel bir devre kartına bağlanır. Her bir bölmenin kendi ana kartı, CPU’su, RAM’i ve diski vardır. Paylaşılan PSU’lar, artımlı olarak gücü açılıp kapatılması ve böylece yük talebine göre PSU kapasitesinin ayarlanması sayesinde, genellikle ayrılmış rafa monte sürümlerden daha verimlidir. Örneğin, 2 adet 750 W yedekli PSU’ya sahip 10 sunucu yerine bir bölme kasası, biri yedekli olacak şekilde 4 adet 2500 W PSU’ya sahip 10 sunucuya denk güç sağlayabilir. Bölmeler, yatay olarak monte edilen alternatiflerinden daha yoğun olup daha kolay bakım sağlar ve daha az kablo gerektirir. Dezavantajı, yalnızca birkaç sunucuya ihtiyacınız olması durumunda peşin maliyetin daha yüksek olması ve belirli bir satıcıya bağımlı kalmanızdır.
Son olarak, standart rafa monte sunucuya benzer görünüme sahip birkaç sunucu vardır; bunların tek farkı, 1U başına, her biri kendi tepsisine monte edilmiş yatay iki ana kartı olmasıdır. Bunlar da bir PSU’yu paylaşır, ancak bölmelerin aksine, kendi fanları ve G/Ç’leri vardır. Bu temada varyasyonlar vardır; örneğin, 2U başına dört düğüm veya birden çok GPU içeren iki düğüm gibi.
Biliyor muydunuz?
1-U rafa monte sunucuya bazen "pizza kutusu" adı da verilir.
Aşağıdaki videoda çeşitli sunucu formu faktörleri açıklanmaktadır:
Çoğu rafa monte sunucularda bulunan önemli bir özellik, çalışırken değiştirilebilme özelliğidir. PSU, fanlar ve sabit sürücüler gibi bileşenler, sunucu çalışmaya devam ederken kaldırılabilir ve değiştirilebilir. Bu özellik, küçük ve orta ölçekli dağıtımlarda çalışma süresini/güvenilirliği artırır. Büyük ölçekli uygulama dağıtımları, yazılım katmanlarında daha gelişmiş dayanıklılık olmasını gerektirir. Bu büyük ölçekli sistemler, tek tek sunucular için çalışırken değiştirilebilir veya yedekli bileşenler kullanmaz, bunun yerine tüm sunucunun tek bir birim olarak hata vereceğini (ve değiştirileceğini) düşünür.
Sunucular, yıllarca 7/24 çalışacak şekilde tasarlanmış olduğundan, sunucuların elektrikli bileşenleri (örneğin, kapasitörler, voltaj regülatörleri) genellikle masaüstü sistemlerinde kullanılan bileşenlerden daha pahalı ve daha uzun ömürlüdür. Bir iş istasyonu, benzer CPU, yüksek RAM kapasitesi ve ek güvenilirlik düzeyiyle sunucu sınıfı bir bilgisayara benzer. Tek fark, iş istasyonunun, kullanıcının masasında durmasıdır; bu nedenle daha sessiz fanları olması gerekir. Bunlar aynı zamanda rafa monte iş istasyonlarıdır da. Bu iş istasyonları tıpkı bir sunucuya benzer, ancak uzaktan görüntüleme özelliğine sahiptir, bu nedenle son kullanıcı bir ince istemcide yer alır.
Artık yeni sunucular, daha yüksek oda sıcaklıklarında (35° C’ye (veya 95° F’ye) kadar) güvenilir şekilde çalışmak üzere tasarlanmakta olup bu, soğutma gereksinimlerini, dolayısıyla da işletim giderlerini azaltır.
Ana kartta
CPU ve bellek: Tipik bir sunucu anakartı masaüstü sisteminden daha fazla CPU yuvasına sahiptir ve bu yuvaların her biri daha fazla DIMM'yi (çift satır içi bellek modülleri) denetleyebilir. Sunucu sınıfı CPU’lar ile masaüstü sınıfı CPU’lar (Intel Xeon’a karşı i3/i5/i7; AMD Opteron’a karşı FX/A/Phenom) arasındaki diğer önemli farklar, daha fazla yerleşik önbellek, kayıtlı DIMM desteği ve hata düzeltme kodu (ECC) RAM desteği olmasıdır.
Sunucu sınıfı CPU’ların, anakarttaki ayrılmış kanallar üzerinden birbiriyle iletişim kurmalarına olanak sağlayan, ayrılmış devresi de vardır. Intel’de bu, QuickPath Interconnect (QPI) olarak; AMD’deyse bu HyperTransport (HT) olarak bilinir. Bunlar, diğer CPU’larda (yuvalar) çalışan işlemlerin, QPI veya HT’den geçip başka bir CPU’ya bağlı RAM’e giderek büyük miktarda RAM’e erişebildiği, tek biçimli olmayan bellek erişimi (NUMA) modelini izler. Yüksek yoğunluklu kayıtlı DIMM’ler (16 GB veya 32 GB), sunucu başına daha fazla DIMM yuvası (9 ya da 16) ve yerleşik ara bağlantısı olan birden çok yuvanın bir araya gelmesiyle tek bir sunucuda, tek bir işlem için 512 GB veya hatta 1 TB RAM olabilir. (Her biri birden çok iş parçacığı içeren birden çok işleminiz olduğunda daha yüksek performans elde edersiniz, ancak bu başka bir kursun konusudur.)
Ekleme yönetimi: Birçok masaüstü anakartta artık yerleşik gigabit Ethernet (GigE) ağı olsa da, bu eğilim sunucularla başladı ve modern sunucularda iki-dört GigE bağlantı noktası bulacaksınız. Bir sunucunun içerdiği diğer yerleşik cihazlar arasında; konsol yeniden yönlendirmesi için seri bağlantı noktası ve katıştırılmış bir yönetim denetleyicisi yer alır; bu, sistemin gücü kapalı olsa bile (ancak halen prize takılıyken) veya işletim sistemi yanıt vermese de (örn. çekirdek paniği) uzaktan yönetime olanak sağlar. Çoğu sunucu ana kartının yerleşik sabit sürücü denetleyicileri vardır, ancak bunlar genellikle bir genişletme kartı biçimindedir (aşağıda açıklanmaktadır).
Genişletme kartları
PCI Express: Genellikle, bir sunucu üzerinde çalıştırılması amaçlanan uygulamalara bağlı olarak ek G/Ç cihazları gerektirir. Bilgisayarlarda ve ana bilgisayarlarda her zaman genişletilebilirlik kavramına yer verilmiş ve genişletme veriyolları, ISA’dan PCI’a, daha sonra PCI-X’e ve nihayetinde şimdiki standart olan PCI Express’e (PCIe) evrilmiştir. PCI ve PCIe arasındaki en büyük fark, PCIe’nin, birden çok cihazın bağlı olduğu gerçek veriyolu yerine, noktadan noktaya, yüksek hızlı seri bağlantıları temel almasıdır. Bu yüksek hızlı bağlantıların her biri bir kulvar oluşturur ve birden çok şerit paralel şekilde çalışır. Bu nedenle, x8 olan bir PCIe cihazında bu yüksek hızlı kulvarlardan sekiz tane vardır. 1.0’dan 3.0’a kadar uzanan her bir PCIe nesli, bir önceki neslin bant genişliğini etkili şekilde iki katına çıkarır.
| PCIe nesli | x1 (MB/sn) | x4 (GB/sn) | x8 (GB/sn) | x16 (GB/sn) |
|---|---|---|---|---|
| 1.0 | 250 | Kategori 1 | 2 | 4 |
| 2,0 | 500 | 2 | 4 | 8 |
| 3.0 | 985 | 3,94 | 7,88 | 15,75 |
RAID: RAID (uygun maliyetli disklerin yedekli dizisi) bağdaştırıcıları, birden çok sabit diskin tek bir mantıksal birim olarak hareket etmelerine olanak tanır ve performansı ve yedekliliği artırır ya da her ikisinin bir karışımını oluşturur.
| RAID düzeyi | Adı | Avantajlar | Dezavantajlar |
|---|---|---|---|
| 0 | Blok düzeyinde şeritleme adı verilir. | Artan performans. | Hataya dayanıklılık yoktur ve tek bir sürücü hatası, dizinin tamamını yok eder. |
| 1 | Veriler tamamen çoğaltıldığından yansıtma adı verilir. | Sürücü hatasına dayanabilir. Daha hızlı okuma sunar (bazen) ve bu düzey, hata durumunda performansı korur. | İki bağımsız sürücüye kıyasla kapasitenin yarısı. Bu düzeyin okuma hızı daha yavaştır. |
| 10 | RAID 1+0 veya 10 (yansıtma+şeritleme) adı verilir. RAID 0’ın hızı ile RAID 1’in yedekliliğini bir araya getirir. | Hataya dayanıklılık sağlar. Gelişmiş performans sunar. Bu düzey, hata durumunda performansı korur. | İki bağımsız RAID 0 dizisine kıyasla kapasitenin yarısı. |
| 5 | Dağıtılmış eşlik ile blok düzeyinde şeritleme. | Bu düzey, tek bir sürücü hatasına dayanabilir ve RAID 1, 10 ve 6’ya kıyasla daha fazla kapasiteye sahiptir. | Yazma hızı, RAID 0, 1 ve 10’dan daha yavaştır, hata durumunda daha düşük performans ve yavaş yeniden derleme işlemi sunar. |
| 6 | İki katı dağıtılmış eşlik ile blok düzeyinde şeritleme. | İki sürücü hatasına dayanır ve RAID 1 ve 10’a kıyasla daha fazla kapasiteye sahiptir (dörtten fazla sürücü ile). | Yazma hızı, RAID 5’ten daha yavaştır, hata durumunda daha düşük performans ve yavaş yeniden derleme işlemi sunar. |
RAID denetleyicileri, farklı sayıda bağlantı noktası (bağlantılı sürücü) içerir, farklı arabirimleri (SATA, SAS) destekler, farklı miktarlarda önbellek (örneğin, 512 MB, 1 GB) içerir ve farklılık gösteren performans düzeylerine (MB/sn aktarım hızı, saniye başına G/Ç) sahiptir. Bu faktörlerin her biri, bağdaştırıcının fiyatını değiştirebilir (birkaç yüz ABD dolarından 1000 ABD dolarının üzerine kadar).
Ana veri yolu bağdaştırıcısı (HBA), RAID denetleyicisine benzer; tek farkı, harici depolama alanına (sonraki bölümde ele alınmaktadır) bağlanması ve genellikle kart üzerinde herhangi bir RAID özelliği içermemesidir. Kart tüm iletişimi kapsüller, bu nedenle uzak disk cihazı, işletim sistemine yerel bir disk gibi görünür ve önyüklenebilir.
Ağ desteği: Ethernet ağ bağdaştırıcıları, 100 Mb/sn (eski) ile 1 Gb/sn (yaygın, ucuz), 10 Gb/sn (daha yaygın ama yine de pahalı hale geliyor) veya 40 Gb/sn (kullanılabilir ancak henüz yaygın olmayan) hızlara sahip tek veya çok bağlantı noktalı kartlar içerebilir.
Konak kanal bağdaştırıcısı (HCA), InfiniBand gibi yüksek hızlı, düşük gecikme süreli bir ara bağlantı bağdaştırıcısını ifade eder. Bunlar genellikle yüksek performanslı bilgi işlem (HPC) kümelerinde kullanılır.
Artık Fusion-io tarafından sunulanlar gibi katı hal depolama kartları mevcuttur. Bunlar, özellikle de rastgele G/Ç’de, RAID denetleyicilerinden çok daha hızlı performans sunar. Sabit disk sürücülerine (HDD’ler) veya hatta katı hal sürücülerine (SSD’ler) kıyasla gigabayt başına çok yüksek maliyet sunar (aşağıdaki “Depolama” bölümüne bakın).
Hızlandırıcılar: Masaüstü bilgisayarlarda başlatılan ekran kartları, hızlı 3B işleme için GPU'ları kullanır. Bu GPU’lar, bilimsel hesaplama için de kullanılabilir; HPC sunucu pazarında yer edinmelerinin nedeni budur. Artık NVIDIA Tesla serisi hızlandırıcılar, en iyi 500 süper bilgisayarın 50’sinden fazlasında bulunabilir. Intel kısa süre önce Birçok Tümleşik Çekirdek (MIC) mimarisini temel alan ve Tesla ürününe (>1 teraflop) benzer bir hızlandırıcı ürünü olan Xeon Phi'yi yayınladı. Bunlar yaklaşık 3000 ABD doları tutar, ancak matematik açısından yoğun uygulamalar için performansı 2,5 kat ila 10 kat (çoğunlukla) veya 100 kata (nadiren) kadar artırabilir. Öte yandan bunların, büyük kart boyutu ve ek PSU gereksinimleri nedeniyle ortalama bir sunucu kasasına sığmayacağı da unutulmamalıdır.
Depolama
Çoğumuz “depolama” sözcüğünü duyunca gözümüzün önüne HDD görüntüsü gelir (bkz. Şekil 2a). HDD içindeki dönen tabaklar ve hareketli okuma/yazma kafaları onlarca yıldır aynı olmuştur. Değişip gelişen şeylerse, daha yüksek alan yoğunluğu, yeni kayıt teknikleri, daha hızlı arabirimler ve genel olarak düşük güçtür. HDD’lerin en yaygın form faktörleri 3,5 inç ve 2,5 inç’tir. Dönüş hızları değişiklik gösterebilir, ancak yaygın RPM değerleri 5.400, 5.900, 7.200, 10.000 ve 15.000’dir. RPM arttıkça, rastgele aramalar arasındaki gecikme süresi de kısalır.
Şekil 2: (a) Dönen tabakları ve okuma/yazma kafasını gösteren bir sabit diskin iç görünümü. (b) Kullanıma sunulan devreli SSD. (Kaynak)
Biliyor muydunuz?
Bir sabit sürücünün maksimum fiziksel kapasitesi, süperparamanyetik sınır ile belirlenir.
SSD’ler (Şekil 2b’de gösterildiği gibi) her geçen gün daha uygun fiyatlı hale gelmektedir, ancak yine de mekanik alternatiflerine kıyasla gigabayt başına çok daha yüksek maliyetlidir. SSD’ler tamamen elektroniktir; hiç hareketli parça yoktur, böylece arama süresi daha kısa, performans daha yüksek ve güvenilirlik daha fazladır. SSD’lerin yazma sayısı sınırlıdır, ancak bu sınıra ulaşmak için birkaç yıl boyunca günün 24 saati sürücüye sürekli olarak yazma işlemi yapılması gerekir. SLC, MLC ve TLC terimleri, her hücrede kaç voltaj düzeyi olduğunu belirtir: S tek (1), M multi (2) ve T üç (3) içindir. Düzeyler ne kadar az olursa, o kadar güvenilirdir (SLC > MLC > TLC). Ne kadar çok düzey olursa yoğunluk o kadar yüksektir (TLC > MLC > SLC). SLC genellikle yüksek aktarım hızına sahip işlem sunucuları için ayrılmıştır. MLC, hızlı bir (10.000 veya 15,000 rpm) HDD’nin sağlayabileceğinden daha yüksek G/Ç performansına ihtiyaç duyan sunucular, masaüstü ve dizüstü sürücüleri için en yaygın yeni alternatiftir. TLC, MLC’ye kıyasla daha düşük maliyetli bir alternatif olarak ortaya çıkmaktadır; ancak daha düşük maliyet karşılığında performans ve güvenilirlikten taviz verir.
Veri merkezlerinde bulunan sabit sürücüler, masaüstü bilgisayarlarda bulunanlarla neredeyse aynıdır. Bir kuruluş ile normal bir SATA sürücüsü arasındaki önemli fark, titreşim önleme korumasının eklenmiş olmasıdır; bu, aynı kasada diğer birçok sürücüyle birlikte rafa monte olan sürücülerin ömrünün uzamasını sağlar. Ayrıca daha uzun garanti de sunar (3 yerine 5 yıl).
Tüm modern HDD’ler ve çoğu SSD’ler için ağırlıklı olarak kullanılan iki arabirim, SATA (seri ATA) ve SAS (seri bağlı SCSI) arabirimleridir. Sunucular için SAS, tek bir sürücünün iki sürücü denetleyicisiyle "konuşabilmesini" sağlar (bir denetleyicinin başarısız olması durumunda). SAS ayrıca daha düşük CPU kullanımı gerektirir ve SAS genişleticisi aracılığıyla çok sayıda sürücünün papatya dizilimiyle yerleştirilebilmesini sağlar. SAS’ı destekleyen çoğu RAID denetleyicisi, SATA’yı da destekler; ancak bunun tersi doğru değildir.
Doğrudan bağlı depolama (DAS), PSU’lar ve fanlarla birlikte ek sürücüleri barındıran, ancak minimum denetim mantığına sahip olan, rafa monte kasadır. Tüm işler, bu birimlerin bağlı olduğu denetleyici (sunucuda) tarafından gerçekleştirilir. Tipik bir bağlantı, harici SAS kablosu (yüksek hızlı seri, çok kulvarlı, bakır) aracılığıyla gerçekleştirilir.
Depolama alanı ağı (SAN), birçok sunucuya bağlanabilen bir kasadaki sabit sürücüler koleksiyonudur. Sistem yöneticisi, diziyi LUN’lar (depolama mantıksal birimi numaraları) halinde birleştirir ve her bir LUN farklı bir amaç için kullanılabilir. Çoğu sunucu aynı anda aynı SAN’a bağlanır, ancak belirli bir LUN’a aynı anda yalnızca bir sunucu erişir (VMware gibi eşgüdümlü paylaşım yazılımı yüklenmediği sürece). Sunucular bir ağ üzerinden (genellikle Fiber Kanal veya Ethernet üzerinden iSCSI (1 Gb ya da 10 Gb)) SAN’a bağlanır. Her LUN, bölge oluşturma ve maskeleme için kullanılabilen benzersiz bir Uluslararası Ad (WWN) alır ve böylece sunucular yalnızca kendilerine ait olan LUN’ları okuyabilecek şekilde güvenlik sağlanır. Erişim, IP ve alt ağ ile de kısıtlanabilir.
Birçok ticari SAN ürünü, birden çok raf birimine veya hatta birden çok rafa yayılır ve çalışma süresini artırmak için birden çok yedekli denetleyici ve ağ yolu sunar. SAN’lar katıştırılmış RAID denetleyicilerine sahiptir, bu nedenle disk hataları, bağlı sunuculara şeffaf şekilde görünür. SAN ürünleri büyük ölçüde değişiklik gösterir ve özelliklere, performansa ve kapasiteye bağlı olarak 5000 ABD dolarından birkaç milyon dolara kadar uzanabilir.
Ağa bağlı depolama (NAS), ağ üzerinden birden çok kullanıcıyla dosya sistemini paylaştıran bir cihaz veya sunucudur. Tüm Linux sunucuları NAS olabilir ve tüketiciye ayrılmış çoğu NAS cihazı, altında Linux’u çalıştırır. NAS tarafından kullanılan en yaygın iki protokol, CIFS (Genel İnternet Dosya Sistemi; ayrıca Sunucu İleti Bloğu veya SMB olarak da adlandırılır) ve NFS’dir (Ağ Dosya Sistemi). CIFS, NFS’nin konak başına bağlantı şeklinde UNIX/Linux üzerinde birincil olarak kullanıldığı, kullanıcı başına uygulanan ve Microsoft Windows mirasını taşıyan bir bağlantı modelidir.
Son olarak, genellikle işlem kümelerinde kullanılan ve çok-çok şemasını uygulayan birçok dağıtılmış paralel dosya sistemleri vardır. Bunlar, tek bir SAN veya NAS’dan çok daha yüksek birleşik aktarım hızı sağlar ve hem performans hem de kapasite açısından ölçeklendirilebilir.
Kullanılacak depolama türünün seçimi büyük ölçüde uygulamaya bağlıdır ve çoğu kuruluş yukarıdakilerin bir birleşimini kullanır. Örneğin, büyük bir depolama dizisi, iç arka uç ağı üzerinde paralel dağıtılmış dosya sistemi kullanır, ancak SAN stili LUN’lar sunar ve diğer istemciler için NAS özelliği sağlar. Windows dosya sunucusu, bir ağ sürücüsüne eşleşen istemciye NAS gibi görünür, ancak dosyaların fiili olarak bulunduğu depolama cihazı büyük ihtimalle, Windows sunucusunun dışında bulunan SAN’da yer alır. Sonraki bir modülde kaynak paylaşımı hakkında bilgi edinirken, bu özelliklerden bazıları (canlı geçiş, hataya dayanıklılık) için SAN depolama cihazı gerekir.
Ağ
Bir veri merkezi, sunuculara ek olarak, bu sunucuları birbirine ve dış dünyaya bağlamak için kullanılan tüm ağ ekipmanını barındırır.
Sunucuların doğrudan anahtarlara bağlandığı çok katmanlı topoloji (Şekil 3’te gösterildiği gibi), popüler bir tasarımımızdır. Bu anahtarlar, toplama anahtarlarına bağlanır ve bunun sonucunda, kuruluşun ağının geri kalanına (örn. çekirdek anahtarları) ve nihayetinde de yukarı akış ISP’sine bağlanır.
Şekil 3: Bir rafa monte edilmiş ağ anahtarları yığını. (Kaynak)
Daha geniş (daha yüksek bant genişliğine sahip) bir bağlantı genellikle en alt katmanı ve toplama anahtarlarını bağlar. Örneğin, raf sunucularını ve erişim katmanını bağlayan 48x 1 Gb bağlantı noktaları ile toplama katmanına erişim için 2 adet 10 Gb yukarı bağlantı olabilir.
Raf üstü (TOR), her rafta en düşük ağ anahtarları katmanının bulunduğu bir yapılandırmayı ifade eder. Bu tasarım, kabloların daha kısa olması ve bakır olabilmesi nedeniyle, 10 Gb hızda bile kablolama maliyetini ve karmaşıklığı azaltabilir. Özellikle ağ trafiğinin çoğu, aynı raftaki diğer sunuculara yönelik olduğunda bu faydalıdır. Örneğin, Apache Hadoop, hangi düğümlerin verileri depolayacağını (raf üzerinde ve raf dışında) ve hangi düğümlerden (raf üzerinde) verilerin alınacağını seçmek için bu topolojiden yararlanabilir. Bir dezavantajı, ölçeklenebilirliğin sınırlı olmasıdır. Ethernet anahtarları engelleyicidir; başka bir deyişle, tüm bağlantı noktaları aynı anda meşgulse, devre kartı tüm trafiği işleyemez; bu nedenle bazı istekler ertelenir. Ayrıca, kullanılabilir olan yukarı bağlantılar genellikle Ethernet anahtarının tam olası bant genişliğinden daha azdır. (Örneğin, 48x 1 Gb anahtarda 48 Gb/sn yukarı bağlantınız olamaz.) Ancak gerçek dünya senaryolarının çoğunda, her sunucu aynı anda tam kapasiteyi kullanmadığından bu yukarı bağlantılar hiçbir zaman doygun olmaz. Diğer bir dezavantajı da bağlantı noktası kullanımıdır. Anahtarların belirli bir sayıda bağlantı noktası vardır (genellikle 24 veya 48). Bu aralıkta bir sayıda sunucunuz olursa, her bir rafta hiçbir zaman kullanılmayan bazı bağlantı noktalarınız olacaktır.
Satır sonu (EOR), yan yana bitişik dizilmiş raf sırasının (bölme olarak da adlandırılır) veya arka arkaya dizilmiş raf sırasının bulunduğu bir yapılandırmayı ifade eder. Ağ anahtarları için ayrılmış ek bir raf vardır ve bu sırada (veya bölmede) yer alan tüm konaklar, bu ayrılmış rafa kablolanır. Kablolama, rafların yukarısından bir kablolama tepsisinde veya rafların aşağısından, yükseltilmiş bir zeminin altında yapılır (sonraki bölümde bunun hakkında daha fazla bilgi verilecektir). Bu ayrılmış raftaki anahtarlar, her bir modülün hızlı bir devre kartı üzerinden diğer modüllerle iletişim kurduğu, daha büyük (10 U veya daha yüksek) bir modüler kasa olabilir. Bunun avantajı, aynı sıradaki (veya bölmedeki) tüm sunucuların aynı hızda (ve daha düşük gecikme süresiyle) birbiriyle iletişim kurabilmesi, böylece daha az performans sorunu olmasıdır. Dezavantajıysa, peşin maliyetin daha yüksek olması ve kablolamanın daha karmaşık olmasıdır (bir sorun olursa hata ayıklaması daha zordur). Gigabit bağlantıları bu mesafede hala bakır olabilir, ancak 10 Gb/sn veya üzeri bağlantıların fiber olması gerekir.
Şu anda kadar veri merkezlerindeki (ve kuruluşların diğer alanlarındaki) en popüler ağ türü Ethernet’tir. 1980’lerde 10 Mb/sn ile popülerliği artmaya başlamış olsa da, hem bu hem de 100 Mb/sn’lik ürünler, 1 Gb/sn’lik ürünlerin düşük fiyatı ve yaygınlığı nedeniyle artık kullanılmamaya başlamıştır. Ethernet’in popülerliğinin en önemli kaynağı, çift bükümlü kablo kurulumunun kolaylığı ve düşük maliyetidir. Ethernet kablolamanın en yaygın türü, dört çift ince (28 AWG) bakır kablo içeren ve farklı kategorilerde gelen korumasız bükülmüş çifttir (UTP) (bkz. Şekil 4a): Kategori 5 (Cat 5), 10/100 Mb/sn için iyidir, Cat 5e ve Cat 6 1 Gb/sn için iyidir ve Cat 7 10 Gb/sn'ye kadar çıkabiliyor. Her neslin bir öncekine göre bazı tasarım değişiklikleri vardır ve bu da daha yüksek bant genişliği ve/veya daha uzun çalışma sağlar. Alternatif olarak, korumalı çift bükümlü (STP) kablonun dış kısmında, elektrik gürültüsü olan ortamlarda (örn. fabrika veya yüksek güç hatlarının yakını) kullanım için ek bir metal koruma vardır. Koruma, girişimi azaltır, ancak çoğu raf içi kurulumlar için bu genellikle gerekmez.
Ethernet, fiber optik kablo üzerinden de hareket edebilir (Şekil 4b’de gösterildiği gibi). Fiber tek yönlüdür; bu nedenle bir kabloda, biri göndermek biri de almak için iki büküm vardır. Elektrik sinyalleri, çekirdek (ince merkez) ile kılıf (kalın dış katman) arasındaki kırılma dizinlerindeki farklılıklar nedeniyle fiberin içinde kalan fotonlara dönüştürülür. Kılıf, yangına dayanıklı malzemeden oluşan bir katmanla kaplıdır. Fiber kablolar, bakır kablolardan daha ince ve daha hafiftir, ancak minimum bükme yarıçapını korumak için yönlendirme sırasında dikkatli olunması gerekir. Aksi takdirde, bazı fotonlar kaçarak kayba yol açar. Kablolar ve alıcı-vericiler, tek modlu fiberden çok az pahalı olduğundan, veri merkezlerinde en yaygın olarak çok modlu fiber kullanılır. Tek modlu fiber genellikle uzun mesafeli (100 m ila 40 km) bağlantılar için ayrılmıştır. 40 Gb/sn’lik daha yüksek hızlı Ethernet, aslında bir arada çalışan 4 adet 10 Gb/sn bağlantılardır (PCIe kulvarlarına benzer şekilde); aynı şekilde 100 Gb/sn de 10 adet 10 Gb/sn (bakır, fiber) veya 4 adet 25 Gb/sn’den (yalnızca fiber) oluşur.
Şekil 4: (a) Dört kablo çiftini gösteren, korumasız bükülmüş çift (UTP) kablosunun kesilmesi. (b) Fiber optik ağ kablosu. Üstte LC bağlayıcıları ve altta ST bağlayıcıları olacak şekilde. (Kaynak)
Fiber Kanal (FC), SAN’ları ve uzak blok düzeyinde depolama cihazlarını desteklemek için tasarlanmış bir protokoldür. Genellikle fiber üzerinden çalışsa da, bakır üzerinden de çalışabilir. Ethernet’te de Ethernet Üzerinden Fiber Kanal (FCoE) biçiminde kapsüllenebilir, ancak iSCSI gibi yönlendirilemez. Fiber Kanal HCA ve anahtar nesilleri, Gb/sn cinsinden hızlarına göre # GFC olarak adlandırılır; burada #, 1, 2, 4, 8, 10 veya 16’dır. Şu anda en yaygın olan, 8 Gb/sn bağlantıları (her yönde yaklaşık 800 MB/sn) destekleyen 8 GFC’dir.
iSCSI (veya internet SCSI) ("scuzzy" diye okunur), SCSI (eski bir sabit sürücü standardı olan Küçük Bilgisayar Sistemleri Arabirimi) komutlarını LAN veya WAN üzerinden aktarılmak üzere paketleyen bir protokoldür. Çoğu SAN, iSCSI’yi destekler ve ayrılmış bir FC ağını dağıtmak yerine mevcut Ethernet ağınızı kullanabileceğiniz için popülerdir.
InfiniBand (IB), neredeyse on yıldır HPC kümelerinde popüler olmuş ve veri merkezinin diğer alanlarında da ilgi çekmektedir. InfiniBand’in asıl avantajı, uçtan uca gecikme süresinin, Ethernet’e kıyasla çok daha kısa olmasıdır (10 GigE için 12,5 mikrosaniyeye karşı 1,7 mikrosaniye ve GigE için 100 mikrosaniyeye karşı 30 mikrosaniye). Ayrıca bir kümedeki düğüm sayısıyla birlikte daha iyi ölçeklendirilir. IB performansındaki diğer bir temel faktör de, anahtarların (Şekil 5’te gösterilen) engelleyici olmamasıdır; başka bir deyişle, devre kartı destekleri, her iki yönde de her bir bağlantı noktasını tam hızla çalıştırmaktadır. Aşağıdaki grafikte, InfiniBand hızları özetlenmektedir:
| SDR | DDR | QDR | FDR-10 | FDR | EDR |
|---|---|---|---|---|---|
| 8 Gbit/sn | 16 Gbit/sn | 32 Gbit/sn | 40 Gbit/sn | 54,54 Gbit/sn | 100 Gbit/sn |
InfiniBand ve 40 Gbit Ethernet ayrıca yakınsanmış ağ veya sanal yapı olarak da dağıtılmaktadır; bu, işletim sisteminin sanallaştırmasıyla birlikte birçok sanal bağdaştırıcının (Ethernet, FC-HBAs) daha az yüksek hızlı bağlantı üzerinden çalışmasını sağlar. Bağlantılar, yazılım aracılığıyla dinamik şekilde yapılandırılabilir ve daha az kablo olmasını ve bakım ve yönetimin daha kolay olmasını sağlar.
Şekil 5: InfiniBand anahtarı. (Kaynak)
Bir veri merkezinde dağıtılacak ağ teknolojisinin ve topolojisinin seçimi, uygulamalarınıza da bağlıdır; ancak genellikle birden çok katman içerir ve katmanlar arasındaki bağlantı da yüksek hızlı fiber ile sağlanır. Rafta, bakır UTP kablo yaygındır ve düşük hızlı yönetim ağları için düzgün çalışmaya devam eder.