Özet

Tamamlandı
  • Hadoop Dağıtılmış Dosya Sistemi (HDFS), Google Dosya Sistemi'nin (GFS) açık kaynak kopyasıdır.
  • HDFS, bir düğüm kümesi üzerinde çalışacak şekilde tasarlanmıştır ve modelin G/Ç verileri için dağıtılmış dosya sistemi (DFS) sağlayarak MapReduce programlama modelini destekler.
  • HDFS ortak ve küme genelinde ad alanına sahiptir, büyük dosyaları depolayabilir, bir kez yazma ve çok kez okuma erişimi için iyileştirilmiştir ve düğümlerde hata olması halinde yüksek kullanılabilirlik sunacak şekilde tasarlanmıştır.
  • Bir birincil-ikincil topolojiyi takip ediyor; Süs kodu, meta verileri işler ve veriler, kahit üzerinde depolanır.
    1. adımda bulunan dosyalar, varsayılan 128 MB boyutunda olan bloklara ( öbekleri de denir) ayrılır.
  • Bloklar varsayılan olarak küme genelinde üç kez (çoğaltma katsayısı olarak adlandırılır) çoğaltılır.
  • HDFS, küme topolojisinin ağaç stilinde olduğunu kabul eder, performansı iyileştirmek için dosya erişimini iyileştirir ve blok çoğaltmalarını farklı raflara yerleştirmeyi hedefler.
  • Özgün HDFS tasarımı sabit semantik kullanır ve var olan dosyaların açılarak yazma işlemi gerçekleştirilmesine izin vermez. Yeni HDFS sürümlerinde dosyalara ekleme yapma desteği sunulmaktadır.
  • Dosya yazma işlemleri ancak tüm çoğaltmalara yazıldıktan sonra tamamlandı olarak kabul edildiğinden HDFS güçlü tutarlı bir sistemdir.
  • Süs Yot, bir sinyal mekanizması kullanarak Patanode başarısızlıklarını izler; Davtanodes yanıt vermezse, bunlar ölü olarak işaretlenir ve istenen çoğaltma faktörünü sürdürmek için bu Davode üzerinde olan blokların daha fazla kopyası oluşturulur.
  • NameNode, özgün HDFS tasarımındaki tek hata noktasıdır (SPOF). Birincil NameNode düğümündeki meta verileri düzenli olarak kopyalayan ikincil bir NameNode oluşturulabilir ancak bu seçenek tam yük devretme yedekliliği sağlamaz.
  • HDFS; MapReduce için yüksek bant genişliği, yüksek güvenilirlik, düşük bayt başı maliyet ve iyi ölçeklenebilirlik sunar.
  • HDFS; küçük dosyalar için verimsizdir (varsayılan blok boyutunun büyük olması nedeniyle), POSIX ile uyumlu değildir ve en son HDFS sürümlerindeki ekleme özelliği haricinde dosyalarda yeniden yazma işlemi gerçekleştirilmesine izin vermez.
  • Ceph, bulut uygulamaları için tasarlanmış olan bir depolama sistemidir. Ceph, dağıtılmış nesne deposu üzerinde yer alan hizmet katmanlarından oluşur.
  • Ceph'in merkezinde RADOS, otomatik olarak yönetilen nesne deposu daemon'larının (OSD) bulunduğu bir küme ve izleyici düğümleri yer alır. Düğümler, kendi kendine yönetilmesi, hataya dayanıklı ve ölçeklenebilir olmak için gelişmiş teknikler kullanır.
  • RADOS içindeki bir nesne, karma ile yerleştirme grubuna alınır ve ardından CRUSH algoritması kullanılarak bir OSD ile ilişkilendirilir.
  • RADOS'a farklı programlama dilleriyle birlikte çalışan yerel bir RADOS istemcisi olan librados aracılığıyla erişim sağlanabilir.
  • Uygulamalar RADOS'taki verilere ayrıca RADOS Gateway üzerinden nesneler olarak erişebilir. Bu uygulama, REST arabirimi üzerinden S3 ve Swift protokollerini destekler.
  • KDOS Ayrıca, RBD kullanarak blok depolama cihazlarını dışarı aktarabilir. Bunlar sanal makineler için disk görüntüleri olarak kullanılabilir.
  • Ceph FS, RADOS sistemini temel alan bir dosya sistemidir. Bu, dosya sistemi meta verilerini izleyen özel meta veri düğümleri kullanılarak elde edilir. Meta veri düğümleri, özel bir algoritma kullanarak dosya sistemi ağacını dinamik bir şekilde bölümlere ayırır. Meta veri girişleri hataya dayanıklılık için günlük biçiminde RADOS'a da iletilir.