Инфраструктура и помещения
Давайте рассмотрим конфигурацию инфраструктуры для центра обработки данных.
Здания центров обработки данных
Функциональные единицы центра обработки данных (серверы, хранилище и сеть) зависят от инфраструктуры зданий, включая их физическое пространство, подачу питания, охлаждение и безопасность. При сборке каждой из последних систем компонентов проектировщики уделяют основное внимание вопросам избыточности. Избыточные источники питания, например, снижают риск простоя служб, если в здании отключится основная электрическая сеть. Избыточное охлаждение позволяет избежать физического повреждения ИТ-оборудования при незапланированных сбоях и позволяет планировать перерывы для обслуживании систем кондиционирования воздуха.
Серверное помещение
Серверное помещение может варьироваться в размере от одной стойки в шкафу до нескольких сотен квадратных метров и даже до склада размером с футбольное поле. Некоторые авторы применяют термин "серверное помещение" как синоним "центра обработки данных". В целях курса мы определим серверное помещение как место, где фактически находятся стойки с ИТ-оборудованием, а центр обработки данных в качестве серверного помещения, плюс оборудование, обеспечивающее питание и кондиционирование, которое может находиться за пределами этой комнаты.
Мы уже проходили концепцию стойки и единицы стойко-места (U). На рис. 6 показана стойка в открытом шкафу. Иногда стойки также называют шкафами. Существует несколько разновидностей стоек, но наиболее распространены стойки шириной 19 дюймов (измеряется от центра каждого отверстия в одной и той же единице U). Некоторые стойки для оборудования от IBM имеют ширину 24 дюйма от опоры до опоры, унаследованную от старых мейнфреймов. Как правило, сетевое оборудование предназначено для закрепления только на двух опорах в стойке, так как у коммутационных шкафов часто есть только две опоры, перманентно прикрепленные к полу и (или) стене. Однако серверы предназначаются для размещения в четырехопорных стойках. Глубина двух задних опор не стандартизована, и в большинстве стоек ее можно корректировать. Различные устройства для размещения в стойках имеют разную глубину, так что каждый сервер или массив хранения данных поставляются с двумя направляющими для соединения с лицевой и задней опорами с левой и правой сторон. Существует два типа отверстий в вертикальных опорах: квадратные и круглые. Некоторые направляющие присоединяются непосредственно к квадратным отверстиям и устанавливаются без помощи инструментов (быстро). К стойкам с круглыми отверстиями оборудование надо прикреплять винтами (этот способ популярнее для стоек телекоммуникационных и аудио/видео систем). Если нужно разместить оборудование или салазки для стоек с круглыми отверстиями в стойку с квадратными, используйте винты с гайками.
Рис. 6. 42-единица (42U) с четырьмя стойкими шкафами с сторонами и дверями удалены
Наиболее распространенная высота стойки — это 42U, просто чтобы она проходила в обычные двери. Общая высота, ширина и глубина стоек от разных производителей не вполне совпадают; гарантируется только ширина между опорами. У некоторых стоек увеличена глубина, что полезно при использовании более крупных серверов и (или) кабелей маршрутизаторов, а также при размещении оборудования размером Zero-U (для вертикального монтажа вне пространства 42U). "Широкие" стойки имеют дополнительное пространство слева и справа от опор, что полезно для сетевых стоек, использующих коммутаторы в рядах из-за дополнительного пространства для проводки множества кабелей. Стойки также снабжены роликами, позволяющими закатывать их на место или перемещать при необходимости. Тем не менее, эти колеса не предназначены для постоянной поддержки полного веса заполненной стойки, поэтому вы должны обеспечить четыре стабилизации ноги на каждом углу. Регионы, подверженные землетрясениям, имеют также нормы безопасности, требующие привинчивать стойки к бетону через металлические пластины на передней и задней части стойки.
У многих серверных помещений есть фальшпол, хотя это не является обязательным требованием. Это дает область повышенного давления для распределения холодного воздуха по помещению (плиты перед стойками имеют вентиляционные отверстия). Фальшполы также предоставляют место для проводки электрических или сетевых кабелей либо труб с охлажденной водой для внутрирядного охлаждения. Наконец, они обеспечивают большую гибкость для будущих изменений структуры/конфигурации. На рис. 7 показано, как выглядит фальшпол.
Рис. 7. Пример поднимаемого этажа
Пол состоит из набора металлических оснований, смонтированных на настиле пола; металлических продольных брусьев, размещенных горизонтально между основаниями; и прочных плит покрытия, помещенных на продольные брусья у каждого из углов основания. Если плиту вынуть, отверстие достаточно велико, чтобы пролез человек, при этом плитки достаточно надежны, чтобы выдерживать вес заполненной стойки. Однако же у плит есть допустимое число прокатов, и по соображениям безопасности все плиты, по которым прокатывали заполненную стойку больше этого числа, необходимо заменять. Также по соображениям безопасности в случае пола без продольных брусьев никогда нельзя вынимать из пола более двух или трех соседних плит одновременно. При возникновении проблемы с одним из оснований вес может сместиться вбок, запуская процесс катастрофического разрушения пола.
Над стойками расположены кабельные лотки, которые прокладываются горизонтально между стойками. Есть варианты подвешивания их к потолку, в некоторых стойках также есть дополнительные лотки, которые монтируются наверху. Из соображений электрической безопасности все эти устройства должны быть должным образом заземлены, даже если по ним проходит только сетевой кабель. Если между двумя стойками надо провести много проводов, то чаще всего для объединения проводов в пучки используются фиксаторы типа "липучка".
Большинство центров обработки данных применяют четкие процедуры обеспечения физической безопасности и не без причины. Если злоумышленник получает физический доступ к серверу, он может, например, получить права администратора, украсть данные, перехватить сетевые сообщения и установить вирусы/троянские программы. Распространенными методами защиты являются использование карточек-ключей/ПИН-кодов и (или) биометрических средств проверки, круглосуточное дежурство охранников, камеры и средства обнаружения взлома. В совместно используемых несколькими арендаторами центрах обработки данных один из способов заключается в оградах с замками вокруг стоек, принадлежащих определенному владельцу. Ознакомьтесь с рекомендациями по безопасности Google здесь.
Power
В следующем видео рассматривается различные методы распределения питания в центрах обработки данных:
Надежность и время бесперебойной работы часто являются основным конструктивным соображением для центров обработки данных. К сожалению, питание центра обработки данных надежно не на 100 % в связи с такими событиями, как плохая погода и повреждение линий электропередачи. В некоторых местах возможно подключение к нескольким поставщикам электроэнергии, но часто такой возможности нет. Чтобы обеспечить работу ИТ-оборудования во время отключений питания, можно установить генератор. Резервные генераторы бывают двух видов: на дизельном топливе или на природном газе. Они могут питать центр обработки данных неограниченно долго, пока есть топливо, но оба вида топлива значительно дороже, чем электричество из сети. Генераторы обычно размещаются на улице из-за выхлопов, шума, веса и вибрации. Автоматический или универсальный перекидной переключатель — это устройство, которое может выбрать работающий источник питания (электрическая сеть 1, электрическая сеть 2 или генератор) и подключить его к основному входу питания центра обработки данных.
Время запуска генератора составляет 15–60 секунд, поэтому необходим источник бесперебойного питания (ИБП), способный питать ИТ-оборудование до тех пор, пока не будет восстановлена подача электроэнергии извне или генератор не будет запущен. В ИБП имеется множество свинцово-кислотных аккумуляторных батарей, образующих набор. Например, ИБП на 480 вольт содержит набор из сорока 12-вольтных батарей. ИБП также выступает в качестве устройства защиты от электрических помех и переключается на батарею постоянного тока, если обнаруживает неудовлетворительные состояния сети переменного тока, такие как всплески или падения напряжения, длительное перенапряжение или недонапряжение (ограничение нагрузки), а также различия в волновой форме или частоте.
Между ИБП и ИТ-оборудованием находятся блоки распределения питания (БРП). БРП подобны удлинителям, используемым в домашних условиях, но они предназначены для более высоких напряжений и силы тока, у них больше розеток и есть встроенные автоматические прерыватели. Они часто включают в себя функции мониторинга, позволяющие удаленно отслеживать потребление тока в ветви (группе розеток, подключенных к одному прерывателю). Некоторые также включают распознавание напряжения для каждой розетки (POPS), а также удаленное включение или выключение каждой розетки. Розетки для БРП не похожи на домашние электрические розетки; они соответствуют стандарту IEC 60320 C13 ("си тринадцать"). См. рисунок 8а, со схемой соединителя C13, имеющего рейтинг 10–12 ампер и рис. 8б с соединителем C19, имеющим рейтинг 16–20 ампер.
Что касается переменного тока, более высокое напряжение (400 В и 480 В) более эффективно для распределения электроэнергии в центре обработки данных, по сравнению с 240 В или 208 В, но по-прежнему требует понижения перед подачей на собственно сервер. Большинство источников питания серверов являются универсальными и принимают входные напряжения переменного тока в диапазоне от 110 В до 240 В. Преимущества работы на 208–240 В по сравнению с 110–125 В заключаются в немного более высокой эффективности (от 5 до 10 %) а также получении всей выдаваемой блоком питания мощности (как указано в его характеристиках). Большинство установок серверных помещений и центров обработки данных будет работать при более 200 вольт переменного тока, ради эффективности, а также снижения расходов на электропроводку (медные кабели меньшего калибра). Для повышения эффективности некоторые серверные блоки питания также поддерживают 277 В напрямую. Вместо традиционных проводов в некоторых серверных помещениях используются шины, которые монтируются наверху (над стойками) и снабжены гибкими штырями автоматических прерывателей, которые можно подключать в любом горизонтальном месте (они подобны светильникам с изменяемым направлением освещения, только больше).
Рис. 8. (а) Разъем питания C13. (б) Разъем питания C19. (Источник)
Некоторые поставщики предлагают распределение постоянного тока, в котором преобразование переменного в постоянный выполняется для целых стоек, рядов или секций вместо того, чтобы преобразовывать переменный ток в постоянный через блок питания каждого из серверов. Эти системы продемонстрировали большую эффективность, чем их аналоги, использующие переменный ток, но для средних нагрузок выигрыш составил только от 2 до 4 %. Дополнительные сведения см. в техническом документе "Количественный анализ конфигураций распределения питания для центров обработки данных (WP#16)"1.
Поскольку источники питания постоянного тока не являются товаром широкого потребления, они подходят только для крупномасштабных развертываний со специально заказываемыми компонентами.
Охлаждение
Многими улучшениями в работе центров обработки данных за последние 10 лет мы обязаны новым схемам и методам охлаждения.
Рис. 9. Обычное охлаждение центра обработки данных с помощью CRAC и поднятого этажа
Обычно в традиционных серверных помещениях используются кондиционеры для компьютерных помещений (CRAC или CAC). Они постоянно всасывают горячий воздух и выводят холодный воздух под фальшпол или в воздуховоды. Разница между кондиционерами для компьютерных помещений и обычными кондиционерами воздуха заключается в том, что первые также предоставляют контроль влажности. Рекомендуется поддерживать относительную влажность около 40 %. Если воздух слишком влажен, начинается конденсация (вредная для электроники и любых металлов). Если он слишком сух, повышается риск электростатического разряда (что также вредно для электроники). Размеры вентиляторов должны быть достаточно большими, чтобы создавать избыточное давление и воздушный поток в объеме помещения. Мощность охлаждения должна быть достаточна для поддержания требуемой температуры воздуха в "холодном коридоре". Мы подробнее рассмотрим горячие и холодные коридоры в одном из последующих модулей. Кондиционеры для компьютерных помещений удаляют тепло с помощью конденсатора (аналогичного тому, что находится в холодильнике у вас дома) или теплообменника, использующего охлажденную воду, предоставляемую охлаждающими установками, расположенными в других частях объекта.
Измерение энергии для бытовой электроники обычно производится в кВт, но показатели большей части оборудования кондиционирования измеряются в тоннах или БТЕ/ч, поэтому ниже приведены два преобразования:
- 1 кВт = 3412 БТЕ/ч
- 1 тонна = 12 000 БТЕ/ч
Знаете ли вы?
БТЕ или британская тепловая единица — это объем энергии, необходимый для нагрева 1 фунта воды на 1 °F, а тонна — это тепло, поглощаемое при таянии 1 тонны льда в течение 24 часов.
Используя сжатие пара, охлаждающие установки извлекают тепло из воды в системе с закрытым циклом и высоким уровнем давления, обычно выдавая воду температуры примерно 42 °F (5,5 °C). Сами охлаждающие установки должны как-то отдавать тепло, которые они извлекают из воды, что возможно посредством воздушного охлаждения (вентиляторов) или водяного охлаждения (требуется другой источник воды и (или) охлаждающая башня). Размер охлаждающих установок зависит от температур воды (на входе и выходе) и скорости потока (галлонов в минуту). Основными потребителями энергии в охлаждающей установке являются электрические моторы в компрессоре и насосе (-ах).
Чтобы снизить нагрузку на эти установки, в больших центрах обработки данных теперь часто используются методы испарительного охлаждения. Когда горячий сухой воздух проходит над водой, часть воды испаряется, поглощая энергию и охлаждая воздух. Если вы хотите использовать испарительное охлаждение, рекомендуется располагать новые центры обработки данных рядом с обильными источниками воды.
Систему в целом можно сделать более эффективной, если ей не требуется охлаждать настолько большие объемы воздуха. Косвенное испарительное охлаждение воздуха — это метод использования или подмешивания внешнего воздуха, когда он холоднее, чем рециркуляционный воздух. Этот метод дает экономию в холодном климате, но не так удобен в горячих и влажных местах.
Когда плотность стоек увеличивается до 10 кВт или выше, бывает полезно переместить охлаждающее оборудование ближе к стойке. Устройства, обеспечивающие это, называются устройствами внутрирядного охлаждения. Они позволяют подавать холодный воздух прямо к ИТ-оборудованию, тогда как выхлоп горячего воздуха из задней части стойки идет непосредственно в воздухозаборник кондиционера. Этот метод уделяет основное внимание охлаждению стоек, а не комнаты в целом. Подобно внутрирядному охлаждению, существуют системы надстоечного охлаждения. Эти системы привинчиваются к верхней части каждой из стоек и обеспечивают локализованное охлаждение на уровне отдельной стойки. Преимуществом надстоечного охлаждения является то, что оно не занимает места в серверном помещении, а недостатком — большая сложность установки и обслуживания. Меньшие по мощности внутрирядные системы используют компрессор, тогда как модели с большей мощностью используют охлажденную воду или подаваемый извне газ как хладагент. В надстоечных системах обычно используется внешний хладагент. Преимущество использования газа-хладагента заключается в исключении шансов протечки воды рядом с ИТ-оборудованием. Недостаток — затраты на дополнительное оборудование в серверном помещении, которое будет удалять тепло из контура хладагента (с использованием охлажденной воды). Как надстоечные, так и надкоридорные системы предлагают модульный подход к охлаждению. Пока хватает возможностей имеющейся водоохладительной установки, новые системы охлаждения можно добавлять по мере добавления нового ИТ-оборудования, тем самым растягивая по времени капитальные затраты.
Изоляция горячего коридора — это метод расположения стоек рядами или секциями, так, чтобы соседние ряды смотрели в противоположные друг от друга стороны (образуя чередование холодного-горячего-холодного проходов), а затем превращения горячего прохода в закрытое помещение. Такое размещение предотвращает смешивание горячего и холодного воздуха перед его прохождением через кондиционер, что значительно повышает эффективность. В некоторых конструкциях серверных помещений используется противоположное, изоляция холодного коридора, при котором само помещение нагревается, но отдельный поток холодного воздуха подается в изолированный коридор, куда выходят передние стороны стоек.
Несколько поставщиков теперь также начали предлагать устройства водяного охлаждения (они также могут использовать гликоль или другие жидкости), которые уже не один год были нормой среди любителей разгона процессоров. Существует два подхода. Первый — специализированные двери стоек, которые, по сути, представляют собой огромные теплоотводы, куда подается холодная вода и из которых откачивается горячая. Второй — подвести шланги для холодной и горячей воды к каждому серверу в стойке, с установкой внутри каждого сервера специальных теплоотводов для ЦП (и графического процессора), в которых циркулирует вода. В обоих случаях серверы по-прежнему должны использовать вентиляторы для охлаждения других компонентов (например, ОЗУ, жестких дисков).
Один поставщик даже предлагает экстремальный способ жидкостного охлаждения. (Загерметизированная) стойка кладется на бок и заполняется минеральным маслом (непроводящим диэлектриком), в которое полностью погружаются вертикально устанавливаемые серверы. Вентиляторы удаляются, а жесткие диски необходимо загерметизировать (или использовать SSD). Лучше всего использовать серверы с портами ввода-вывода спереди.
Многие системы кондиционирования современных зданий разработаны для повторного использования тепла, созданного в серверном помещении, в других местах, например для нагрева воды или отопления (в холодном климате), что снижает общие расходы на энергию.
Безопасность
В дополнение к заметкам о безопасности, приведенным выше, некоторые компоненты центра обработки данных целиком посвящены безопасности.
Пожаротушение
Для тушения возгораний в серверном помещении предпочтительно использование чистого огнетушащего состава. Такой состав хранится и перевозится под высоким давлением, поэтому он занимает меньше пространства. При активации это газ, выходящий из распылителей на потолке. "Чистый" состав не оставляет осадка и не требует последующей очистки, как ручные огнетушители (с порошковым огнетушащим веществом) или спринклерные системы с водой.
Халон был самым популярным огнетушащим средством в этой категории, но это парниковый газ, так что производство халонов было запрещено в 1994 году. Старые системы по-прежнему эксплуатируются (они должны использовать подвергнутый вторичной обработке халон), но устанавливать новые нельзя.
Популярным чистым огнетушащим составом сегодня является хладон 227ea (CF3CHFCF3) от DuPont. Он не ядовит и при правильно спроектированной системе заполняет помещение и тушит весь огонь в течение 10 секунд (совет: не оставляйте двери открытыми). Он не ядовит для людей, но может создавать дымы при реакции с огнем. Стандартная практика заключается в том, чтобы оставить помещение (закрытым) на 10 минут, чтобы убедиться в том, что весь огонь потушен.
Другой способ пожаротушения заключается в использовании инертных газов, например CO2. Эти газы работают, уменьшая уровень кислорода в воздухе. Проблема этих систем заключается в том, что они опасны для людей, а также менее эффективны (в зависимости от типа пожара).
Традиционные спринклерные системы используют большие объемы воды, чтобы уменьшить возгораемость всего в помещении. Они не так эффективны в случае возгораний электроприборов, повреждают электронику и требуют больших усилий по очистке помещения. Иногда власти требуют, чтобы они находились в каждом помещении, поэтому спринклеры по-прежнему можно найти рядом с системами на основе хладона 227ea. В случае водозаполненной системы вода уже находится в трубах спринклеров, и когда жар от огня плавит замки, это высвобождает воду. Более адекватна сухая система, при которой трубы обычно пусты, а детекторы дыма подают сигнал на их заполнение клапану предварительного действия (но для высвобождения воды все равно должны расплавиться замки). Основной целью спринклеров является защита здания от разрушения, а не защита электроники в помещении.
Независимо от того, какая система установлена, современные здания наполнены электронными датчиками для мониторинга и оповещения инженеров-строителей, службы безопасности, пожарных и других относящихся к делу сторон в автоматизированном режиме.
Соответствие требованиям OSHA
Управление по технике безопасности и гигиене труда (OSHA) — это правительственная организация (подчиненная Министерству труда США), которая предоставляет нормативные требования для обеспечения безопасности рабочей среды. Некоторые из правил, которые актуальны для центров обработки данных, не так распространены в других местах.
Шум становится все большей проблемой, причем не только от вентиляторов на ИТ-оборудовании, но и от систем кондиционирования воздуха. Чтобы снизить уровень шума до безопасного, всем сотрудникам, находящимся в серверном помещении, рекомендуется использовать ушные вкладыши или звукозащитные наушники.
Процедуры снятия плит фальшпола должны включать в себя конусы или временные ограждения, чтобы кто-нибудь случайно не упал в открытое отверстие. Если настил пола расположен глубоко или неоснователен, рабочие должны пристегивать страховку, а плиты следует привязывать перед извлечением.
Электрическая безопасность важна из-за большого количества проводов высокого напряжения в современных центрах обработки данных. Любое техническое обслуживание или установка электроприборов должны выполняться сертифицированными электриками. Большие шкафы ИБП могут создать смертельную электрическую дугу, поэтому при их обслуживании необходимо надевать рабочие костюмы, защищающие от вспышек дугового разряда. Все стойки/шкафы, БРП и прочее электрооборудование должны быть правильно заземлены. Должна быть установлена кнопка аварийного отключения электропитания ("большая красная кнопка"), которая при нажатии отключает все электричество в помещении (или модуле, или секции), если кто-то попал под электрический удар.
Что касается серверных помещений в старых зданиях, все места, где в конструкции используется асбест, должны быть четко помечены, либо специалисты должны быть обучены должным образом и использовать соответствующие меры предосторожности (маски респираторов) при прокладке сетевых кабелей (обычно в другие части здания или из них).
Серверы могут быть тяжелыми, до 75 фунтов (35 кг) для сервера 4U. Даже некоторые большие сетевые коммутаторы нельзя поднимать на руках и следует перемещать с помощью погрузчика. Чтобы избежать растяжения мышц спины и снизить риск возникновения травм, серверы следует монтировать в составе группы. Существуют также серверные подъемники, которые позволяют выровнять сервер по высоте для его установки или извлечения.
Должно существовать достаточное количество адекватно отмеченных аварийных выходов. Это может показаться очевидным, но этого сложнее достигнуть в больших центрах обработки данных с использованием контейнеров и в центрах, занимающих несколько этажей.
Ссылки
- The Green Grid (2008). Quantitative analysis of power distribution configurations for data centers (WP#16)