Распечатать

Климатические системы серверных помещений

Казаков Василий, инженер отдела климатических систем «Энвижн Груп» делится подходами к построению систем охлаждения серверных помещений.

5 марта 2011

Многие понимают, насколько ценна их личная информация, не менее важна информация сотрудников компаний, имеющих свою внутреннюю сеть. И задача этой компании обеспечить сохранность и доступность информации в любое время. Поэтому даже в небольших компаниях при создании серверного помещения, необходимо предусмотреть и его инженерную инфраструктуру. В её составе важным элементом являются климатические системы.

Для начала обратимся к теории

Такие широко известные документы как СН 512–78 и TIA/EIA-942, хоть и предъявляют требования к помещениям с IT оборудованием, но четкого определения «серверного помещения» не дают. Наиболее близкими по значению определениями, используемыми в TIA/EIA-942, являются определения телекоммуникационных помещений: «common equipment room (telecommunications)» и  «equipment room (telecommunications)».

Общая аппаратная системы связи (common equipment room (telecommunications)) — закрытое пространство, используемое для размещения оборудования и подключения магистральных линий нескольких обитателей здания или кампуса. [1]

Аппаратная системы связи (equipment room (telecommunications)) — централизованное помещение с регулируемой окружающей средой, в котором расположено оборудование системы связи; обычно там находится основная (главная) или промежуточная кросс-панель.[1]

Стандарт ANSI/TIA/EIA-569-A к климату телекоммуникационных помещений представляет следующие требованиях[2]:

  • климат должен поддерживаться 24 часа в сутки 365 дней в году центральными инженерными системами здания либо автономными системами серверного помещения;
  • должно быть обеспечено поддержание температуры в диапазоне 18OС - 24OС с 33%-55% влажностью, измеряемыми на высоте 1,5 метра от пола;
  • должно быть обеспечено избыточное давление по отношения к окружающим помещениям;
  • должна быть обеспечена достаточная вентиляция при использовании батарей резервного питания.

Для обеспечения этих параметров требуется устройство климатических систем. Основной системой обеспечивающей поддержание климата в помещениях является система кондиционирования воздуха.

Кондиционирование воздуха — создание и автоматическое поддержание в закрытых помещениях заданных параметров воздуха (температуры, влажности, чистоты, скорости движения) с целью обеспечения оптимальных метеорологических условий, наиболее благоприятных для самочувствия людей, ведения технологического процесса, обеспечения сохранности ценностей культуры. [3]

Если же климатические системы в серверном помещении будут отсутствовать, то тепловыделения от оборудования и поступающая извне пыль выведут оборудование из строя.

С чего начать?

Любое важное дело начинается с подготовки, устройство системы кондиционирования не исключение, поэтому начнем с подготовки помещения.

Наверно, многие не раз видели надпись «Закрывайте дверь — работает кондиционер!!!», это, на первый взгляд, не совсем логичное выражение имеет прямое отношение и к серверным помещениям. Важно не допускать неконтролируемое проникновение внешних воздушных потоков, так как они сильно влияют на температурно-влажностный режим помещения. Для этого стараются избегать помещений с окнами и большим количеством дверей, используют плотные двери, не допускающие проникновение воздуха в помещение через притворы. Но воздушные потоки проникают в помещение не только через окна и двери, поэтому перед монтажом оборудования следует провести ремонт помещения с заделкой всех отверстий.

Помимо исключения возможности проникновения внешних воздушных потоков, для оптимизации работы системы кондиционирования следует правильно организовывать и внутренний воздухообмен. Наиболее распространённым способом является устройство фальшпола. Он позволяет не смешивать нагретый и охлаждённый потоки воздуха, тем самым увеличивая эффективность охлаждения. Обычно его высота от 400 до 600 мм, в серверных помещениях этого достаточно и для распределения технологических и силовых кабелей, а так же для беспрепятственного прохода воздуха от шкафного кондиционера к стойкам с оборудованием. При расстановке оборудования стоит также помнить, что устанавливать перфорированные плитки близко к кондиционерам не стоит, так как через них происходит эжекция воздуха.

(Эжекция — процесс смешения двух каких-либо сред, в котором одна среда, находясь под давлением, оказывает воздействие на другую и увлекает ее в требуемом направлении.)

Важно, чтобы при работе системы кондиционирования все плитки фальшпола были на месте, в противном случае охлажденный воздух из фальшпола будет поступать в те места, где он не требуется, то есть будет недостаточно воздуха для охлаждения оборудования.

Важным моментом в улучшении организации воздухообмена является правильное расположение стоек. Стойки можно расположить бессистемно, но, в большинстве таких случаев, нагретый IT оборудованием воздух будет поступать в рядом стоящую стойку к её оборудованию. Поэтому уже давно используют всем известную и очень удобную схему организации горячих и холодных коридоров. В таком случае холодный воздух, подаваемый кондиционерами забирается стойками из холодного коридора и выбрасывается в горячий.

Нередко случается, что оборудованию, расположенному в верхней части стойки не хватает охлажденного воздуха. В большинстве случаев это следствие перетекания охлажденного воздуха через незаполненные оборудованием области стойки. Следствием такого перетекания может стать перегрев помещения и всего оборудования, так как регулирование производительности кондиционера происходит по температуре всасываемого воздуха, а при снижении этой температуры снижается его общая производительность. Для исключения такого эффекта в незаполненные области стойки следует устанавливать пустые панели.

Есть немало и других способов улучшения охлаждения стоек, например, использование активного пола или изоляции горячих и холодных коридоров, но это уже привилегии больших центров обработки данных и их применение следует рассматривать в другой статье.

Не стоит забывать и о поддержании чистоты внутреннего воздуха в помещении. Помимо влажной уборки серверного помещения перед первым запуском, необходимо позаботиться о чистоте воздуха в процессе эксплуатации. Эту роль разумней отвести не кондиционерам, как может показаться на первый взгляд, а автономной системе вентиляции. Система вентиляции должна поддерживать чистоту внутреннего воздуха, но при этом не создавать помех кондиционерам, контролирующим температурно-влажностный режим. Чистота воздуха обеспечивается фильтрацией наружного и рециркуляционного воздуха, а также превышением расхода приточного воздуха над вытяжным, таким образом, что бы избыточное давление при закрытых дверях в серверном помещении составляло 20 — 50 Па. Как следствие наружный воздух не попадает в помещение через притворы дверей и другие возможные отверстия в ограждениях помещения. Для уменьшения расхода тепловой энергии следует предусматривать рециркуляцию вытяжного воздуха с последующей фильтрацией. Если в помещении предусмотрена система газового пожаротушения, то систему газоудаления после срабатывания системы пожаротушения можно совместить с системой вентиляции. Для этого необходимо, чтобы в режиме газоудаления приточный вентилятор обеспечивал 80% расхода вытяжного воздуха, а вытяжной воздух, в свою очередь, должен полностью выбрасываться на улицу, в этом случае расход вытяжного воздуха определяется по требуемому времени удаления газов из помещения.

Чем будем охлаждать?

Подготовив помещение можно приступить к установке систем кондиционирования, но мир кондиционирования настолько разнообразен, что выбрать то, чем охладить серверное помещение, может поставить в тупик даже искушенного специалиста. Поэтому за отправную точку примем точность поддержания параметров климата помещения.

Кондиционирование с высокой точностью обеспечивает поддержания температуры ±1OC, а влажности — ±5%. Кондиционирование с низкой точностью обеспечивает поддержания температуры ±3OC, при этом влажность не поддерживается.

Для поддержания температурно-влажностного режима в помещении с высокой точностью применяют прецизионные кондиционеры.

(Прецизионный — от франц. précision «точность», обладающий высокой точностью или созданный с соблюдением высокой точности параметров; высокоточный.)

Кроме высокой точности, такие кондиционеры обеспечивают выполнение и других требований:

  • охлаждение значительного объема помещения;
  • снятие высокой тепловой нагрузки с высокой плотностью на единицу площади помещения;
  • работа в широком диапазоне температур наружного воздуха, часто выходящем за пределы ± 45ОС;
  • большой механический ресурс на наработку до выхода из строя;
  • круглогодичная работа в режиме 24 часа в сутки, 7 дней в неделю.

Разнообразие таких кондиционеров также не многим меньше, чем разнообразие бытовых кондиционеров. Поэтому стоит разобраться, какой тип кондиционера применять, и в каких случаях.

Если серверное помещение имеет наружные стены и есть возможность установки наружных решеток на стене здания, то самым оптимальным решением является использование моноблочных кондиционеров. Для них не требуется ни прокладки трасс фреонопроводов, ни установки наружных блоков. Единственным условием установки таких кондиционеров является их подключение к воздуховоду для забора наружного воздуха, охлаждающего конденсатор, а так же к воздуховоду для выброса воздуха, нагретого конденсатором.

Одним из преимуществ такого кондиционера является возможность использования свободного охлаждения наружным воздухом, именуемое фрикулингом. Заключается эта функция в том, что поступающий наружный воздух смешивается с рециркуляционным, поддерживая, таким образом, постоянную температуру охлаждённого воздуха. Именно за счёт этой функции они и получили большое распространение, особенно в регионах России, в которых значительную часть года преобладает температура наружного воздуха ниже 20ОС.

Помимо преимуществ моноблочные кондиционеры имеют несколько недостатков. Существенным недостатком является невозможность поддержания влажности, в связи с этим его можно отнести к прецизионным с большой погрешностью. Также они имеют узкий диапазон мощностей, тем самым ограничивая возможность их применения.

Но серверные помещения не часто имеют наружные ограждения, поэтому обычно применяют кондиционеры с выносным наружным блоком. Применение таких кондиционеров ограничивается эквивалентной длиной трассы, чаще всего она не должна превышать 50 м.

Самыми распространёнными кондиционерами такого типа являются шкафные прецизионные кондиционеры. При тепловой нагрузке в помещении до 3 кВт на стойку используют кондиционеры с верхней или с нижней подачей охлажденного воздуха. При выборе перемешивающей схемы организации воздухообмена, применяется кондиционеры с верхней подачей воздуха. В этом случае холодный и теплый воздух перемешивается и охлаждается весь объём помещения. Если выбрана вытесняющая вентиляция, то используются кондиционеры с нижней подачей воздуха, при такой организации воздухообмена холодный воздух, в силу разности плотностей, прижимается к полу и поднимается в верхнюю зону только в тех местах, где есть тепловыделения нагревающие его. Если используются такие кондиционеры, то применять фальшпол в качестве воздуховода не требуется. В том случае, когда тепловыделения со стойки возрастают до 6 кВт, применяют кондиционеры с подачей под фальшпол. Таким образом, охлажденный воздух подаётся через перфорированные панели непосредственно в зону забора у стоек, а холодный и нагретый воздух не смешиваются.

Шкафные кондиционеры дополнительно могут комплектоваться увлажнителем электродного типа, обеспечивающим поддержание влажности в помещении, зимним комплектом, предназначенным для работы при низких температурах наружного воздуха и большим количеством других функций. Именно благодаря такой гибкости по исполнению и комплектации, они и пользуются наибольшей популярностью среди малонагруженных и небольших серверных помещений.

Часто случается, что установить наружный блок на расстоянии до 50 м не представляется возможным, поэтому вместо использования наружного блока используют те же шкафные прецизионные кондиционеры, но с водогликолевой системой охлаждения. Существуют кондиционеры нескольких функциональных схем, но самой используемой является схема с использованием воды, охлажденной холодильной машиной — чиллером. При такой схеме, в прецизионном кондиционере нет холодильного контура, а воздух охлаждается обычным водовоздушным теплообменником.

Не редко точное поддержание температурно-влажностного режима не требуется, а затраты на прецизионные кондиционеры оказываются слишком велики. Для таких целей применяют кондиционеры с малой точностью поддержания температурно-влажностного режима, промышленные и полупромышленные кондиционеры. К этим система предъявляются низкие требования:

  • возможно поддержание температуры в серверном помещении с точность ±3OC;
  • не требуется поддержание влажности;
  • малые габариты, например, не занимают пространство на полу.

Но есть требования, которые одинаковы и для прецизионных кондиционеров, и для промышленных и полупромышленных кондиционеров, это требования по высокому ресурсу, ежедневной и круглогодичной работы, а так же работы в широком диапазоне наружных температур.

Самое широкое распространение получили промышленные и полупромышленные кондиционеры с выносным комперссорно-конденсаторным блоком, чаще их называют сплит-системами. Они включают в себя наружный, компрессорно-конденсаторный, и внутренний, испарительный, блоки.

Основное отличие сплит-систем от прецизионных кондиционеров заключается в заметно меньшей явной холодопроизводительности при одинаковой полной холодопроизводительности. Это обусловлено как меньшим расходом воздуха через испаритель, так и малым размером самого испарителя у сплит-систем. За счет такого условия, большая часть производительности, нежели у прецизионных кондиционеров, расходуется на конденсацию влаги. Этот момент также идет не на пользу серверному помещению.

При наличии в здании большого количества серверных помещений, возможно использование автономной централизованной системы кондиционирования этих помещений по схеме чиллер — фанкойл.

(Вентиляторный доводчик, или фанко́йл (англ. fan coil unit, от fan — вентилятор и coil — теплообменник; также англ. air handling unit — узел подготовки воздуха) — оконечный элемент систем кондиционирования воздуха типа чиллер-фанкойл, предназначенный, как минимум, для рециркуляции и охлаждения воздуха в кондиционируемом помещении. Теплоносителем служит централизованно охлаждаемая вода или незамерзающий водный раствор этиленгликоля. В самом фанкойле находится только теплообменник (водяной радиатор) и вентилятор, прокачивающий через него комнатный воздух.)

Но стоимость такой системы значительно превышает стоимость системы, основанной на сплит-системах, поэтому применяются такие системы только при невозможности размещения наружных блоков сплит-систем на фасаде здания.

Надёжность системы кондиционирования

Как раз при написании этой статьи, когда вышел из строя внешний жесткий диск автора со всеми материалами, он на практике получил понимание того, как важна его личная и деловая информация. Ещё более важна информация, хранящаяся и обрабатываемая в серверных помещениях, и даже её недоступность может принести компании крупные убытки, не говоря уже о том, какие затраты она понесет при восстановлении данных. Поэтому при использовании любого из предложенных вариантов систем кондиционирования не стоит забывать про общую её надёжность. Универсальным принципом обеспечения надёжности является резервирование. Наиболее используемыми схемами в системах кондиционирования являются N+1, 2N и 2(N+1), где N — требуемое по тепловыделениям количество кондиционеров. Для небольших серверных помещений обычно достаточно схемы N+1.

Инновации или «Вверх по лестнице, ведущей вниз»

В статье рассмотрены основные решения, применяемые для серверных помещений, но развитие технологий не стоит на месте – с каждым годом размеры процессоров и серверов становятся меньше, а их производительность растет, и, как следствие, растут тепловыделения от стоек. Соответственно будут расти и тепловыделения от серверных помещений в целом. Сейчас решения по системам охлаждения не отстают от охлаждаемого ими оборудования, например, применяют межстоечные кондиционеры (Liebert CRV, APC InRow, Stulz CyberRow, Rittal LCP Inline) или закрытые решения (Liebert XDFN, Stulz Cyber Cool Data- Chiller, Rittal LCP). Но такой рост не остановится, и нынешние технологии в будущем будут не востребованы. Поэтому уже сейчас необходимо рассматривать более совершенные технологии охлаждения. Помимо развития IT технологий, на системы кондиционирования не малое влияние оказывают так называемые «зелёные» технологии, отправной точкой которых являются выбросы углекислых газов в атмосферу, возникающих при сжигании топлива для получения электроэнергии.

Эти, более совершенные, технологии могут базироваться на уже существующих разработках, ориентирующихся на увеличение теплоёмкости холодоносителей, увеличение температур охлаждающих теплоносителей и использование естественных источников холода. Например, использование наножидкости увеличивает эффективность отвода тепла на 30–40%, а система DEVap, использующая технологию объединения мембран, испарительных охладителей и жидких осушителей, позволит уменьшить до 90% потребление электроэнергии.

(Нанодисперсия, наноэмульсия или наножидкость — это жидкость, содержащая частицы и агломераты частиц с характерным размером 0,1-100 нм. Такие жидкости представляют собой коллоидные растворы наночастиц в жидком растворителе. Вследствие малых размеров включений такие системы обладают особыми физикохимическими свойствами. На долю поверхности в них приходится до 50 % всего вещества. Нанодисперсии имеют различную природу. В качестве дисперсионной среды обычно используется вода или этиленгликоль.)

Одной из перспективных энергосберегающих технологий является использование роторного регенератора, например, уже есть реализованные проекты на основе роторного регенератора Full freecooling (FFC) System в ряде центров обработки данных. Использование этой технологии позволяет 95% времени охлаждать центр обработки данных без использования компрессоров.

Наиболее реализуемой в будущем может стать технология, основанная на использовании жидкостного охлаждения оборудования, без применения воздуха как промежуточного теплоносителя. Например, на данный момент «Энвижн Груп», в сотрудничестве с компанией РСК «СКИФ» уже реализовала проекты жидкостного охлаждения суперкомпьютера «СуперЭВМ СКИФ-Аврора» мощностью 24 киловатта и 96 киловатт, а также в разработке находятся проекты на 40 кВт и 210 кВт. Используемая технология заключается в том, что IT оборудование охлаждается каналами с холодоносителем, вплотную прилегающими к оборудованию.

Как видно из представленных примеров, технологии охлаждения развиваются, а развитие телекоммуникационных технологий и усиление требований к экологии приведут к их внедрению, ведь сейчас 30–45% всей потребляемой центром обработки данных электроэнергии расходуется на отвод использованной вычислительными системами энергии в атмосферу.

Но в средних и крупных центрах обработки данных использование инновационных технологий ограничивается консервативностью со стороны заказчиков. Их боязнь понятна — под их ответственностью находятся оборудование и информация, в которые вложены очень большие средства. Поэтому скорейшее внедрение, а так же развитие новых технологий, возможно именно за счет их использования в небольших серверных помещениях и малых центрах обработки данных.

Литература

  1. Стандарт TIA-942, редакция 7.0, февраль 2005.
  2. Стандарт ANSI/TIA/EIA 569-A «Commercial Building Standard for Telecommunication Pathways and Spaces»;
  3. Белова. Е. М. Кондиционирование воздуха в зданиях различного назначения. Библиотека климатехника. Москва: 2006.

Оригинал статьи в формате PDF (229 Кбайт)