Распечатать

Экспресс-Электроника

Климат-контроль для центра обработки данных

14 июня 2006

Экспресс-Электроника  

Валентин Седых, Ярослав Ницак

Российский рынок прецизионного кондиционирования сегодня только формируется. Однако мировые тенденции по построению крупных систем обработки и хранения данных не обходят стороной и отечественного заказчика, а следовательно, потенциал рынка систем, призванных обеспечивать стабильность и надежность работы информационных центров, должен активно расти.

Если для здорового человека, работающего в офисном помещении, кондиционирование воздуха относится к числу факторов благоприятствующих, но отнюдь не критичных для нормальной жизнедеятельности и комфортного самочувствия, то для компьютерного оборудования, которое выделяет тепло ровно столько времени, сколько продолжает работать, наличие системы охлаждения является обязательным элементом. Именно поэтому встретить какое-либо электронное устройство пусть даже без элементарной системы охлаждения, практически невозможно. Вентиляционные прорези или дополнительный зазор между "горячим" элементами обязательно присутствует даже в самых компактных приборах. Что уж тут говорить о компьютерных системах, плотность компонентов которых, особенно в последнее время, без активных систем охлаждения обойтись не позволяет.

А что, если этих компьютеров в одном помещении много? К тому же они плотно "упакованы" в стойки, функционируют 24 часа в сутки, и их работоспособность критична для поддержания бизнес-процессов компании? В этом случае волей не волей вспоминается выдержка из инструкции по эксплуатации (на которую обычно закрывают глаза) - рабочие характеристики оборудования при нарушении норм эксплуатации ухудшаются, уровень его готовности и надежности снижается, а срок службы сокращается. Как известно, при относительной влажности воздуха ниже 30\% происходит накопление электростатических зарядов, вызывающих нарушения в работе электрических цепей. Колебания температуры в помещении, где установлено электронное оборудование, также могут снизить надежность его работы и степень готовности всей системы, - соответственно, придется принимать дополнительные профилактические меры. Но основная угроза даже не в поломке дорогостоящего оборудования: нарушение норм его эксплуатации способно привести к остановке бизнес-процессов компании или потере коммерческих данных, стоимость которых может многократно превышать стоимость самого оборудования.

1.JPG

Считается, что для нормальных условий эксплуатации компьютерной техники необходима температура +22 °С, которая может изменяться на ±2 °С

Именно поэтому в настоящее время к надежности и долговечности любого оборудования, а в особенности того, которое призвано функционировать по формуле 24/7/365 предъявляются повышенные требования. Например, практически все телекоммуникационное оборудование должно быть рассчитано на беспрерывную круглогодичную эксплуатацию в течение многих лет. Однако надежность и долговечность оборудования данного типа зависит не только от технических решений, принятых при его проектировании, но и, как мы уже отметили, от условий эксплуатации. Для правильного и надежного функционирования столь чувствительных электронных устройств важно обеспечивать в подконтрольном пространстве точное управление всеми параметрами микроклимата. Собственно, за соблюдение подобных условий и отвечают системы прецизионного кондиционирования, о которых мы и поговорим.

Точный контроль

Прецизионные кондиционеры (также называемые кондиционерами точного контроля, Close Control) - это устройства, изначально рассчитанные для поддержания электронного оборудования в выгодных термодинамических условиях: заданных пределах температуры, влажности и чистоты воздушного потока. Они представляют собой специализированные полностью укомплектованные решения и обладают повышенной надежностью - обеспечивают высокий коэффициент охлаждающей способности (отношение кажущейся охлаждающей способности к истинной), а также создают большой удельный воздушный поток (отношение объема перекачиваемого воздуха к общему объему поглощаемого тепла). Еще одной особенностью таких систем является оптимизация под установку в серверные комнаты или шкафы.

Современные прецизионные системы кондиционирования имеют высокий коэффициент охлаждающей способности (от ощутимой до общей): 0,85-0,95, то есть примерно 85-95\% энергии системы расходуется на охлаждение воздуха и лишь 5-15\% - на удаление влаги. Это, кстати, отражает главное технологическое отличие прецизионных систем кондиционирования от "комфортных", в которых только 60-70\% общей производительности затрачивается на удаление кажущегося нагрева, в то время как 30-40\% предназначено для удаление влаги из воздуха. Именно поэтому в результате работы "комфортных" систем влажность воздуха становится значительно ниже оптимального значения, что в сухое время года может вызывать электростатические разряды. А потому говорить о применении "комфортных" кондиционеров для поддержания нормальных условий работы компьютерного оборудования не приходится.

И здесь, пожалуй, следует сделать оговорку, что затраты на системы прецизионного кондиционирования существенно ниже, чем на кондиционеры "комфортной" серии. "Комфортные" системы не предназначены для непрерывной длительной работы - у них сравнительно небольшой срок службы и они требуют частой замены основных элементов. Да и затраты на установку "комфортных" систем выше, чем на прецизионные системы, а из-за меньшей эффективности возрастают расходы во время работы такого оборудования, поскольку ему требуется более частое обслуживание и дополнительные запасные части. Прецизионные же системы, подобно любому сервисному оборудованию, проектируется как высоконадежное и нетребовательное к частому обслуживанию. Благо параметры, которым должен обладать прецизионный кондиционер, к тому располагают.

Некоторые технические моменты, или Бой отечественному "рационализму"

При выборе системы кондиционирования следует учитывать несколько основных параметров. Первый в этом списке - плотность тепловой нагрузки. В любом помещении всегда можно разместить больше единиц оборудования, чем людей. Следовательно, на единицу площади компьютерного зала потребуется значительно большая охлаждающая способность. Так, в офисе одна тонна кондиционированного воздуха должна приходиться на каждые 40-48 кв. м, а в компьютерном зале - на каждые 8-16 кв. м.

Второй немаловажный параметр - объем перемещаемого воздуха. Он в определенной мере отражает другое существенное различие двух систем кондиционирования, касающееся собственно объемов перемещаемого ими воздуха. Как правило, комфортная система перекачивает по своим контурам 22-26 куб. м в минуту холодного воздуха на одну тепловую тонну. Прецизионная же система перекачивает на 45-50\% больший объем воздуха, что увеличивает ощутимый коэффициент охлаждения и тем самым позволяет справиться с более плотной тепловой нагрузкой в компьютерном зале. Перемещение больших объемов воздуха способствует также лучшей фильтрации.

Последнее свойство весьма важно, так как наличие пыли отрицательно сказывается на работе компьютерного оборудования - ведьбыстро аккумулируется на заряженных частях оборудования. При высокой запыленности отвод тепла от нагретых поверхностей ухудшается, поэтому температура покрытых слоем пыли узлов оборудования может превысить допустимое значение, что сокращает его срок службы. В комфортных системах обычно применяют однократные фильтры наподобие используемых в бытовых приборах производительностью около 10\%. А вот фильтры, установленн ые в прецизионных системах кондиционирования, выполнены в виде замкнутой камеры и имеют производительность до 90\% (стандартно, класс EU4). Для медицинских учреждений или "чистых" комнат возможны поставки систем с фильтрами большей эффективности - классов EU8 и EU9 по европейской классификации.

Третий по счету, но отнюдь не по значению параметр, - точность поддержания температуры. Считается, что для нормальных условий эксплуатации компьютерной техники необходима температура +22 °С, которая может изменяться на ±2 °С. Выход температуры за эти пределы в случае использования особо "нежного", а иногда и стандартного по требованиям, но находящегося под постоянной нагрузкой оборудования часто приводит к отмене гарантийных обязательств. А вот прецизионные системы кондиционирования воздуха легко удерживают температуру в заданных пределах. "Комфортные" системы не рассчитаны на удержание температуры с такой точностью. Типичное значение предела ее изменения составляет ±5°С.

Здесь же стоит упомянуть о регулировании влажности. Например, многим известно, что при слишком высокой влажности в помещении нарушается работа принтеров. Кроме того, возможна конденсация влаги на элементах электронного оборудования. При пониженной влажности разряды статического электричества могут вывести из строя электронные компоненты оборудования и нарушить целостность данных, обрабатываемых компьютерами. Системы прецизионного кондиционирования без труда поддерживают относительную влажность на требуемом уровне (45 ±5\%). "Комфортные" же системы способны работать только в двух режимах: охлаждения и отключения. К тому же необходимо отметить, что в режиме охлаждения одновременно происходит, нежелательное осушение воздуха. Ну и последний параметр, на который надо обязательно обращать внимание, - временной график работы. Как мы уже говорили, прецизионные системы кондиционирования воздуха рассчитаны на непрерывное функционирование в течение длительного времени в соответствии с графиком работы электронного оборудования, установленного в помещении. В большинстве случаев - это 365 дней по 24 ч, то есть 8760 ч в год. Все это время вентиляторы действуют непрерывно, а другие устройства системы включаются и выключаются по мере необходимости для поддержания нужной температуры и влажности. "Комфортные" же системы обычно работают пять дней в неделю по 8 ч в день, и только в жаркое время года. Среднегодовое время их эксплуатации равно 1200 ч. Выводы, как говорится, излишни.

Обзор решений

А теперь рассмотрим примеры продуктовых линеек устройств класса прецизионного кондиционирования, доступных на российском рынке. Сразу скажем, что игроков в данной сфере даже на мировом рынке сравнительно не много, и, возможно, поэтому каждый из них контролирует весьма ощутимую долю рынка. Кроме того, большая часть из них помимо систем прецизионного охлаждения продвигает источники бесперебойного электроснабжения (ИБП) либо комплектные системы для построения информационной системы (ИС). Например, компания Liebert-HIROSS, контролирует (по некоторым данным) около 40\% европейского рынка прецизионного кондиционирования, а в ее модельном ряду представлено свыше десятка самых разных систем, помимо технических характеристик различающихся и конструктивным исполнением, а также функциональными особенностями.

Скажем, система промышленного кондиционирования шкафного типа Himod мощностью 20-142 кВт может использоваться не только в компьютерных залах, но и в переговорных комнатах, "чистых" помещениях, телекоммуникационных сетях и других технологических помещениях. Возможны конструктивные исполнения с верхней или нижней подачей воздуха, что позволяет организовать системы с применением фальшпола или подвесного потолка. Выпускаются такие системы в следующих модификациях: с воздушным, водяным, гликолевым охлаждением конденсатора, а также с охлаждением холодной водой (бескомпрессорные) и с двойным источником охлаждения поступающего в помещение воздуха (непосредственное охлаждение с выносным воздушным или водяным конденсатором и охлаждение от холодильной машины - чиллера). Существуют варианты с одним или двумя контурами хладагента. Также предусмотрена и поставка оборудования со встроенным дополнительным теплообменником свободного охлаждения и трехходовым клапаном промежуточного теплоносителя (Freecooling), что позволяет экономить потребляемую компрессором электроэнергию.

Для использования в помещениях с ограниченным свободным пространством Liebert-HIROSS предлагает несколько типов кондиционеров. Например, Hisp мощностью 4-14 кВт, которые представляют собой решения прецизионного кондиционирования с выносным компрессорно-конденсаторным агрегатом (Split) для технологических помещений и телекоммуникационных коммутаторов. Они состоят из двух отдельных модулей - модуля испарителя, устанавливаемого в помещении (SE - Split Evaporator), и наружной секции конденсатора (SC - Split Condenser). При этом в случае перебоев сетевого электропитания кондиционеры Hisp могут получать питание от аварийных источников 48 В постоянного или 230 В/50 Гц однофазного переменного тока.

Другое решение - моноблочные кондиционеры Hiline для внутреннего монтажа. Это семейство комплексных воздушных кондиционеров прямого действия со встроенным конденсатором воздушного охлаждения. Блоки предназначены для установки в помещении, существуют версии с верхней раздачей воздуха и с подачей охлажденного воздуха под фальшпол. А если в помещении наблюдается дефицит свободного пространства, может быть установлена серия Slim, которая решит данную проблему (модели мощностью 3 и 4 кВт в корпусе размером 250х600х2000 мм).

Имеется в модельном ряду компании и комплексное решение, объединяющее не только систему прецизионного кондиционирования, но и систему распределения электроэнергии, распределенную кабельную систему и шкафообразную стойку для интеграции компьютерного оборудования. Данное решение представлено серией Foundation. В настоящее время доступны две базовых конфигурации - шкаф Foundation и мини-компьютерная комната Foundation.

Шкаф Foundation поставляется в двух вариантах - на регулируемых передних/задних либо задних центральных рельсах. В первом случае в шкафу будет установлено два комплекта рельсов, оборудование по которым перемещается вертикально. Таким образом, в шкафах можно разместить типовое серверное и сетевое оборудование большинства производителей. Но главная особенность шкафов Foundation - их внутреннее устройство. В них установлены шины питания (одна или две), изначально имеется 6 или 10 отверстий для подключения кабелей на 15 А/120 В, 20 А/120 В или 10 А/230 В. Интегрирована в шкаф и внутренняя лампа с гибким креплением (его длина 400 мм). Кроме того, предусмотрена внешняя подставка под клавиатуру. Система охлаждения шкафа представлена двумя вентиляторами, но их число может быть доведено до пяти.

Что касается компьютерной мини-комнаты Foundation, она имеет систему уплотнений, стойкую к внешним воздействиям, дверные и стеновые муфты промышленного качества, герметичный кабельный ввод, фирменную кондиционирующую установку Liebert на фреоне, а также модуль аварийного охлаждения и другие важные элементы.

Другой игрок рынка прецизионного охлаждения - компания APC. Она поставляет как отдельную систему прецизионного кондиционирования, так и целую серию интегрированных комплексных систем InfraStruXure.

Система прецизионного кондиционирования NetworkAIR FM также является ключевым компонентом InfraStruXure, речь о которой пойдет несколько ниже, и выполнена как напольная система для центров обработки данных.

В ней применены вентиляторы с прямым приводом вместо традиционных конструкций с приводным ремнем и барабаном (отличающихся более высокой частотой сбоев), что по данным производителя позволяет увеличить надежность и сократить затраты на обслуживание. При этом карта сетевого управления APC Network Management Card, которая является частью NetworkAIR FM, обесп ечивает интеллектуальные функции NetworkAIR FM и возможность управления по сети.

Не обошлось и без модернизации теплотехнических элементов. Например, конструкция змеевика обеспечивает высокую эффективность и низкую стоимость эксплуатации благодаря использованию специального цикла обезвоживания, что позволяет сократить затраты энергии при обезвоживании и добиться более высокой тепловой нагрузки по сухому теплу и низкого энергопотребления при нормальной работе. Кроме того, сервисный доступ спереди ускоряет регулярное обслуживание и экономит дефицитные площади.

Сама же по себе система прецизионного охлаждения APC NetworkAIR FM выпускается в виде модулей мощностью 35, 40 и 50 кВт, причем до трех устройств можно соединять вместе для обеспечения необходимой дополнительной мощности охлаждения. NetworkAIR FM применяется и в системах с компрессором при воздушном, водяном или гликолевом охлаждении, в том числе с дополнительно установленным экономайзером или средствами множественного охлаждения. Все системы доступны в вариантах с выбросом воздуха вверх или вниз. Что же до комплексного решения компании APC, оно представлено установками серии InfraStruXure, существующей в трех разновидностях: A, B и C. Если есть сервер плюс какое-либо телекоммуникационное оборудование и достаточно мощности 5 кВ·А, можно установить систему типа А. Тип В используется в тех случаях, когда требуется обеспечить мощность порядка 40-80 кВ·А. Параллельное соединение позволяет достичь мощности около 200 кВ·А. Если же нужна мощность более 200 кВ·А, то необходимо устанавливать InfraStruXure типа С. Впрочем, существует возможность постепенного перехода (при возникновении такой необходимости) от решений одного типа к другому.

Остановимся на каждом из типов APC InfraStruXure подробнее.

Первый тип (Type А) предназначен для обслуживания сравнительно небольших информационных систем, оборудование в них может уместиться на 1-3 или 3-10 стоек. В первом случае в качестве системы резервного питания применяются обычные пьедестальные ИБП Smart-UPS RM, которые укладываются в нижней части шкафа, а во втором - более мощное решение Symmetra RM. Рекомбинацию холодного воздуха осуществляет блок откачки воздуха (ARU) с системой воздушных патрубков. Кроме того, в системе имеются достаточно удобные кабельные лестницы, предоставляющие возможность развести кабели по местам комплекса, не перекрывая потоки воздуха. В резервно-контрольном блоке InfraStruXure Type A для 3-10 стоек применяется более сложная система рекомбинации холодных потоков воздуха на базе кондиционера NetworkAIR PA, способного поддерживать стабильную внутреннюю температуру даже при достаточно сильных колебаниях внешней температуры. Управление системой контроля ведется при помощи карты сетевого управления, укомплектованной управляющим программным обеспечением.

Второй тип (Type В) предназначен для более сложных информационных систем с количеством стоек от 10 до 100 штук. Если система на базе InfraStruXure Type A может быть собрана самостоятельно, с учетом индивидуальных требований пользовательской группы, то для подготовки работы InfraStruXure Type В обязательно присутствие сотрудников компании-интегратора. Это связано с тем, что система более сложна и имеет ряд функций, настройка которых под силу только специалистам.

Как и в предыдущем случае, тип В архитектуры InfraStruXure содержит два подтипа, ориентированных на число стоек от 10 до 60 или от 60 до 100 стоек. В первом варианте используются ИБП Symmetra PX мощностью 40 кВт. Система поддержания внутренней температуры данного типа комплекса APC ISX представляет особый интерес, поскольку базируется на кондиционере NetworkAIR FM и блоке откачки воздуха со сложной системой патрубков, а также на блоке распределения воздуха. Это повышает надежность системы не только за счет дублирования функций, но и благодаря их эффективному комбинированию.

Комплекс InfraStruXure Type В, рассчитанный на обслуживание 60-100 стоек, - более сложное решение. Его система поддержания микроклимата аналогична предыдущему комплексу, за исключением того, что составных частей и дублирующих друг друга комплексов в базовом варианте вдвое больше. Структурная особенность системы охлаждения данного комплекса - присутствие системы воздушных каналов под покрытием пола серверной комнаты. Холодный воздух при помощи кондиционера NetworkAIR FM закачивается в подпольную систему каналов и распространяется по шкафам снизу вверх. Такое решение не только оригинально с инженерной точки зрения, но и весьма рационально в плане использования рабочего пространства, поскольку позволяет отказаться от нависающих над потолком воздуховодов.

Комплекс InfraStruXure Type С рассчитан на обслуживание более чем 100 стоек. Структура комплекса разрешает легко увеличивать число обслуживаемой компьютерной техники за счет конструктивных ухищрений. Основное отличие Type С от предыдущих в том, что он может быть установлен не только в помещении со стандартной высотой потолков, но и уменьшенной, например, на чердачных или в подвальных помещениях старого типа. Как и в предыдущем решении, холодный воздух к компонентам ИС подводится через подпольную систему воздушных каналов, а горячий - через специализированные воздушные патрубки, расположенные на шкафах. Это, собственно, и предоставляет возможность монтировать InfraStruXure Type С в любых помещениях.

Мнение 1. Михаил Балкаров, системный инженер представительства корпорации АРС

Сегодня при работе по обеспечению стабильности деятельности Центров обработки данных мы наблюдаем тенденцию, затрагивающую как системы прецизионного охлаждения (ПО), так и рынок систем кондиционирования в целом. Несмотря на революционные изменения в области информационных технологий, которые произошли в мире за последние десятилетия, подходы к кондиционированию ЦОД с середины 60-х годов XX века практически не изменились. В сегодняшних же условиях, когда IT-инфраструктура компаний постоянно усложняется, а плотность оборудования растет, вопросы охлаждения становятся актуальными как никогда ранее. Например, еще два года назад для обеспечения одной стандартной серверной стойки можно было обойтись электрошкафом на 3-4 кВт. Сегодня такая стойка может потреблять до 10 кВт. Соответственно, растет до опасных пределов и количество тепла на квадратный метр площади, а значит, его нужно куда-то выводить, и традиционными методами здесь не обойтись. Именно поэтому сегодня APC все больше внимания уделяет разработкам промышленных систем кондиционирования, в том числе систем прецизионного охлаждения.

При этом практика показывает, что подобные продукты востребованы во всех отраслях - причем, особым спросом пользуются решения, связанные с серверными комнатами начиная от средних, а также стойки с высокой плотностью.

Здесь же скажу, что по статистике, серьезные аварийные ситуации, влекущие за собой полную остановку IT-систем, в которых не используются решения ПК, возникают не реже одного раза в год. Типичные причинами здесь являются выход из строя кондиционера "комфортной" серии, перегрев оборудования и утечка конденсата.

Мнение 2. Игорь Анисимов, директор по проектам компании "Энвижн Груп"

Точной оценки рынка систем прецизионного кондиционирования у нас нет, но, по моему мнению, рост рынка идет параллельно с ростом рынка ИТ - примерно 15-20\% в год, хотя некоторые источники информации называли и значительно более высокие показатели. Основные игроки на российском рынке это: Uniflair, Liebert-Hiross, Stulz, Weiss.

При этом для "Энвижн Груп" основные заказчики систем прицизионного кондиционирования это, в первую очередь, операторы связи и крупные корпорации, нуждающиеся в создании центров обработки данных (ЦОД). Очень часто проекты создания с истем прецизионного кондиционирования идет в рамках более крупных проектов в качестве одной из его составляющих.

При этом я считаю, что, применение интегрированных с ИБП систем целесообразно лишь в ряде случаев, например, тогда, когда требуется постоянное наращивание мощности вычислительного центра. В этом случае модульная архитектура системы имеет существенное преимущество. Однако, в большинстве случаев, дискретные системы предпочтительнее. Расчеты показывают, что вычислительные системы современных ЦОД не выдерживают остановки системы кондиционирования на 10-15 минут (температура поднимается слишком быстро).

Поэтому, при авариях в сети электроснабжения объекта для обеспечения работы системы кондиционирования применяются накопительные резервуары, из которых подачу хладагента в контур охлаждения осуществляет насосная группа, запитанная от ИБП. Такое решение позволяет сохранить климатические характеристики в ЦОД в течение времени, достаточного для запуска дизель-генераторных установок объекта. Это тоже интегрированная с ИБП система, но немного в другой постановке вопроса.