Распечатать

КОНЦЕПЦИЯ МОБИЛЬНОГО ЦОДА

Директор департамента инженерных систем ЗАО «Энвижн Груп » Анисимов И.В.

31 июля 2009

С выходом в середине 2004 года финального драфта стандарта TIA/EIA-942, появилась возможность классифицировать и сертифицировать ЦОД по принципу отказоустойчивости и надежности. Именно с этого момента ЦОД стал полноценным коммерческим продуктом, в процессе эволюции которого и появились Мобильные ЦОД или МЦОД.

Попробуем сформировать представление об этом продукте, который уже прочно закрепился  на российском рынке.

Эволюция идей

В начале 2009 года в журнале LAN1 вышла замечательная статья Сергея Орлова, в которой с исчерпывающей полнотой рассмотрена история появления Мобильных ЦОД на мировом и отечественном рынках.

Все началось с того, что в 2006 году компания SUN Microsystems выпустила на рынок свой продукт «SUN Modular Datacenter» больше известный, как проект «Blackbox».

Ведущие игроки ИТ-рынка устремились в погоню за лидером и сегодня, в 2009 году, количество предлагаемых отечественных и зарубежных решений стало настолько велико, что появилась потребность в их классификации и сравнении.

Большинство известных МЦОД выполняется в виде контейнеров, имеющих стандартный форм-фактор, которые могут размещаться внутри ангаров или складов, а также устанавливаться на открытом воздухе.

Однако, мир Мобильных ЦОД гораздо шире и многообразнее.

Возьмем пример компании Google, которая в 2008 году запатентовала “Water-based data center“, – ЦОД водного базирования. В этом решении предлагается использовать забортную воду для охлаждения центра обработки данных, а для снабжения ЦОД электроэнергией использовать альтернативные природные источники, такие, как ветер и энергию волн. 

Информационно-вычислительные системы в решении Google размещаются внутри морских контейнеров, расположенных на стоящих на рейде или у причала судах.

Мы с коллегами не раз обсуждали идею использования воды из естественных источников для снятия теплоизбытков ЦОД, поэтому появление патента Google прозвучало, как вызов и сигнал к тому, что началась серьезная борьба за рынок Мобильных ЦОД.

Другая  идея создания МЦОД была продиктована потребностями военных ведомств. Министерству обороны США для ведения боевых действий за пределами страны необходим полевой центр обработки данных, на котором в короткий срок могут быть развернуты приложения, позволяющие осуществлять управление войсками, обеспечивать оперативную обработку и анализ информации.

В результате работ, выполненных компанией Smartronix с использованием технологий виртуализации ESX и VirtualCenter от компании VMware, было разработано решение Smart VMD (Virtual Mobile Datacenter).

Решение состоит из 3-х МЦОД, два из которых, последовательно разворачиваются на территории ведения боевых действий, а третий осуществляет поддержку всей системы, располагаясь в континентальной части США.

Один из этих МЦОД состоит из шести ящиков класса 7U производства Hardigg и еще одного ящика, предназначенного для резервного копирования данных на магнитную ленту.

Система из трех ЦОДов обеспечивает отказоустойчивое тактическое решение для информационной поддержки современной армии.

Вес ящиков составляет от 71 до 157 кг и они приспособлены для переноски.

Есть все основания полагать, что данное решение будет быстро развиваться и уже в ближайшей перспективе его производительность значительно вырастет, увеличится время автономии за счет применения элементов бесперебойного питания нового поколения и расширится набор базовых модулей.

Вернемся к гражданскому применению МЦОД. Рассмотрим решение, реализованное компанией Hewlett Packard. На сегодня это решение, называемое Performance Optimized Data Center (POD), предназначенное для быстрого развертывания центра обработки данных и внедрения инфраструктуры для cloud-вычислений, выполненное на базе стандартного 40-футового транспортного контейнера, венчает одну из ветвей эволюции мобильных  дата - центров.

 

 

 

Внутри контейнера размещается:

  • 5 километров оптического + 1 километр медного Ethernet кабеля
  • 22 x 50U стоек
  • 84 x полки C7000
  • 1072 x блейд-сервера BL460cG6
  • 272 x сторадж-блейда SB40c
  • 16 x ProLiant DL380G6
  • 8 x ProLiant DL380G5
  • 5 x ProLiant DL580G5

 

  • 29 x массивов MSA 2000
  • 1 x ленточную библиотеку MSL2024
  • 8 x коммутаторов StorageWorks SAN
  • 11 x коммутаторов ProCurve
  • 2 x 288-портовых коммутатора Voltaire
  • 2 x 24-портовых коммутатора Voltaire
  • 2 x консоли TFT/KVM

 

 

Приведенные примеры решений МЦОД показывают, насколько выросли и окрепли некоторые ветви дерева эволюции Мобильных ЦОД всего за 2-3 года.

В то же время,  все имеющиеся на рынке варианты архитектуры Мобильного ЦОД по-своему уникальны. Это значит, что еще не поздно взять на себя смелость разработать свой собственный вариант мобильного решения ЦОД и  вывести его на рынок в качестве коммерческого продукта.

В процессе работы с материалами о Мобильных ЦОД автору этих строк пришла в голову идея создания совершенно нового направления мобильных центров обработки данных, что только подтверждает вышесказанное.

Мобильный ЦОД в настоящее время  вступает  в фазу своего бурного развития и несмотря на то, что это еще совсем молодое направление, он уже является полноценным продуктом на рынке информационных технологий 

Модульный или мобильный?

Может ли обычный ЦОД быть мобильным?

Оказывается, что понятие «мобильный» тесно связано с понятием «модульный».

Когда составляющие части ЦОД выполнены в виде однотипных модулей, технические условия, на подключение которых могут быть обеспечены практически в любом современном административном здании, тогда время, необходимое для монтажа и запуска ЦОД на объекте может быть таким же, как и время ввода в строй Мобильного ЦОД, устанавливаемого на улице или в ангаре. При этом для сокращения времени полного развертывания ЦОД, можно использовать так называемый “staging”, когда вычислительные системы предварительно устанавливаются и тестируются на специально арендованной для этого отдельной площадке.

Современные технологии позволяют применить принцип модульности не только к системам кондиционирования и бесперебойного электроснабжения ЦОД. Структурированная кабельная система ЦОД  тоже может быть реализована по модульному принципу с использованием претерминированных кабелей и панелей.

Сама конструкция  ЦОД часто создается модульной, например, в случае использования помещений безопасности компаний Lampertz или AST, для корпоративных ЦОД, или при создании коммерческих ЦОД, разделенных на однотипные модули с применении сэндвичных панелей. 

 

 

При детальном рассмотрении любой системы ЦОД мы увидим, что она также может быть выполнена в модульном исполнении.

Это говорит о том, что при наличии определенного бюджета и желания, любой  ЦОД возможно спроектировать полностью модульным.

Техническая политика Департамента инженерных систем «Энвижн Груп» вот уже несколько лет предполагает совместное с заказчиком поступательное движение в направлении реализации модульного подхода в проектах ЦОД. Применение технологии SYSTIMAX InstaPatch®, шинопроводов Schneider Electric, модульных решений от АРС, Rittal и Liebert, - этапы этого пути. Известно, что другие интеграторы также используют этот принцип в своей работе.

Если заложить в концепцию построения ЦОД модульный принцип организации всех его систем, время внедрения существенно сократится. Это означает, что в случае переезда, ЦОД  будет смонтирован на новом месте не позднее остальных офисных систем, что позволит  назвать такую архитектуру ЦОД мобильной.

Мобильный ЦОД 

Итак, что же такое Мобильный ЦОД? Каковы цели его внедрения? Какие проблемы он поможет решить? Для кого он предназначен?

Мобильный ЦОД – это изделие, полученное в результате научно-исследовательских и опытно-конструкторских работ, выполненное в конструктиве (одном или нескольких), приспособленном для транспортировки автомобильным, железнодорожным, морским и авиа–транспортом, сертифицированное по ряду своих параметров на соответствие стандартам в области строительства и информационных технологий, имеющее в своем составе автономный отказоустойчивый комплекс систем инженерного обеспечения и предназначенное для использования в качестве отдельной информационно-вычислительной системы либо части комплекса информационно-вычислительных систем.

Мобильный ЦОД, как и  обычный ЦОД включает в себя:

  • прикладное и специальное программное обеспечение;

  • комплекс информационно-вычислительных систем (серверы, системы хранения данных, системы резервного копирования, коммутационные платформы);

  • системы инженерного обеспечения (системы электроснабжения, системы контроля микроклимата, кабельные системы, комплексная система безопасности, системы диспетчеризации и автоматики, архитектурно-строительные решения).

Цель разработки и внедрения Мобильного ЦОД – создание надежной, отказоустойчивой вычислительной платформы для системы информационного обеспечения организации/предприятия в максимально короткие сроки.

Назначение МЦОД – обеспечить создание центра обработки данных без внесения существенных изменений в инженерную инфраструктуру объекта за счет использования   вычислительных  ресурсов, объединенных с  автономной, отказоустойчивой системой инженерного обеспечения в едином мобильном исполнении.

Таким образом, ключевой параметр, отличающий Мобильный ЦОД от обыкновенного – это скорость развертывания его информационных ресурсов.

Помимо этого, существуют и другие требования, из которых вытекают причины выбора мобильного ЦОД:

  • отсутствие площадей внутри здания, подходящих для размещения ЦОД;

  • отсутствие электрической мощности, необходимой для функционирования ЦОД;

  • отсутствие у заказчика технической и организационной структуры,  необходимой для создания ЦОД;

  • необходимость развертывания информационной платформы в региональных филиалах территориально распределенной организации.

Основные факторы, которые обеспечивают преимущества МЦОД над обычным ЦОД следующие (МММ):

  • модульность;

  • масштабируемость;

  • мобильность.

Однако не только эти факторы имеют значение при принятии решения о создании Мобильного ЦОД, существуют еще, как минимум два.

Первый из них, - это универсальность создаваемой инженерной инфраструктуры.

В этом случае надо говорить не о полнофункциональном МЦОД, а скорее об универсальном контейнере, снабженным комплексом инженерных систем.

По пути создания таких мобильных инженерных комплексов пошли уже многие российские компании, имеющие производственные мощности и компетенцию в области инженерных систем для ЦОД.

При этом, например, компания «Радиус-ВИП», открыто позиционирует свой МЦОД именно, как элемент инженерной инфраструктуры, в котором могут располагаться, как объекты связи, так и вычислительные системы. Такой подход может привести к созданию действительно серийного продукта, но на пути к нему потребуется найти «золотое» соотношение между качеством, мощностью и ценой решения, которое позволит сохранить его универсальность и добиться максимального соответствия конъюнктуре рынка.

Большинство прочих системных интеграторов исповедуют проектный подход к МЦОД, т.е. они готовы предложить создание инженерной и вычислительной инфраструктуры, как  в комплексе, так и по отдельности. Следует отметить, что при этом  происходит размывание понятия универсальности и надежд на создание серийного продукта значительно меньше.

Отдельно стоить отметить компанию «Техносерв», которая заявила, что разработала универсальный МЦОД под маркой «IT Equipage», позволяющий  устанавливать в шкафы оборудование мощностью до20 кВт на шкаф. Достаточно большой объем внутреннего и внешнего спроса этого интегратора на продукты инженерной инфраструктуры, выполненные в виде контейнеров, уже сейчас позволяет говорить о наличии серийного производства. Имея такой ресурс, компания может себе позволить проводить эксперименты по продвижению на рынок универсальных МЦОД в верхнем ценовом сегменте.

Особняком в данном сегменте располагаются такие решения, как "Lampertz Outdoor Room» (LOR), прозванное  REDBOX за свой красный цвет от немецкой компании «Lampertz»  и «Smart Shelter Container», производства испанской компании AST.  Они также располагаются в верхнем ценовом сегменте и предназначены для создания защищенных от катастроф Мобильных ЦОД. Следует отметить, что эти решения позиционируются, как универсальные продукты инженерной инфраструктуры предназначенные для физической защиты оборудования и данных.

Второй фактор – это наличие включенного в решение сервиса.

Если  МЦОД – в некотором роде «коробочное» решение, то рассмотренный пример МЦОД от компании Smartronix хорошо иллюстрирует, как в набор из шести «коробок» интегрированы:

  • система бесперебойного питания;

  • кабельные соединения;

  • коммутационная платформа;

  • серверная ферма;

  • система хранения данных;

  • системное и прикладное ПО.

При этом все эти сервисы выглядят «упакованными» внутри  «коробочного» решения.

Совсем другое дело, когда «коробочное решение», как бы находится внутри предлагаемой сервисной услуги. Этот подход демонстрируют западные лидеры рынка, которые предлагают заказчику практически любой вид ИТ-услуг. Вы покупаете не МЦОД, а сервис по созданию Мобильного ЦОД от HP или IBM.

Для того чтобы включить в состав своих услуг сервис по созданию МЦОД, компания IBM привлекла к совместной работе компанию AST с ее технологией «Smart Shelter» и они разработали совместный продукт.

Компания Hewlett-Packard, в свою очередь, приобрела компанию EYP Mission Critical Facilities Inc., - признанного лидера в создании ЦОД, и теперь обладает достаточными ресурсами для реализации самых масштабных проектов в области ЦОД.

Лидеры российского рынка системной интеграции также постоянно стремятся расширить объем своих услуг и многие уже создали собственные бренды МЦОД.

Для заказчика это означает, что когда он приобретает не просто МЦОД, а услугу по интеграции, то свой выбор он должен основывать, как на репутации интегратора, так и на характеристиках решения, подтвержденных предыдущими успешными инсталляциями.

Комплексный анализ таких решений заслуживает отдельного исследования.

Так что же  получает заказчик, приобретая Мобильный ЦОД?

Это в первую очередь сервис поставщиков решений, который в том или ином виде «упакован» внутри МЦОД, либо включает МЦОД в свой состав. Приобретая этот сервис, заказчик конвертирует его в те показатели, которые для него являются наиболее важными.

Он может получить короткие сроки внедрения, четкое разграничение зон ответственности участников проекта, прогнозируемые значения параметров решения, модульную конструкцию,  мобильность и возможность масштабирования.

Именно поэтому, первыми потребителями услуг МЦОД стали такие гиганты, как Google и Microsoft, а также научные и образовательные учреждения.  Ведь их задача, - как можно скорее внедрить новый мощный инструмент для проведения вычислений,  исследований или обеспечения учебного процесса без привязки к ограничениям того или иного объекта.

Классификация Мобильных ЦОД

Поскольку история развития МЦОД достаточно коротка, то логично будет применить рассмотренный выше эволюционный подход к классификации Мобильных ЦОД. В Таблице представлены сгруппированные по классам хорошо известные решения российских и зарубежных производителей.

Класс / исполнение

Производитель

Собственный Бренд

Блок-бокс

Контейнер

Черус

CHERUS MDC-24-1

Контейнер

Радиус-ВИП

МЦОД

Контейнер

Техносерв А/С

«Континент»

Защищенный блок-бокс

Контейнер

Lampertz

LOR (REDBOX)

Модульные сейфы

Lampertz

LMS 9.3

Контейнер

AST

Smart Shelter Container

Сейф

AST

Smart Bunker, Smart Data Safe

МЦОД (российские интеграторы)

Контейнер

Техносерв А/С

 IT Equipage

Контейнер

Ситроникс

«Датериум»

Стационарный ЦОД + Контейнеры

Ситроникс

RITE

Контейнер

Черус

CHERUS MDC-24-1

Контейнер

Энвижн Груп

NMDC

Контейнер

Ай-Ти

Compact Data Center

МЦОД (зарубежные интеграторы)

Тактический набор

Smartronix

VDC

Судно

Google

WBDC

Контейнер

SUN

S20, D20 (BLACKBOX)

Контейнер

Hewlett-Packard

POD

Контейнер

IBM

PMDC

Контейнер

Dell

Humidor

 

При более глубоком изучении рынка МЦОД классификация будет уточняться и расширяться, но для этого, прежде всего, должна быть сформирована база данных об успешных инсталляциях и типовых решениях.

Для сравнения решений, как внутри классов, так и между собой, определим набор основных параметров мобильного ЦОД. Рассмотрим эти параметры на примере сравнения  решений HP POD и CHERUS MDC-24-1 от компании «Черус».

Параметры

HP POD

CHERUS MDC-24-1

Физические параметры

 

 

Габариты ДхШхВ в метрах

12.2м x 2.44м x 2.9м

6.065 м х  2.435 м х 2.805 м

Вес без оборудования/с оборудованием

13,608 кг / 45,813 кг

5 000кг / 6000 кг

Диапазон эксплуатационных температур

от  0 до +40°С (до -38°С с использованием гликолевого теплообменника)

от –30 до +40°С

Количество шкафов

22

4

Размеры шкафов ДхШхВ в мм и количество юнитов

50U

42U

Параметры инженерных систем

 

 

Общая потребляемая мощность, кВт, номинальная / максимальная, входное напряжение

280 кВт (стандартное решение с резервированием по питанию)
450 кВт (стандартное решение без резервирования по питанию)
420 кВт (решение высокой плотности с резервированием по питанию)
600 кВт (решение высокой плотности без резервирования по питанию)
380-415 В, 3 фазы, 50 Гц,

36 кВт

Усредненная мощность оборудования из расчета на 1 шкаф (мощность охлаждения)

25 кВт

5 кВт

Максимально возможная мощность при расчете на 1 шкаф, кВт

35 кВт

6 кВт

Резервирование системы электроснабжения

2N (вариант с резервированием)

N+1

Наличие ДГУ и ее мощность в кВт

нет

нет

Мощность системы кондиционирования номинальная / максимальная

от 280 кВт до 600 кВт

20 кВт / 24 кВт

Резервирование системы кондиционирования

N+1

 N+1

Параметры системы холодоснабжения

вода 12-19 град. С, до 908 л/мин в случае максимальной мощности (600 кВт)

 Фреоновые кондиционеры Liebert с низкотемпературным комплектом

Наличие чиллера или конденсаторных блоков

нет

3 конденсаторных блока с фрикулингом

Система АСДУ

есть

есть

Параметры вычислительных систем

 

 

Количество серверов, СХД, коммутаторов.

 Определяются ТЗ

 Определяются ТЗ

СКС

 5 км оптических кабелей, 1 км UTP

 Определяются ТЗ

Параметры безопасности

 

 

Интегрированная система безопасности

есть

 есть

Система АГПТ

есть

 есть

Класс защиты от пожара

 н/д

 н/д

Класс защиты от воды и пыли

 н/д

 н/д

Класс защиты от взлома

 н/д

 н/д

Сертификаты

 н/д

 н/д

PUE (Power usage effectiveness) энергоэффективность

До 1,25

До 1,5

Класс ЦОД в соответствии с EIA/TIA-942

Tier II или Tier III

Готовность к Tier II или Tier III

 

 

 

Стоимость решения

в зависимости от ТЗ

в зависимости от ТЗ

Время изготовления МЦОД

6 недель

6 недель

 

Очень важным параметром является PUE, - коэффициент, показывающий отношение между общей единовременной мощностью, потребляемой всей инфраструктурой ЦОД, и мощностью, потребляемой вычислительной системой. В отдельных случаях, этот параметр является определяющим при выборе решения.

Из приведенных данных видно, что часть параметров являются фиксированными, а часть могут принимать значения в определенном диапазоне в зависимости от модификации решения. Поэтому корректное сравнение МЦОД возможно только на основании технического задания, в котором будут зафиксированы основные требования к нему.

Особенности построения МЦОД

Основной особенностью построения МЦОД является его зависимость от технического  задания (ТЗ).

По сути, разработав и согласовав ТЗ, заказчик через несколько недель получает готовый продукт, который,  может оказаться  не похожим на его представление о результате.

Поэтому, крайне важно, использовать в ТЗ проверенные наработки. Все отклонения от проработанных решений должны всесторонне обсуждаться и протоколироваться заказчиком и исполнителем.

Крайне рекомендуется организовать посещение заказчиком производства один или два раза в процессе изготовления МЦОД и обязательно еще раз при проведении его испытаний перед отгрузкой.  Это позволяет, скорректировать отклонения от согласованного решения, которые всегда бывают при изготовлении изделия на заказ, а также убедиться в работоспособности решения до его прибытия к месту установки.

Еще одна опасность может возникнуть, в результате неверного отнесения МЦОД к тому или иному классу отказоустойчивости по классификации Uptime Institute.

В своих материалах производители МЦОД пишут о том, что их решения соответствует Tier II или Tier III (как правило, именно эти классы наиболее востребованы по соотношению цена/качество).

Не лишне будет еще раз заглянуть в материалы Uptime Institute, а тем, кто ни разу этого не делал, - с самого начала изучить то, что относится к критериям классификации и сертификации ЦОД.

Тогда станет абсолютно ясно, что помимо требований к резервированию систем электроснабжения и кондиционирования есть еще требования к расположению ЦОД относительно потенциально опасных объектов городской или индустриальной инфраструктуры, требования к организации круглосуточного обслуживания ЦОД, требования к наличию системы диспетчеризации и мониторинга (не только систем внутри контейнера, но и выходящих за его пределы, как чиллеры и дизель-генераторные установки) и т.д.

Именно комплексный анализ всех этих факторов позволяет определить, к какому классу относится данный ЦОД. Следует помнить, что класс определяется по самому слабому звену.

Поэтому, было бы  более корректно указывать в характеристиках МЦОД, что данное изделие готово к использованию  (курсив автора) в качестве основного элемента Мобильного ЦОД класса Tier II или Tier III. В противном случае, заказчик решения может, понадеявшись на паспортные данные МЦОД, не получить нужного уровня отказоустойчивости в целом.

В остальном,  при создании ЦОД и МЦОД  используются схожие принципы организации работ.

Кризис поможет развитию МЦОД

Кризис обострил потребность в аутсорсинге ИТ. Применительно к проблеме ЦОД это означает, что значительно возрастет доля услуг хостинга и колокейшн на базе коммерческих центров обработки данных.  Если по ряду причин заказчик не захочет размещать свои системы на чужой территории, Мобильный ЦОД будет являться естественным компромиссом, позволяющим передать системы  ЦОД на обслуживание внешней компании, расположив его при этом на собственной, либо арендованной  территории и четко разграничив зоны ответственности за системы инженерного обеспечения.

Экономический кризис повлиял на мощность потока инвестиций, но при этом он запустил процесс передела рынков. В результате слияний и поглощений появляется потребность интегрировать вновь приобретенные компании в инфраструктуру холдингов. Критерии для интеграции ИТ-ресурсов стали жестче: скорость интеграции должна быть выше,  затраты – ниже, чем до кризиса, а инфраструктура должна позволять, не только кратно наращивать мощность вычислительных ресурсов, но и дробить их в различных пропорциях. Все это еще раз говорит в пользу мобильных решений.

К тому же МЦОД уже завоевал себе нишу там, где обычные ЦОД попросту неприменимы.

Будем надеяться, что именно на фоне кризиса мы увидим самые интересные достижения в создании мобильных центров обработки данных.

Литература

  1. Орлов С.  «Коробочное решение» // LAN, номер 2, 2009 год., http://www.osp.ru/lan/2009/02/7156341/

  2. Материалы  сайта www.sun.com

  3. Материалы  сайта www.lampertz.de

  4. Материалы  сайта www.ibm.com

  5. Материалы  сайта www.rvip.ru

  6. Материалы  сайта www.cherus.ru

  7. Материалы  сайта www.smartronix.com

  8. Материалы  сайта www.technoserv.ru

  9. Материалы  сайта www.ast-global.com

  10.  Материалы Uptime Institute (White Papers)

  11. Начинкин М. «Мобильный центр обработки данных – инновационный подход для бизнеса» // Rational Enterprise Management, номер 1, 2009 год, Cтр. 84-85.