Распечатать

Connect! Мир связи

Современные технологии построения структурированной кабельной системы для центров обработки данных.

1 ноября 2006

Современные технологии построения структурированной кабельной системы для центров обработки данных.

Консолидация ИТ-ресурсов крупных предприятий в специализированных центрах обработки данных (ЦОД) представляется сегодня как наиболее эффективный путь развития ИТ-технологий на ближайшее будущее. Современные технологии консолидации, виртуализации и единая система управления позволяют значительно сократить затраты на эксплуатацию сложных информационных комплексов.

Центры обработки данных в разных компаниях отличаются друг от друга. В них могут применяться разные среды передачи данных, разные объемы данных, а специфика помещений, зданий, как правило, уникальна. Но для правильной организации и стандартизации подсистем ЦОД требуется единый подход к проектированию, планированию размещения оборудования, выбору специальных решений и реализации структурированной кабельной системы. Ассоциация телекоммуникационных специалистов США (Telecommunications Industry Association), которая является основным разработчиком стандартов для телекоммуникаций в Северной Америке, создала многопрофильный, универсальный подход, который позволил объединить работы архитекторов, строителей и ИТ-инженеров и гарантировать координацию их деятельности в ходе реализации проекта. Недавно принятый стандарт TIA/EIA-942 определяет ЦОД как отдельное здание или часть здания, в котором размещаются вычислительное оборудование коллективного пользования, а также сопутствующие инфраструктурные подсистемы, обслуживающие данное оборудование.

Структурированная кабельная система ЦОД включает в себя несколько основных зон: помещения для ввода кабелей; место размещения телекоммуникационного и серверного оборудования; а также главный коммутационный центр (Main Distribution Area, MDA), к которому через коммутационные панели подключают конечное оборудование внешних и внутренних пользователей. Кроме того, в эту область могут интегрироваться коммутационные центры горизонтальной разводки, обслуживающие оборудование в непосредственной близости от MDA. Реализация горизонтальной и магистральной проводок согласно стандарту TIA/EIA 942 осуществляется по принципу «иерархическая звезда».

Требования к СКС для ЦОД

Соответствие класса надежности СКС классу надежности ЦОД

Сегодня уже не только крупные корпорации, но и средние по размеру компании стремятся к тому, чтобы их центры обработки данных соответствовали как минимум третьему (Tier III) из четырех классов отказоустойчивости, согласно классификации, предложенной The Uptime Institute. Это означает, что все системы инженерного обеспечения ЦОД должны быть зарезервированы, а их архитектура обеспечивать выполнение регламентного или аварийного отключения без остановки вычислительных и телекоммуникационных систем.

При расчете характеристик СКС ЦОД необходимо иметь в виду, что количество физических соединений, обеспечиваемых СКС, должно быть, по крайней мере, вдвое больше, чем количество логических соединений между оборудованием. Распространяя принципы резервирования систем ЦОД на СКС, мы приходим к выводу, что случайный или умышленный разрыв любого соединения не должен привести к перебоям в функционировании вычислительного комплекса ЦОД. Таким образом, для создания отказоустойчивой СКС в ЦОД необходимо «всего лишь» использовать разные трассы прокладки кабелей для основного и резервного путей.

Поддержка высокоскоростных протоколов передачи данных

Чтобы разработать архитектуру СКС, обеспечивающую гибкие возможности коммутации внутри ЦОД, специалисты по структурированным кабельным системам ЦОД должны не только хорошо ориентироваться в архитектуре Ethernet-сетей, но и иметь представление об архитектуре сетей систем хранения данных (SAN). Для сертифицированных проектировщиков СКС SYSTIMAX задачу упрощает разработанная производителем полная спецификации параметров, определяющих условия работы протоколов на кабельных трактах СКС (SYSTIMAX SCS Performance Specifications).

Обеспечение удобства эксплуатации

Для этого в состав SYSTIMAX® SCS входит целый ряд уникальных компонентов:
  • Медные кроссы VisiPatch, обеспечивающие уникальное удобство коммутации на медных кроссах Категории 6;
  • Кроссовые панели PatchMax, из которых можно собирать, как медные, так и оптические или комбинированные коммутационные поля;
  • Система автоматизированной коммутации Systimax iPatch® представляет из себя аппаратно-программный комплекс, позволяющий многократно облегчить задачу управления СКС. Интеллектуальные технологии позволяют существенно повысить эффективность работы ИТ-специалистов, обслуживающих инфраструктуру  ЦОД.

Минимизация пространства, которые занимают кросс СКС

Стоимость инженерной инфраструктуры ЦОД в пересчете на квадратный метр полезной площади составляет от $10 000 до $30 0000, а стоимость вычислительных систем от $50 000 до $100 000, поэтому эффективное расположение кроссовых полей может сэкономить немалые средства.
Компания «Энвижн Груп» впервые в России применила новое поколение модульных оптических кроссов 1000G2, в которых на 4 юнитах размещается 144 коннектора LС (максимально до 288 LC коннекторов).
Для того, чтобы разместить кроссовые панели СКС там, где устанавливается крупногабаритное оборудование, RISK-серверы, дисковые массивы и ленточные библиотеки в фальшпол ЦОД встраиваются специализированные лючки. Совсем недавно эти лючки, ранее выпускавшиеся американской компанией CPI, вошли в состав Systimax Solutions.
Для создания сводного плана инженерных сетей ЦОД специалисты «Энвижн Груп» в системе автоматизированного проектирования используют трехмерное моделирование всех без исключения компонентов ЦОД. Такой подход позволяет максимально компактно расположить кабельные трассы под потолком и фальшполом, а также исключить ошибки при взаимном размещении кабельных каналов, трубных разводок и оборудования.
 
Возможность расширения
 
Чтобы обеспечить возможность расширения необходимо при проектировании СКС обеспечить:
  • запас по емкости кабельных каналов;
  • запас по портам на патч-панелях;
  • запас по емкости в кроссовых шкафах или стойках.
Минимальный запас в ЦОД должен быть не менее 20%.
 

Соответствие системы маркировки СКС требованиям стандартов TIA/EIA‑942 и TIA/EIA‑606.

Система координат датацентра создается в соответствии с расположением плит фальшпола. Плиты фальшпола маркируются аналогично ячейкам в  MS Excell (по горизонтали от А до Z, и от АА до ZZ, а по вертикали – 1, 2, 3,   и т.д.).
Все идентификаторы компонентов СКС в ЦОД должны быть жестко привязаны к системе координат датацентра. В стандарте TIA/EIA‑942 подробно описаны именование и маркировка компонентов СКС в ЦОД.
Технологии структурированных кабельных систем ЦОД.
Прежде всего, необходимо отметить, что в центре обработки данных может присутствовать не одна, а несколько СКС.
Опыт наших проектов говорит о том, что СКС в ЦОД, помимо задачи создания кабельной инфраструктуры для вычислительных и телекоммуникационных систем, используется для организации сети автоматизированной системы диспетчеризации и управления. В отдельных случаях (когда ЦОД обслуживает диллинговый центр), СКС используется для передачи видео и управляющих сигналов от системных блоков компьютеров, расположенных в ЦОД, к мониторам на столах трейдеров. Эти СКС, располагаясь в одном помещении, иногда могут быть не связаны между собой.
 
Задачи каждой из этих СКС различны и требования к ним различаются. Производители СКС не только участвуют в разработке кабельных стандартов, но и выпускают на их основе собственные документы, разъясняющие, каким образом  требования стандартов должны быть использованы при проектировании и монтаже СКС.
 
У SYSTIMAX SOLUTIONS такой документ называется: «Data Center Design Considerations». Он целиком базируется на требованиях стандарта TIA/EIA-942 к структурированной кабельной системе. В свою очередь, требования к проектированию СКС для систем диспетчеризации и управления изложены в  инструкции по проектированию “Building automation system general design guidelines”. Документы производителя подтверждают совместимость СКС SYSTIMAX® с системами диспетчеризации и управления следующих производителей:
  • Andover Controls;
  • Carrier® Corporation;
  • Echelon Corporation;
  • Honeywell;
  • Johnson Controls;
  • Matsushita Electric Works;
  • Siemens;
  • Vingcard.
Нельзя не упомянуть еще один документ, без которого невозможно создать СКС ЦОД. Это «Руководство по разделению с силовыми линиями при инсталляции СКС SYSTIMAX®». Его требования являются обязательными, как и требования ПУЭ.

В центрах обработки данных собираются все самые передовые технологии на рынке, поэтому для создания СКС в ЦОД целесообразно использовать три самые передовые из них:
 
1. Одномодовый кабель из семейства SYSTIMAX TeraSPEED и оптоволокно ZWP-SM (zero water peak singlemode, одномодовое волокно с нулевым водяным пиком). Традиционное волокно ограничено двумя узкими "окнами" рабочих длин волн, 1310 нм и 1550 нм,  Однако, в традиционном одномодовом волокне работе лазера в промежутке между этими частотами мешает “водяной пик” с высоким затуханием, возникающий в районе 1400 нм при традиционных способах производства.
 
Оптоволокно SYSTIMAX TeraSPEED ZWP-SM предназначено для работы во всем диапазоне длин волн от 1280 нм до 1625 нм, удаляя водяные пики (высокое затухание) в окне 1400 нм и увеличивая диапазон доступных длин волн по сравнению с традиционным одномодовым оптоволокном более чем на 50%. Благодаря использованию расширенного диапазона доступных длин волн всеволновое оптоволокно TeraSPEED позволяет использовать до 16 каналов CWDM (Coarse Wave Division Multiplexing, разреженное спектральное мультиплексирование – наилучший вариант упаковки нескольких каналов в одно оптоволокно) и до 400 каналов DWDM (Dense Wave Division Multiplexing, плотное спектральное мультиплексирование). Кроме того, это всеволновое оптоволокно предлагает заказчикам возможность защиты от будущих перемен: если оптоэлектроника перейдет к увеличенным последовательным скоростям или сместится к увеличению числа длин волн, оптоволокно TeraSPEED обеспечит поддержку обоих вариантов. Оптоволоконные кабели TeraSPEED совместимы со стандартом ITU-T G.652.D и поддерживают унаследованные приложения и транспортное оборудование. Даже если требования к пропускной способности будут расти с экспоненциальными скоростями, решение TeraSPEED обеспечит для заказчиков возможность дальнейшего развития, поддерживая переход магистралей комплекса зданий предприятия на повышенные скорости либо последовательно, либо с помощью нескольких длин волн.
 
2. Технология SYSTIMAX LazrSPEED с использованием волокна семейства ОМ3 стала первым в мире многомодовым оптоволоконным решением, поддерживающим последовательную передачу 10 Гб/с при 850 нанометрах на расстояния до 550 метров –– более чем достаточно для магистрали здания. Благодаря увеличенному расстоянию топология с единой точкой администрирования становится реальной недорогой возможностью, позволяя большему количеству магистралей комплексов зданий поддерживать 10 Гб/с по многомодовому оптоволокну и являясь более дешевой альтернативой одномодовому решению. Оптимизированное для лазера многомодовое оптоволокно обеспечивает идеальную среду передачи фотонов. Дополнительная пропускная способность и увеличенный размер сердечника этих оптических волокон практически устраняют необходимость использования дорогих высокоточных лазеров, объединителей, разделителей и фильтров.
 
Оптические волокна LazrSPEED позволяют передавать со скоростью 10 Гб/с, используя только один трансивер VCSEL. Это приводит к снижению совокупной стоимости владения (до 30 процентов) по сравнению с традиционными оптическими волокнами, требующими сложной комбинации оптоэлектронных устройств и нескольких рабочих длин волн. Оптимизированное для лазера многомодовое оптоволокно в кабеле LazrSPEED минимизирует дифференциальную задержку сигналов (DMD), гарантируя, что проходящие по различным путям фотоны попадут на детектор в нужное время. Минимизируя эту форму дисперсии, технология LazrSPEED обеспечивает высокоскоростную, высоконадежную передачу на расстояние в сотни метров с дополнительной гарантией оптимальности работы, используя несколько имеющихся в продаже коротковолновых лазерных источников.
 
3. Технология SYSTIMAX® GigaSPEED® X10D обеспечивает работу недавно принятого протокола IEEE 802.3an который позволяет передавать данные по медному кабелю UTP со скоростью 10 Гбит/с. Компоненты X10D включают в себя кабели Категории 6а, розеточные модули и патч-панели.
 
4. Технология SYSTIMAX® GigaSPEED® XL. Это решение категории 6 обеспечивает передачу данных на скоростях до 1 Гбит/с
 
5. Интеллектуальные СКС (SYSTIMAX® iPatch) 
Система iPatch включает четыре типа компонентов:
  • коммутационные панели iPatch;
  • управляющие панели Rack Manager;
  • управляющие панели Network Manager;
  • программное обеспечение System Manager.
Работа системы выглядит следующим образом:
  • Коммутационные панели iPatch постоянно отслеживают состояние портов и сообщают об изменениях соответствующим панелям Rack Manager, установленным в каждом шкафе. В свою очередь панели Rack Manager передают эту информацию на панель Network Manager, которая связана с ПК с установленным ПО System Manager через локальную сеть TCP/IP.
  • ПО System Manager поддерживает базу данных соединений, включая расположение, доступность и использование портов на коммутационных панелях, а также сервисы, предоставляемые в отдельные помещения и для конкретных сотрудников.
  • На основе базы данных создается карта соединений, которая может использоваться администратором сети для выполнения различных функций.
  • Администраторы с помощью ПО System Manager выписывают рабочие задания, которые передаются и индицируются на дисплеях панелей iPatch в аппаратных комнатах.
На выбор технологии монтажа СКС в ЦОД влияют 3 известных критерия:
  • качественно;
  • быстро;
  • дешево.
К сожалению, совместить их бывает сложно, поэтому заказчику предлагается выбрать из двух вариантов: «Качественно и быстро» или «Качественно и дешево».
В первом случае применяется технология быстрого монтажа кабельных сборок. У SYSTIMAX SOLUTIONS эта система называется InstaPATCH Plus. В ней используются принципы детского конструктора. Для создания СКС необходимо заказать компоненты:
  • кабели InstaPATCH Plus, оконцованные в заводских условиях, коннекторами типа MPO, которые позволяют соединять по 12 волокон одновременно;
  • корпуса оптических кроссов;
  • модули для оптических кроссов, оконцованные коннектором МРО.
Затем, оптический сегмент СКС собирается в соответствии с проектом. При этом используются только разъемные соединения, а не сварка или склейка. Технологию InstaPATCH имеет смысл рекомендовать при поэтапном заполнении ЦОД, поскольку перед установкой оборудования не составит большого труда собрать дополнительный сегмент СКС из заранее заказанных материалов.
 
Во втором случае используется технология сварки оптических волокон. Время, затраченное на оконцевание кабелей с лихвой окупается, поскольку стоимость системы InstaPATCH Plus включает в себя затраты на разделку и оконцевание кабелей и модулей за рубежом, что значительно дороже, чем разделка оптических кабелей в полевых условиях в России.
Что касается монтажа медной подсистемы СКС в ЦОД, то в зависимости от проектного решения он может быть смонтирован, как по схеме интерконнект, так и  по схеме кросс-коннект. Возможно также использование разрешенной для датацентров топологии зонной проводки.
 
От хорошо спроектированной и правильно построенной кабельной инфраструктуры в ЦОД требуется высокая скорость передачи данных, высокая надежность, удобство эксплуатации, высокая плотность монтажа и экономичность. Она должна отвечать растущим требованиям оборудования к пропускной способности, новым стандартам и системам, предусматривать возможности роста и избыточности, оставаясь при этом хорошо управляемой.  Любые преимущества производителей СКС оправдываются только при правильном проектировании и соблюдений при инсталляции всех технологических требований производителя систем. Технологическая ошибка может быть незаметна с первого взгляда, но она проявит себя в будущем, в виде нестабильной работы и плохо диагностируемой проблемы. Несомненна, важна роль интегратора, который проектирует и интегрирует компоненты СКС совместно с другими подсистемами ЦОД, где СКС является только частью решения. Для монтажа системы необходим профессиональный коллектив, имеющий навыки и опыт монтажа конкретной системы  в рамках специальных технологических требований  к центрам обработки данных. От слаженной работы всего коллектива интегратора, который проектирует и строит  комплекс решений для современного ЦОД,  зависит успешная эксплуатация всех ИТ-системы предприятия.
 
Сегодня многие отмечают тенденцию к сегментации рынка СКС. Компания «Энвижн Груп», стремясь к лидирующим позициям на телекоммуникационном рынке России, уделяет особое внимание развитию таких сегментов, как:
  • интеллектуальные СКС;
  • СКС для центров обработки данных;
  • Промышленные СКС;
  • СКС для «умного дома»;
  • Видео-СКС

 Для нас СКС – это не просто среда для систем передачи данных, а комплекс решений и технологий, без которых сегодня нельзя представить телекоммуникационный рынок.

Игорь Анисимов, руководитель дирекции инженерных систем «Энвижн Груп»