Infiniband коммутатор Voltaire

Высоконагруженные облачные вычисления. 
Решение на базе оборудования HP и Voltaire

 

VoltaireВ 2009 году перед компанией «Тристан» встала задача по поставке и кластерного комплекса облачных вычислений для одного из крупных партнеров. После запуска система должна была обеспечивать беспрецедентную скорость передачи данных между элементами: серверами, системами хранения данных на дисках SATA/SAS и SSD и коммутационными блоками.

На проектной стадии было принято решение использовать скоростную центральную коммутирующую матрицу и несколько коммутационных блоков дистрибуционного уровня. В качестве шины передачи данных внутри матрицы и от матрицы к серверам и контроллерам СХД рассматривались несколько интерфейсов: 40 Gbit Ethernet, FibreChannel и Infiniband. После всестороннего анализа сильных и слабых сторон каждой технологии, соответствия возможностей поставленной задаче, и стоимости решения в целом, выбор пал на технологию Infiniband. Было принято решение использовать в качестве центральной коммутирующей матрицы 324-портовый Infiniband-коммутатор Voltaire Grid Director 4700. В состав комплекса также вошло серверное оборудование и системы хранения данных производства компании HP, в частности серверы ProLiant серии DL и системы хранения данных серии MSA. Также используются коммутаторы дистрибуционного уровня Juniper Networks EX8200.

Стойка HPКомплекс размещается в современном дата-центре высокого класса и занимает несколько серверных стоек. Высокопроизводительный коммутатор Voltaire Grid Director 4700 достигает внутренней пропускной способности на бэкплейне в 51,8 Терабит, что является беспрецедентным и до сих пор не превзойденным показателем, полностью соответствующим поставленной задаче.

Коммутатор используется для объединения в одну распределенную сеть серверов и хранилищ данных, обеспечения маршрутизации и обработки интернет-трафика на скоростях в десятки гигабит и организации передачи данных в кластерной файловой системе GPFS. Он включает в себя 324 Infiniband-порта с пропускной способностью в 40 Гбит/с каждый. Все порты подключены к управляющей матрице «бэкплейну», осуществляющей маршрутизацию передаваемых данных, суммарная производительность составляет 51,8 Терабит в секунду. Оборудование подключается к портам коммутатора с помощью специальных разъемов QFSP, обеспечивающих автоматическую настройку оптимальных параметров передачи данных.

Очевидно, коммутатор выступает центральным звеном системы. Но и остальные представляют особый интерес. Различные серверы HP серии DL, снабженные Infiniband-адаптерами, управляют дисковыми полками серии MSA. Полки работают под управлением кластерной файловой системы GPFS. В результате итоговая суммарная производительность системы находится на ощутимо более высоком уровне, нежели это могло бы быть с использованием более дорогих и скоростных дисковых полок без высокопроизводительного центрального коммутатора.

Немаловажно, что общая стоимость системы с использованием технологии Infiniband в итоге ниже, чем стоимость решения на протоколах Ethernet + FibreChannel. Реализованный компанией «Тристан» проект является беспрецедентным для России по составу оборудования, полученной скорости внутреннего обмена данными и итоговой сложности настолько сложного технологического решения.

*********************************************************

Краткие технические характеристики Voltaire®QDR InfiniBand Grid Director 4700:

  • Экстремальный уровень производительности, благодаря отсутствию узких мест ввода/вывода
  • Неограниченная масштабируемость приложений, баз данных и серверов хранения данных
  • Идеально для научных, коммерческих высокопроизводительных вычислений, а так же корпоративных приложений
  • Ультра-низкая латентность между портами: от 100 до 300 надосекунд
  • 324 QDR (40Gb/s) порта в коммутаторе высотой 19U
  • Уникальная архитектура HyperScale™ позволяет расширяться до тысяч узлов в одной ветви коммутаторов (при латентности до 400 наносекунд)
  • Полоса пропускания: до 51.8 Tbps неблокируемой пропускной способности
  • Простое и быстрое управление устройством через Voltaire Unified Fabric Manager (UFM)
  • Поддержка длинных кабелей
  • Усовершенствованные алгоритмы маршрутизации
  • Расширенный функционал управления перегрузками
  • Благодаря отсутствию единой точки отказа и предупреждениям об отказах в режиме онлайн гарантируется нулевое время простоя

Juniper EX82Общая Ethernet-коммутация и организация интернет-каналов возложены на коммутаторы Juniper EX82. 

За охлаждение отвечают два вентиляторных модуля, вертикальный и горизонтальный. При этом общее направление движения воздуха остается стандартным, спереди – назад. Это сделано для того, чтобы Grid Director можно было устанавливать в обычные стойки в стандартных дата-центрах, хотя все порты у коммутатора расположены сзади, что не так часто встречается. 

Часть хранилищ подключается напрямую по SAS к серверам с Infiniband-модулями. 

 

 

Получить дополнительную информацию.
Заказать проект.
Получить спеццены

(заполните пожалуйста все поля формы)


Контактное лицо
Контактный телефон
Название организации
Адрес электронной почты
Ваш вопрос
Контрольное выражение
1 - 1 = ??

Тристан Системная интеграция
Серверы, системы хранения данных, системы беспребойного питания, беспроводные решения
г. Москва, шоссе Энтузиастов, д. 21, офис 413
Телефон: +7 (495) 730-63-00 +7 (495) 730-61-00