DataBox — ЦОД из коробки

By | Июнь 11, 2015

Каждый хочет свой маленький ЦОДик. Некоторое время назад мы начали предлагать нашим клиентам новое комплексное решение — DataBox. Это полный комплект для решения базовых вычислительных задач серверного уровня: сервера, сеть и хранение данных. Узнайте о DataBox больше в этом посте.

ЦОД из коробки от экспертов Netcube

Мы выбрали наиболее рациональные компоненты для того «зерна» из которого будет расти серверная инфраструктура наших заказчиков. В результате, компоненты системы отлично сбалансированы.

Имя решения образовано просто: ЦОД — Data Center, коробка — box. Смешать но не взбалтывать и получим DataBox — ЦОД из коробки.

Решение DataBox построено нами на базе техники наших партнёров — Cisco и EMC и позволяет в короткие сроки развернуть весть комплекс инфраструктуры, включая сервера, сетевые соединения и хранилище данных. Мы разработали систему так, чтобы её можно было масштабировать с ростом компании и эффективно управлять техническими средствами в процессе эксплуатации.

Из чего сделан DataBox?

Решение DataBox основывается на новых продуктах компаний – лидеров на рынке блейд серверов и систем хранения — Cisco и EMC.

DataBox - решение на базе Cisco и EMCИспользуемые нами Cisco UCS Mini и EMC VNXe3200 практически не уступают старшим моделям Cisco UCS и EMC VNX. Предлагаемое решение построено в соответствии с дизайном VSPEX, совместно разработанным производителями оборудования, что служит гарантией стабильной работы и производительности.

Мы сделали два варианта системы:

  • ЦОД DataBox Plus позволит обеспечить потребности
    среднестатистической организации из 250 сотрудников
  • ЦОД DataBox рассчитан на решение задач компании с численностью до 100 сотрудников

Оба варианта способны обеспечить работу основных корпоративных систем, например, электронной
почты, службы каталогов, офисных АТС, CRM и ERP систем.
Предлагаемое решение протестировано на совместимость с системами виртуализации: Vmware vSphere v5/v6, Microsoft Hyper-V, Citrix Xen, KVM и др.

Netcube DataBox topologyСреди основных преимуществ нашего решения:

  • наличие унифицированной коммутационной фабрики, которая обеспечивает подключение серверов с пропускной способностью до 40Гбит/с,
  • возможность создания до 256 адаптеров требуемого типа (1/10Gb/FC) на каждом сервере,
  • удобное администрирование через единую систему управления.

Подключение к локальной сети осуществляется на скорости 1/10Гбит/с. Система хранения данных подключается к DataBox, используя выделенные интерфейсы FC 8Гит/с, что обеспечивает бесперебойность работы и высокую производительность.

А что там за два варианта DataBox?

Два варианта различаются производительностью, при этом технологическая основа у них одна. Это одно решение. Смотрите:

Базовый вариант DataBox

Если коротко, то в базовом варианте DataBox вы получаете следующие ресурсы:

  • Суммарно 45,6 GHz  со всех 24 ядер процессоров
  • Суммарно 128 Gb Оперативной памяти на два вычислительных узла
  • 3,6 Tb ёмкости накопителей в системе хранения данных

DataBox - configurationЧем всё это обеспечивается? В комплект входят:

  • Одно блейд шасси Cisco UCS 5108
  • Два сервера Cisco UCS B200M4 Basic1 с адаптерами Cisco UCS VIC 1340
  • Два коммутатора Cisco Interconnect UCS SP 6324
  • Одна система хранения данных VNXe3200 с двумя контроллерами и дисками SAS 10K

Расширенный вариант DataBox Plus

Здесь больше производительности и ёмкости, а также больше вычислительных узлов. В варианте DataBox Plus вы получаете следующие ресурсы:

  • Суммарно 155,2 GHz  со всех 48 ядер процессоров
  • Суммарно 512 Gb Оперативной памяти на два вычислительных узла
  • 22 Tb ёмкости накопителей в системе хранения данных

DataBox Plus specificationsЧем всё это обеспечивается? В комплект входят:

  • Одно блейд шасси Cisco UCS 5108
  • Четыре сервера Cisco UCS B200M4 Standard2 с адаптерами Cisco UCS VIC 1340
  • Два коммутатора Cisco Interconnect UCS SP 6324
  • Одна система хранения данных VNXe3200 с двумя контроллерами и дисками SAS 10K

А что за железки под капотом DataBox?

Хорошие железки. Блейд-корзина снабжена резервными блоками питания и вентиляторами, сервера снабжены современными процессорами и крутыми сетевыми адаптерами, сеть 10Гбит и можно сделать аплинки на 40Гбит, а в системе хранения данных имеет два независимых производительных контроллера, что обеспечивает высокую надёжность. Давайте посмотрим на всё по-порядку.

Сервера и шасси Cisco UCS серии B

Cisco B200M4 – сервер половинной ширины. Блейд-шасси 6U Cisco UCS 5108 вмещает в себя до 8 таких высокоплотных, двухразъемных блейд-серверов, обеспечивая одну из самых высоких плотностей серверов на один стоечный юнит.

databox-ucs-bСервер включает:

  • Два многоядерных процессора семейства Intel Xeon
    processor E5-2600 v3 с поддержкой до 16 ядер.
  • 24 DIMM-слота для стандартных модулей памяти DDR4 с поддержкой частоты до 2133 МГц и общим объемом до 768 Гб (16Гб DIMM модули).
  • Два дополнительных, оперативно заменяемых привода SAS, SATA HDD или SSD.
  • Удаленное управление с помощью встроенного контроллера управления Cisco Integrated Management Controller (CIMC), который использует настройки, заложенные в менеджере Cisco UCS Manager.
  • Внеполосный доступ с помощью удаленного KVM-
    переключателя, протокола Secure Shell (SSH) Protocol и vMedia, а также благодаря интеллектуальному интерфейсу
    управления платформой Intelligent Platform Management Interface

Но это не всё — каждый сервер включает сетевой адаптер Cisco UCS VIC. Что в нём особенного?

Сетевой адаптер Cisco UCS VIC

Мы когда-то уже писали про разновидности сетевых адаптеров для Cisco UCS. Это один из «особенных» адаптеров от Cisco. Он построен на специальном ASIC, который позволяет создавать до 256 программируемых виртуальных интерфейсов. Каждый интерфейс виден операционной системе (или гипервизору) сервера как отдельный полностью самостоятельный интерфейс.

Cisco UCS VIC1340Cisco VIC может создавать виртуальные интерфейсы двух основных типов — Ethernet для сетевой связности и FiberChannel HBA для подключения дисков.

Каждый адаптер предоставляет:

  • До 40 Гб на сервер До 256 адаптеров(1/10Гб Eth, FC/FCOE)
  • Возможность создания pass through — независимость от гипервизора, до 30% увеличения производительности
  • Большая пропускная способность PCIeGen3 x32
  • Большая масштабируемость до 1024 устройств
  • Низкая задержка 2 мкс точка-точка
  • Встроенные ресурсы для обработки трафика NVGRE, VXLAN

Физически, адаптер подключается по интерфейсам 10GBASE-KR через шину блейд-корзины к интерконнектам 6324. К каждому интерконнекту адаптер подключается двумя линиями 10G.

Интерконнекты? Cisco Fabric Interconnect 6324

Интерконнект — это сетевое сердце системы. Он осуществляет коммутацию трафика между различными подсистемами DataBox и внешней сетью.

В каждой блейд-корзине в составе DataBox устанавливается два таких устройства. По сути, ASIC интерконнекта обладает 24 портами 10G, из них:

  • 4 внешних порта 10Ge
  • 1 внешний порт 40Ge

Ещё 16 смотрят внутрь корзины и подключаются к серверам.

ucs fabric 6324

Производительность одного такого устройства составляет:

  • Пропускная способность 500 Гб/сек (375 Mpps)
  • Низкая задержка меньше 1 мкс

Внешние порты универсальны: через них можно подключить DataBox к корпоративной сети, можно подключить внешний сервер и систему хранения.

О системе хранения EMC VNXe3200

СХД VNXe3200 — унифицированная система с функционалом уровня Enterprise, в которой возможен как блочный, так и файловый доступ к данным.

DataBox EMC VNXe3200Эта система хранения данными обладает простыми средствами управления и настройки при высокой эффективности.

Внутри этого хранилища:

  • Каждый контроллер построен на процессорах Intel Sandy Bridge 2,2 ГГц, имеет увеличенный объем памяти и расширенную поддержку флэш-дисков (SLC и MLC, а также пакета FAST Suite);
  • Интерфейсы Fibre Channel и встроенная поддержка подключения по iSCSI: встроенный модуль 10GBaseT Ethernet и дополнительный модуль ввода-вывода Fibre Channel 8 Гбит/с, что позволяет использовать протоколы FC, iSCSI, CIFS, NFS и SMB3;
  • На программном уровне — оптимизированная для многоядерных процессоров архитектура MCx™ (технологии Multicore RAID, Multicore Cache и Multicore FAST Cache), повышающая эффективность использования процессора и производительность системы хранения.