Наверх
Меню
Новости
Статьи
twitter
Память, Сети и коммуникации
20 июня 2011
18338
  SAS коммутатор LSI 6160. Часть 1  
 
Обзор и сценарии использования.

Если вы не слышали про замечательный продукт компании LSI - коммутатор 6Гбит SAS LSI SAS6160, то можно начать с сайта LSI.

SAS коммутатор LSI 6160. Часть 1


Вкратце: еcли вы задумывались о создании SAN (сети хранения данных) небольшого масштаба (десятки серверов и СХД) и протяженности (в пределах 20-30 метров), но стоимость инфраструктуры FC  или 10Гбит iSCSI вас останавливала - то вас выручит SAS.

До недавнего времени внешний SAS рассматривался исключительно как интерфейс для прямого (DAS) подключения одного-двух серверов к дисковой СХД или подключения JBOD-полки к внутреннему RAID-контроллеру в сервере. Со временем количество портов SAS на СХД начального уровня выросло до четырех на контроллер (например, в HP P2000 G3), что позволяет подключить до восьми серверов, а в dual-path подключении - до четырех. Что делать, если нужно больше? С гигабитным iSCSI может не хватить полосы пропускания, FC и 10Гбит iSCSI дороги: двухпортовый FC HBA стоит порядка $1500, свитчи начального уровня - от $4-5k (за $2-3k можно получить лишь что-нибудь типа 8-портового Qlogic 3000-й серии). Рекомендованная цена LSI 6160 - порядка $2500.

SAS коммутаторы как средство решения данной проблемы появились достаточно давно, уже несколько лет HP и IBM предлагают соответствующие решения для своих блейд-серверов. А в 2010 году произошло важное событие: на рынке появилось большое количество SAS-устройств, поддерживающих стандарт SAS-2. Помимо не всегда критичной большой полосы пропускания (6Гбит на один линк, а в SAS, например, при соединении двух экспандров формируется 4x транк с полосой 4x6=24Гбит), в SAS-2 было стандартизировано зонирование. Т.е. существовало оно и раньше (например, в тех же 3Гбит SAS свитчах HP для блейдов), но стандартом не являлось, и список поддерживаемых устройств был весьма ограничен: тот же самый HP 3Gb SAS Bl switch был предназначен, естественно, только для установки в blade-шасси, работал в сочетании с определенным контроллером, а в качестве СХД - либо JBOD MDS600, либо MSA2000 G2.

С появлением во второй половине 2010 года SAS коммутатора LSI 6160 построение больших топологий SAS стало доступно всем.

SAS коммутатор LSI 6160. Часть 1


Зонирование нам дает важный функционал для создания больших SAS топологий: устройства SAS траслируют таблицу зонирования, т.е. список разрешенных комбинаций доступа для различных SAS-адресов в топологии. Формировать таблицу зонирования можно в экспандере, поддерживающем T10-зонирование SAS-2. Осталось лишь получить возможность этим зонированием как-то управлять - что и было сделано в LSI 6160.

SAS коммутатор LSI 6160. Часть 1


То есть SAS коммутатор от LSI построен на двух давно известных чипах LSI2x36, которые применяются, например в экспандерных бэкплейнах Supermicro. Экспандеры объединены в отказоустойчивую схему с разделяемой памятью и снабжены дополнительным контроллером, отвечающим за настройку зонирования.

Физически LSI 6160 представляет собой устройство в небольшом металлическом корпусе. На передней панели: разъем RJ-45 для управления коммутатором, 16 разъемов SFF-8088 (внешний 4x SAS), два из которых поддерживают подключение активных 20-метровых кабелей. Охлаждение - два 40мм вентилятора (через утилиту управления, SAS Domain Manager, можно следить за температурными датчиками и частотой вращения вентиляторов), питание - внешний БП "ноутбучного" форм-фактора.

SAS коммутатор LSI 6160. Часть 1


Два коммутатора и блоки питания можно установить в специальный поддон для монтажа в стойку. Конструктив, возможно, не самый изящный, но вполне соответствует цене устройства. Начать можно с одного коммутатора, но настоятельно рекомендую как можно скорее перейти на отказоустойчивую конфигурацию с двумя коммутаторами, тем более, что все внешние SAS HBA имеют сейчас минимум два 4x порта.

SAS коммутатор LSI 6160. Часть 1


Итак, сценарии использования:

  • Подключение к SAS СХД нескольких серверов: от банального решения проблемы нехватки портов на самой СХД, до построения недорогой и быстрой SAN на чистом SAS: можно построить топологию с несколькими десятками серверов и СХД. Стоит упомянуть о том, что зонирование ограничивает доступ на уровне физических линков (phy), индивидуальный доступ к LUN'ам настраивается средствами самой СХД. Об ограничениях по масштабированию я расскажу позже.
  • Разделяемый JBOD, т.е. дисковая полка не имеющая собственного RAID-контроллера. Если экспандер в JBOD'е поддерживает зонирование, то возможен следующий сценарий: покупаем относительно недорогой большой JBOD с двухсторонним размещением дисков от Supermicro, например SC417E16-RJBOD1 (88 SFF дисков в 4U) или SC847E1(/2)6-RJBOD1 (45 LFF дисков в 4U), один или два SAS коммутатора, SAS-2 RAID-контроллеры с внешними портами в каждый сервер - получаем возможность управлять распределением отдельных дисков между RAID-контроллерами разных серверов. Подобная схема, конечно, совершенно не подходит для задач, требующих разделяемого LUN'а (например, vSphere кластер с VMFS), но является намного более эффективной по сравнению с использованием локальной дисковой подсистемой в каждом сервере. Для зонирования отдельных дисков экспандер в JBOD'е должен поддерживать зонирование (являться т.н. "зонирующим экспандером"), в противном случае все диски автоматически унаследуют зон-группу самого экспандера, т.е. получится отдать только весь JBOD одному серверу целиком.

    Плюсы:

  • Пропускная способность: 24Гбит на каждый порт, т.е. такой полосы вам хватит практически в любых сценариях, узким местом будут являться диски, HBA и шина PCI-E x8. Ждем дальнейшего удешевления SSD, появления PCI-E 3.0 и SAS-3 (а это оптика до 100м и 48Гбит в каждом 4x-wide порте).
  • Латентность - в 20 раз ниже, чем у 10GbE iSCSI и 8Gb FC. В некоторых случая латентность может серьезно повлиять на производительность, в данном случае с этим проблем нет - протокол SAS проще, так же как и устройство коммутатора.
  • Стоимость порта. Напрямую сравнивать с FC не имеет смысла - все зависит от масштаба сети. Пока что можно сказать, что стоимость порта при использовании SAS коммутатора сравнима с гигабитным iSCSI: хорошие гигабитные свитчи стоят недешево, цена двухпортовых GbE карточек (например, на чипе Intel 82576) ненамного меньше SAS HBA.

    Минусы:

  • Репликация. Непосредственно через SAS репликации (пока?) не существует. Так что остается использовать программные решения на стороне хоста.
  • Дистанция. Только два порта на LSI 6160 поддерживают активные SAS кабели длиной 10 и 20 метров.

    Масштабируемость. Тут действуют несколько простых правил:

    1. До 6 экспандеров в каскаде, каждый SAS коммутатор считается за один экспандер. Если каскадируются только коммутаторы, то до 4-х.
    2. Максимум 64 экспандера в одной топологии.
    3. Все соединения между инициатором (таргетом) и коммутатором должны быть 4x. Для отказоустойчивых конфигураций необходимо использовать несколько коммутаторов. Пример: каждый порт 2-портового HBA и каждый порт каждого контроллера в СХД подключаются к своему коммутатору.

    Вот пока что и все. В следующем посте будет практика: подключим пару серверов к LSI CTS2600 через SAS коммутатор (собственно, это всего лишь тестовая инсталляция - при таком количестве серверов использование коммутатора совершенно не нужно), посмотрим интерфейс SAS Domain Manager'а и как это все отражается на работе VMware ESXi.


  •  



    Поделиться с друзьями:


    Другие новости по теме
     
    Вы не авторизованный пользователь. Чтобы воспользоваться всеми возможностями сайта, зарегистрируйтесь.
     

    Комментарии

    Добавление комментария
    Ваше имя
    Ваш Email
    Код Включите эту картинку для отображения кода безопасности
    обновить код
    Введите код