Сетевые интерфейсы Ethernet на скорость 40 и 100 Гбит/с

Необходимость внедрения новых типов интерфейсов и их технические особенности

Основная масса активного сетевого оборудования, используемого при построении информационно-вычислительной инфраструктуры аппаратного зала ЦОД, в начале второго десятилетия нового века снабжается сетевыми интерфейсами 10G Ethernet. За период, прошедший с момента завершения разработки этой техники до начала ее массовых поставок для использования в типовых проектах, появилось достаточно большое количество новых сервисов, которые выдвигают к сетям все более жесткие требования в отношении пропускной способности каналов связи. К подобным потребителям ресурсов сетей можно отнести, например, такие публичные услуги, как «видео по запросу» или телеконференции, поддержку которых вполне может осуществлять ЦОД. Наряду с внешними потребностями немаловажное значение приобретают такие тенденции внутреннего плана, как быстрый рост популярности облачных вычислений, весьма требовательных в отношении предоставляемой ширины каналов связи. Совместное воздействие этих факторов приводит к взрывному росту объемов передаваемых данных.

В сложившихся условиях возможности 10-гигабитной техники даже в случае обращения к технологии транкинга, которая заметно расширяет ее функциональные возможности, оказываются уже во многом исчерпанными. Прямым следствием сложившегося положения дел стало появление потребности в переходе к следующему поколению сетевой аппаратуры, обладающему качественно иным уровнем быстродействия. Данная задача была полностью решена для волоконно-оптической аппаратуры в конце первого десятилетия нового века. Результаты проведенной работы нашли свое отражение в стандарте IEEE 802.ЗЬа [26], который был ратифицирован 17 июня 2010 г. и фиксирует основные технические параметры сетевых интерфейсов Ethernet, обеспечивающих информационную скорость передачи данных в 100 Гбит/с.

Рис. 1.9. Влияние протяженности оптической линии СКС на затраты по ее реализации в случае применения многомодовой (сплошные линии) и одномодовой (пунктирные линии) элементной базы (скорость 10 Гбит/с)

Основные параметры волоконно-оптических вариантов сетевых интерфейсов Ethernet задает стандарт IEEE 802.ЗЬа. Этот нормативный документ вместе с последующими дополнениями (например, изданный в 2011 г. стандарт IEEE 802.3bg [27], фиксирующий характеристики 40-ги- габитного одномодового оптического интерфейса) следует рассматривать с позиций единого комплекса, без наличия которого невозможно создание оборудования нового поколения. Для обозначения новой разновидности техники привлекается традиционное обобщающее наименование 406 Ethernet и 100G Ethernet (достаточно часто применяются также хорошо узнаваемые сокращения 40GbE и lOOGbE, соответственно). Для указания конкретного типа используется система суффиксов, кодирующих тип среды передачи, количество спектральных каналов, используемых в линейной части, дальность действия и другие аналогичные параметры.

Отдельно укажем на то, что разработанная нормативная база демонстрирует комплексный подход. В частности, область стандартизации охватывает решения, фокусной областью которых являются линии на основе различных разновидностей электропроводных и оптических кабелей (табл. 1.3). При этом протяженность формируемых трактов может изменяться в очень широких пределах: от полноценных многокилометровых линий до коротких шнуров прямого соединения в пределах одного шкафа или, максимум, их группы.

Выбор общей структуры сетевого интерфейса нового поколения производится с учетом того, что передача 40- и 100-гигабитного информационного потока в одном канале сопряжена с очень большими техническими сложностями. Это определяется достаточно высокими частотами модуляции даже при использовании сигналов в формате NRZ, наиболее экономичных по ширине спектра, которые дополнительно сочетаются с применением многоуровневой схемы кодирования.

Кроме того, статистика реализованных проектов (рис. 1.10) наглядно свидетельствует о том, что примерно 90% оптических линий даже классических офисных СКС по протяженности не превышают 100 м.

Таблица 1.2. Некоторые параметры оптических интерфейсов сетевой аппаратуры ИВС

В данной ситуации для обеспечения 40- и 100-гигабитной пропускной способности канала связи при достигнутом уровне техники целесообразно использовать принцип многоканальной передачи в нескольких параллельных субканалах. Такой подход в сочетании с сохранением используемого ранее блочного кодирования 64В/66В дает возможность в разы уменьшить тактовую частоту как линейного сигнала, так и схем обработки более высокого уровня. В качестве иллюстрации данного утверждения сошлемся, в частности, на то, что в стандартизованном в настоящее время высокоскоростном Ethernet уровень ММ должен функционировать с относительно невысокой тактовой частотой 625 МГц для 40 Гбит/с и 1,5625 ГГц для 100 Гбит/с.

В области сетей связи общего пользования передача в нескольких субканалах с меньшей скоростью в каждом из них широко используется в варианте спектрального мультиплексирования. Для ИВС подобный подход малоперспективен из-за сочетания малой протяженности линий и высокой стоимости оптических мультиплексоров, а также отсутствия задела подобной техники для применения в многомодовых системах.

Второй вариант организации многоканальной связи предполагает выделение под каждый канал отдельной цепи передачи и известен под специальным наименованием схемы параллельной передачи. Для сетей связи общего пользования подобный подход бесперспективен из-за своих крайне неудовлетворительных экономических параметров при передаче даже на относительно небольшие (порядка единиц километров) расстояния. Немаловажное значение приобретает весьма сложно разрешимая техническая проблема обеспечения синхронности функционирования отдельных субканалов параллельных интерфейсов. В технике ЛВС, где на основании статистики рис. 1.10 вероятность необходимости организации связи на расстояния, предельные по техническим ограничениям, исчезающе мала, она пользуется заметно большей популярностью. В частности, в массовом масштабе данный принцип применяется уже свыше десяти лет на уровне межблочного соединения и организации стека коммутаторов.

Рис. 1.10. Типовое распределение длин линий оптической связи в ЦОД

Заметно лучшие стоимостные характеристики решения, в основу которых положено пространственное мультиплексирование, при реализации линий небольшой протяженности определяются комплексом причин, в том числе:

• • отпадает необходимость установки на концах линии модулей оптических мультиплексора и демультиплексора, которые даже после характерного для первого десятилетия нового века радикального снижения цен обладают неудовлетворительными стоимостными параметрами;
• • можно не применять сложных линейных кодов и во многом унифицировать технику систем следующего поколения со своими менее скоростными предшественниками;
• • в процессе построения линии связи без потери качества передаваемого сигнала можно отказаться от применения дорогостоящих оптических передатчиков с контролируемой длиной волны и узкой спектральной линией излучения (относительные стоимостные параметры 10-гигабитных модулей XFP демонстрирует табл. 1.2).

Качественное стоимостное сравнение одномодовой и многомодовой техники при разных скоростях передачи приведено на рис. 1.9. Из представленных там графиков следует:

• • на линиях небольшой протяженности экономически более выгодна многомодовая техника, что определяется заметно меньшей стоимостью оптоэлектронной элементной базы;
• • при увеличении протяженности линии ценовое преимущество переходит к одномодовой технике, что определяется меньшей стоимостью одномодового кабеля;
• • по мере увеличения пропускной способности линии скорость роста ее стоимости при наращивании длины растет, что объясняется необходимостью применения более дорогих качественных волокон и перехода на схему параллельной передачи при скорости свыше 10 Гбит/с;
• • по мере роста скорости передачи «точка равновесия» смещается в сторону меньших длин, что объясняется в первую очередь большим темпом роста стоимости многомодовой линии, по сравнению с одномодовой (параллельная передача более затратна, по сравнению со спектральным уплотнением).

При создании техники с новым уровнем быстродействия был использован целый арсенал разнообразных технических приемов. Их характерной особенностью стало то, что в работе задействовались как апробированные ранее технические решения, в том числе традиционно заимствованные из техники дальней связи, так и привлекались новые, не встречавшиеся ранее подходы.

С целью сокращения продолжительности разработки и экономии затрат на НИОКР в качестве прототипа при разработке схемных решений новых типов интерфейсов со средней и большой дальностью действия была в максимально полной степени использована хорошо зарекомендовавшая себя технология 106 Ethernet.

Оборудование стандарта 802.ЗЬа из соображений обеспечения преемственности, упрощения стыковки со своими менее скоростными предшественниками и увеличения качества функционирования использует традиционный формат кадров Ethernet. Одновременно параметры сетевых интерфейсов и трактов любой формы их исполнения выбираются и нормируются таким образом, чтобы обеспечить вероятность битовых ошибок линейных сигналов не более 10~¹² при максимальной спецификационной дальности связи без переприема.

Таблица 1.3. Максимальные протяженности трактов передачи при различных типах направляющих систем

Сервис, предоставляемый системному администратору в области диагностики и управления, также в основном соответствует уровню, обеспечиваемому 10-гигабитной техникой.

Для многомодового волоконно-оптического варианта сетевого интерфейса установлено, что в процессе своего функционирования в линии используется классическая схема параллельной передачи. Определено, что работа в этом случае ведется на экономически выгодной длине волны 850 нм.

Обращение именно к такой схеме построения интерфейса обусловлено тем, что данная техника имеет ряд явно выраженных достоинств. В качестве основных преимуществ целесообразно указать на следующее:

• • заметно более высокая экономическая эффективность решения в целом по сравнению с альтернативными вариантами передачи в моноканале и применения техники спектрального мультиплексирования;
• • относительная простота и бесшовный характер перехода от 40- к 100-гигабитной скорости без замены стационарных линий ранее инсталлированной кабельной системы;
• • сравнительно небольшой объем новых разработок в области физического уровня канала связи за счет возможности широкого использования имеющегося технического задела (ленточные волокна, разъемы МТР/МРО в 12- и 24-волоконном вариантах);
• • возможность работы на схемотехнически хорошо отработанной в оборудовании предшествующих поколений 10-гигабитной скорости в каждом индивидуальном субканале.

Тем не менее при всех ее несомненных достоинствах классическая техника параллельной передачи требует обязательного решения ряда серьезных задач:

• • появляется необходимость в стандартизации и контроле такой не встречавшейся ранее характеристики, которой является skew для оптических трактов и линий, а также создания методик и разработки оборудования для практического осуществления ее полевого тестирования;
• • возникает проблема эффективного использования пространства кабельного канала и упрощения процесса прокладки из-за существенного отличия формы поперечного сечения линейного кабеля от круглой, что определяется применением в нем ленточных световодов.
• 40- и 100-гигабитные варианты сетевого оборудования нового поколения не рассматриваются как конкуренты и считаются скорее дополнениями. Предполагается, что системы 40G Ethernet будут обслуживать в основном серверы, тогда как 100-гигабитная техника ориентирована преимущественно на различные соединительные линии к ЦОД в комплексе.