системна мрежова архитектура - Технически Университет - София

Т Е Х Н И Ч Е С К И У Н И В Е Р С И Т Е Т – С О Ф И ЯФАКУЛТЕТ ПО КОМПЮТЪРНИ СИСТЕМИ ИУПРАВЛЕНИЕКАТЕДРА „КОМПЮТЪРНИ СИСТЕМИ”Маг. Инж. ХАЛИЛ ИБРАХИМ МОХАМЕД АЛ-КАФФСИСТЕМНА МРЕЖОВА АРХИТЕКТУРАЗА ВИСОКОПРОИЗВОДИТЕЛНИКОМПЮТЪРНИ КЛЪСТЕРИАВТОРЕФЕРАТНа дисертационен труд за присъждане наобразователна и научна степен „Доктор” по научната специалност„Компютърни системи, комплекси и мрежи”, научно направление„Комуникационна и компютрна техника”НАУЧЕН РЪКОВОДИТЕЛ:Проф. д-р Пламенка БоровскаСофия, 2012 г.1

Дисертационнят труд съдържа 4 глави, заключение, приноси, публикации,списък с изполвана литература, която включва 127 източника. Обемът надисертационнят труд е 117 страници, 81 фигури и 2 таблици.Дисертационнят труд е обсъден и насочен за защита на заседание накатедрен съвет на катедра „Компютърни Системи“ в Технически Университет –София, (протокол №14/26.03.2012г.)Защитата на дисертационнят труд ще се състои на 28.05.2012г. от13.30 часа в зала 1434 на ТУ – София на заседание на Специализиранонаучно жури.Автор : маг. Инж. Халил Ибрахим Мохамед Ал-каффЗаглавие :“системна мрежова архитектура за високопроизводителни кмпютърниклъстери”Печатна база на в Технически Университет – София2

ОБЩА ХАРАКТЕРИСТИКА НА ДИСЕРТАЦИОННИЯ ТРУДАктуалност на проблемаДоминиращата архитектура при съвременните високопроизводителнисистеми е клъстерната архитектура. При нея комуникацията междупаралелните процеси в рамките на паралелната програма се осъществява наосновата на модела с обмен на съобщения. Комуникациите между отделнитеизчислителни възли на клъстера се осъществява чрез входно-изходниоперации под управлението на операционната система, при които се внасятзначителни системни разходи, водещи до деградация на системнатапроизводителност. Следователно, параметрите на комуникационнатапроизводителностна системните комуникационни мрежи, респ. латентност ипропускателна способност, са критичен фактор за производителността напаралелната компютърна система.Мрежовите технологии и архитектури са обект на интензивни изследванияв последните десет години. Изискванията към тях обхващат ниска латентност ивисока пропускателна способност, както и висока надеждност (не се допусказагубата на съобщение). Поради големите обхвати на компютърните клъстери(стотици и хиляди изчислителни възли) е актуален проблемът за проектиранена рутери с висок радикс с модулна структура, която да осигурява възможностза имплементацията им в чип.Фрагментацията и капсулирането на информацията при системните мрежиобхваща специфични потокови и физически информационни единици.Технологиите за системни мрежи се отличават с управление на мрежовияпоток, базирано на флитове, което дава възможност за конвейеризация натрансфера на флитовете и малък капацитет на буферите в мрежовите рутери,който от своя страна осигурява възможността за on-chipимплементиране намрежовите рутери.Конвейеризацията на трансфера е предпоставка за значителнонамаляване на мрежовата латентност. Основен нейн недостатък е повишенатастепен на блокиране в мрежата поради пресичането на маршрутите на„виртуалните комуникационни конвейери”. За преодоляването на тозинедостатък интензивно се използват адаптивни алгоритми за маршрутизация.Друг недостатък е явлението „обратно налягане” от блокираните рутери, коетоводи до значително повишаване на мрежовата латентност.Цел и задачи на дисертационния трудОсновната цел на дисертационния труд е да се изследват съвременнитеархитектури на системни комуникационни мрежи за компактни компютърниклъстери и на тази основа да се предложи архитектура на високоскоростнасистемнакомуникационна мрежа за компактни компютърни клъстери, която даосигурява висока надеждност, релевантна степен на толерантност към откази идобра скалируемост.За изпълнението на основната цел се дефинират следните задачи:1. Да се изследват и анализират съвременните тенденции приархитектурите на системните комуникационни мрежи за компактникомпютърни клъстери;3

2. Да се предложи архитектурен проект на високоскоростна системнакомуникационна мрежа за компактни компютърни клъстери, която даосигурява висока надеждност, релевантна степен на толерантносткъм откази и добра скалируемост;3. Да се предложи архитектурен проект на комутаторите на системнатакомуникационна мрежа.4. Да се провери работоспособността и да се изследва ефективносттана проектираната високоскоростна системна комуникационна мрежана основата на симулационни експерименти.Научна новостВ дисертационния труд се изследва изключително актуалният проблемза проектиране на архитектурата на високоскоростна и надеждна системнакомуникационна мрежа, която да поддържа ефективно трансфера на данни заширок спектър паралелни приложения, изпълнявани на високопроизводителникомпактни компютърни клъстери. Изследвани са и са анализирани основнитепроблеми и устойчиви тенденции при проектирането на архитектурата насъвременни системни комуникационни мрежи, респ. на изграждащите гикомутатори, както и съвременните алгоритми и подходи за управление намрежовия поток и предотвратяване на мъртво блокиране в мрежата.В дисертационния труд се предлага концептуален модел нависокоскоростна системна мрежа за високо паралелни компютърни клъстери,който осигурява добра скалируемост и устойчивост спрямо откази.На основатана предложения концептуален модел е синтезиран иновативен архитектуренпроект на йерархична мултирингова системна комуникационна мрежа на двенива „AlfaOmegaHighway” за високо паралелни компютърни клъстери(хиперклъстер - клъстер от клъстери) с висока устойчивост спрямо откази катосе осигуряват множество алтернативни маршрути за адаптивнамаршрутизация. Компютърният клъстер се разделя на сегменти, обхващащиеднакъв брой клъстери. Мрежата на ниво Алфа осигурява интраклъстернатакомуникация (между сървърите в рамките на клъстера). Мрежата на ниво Омегаосигурява интерклъстерната комуникация (между клъстерите).Проектирана е топологията на системната комуникационна мрежа „АлфаОмега Highway” на основата на циклична конкатенация от топологиите Омега иреверерсивна Омега като се постига намаляване на степента на блокиране вмрежата.Предложен е архитектурен проект на рутерите XR, коитоосъществяват интeрклъстерната комуникация по магистралата Омега.Синтезиран е алгоритъм за управление на мрежовия поток в системнатакомуникационна магистрала „Омега Highway”, базиран на флитове от типа сврязване „дупка на червея”. Дефинирани са видовете трансфер в системнатамрежа „αΩ Highway” – „up_highway”, “via_highway”и “down_highway” и сасъздадени сценарии за тяхната имплементация.Предложената архитектура на системната мрежа„Алфа Омега Highway” еверифицирана на основата на симулационни експерименти в средата намрежов симулатор, управляван от дискретни събития,Omnet++ при различноповедение на трафика в мрежата. Верификацията е направена за случаите натрафици със случайно, равномерно, експоненциално и Гаусово разпределение.Дефинирана е функционалността на модулите, изграждащи компонентбазираниясимулационен модел на системната мрежа „αΩ Highway”, респ., нарутерите на ниво Алфа и на рутерите XRна ниво Омега. На основата на4

симулационни експерименти са оценени и анализирани параметрите накомуникационната производителност на системната мрежа „αΩ Highway” приразличните видове трафици, респ. латентност и пропускателна способност,най-дългите маршрути (в брой стъпки на комуникация – hops), и е изследвановлиянието на размера на пакета (32, 64, 128 и 256 флита) върху мрежоваталатентност.Резултатите от научните изследвания са представени на авторитетнимеждународни научни конференции в Република Македония (1), България(2) ив научното списание „Computer&CommunicationsEngineering” (1).Резултатите от научните изледвания са внедрени при изпълнението нанаучно-изследователския проект „Център за върхиви постижения посуперкомпютърни приложения”, ДЦВП02/2009 г., както и в учебния процес залабораторни упражнения по дисциплините „Високопроизводителни компютърнисистеми” за специалностите „Компютърни системи и технологии” и„Компютърни науки” (на англ. език) , степен бакалавър.ГЛАВА 1. СИСТЕМНИ КОМУНИКАЦИОННИ МРЕЖИЗА КОМПАКТНИ КОМПЮТЪРНИ КЛЪСТЕРИ1.1. Сравнителен анализ на мрежовите архитектури за компактникомпютърни клъстериКлъстерната архитектура е преобладаващата при съвременнитевисокопроизводителни компютърни системи. Компютърните клъстерипредставляват интегрирани изчислителни агрегати, обхващащи десетки,стотици до десетки хиляди процесора (при суперкомпютрите), като тезиизчислителни комплекси функционират като единна интегрирана изчислителнасистема. По същество високо-производителните компютърни клъстерипредстваляват т.нар. суперсървъри, имплементират архитектурния стил безсподеляне на общи ресурси (shared-nothingarchitecture). Основните компонентина компютърните клъстери са изчислителните възли и системнатакомуникационна мрежа (СКМ). Предназначението на СКМ е да осигури пълнасвързаност между изчислителни възли в клъстера, както и да поддържаефективно режимите на комуникация в клъстера – от-точка-до-точка (point-topoint)и колективна комуникация.Мрежата, свързваща възлите за изграждането на една система, сенарича системна (SAN). За разлика от системните мрежи, локалната мрежасвързва няколко системи. За имплементирането на СКМ могат да бъдатизползвани всички актуални мрежови технологии, използвани както за локални,таки и за глобални компютърни мрежи. Техните параметри, в много случаиобаче, не могат да осигурят изискваните високи скорости на трансфер ивисоката надеждност в компютърните клъстери, особено като се има предвид ифакта, че в СКМ за компютърните клъстери не се допуска загубата на нитоедно съобщение, тъй като това би предизвикало мъртво блокиране наизпълняваната паралелна програма.В рамките на възела мрежовиятинтерфейс е слабо свързан към входно/изходната шина. Основните компонентина СКМ са комутатори, комуникационни връзки и мрежов интерфейс.Основните аспекти на всяка СКМ са: топология, алгоритъм замаршрутизация, метод на комутация и управление на потока. Тези5

аспекти са в основата на оценката на СКМ и определянето на статичните идинамичните характеристики на всяка СКМ.Статични характеристики на системните комуникационнимрежи.Топологията представлява конфигурацията на физическитекомуникационни връзки в СКМи основното й предназначение е да осигурипълна система на връзките в клъстера т.е. да поддържат произволнапермутация при всички мрежови транзакции.Тя е ключов фактор, определящкомуникационната производителност, надеждността и възможностите засамовъзстановяване на паралелната компютърна система. Топологиите наСКМ се класифицират на статични и динамични.Многостъпалните мрежиса представени от широк топологичен спектър.Характерно за тях е регулярната структура на комуникационните връзки,високата им пригодност за вграждане в МГИС и добро скалиране. Специфичноза тях, е че всяка мрежа се отличава с име и специфична структура на базоватаконфигурация. Сложността на тези мрежи е пропорционална на Nlog 2 N, къдетоNе броят на свързваните изчислителни възли, като това обяснява тяхнатапригодност за изграждане на компютърни клъстери с голям брой наизчислителните възли. Примери са мрежите на Бенс, Пеперуда, Баниян,Омега, и много др.Популярна мрежова топология за паралелни компютри е топологиятаОмега, предложена от Дънкън Лори за паралелно изчисляване на БПФ.Посъщество. Тя представлява припокриващи се дървовидни структури. За нея ехарактерно т.нар. свойство на приятелите (buddyproperty), което рефлектиравърху начина на конфигуриране на връзките при осигуряване на висока степенна скалируемост.Статичните характеристики на системните мрежи се определят с помощтана граф-теоретични модели. Мрежоватa топология се представя с граф,върховете на който представят комутаторите, а дъгите – комникационнитевръзки. Статичните параметри, които се оценяват са пълнота на систематавръзки, най-дълъг път в графа и разделящи ребра (фиг.1.12). Най-дългият пътв мрежата (диаметърът на графа) се определя като се изграждат матрици накомуникационните разстояния.Фиг.1.12Разделящо ребро в графа, представящ топологията на СКМ.Динамичните характеристики на СКМ се определят на основата накомуникационни модели и обхващат капсулирането и фрагментирането наинформацията, стратегията за комутация, комуникационните протоколи иуправлението на мрежовия поток.6

В компютърните клъстери не се препоръчва използването на стандартникомуникационни протоколи от вида на TCP/IP, тъй като те са бавни исигурността на комуникацията не е сигурна. Понастоящем не съществуватстандартни комуникационни протоколи за компютърните клъстери. В общияслучай най-популярните протоколи за интраклъстерна комуникация са на двенива. Късият протоколен стек се предпочита за избягване на допълнителнисистемни разходи за поддържането му.В СКМ на компютърните клъстери се изполват два основни типауправление на мрежовия поток: (1) базирано на пакети при две разновидности:store-and-forward и ”виртуално врязване”(“virtualcut-through”), и (2) базирано нафлитове “дупка на червея”(“wormholerouting”).При управлението на мрежовия поток, базирано на пакети (PacketbasedFlowControl)от типа „store-and-forward”се използва трансфер сакумулиране на пакета в буфера на рутера и последващ трансфер на всичкифлитове. Алокирането на комуникационните ресурси (буфери икомуникационни връзки) се осъществява за целия пакет. Заглавният флит напакета изчаква пристигането на всички останали флитове на пакета, и едваслед това се осъществява следващата стъпка на комуникация (hop) всистемната мрежа. Управлението на мрежовия поток, базирано на пакети, не еподходящо за „on-chip” имплементации, като мрежовата латентност езначителна.Управлението на мрежовия поток, базирано на пакети (PacketbasedFlowControl)от типа VirtualCutThrough е подобно на StoreandForward.Разликата се състои в това, че флитовете могат да продължат да бъдатпредавани към следващия рутер в мрежата преди да е пристигнал последнияфлит. В сравнение с StoreandForward значително се намалява мрежоваталатентност, но все още остава изискването за голям капацитет на буфера.Управлението на мрежовия поток от типа VirtualCutThrough не е подходящо за„on-chip” имплементации.При управлението на мрежовия поток, базирано на флитове(FlitLevelFlowControl)от вида “дупка на червея”, заглавният флит на пакета –„главата на червея”, конфигурира маршрута до дестинацията, като в рамките наедна транзакция се предават паралелно флитовете по конфигурирания път.Предимствата на маршрутизацията с врязване пред маршрутизацията сакумулиране на пакета и последващ трансфер са конвейеризирания трансферна флитовете на пакета (виртуални канали) и опростената структура накомутатора (буферите съдържат само един флит на предавания пакет).Основният недостатък е високата степен на блокиране в мрежата, дължаща сена виртуалните комуникационни канали, които блокират комуникацията напакетите, пресичащи виртуалните канали. Управлението на мрежовия поток оттипа Wormholeeподходящо за „on-chip” имплементации.Алгоритмите за маршрутизация в СКМ биват детерминирани и адаптивни.При детерминираната (неадаптивна) маршрутизация маршрутът насъобщението се определя единствено от взаимното разположение на подателяи дестинацията независимо от трафика в мрежата. Пакетът ще продължи даследва маршрута независимо от това дали по него има блокирана връзка. Приадаптивните алгоритмиза маршрутизация трафикът на мрежата оказвавлияние върху маршрута на пакета. Например, в решетка маршрутът може даследва зиг-заг по пътя си към дестинацията заобикаляйки блокирани илиотказали връзки.7

Основен проблем при СКМ е мъртвото блокиране. Възниква в случаитекогато пакетът чака събитие, което не може да възникне, например ако никой отпакетите не може да напредне към дестинацията си тъй като опашките намрежата са пълни и пакетите взаимно се изчакват да освободяткомуникационните ресурси. Мъртво блокиране може да възникне в различниситуации. Например в случаите, когато два възела си изпращат взаимно пакетии всеки от тях започва да предава преди никой от тях да започне да приема.При мрежите тази ситуация може да възникне при полудуплексни канали илиако управляващото устройство на комутатора не е успяло едновременно даосъществи приемане и предаване по дуплексен канал.Подходите за проектиране на маршрутизиращи алгоритми, недопускащимъртво блокиране са: (1) Ограничаване на множеството легални маршрути запакетите и (2) Ограничаване на начините за заемане на ресурсите.Основната техника за предотвратяване на мъртво блокиране в мрежи сконвейеризиран трансфер е да се осигури множество буфери във всекифизически канал и всеки буфер да се раздели на група виртуални канали. Тазитехника не увеличава броя на връзките и комутаторите в мрежата. Също такане се увеличава размера на вътрешния кросбар във всеки комутатор тъй като вдаден момент само един флит се придвижва в комутатора към съответнияизходен порт.На фиг.1.18 е показана архитектурата на комутатор с виртуалниканали.ВХОДНИПОРТОВЕВИРТУАЛНИКАНАЛИИЗХОДНИПОРТОВЕNORTHNORTHSOUTHSOUTHEASTEASTWESTWESTФиг.1.18 Архитектурата на комутатор с виртуални канали.8

1.2. Моделиране и средства за симулация на компютърни икомуникационни мрежиЕдин от най-важните проблеми при проектирането и инженеринга накомпютърните комуникационни системи е оценката на тяхнатапроизводителност и динамично поведение. В случаите на сложни системи,които трудно подлежат на описание с математически модели или високодинамични системи, мрежовата симулация е изключително полезнаметодология за спецификация, проектиране и анализ на компютърникомуникационни системи. За получаването на валидни реултати, коитоадекватно да прогнозират поведението на реалните системи, е необходимо дасе отразят всички релевантни взаимодействия и ефекти в симулационнитемодели. Съвременните компютърни мрежи са изключително сложни, коеторефлектира и върху съответните симулационни модели. Получаването нарелевантни статистически резултати изисква прецизни симулационни модели иреспективно, огромно изчислително време. За да се получат достатъчно точнирезултати за разумно симулационно време симулационните модели трябва дабъдат не само прецизни, но и ефективни.Съвременните мрежови симулатори предлагат богати и сложни програмнисреди за развитие със симулационно ядро за дискретни събития, средства зауниверсална симулация, библиотеки за симулация на дискретни събития,инструменти за натрупване на статистики при различни сценарии, богатиграфични интерфейси, обработка и визуализация на резултатите, поддръжка наGrid изчисления, и др. Мрежовите симулации са от изключително значение занаучните изследвания, мрежовото проектиране, изследването и определянетона скалируемостта на мрежите, бързото разработване на мрежови прототипи иобучението.Мрежови симулатори, емулатори и интеграционни работни рамки.Впоследните години общността, занимаваща се с проектирането иимплементирането на мрежи, е развила множество подходи за симулация намрежи, основани на най-добрите практики. Създаден е широк спектър отсредства, поддържащи моделирането, програмирането и изпълнението насимулационен код за оценка на мрежите на всички нива.Обектно-ориентираната клас библиотека IKR Simulation library (SimLib)е разработена отИнститута по комуникационни мрежи и компютърноинженерство, (IKR), Университета на Щутгард, Германия. Мрежовиятсимулатор по дискретни събития ns-2 - NS (Network Simulator) - поддържасимулация на TCP, маршрутизация, multicast протоколи по жични и безжични(локални и сателитни) мрежи. Създаден е от Институtа по науки заинформацията (Information Sciences Institute – USC) в Университета на ЮжнаКалифорния. Мрежовият симулатор на дискретни събития ns-3 е базиран наС++ и се управлява от събития.Разпределеният оптимистичен паралеленсимулатор на дискретни събития DSIM (Distributed Optimistic Parallel DiscreteEvent Simulator) е преназначен за изпълнение на компютърни клъстери.Мрежовията симулаторOPNET на OPNET Technologiesима 64-битовопаралелно симулационно ядро за дискретни събития, и осигурява средства зауниверсална паралелна симулация, поддръжка на Grid изчисления, библиотеказа симулация на дискретни събития и OPNET modeler.Мрежовият симулаторNetSim на Boson (Network Simulator & Router Simulator)е предназначен засимулация на мрежов хардуер и софтуер на Cisco Systems. За създаването на9

индивидуалните пакети NetSim използва Boson's Network Simulator,софтуерните технологии на Router Simulator® и EROUTER® , заедно с BosonVirtual Packet Technology® engine.Мрежовият симулаторP2PSim(Технологичен институт на Масачузетс) е част от проектаIRIS(Infrastructure for Resilient Internet Systems).p2psim е безплатен многонишковсимулатор по дискретни събития. Използва се за оценка, изследване, ипроучване на peer-to-peer (p2p) протоколи.Симулаторът SIMSCRIPT III еобектно-ориентиран, модулен, интегриран инструмент за развитие на софтуер.SIMSCRIPT е предназначен за изграждане на симулационни моделипри„decision support systems” за широк спектър от приложения: военниприложения, комуникационни мрежи, анализ на производителността иоптимизация, транспорт и производство, управление на инвентара и логистичнопланиране, финансови пазари.Други мрежови симулатори саNCTUns ,QualNet, SSFNet , Yans , GTNetS , GloMoSim, OSA , JiST/SWANS , Cnet, Traffic ,ShunraVE , Extend , INES, J-Sim, HEGONS, Narses , 3LS , NeuroGrid , PeerSim ,ONE.Мрежовият симулатор OMNeT++представлява скалируема модулнакомпонент-базирана работна рамка и библиотека за симулации (С++). Включваинтегрирана развойна среда и графична runtime среда.ГЛАВА 2. ПРОЕКТИРАНЕ НА АРХИТЕКТУРАТА НА СИСТЕМНAКОМУНИКАЦИОННA МРЕЖA “αΩ HIGHWAY”2.1. Концептуален модел на йерархична системна мрежоваархитектура.Предлага се йерархична архитектура на високоскоростна системнакомуникационна мрежа “αΩ HIGHWAY” на две нива: ниво Омега и ниво Алфа.Нивото Омега представлява мултирингова интраклъстерна магистрала, коятоосигурява алтернативни маршрути при отказ на комуникационните ресурсипосредством рециркулация на мрежовия поток. Нивото Омега е изградено набазата на многостъпална комуникационна мрежа с циклична структура и несъдържа единични точки на отказ. Компютърният клъстер е разделен на Sклъстерни сегменти. Мултиринговата интраклъстерна магистрала Омегаосигурява комуникацията между клъстерните сегменти (интерсегментнакомуникация). Тя е изградена от рутери XR (eXtended Radix), всеки от които едиректно свързан със съответен клъстерен сегмент посредством релевантенрутер Алфа, който осигурява входни и изходни връзки към интраклъстернатамагистрала Омега.Комуникацията между изчислителните възли в рамките на всекиклъстерен сегмент се осъществява от нивото за интрасегментна комуникацияАлфа. Нивото Алфа обхваща рутери с матрична архитектура (матрици откомутатори).На фиг.2.1 е показана архитектурата на системна комуникационна мрежа“αΩ HIGHWAY”.10

НИВО ОМЕГАαНИВО АЛФАαααΩМУЛТИРИНГОВАИНТЕРКЛЪСТЕРНА МАГИСТРАЛА“ОМЕГА”ααααФиг.2.1 Архитектурата на системната комуникационна мрежа“αΩ HIGHWAY”.2.2. Проектиране на топологията на системната мрежа.Топологията на мултиринговата интраклъстерна магистрала ОМЕГА себазира на топологията на широко известната двустранна многостъпална мрежаОмега. Предимствата й са регулярните връзки, основаващи се на наличието набазови конфигурации, наречени спрегнати двойки (buddy property), свойството„самомаршрутизация”, икономичния брой рутери и добро скалиране. Основеннедостатък е, че мрежата е блокираща.Известно е, че мрежа, синтезирана посредством конкатенация на мрежаОмега и реверсивна мрежа Омега (огледален образ), е безконфликтна(неблокираща) за сметка на добавянето на две нови стъпала.За да повишим надеждността на мрежата и да осигурим толерантност приоткази на комуникационни ресурси се синтезира циклична структура като сеприпокрият първото и последното стъпало на неблокиращата Омега. получавасе втора ос на симетрия, която заедно с първата формират равнина насиметрия.След като трансформирахме топологията на двустранната неблокиращамрежа в циклична структура с рециркулация на мрежовия поток, трябва да сеопредели свързването с изчислителните възли на клъстера. Към всеки рутерXR на цикличната Омега прибавяме специфициран брой входни и изходнипортове, необходими за свързване с определен сегмент на компютърния11

клъстер през релевантния рутер Алфа. В рамките на всеки клъстерен сегментсървърите комуникират посредством рутери АЛФА с матрична архитектура.Така финализираме процеса на проектиране на йерархичната архитектура надве нива на системната комуникационна мрежа “αΩ HIGHWAY” за компютърниклъстери.Фиг.2.7. Топология на мултирингова мрежа Омега.2.3. Комуникационен стек и управление на мрежовия поток.В предлаганата системна комуникационна мрежа се прилагаконвейеризация на трансфера на данни с цел постигане на високи скорости наинформационен обмен в мрежата. Възможните опции са маршрутизация са свиртуално врязване (virtual cut-through routing), която е най-популярната присуперкомпютрите, и маршрутизация с врязване „дупка на червея” (wormholerouting). И при двата метода се конфигурират виртуални комуникационниконвейери и се осигурява високо скоростна комуникация, но разликата е вкапацитета на буферите. Докато маршрутизацията с виртуално врязванеизисква голям капацитет (буферира се целият пакет), то при маршрутизациятас врязване „дупка на червея” капацитетът на буфера е само един флит.Формат на пакета. Форматът на пакета е показана на фиг.2.11. Самозаглавният флит съдържа информация за адреса на дестинацията. Полето SA(Source Address) съдържа адреса на подателя на съобщението. Битът G/Lуказва, дали дестинацията на съобщението е в рамките на клъстера насегмента (G/L=0) – интраклъстерна комуникация, или дестинацията насъобщението е в друг клъстер на сегмента (G/L=1), т.е. съобщението трябва дасе предаде по магистралата Омега - интерклъстерна комуникация. Локалниятадрес представлява адреса на сървъра, който е получател на съобщението(LDA - адрес на дестинацията). В случая на интраклъстерна комуникацияглобалният адрес (GDA) представлява адреса на XR рутера в мрежата Омега,който е свързан със съответния клъстерен сегмент.12

Фиг.2.9. Йерархична мрежа Омега с мултирингове.Фиг.2.11 Формат на пакета.13

Полето PAYLOAD съдържа данните на съобщението. Полето VC е номерана логическият канал, който ще се използва при предаването на флитоветепрез рутера. Полето EC е за детектиране и корекция на грешки.Комуникационен стек. Има 2 нива:потоков слойи физически слой.Управление на потока. Единицата за алокация при управлението намрежовия поток е 24-битов фит (phit – physical unit), като практически, фитасъвпада с флита (flit – flow control unit). Мрежата използва два виртуални канала(VCs), обозначавани като виртуален канал на заявката request (v=0)и виртуаленканал на отговора response (v=1). Виртуалните канали се използват всистемната мрежа за предотвратяване на мъртви блокирания от типа „заявкаотговор”(request-response deadlocks). Следователно, всички буферни ресурсисе алокират съобразно съдържанието на бита за виртуалния канал в заглавнияфлит. Капацитета на входните буфери е 1 флит. Управлението на потока примрежовите връзки е от типа врязване „дупка на червея”.„Главата на червея” конфигурира виртуалния комуникационен канал,след което се осъществява непрекъснат конвейеризиран трансфер нафлитовете на пакета. Всички пакети, на които първите флитове конфигуриратвиртуалните си канали и пресичат този маршрут, се блокират до завършванетона транфера. Конфигурирането на виртуалния комуникационен каналпродължава, докато „главата на червея” достигне до дестинацията. От тозимомент всички входни буфери на рутерите по маршрута от източника додестинацията са резервирани от флитовете на пакета и започва паралелентрансфер на пакета по флитове по целия маршрут в мрежата. Последниятфлит на пакета („опашката на червея”) закрива виртуалния канал иосвобождава комуникационните ресурси по използвания маршрут.Фиг.2.17Комуникационен конвейер на флитовете на пакета по виртуален канал,конфигуриран от „главата на червея”Маршрутизация. В мрежата αΩ Highway се предават пакети с различнадължина. Първият фит на пакета е заглавен (header), и съдържа всички14

задължителни полета за маршрутизация, а последният фит е (EOP- end ofpacket) и съдържа контролната сума.Маршрутизацията на пакетите в мрежата Омега (интерклъстернакомуникация) се осъществява с три фази: (1) фаза 1 - маршрутизация Алфа –Омега (up_highway), която се осъществява от локалния Алфа рутер,съобщениято се подава от локалния клъстер от сървъра- подател презлокалния Алфа рутер към релевантния рутер XR на магистралата Омега; (2)фаза 2 - маршрутизация на съобщението(via_highway) в рамките намагистралата Омега през рутерите XR и (3) фаза 3 - маршрутизация Омега –Алфа (down_highway), съобщениято се подава от рутера XR, финализиращмаршрута през мрежата Омега, към локалния Алфа рутер, който маршрутизирасъобщението към сървъра- дестинация в локалния компютърен клъстер.Фазите на маршрутизацията up_highway и via_highway могат да бъдатдетерминистични или адаптивни. Маршрутизацията down_highway, обаче, евинаги детерминистична, тъй като съществува единствен маршрут от всекирутер Алфа до всеки сървър -дестинация.Маршрутизацията на пакети в мрежата е разпределена. На всяка стъпкапри маршрутизацията (hop) логиката за маршрутизация в началото на входнатаопашка изчислява изходния порт на локалния рутер като използва регистри замаршрутизация и маршрутизираща таблица.При интерклъстерната комуникация съществуват 3 типа връзки(маршрути);Up_links– от сървъра – подател на съобщението през началния портналокалния рутер Алфакъм релевантния рутер XR на магистралатаОмега(„качване на магистралата”);Via_links- от рутер XR към рутер XR в мрежата Омега(„по магистралата”);Down_links- от финалния рутер XR на мрежата Омега през локалния рутерАлфа до сървъра- дестинация („слизане от магистралата”);При интрaклъстерната комуникация съществува един тип връзки(маршрути);Local_Trip – от сървъра – подател на съобщението през началния портналокалния рутер Алфакъм релевантния изходен порт на рутера Алфа досървъра- дестинация.Портовете на всеки рутер XR в мрежата Омега имат както физическиномера, така и произволни логически номера. При инициализация на системниясофтуер на всеки физически порт се присвоява произволен логически номер.ГЛАВА 3. ПРОЕКТИРАНЕ НА АРХИТЕКТУРАТА НА РУТЕРИТЕ НАСИСТЕМНAТА КОМУНИКАЦИОННA МРЕЖA “ALPHA OMEGA HIGHWAY”.3.1. Технологични и архитектурни аспектиВариантите за имплементирането на Алфа и Омега рутерите са много, нокато се има предвид факта, че цената на един рутер в значителна степен сеопределя от капацитета на буферите в него, избираме варианта с входнобуфериране. Архитектурата на комутаторите в рамките на рутера е пъленкросбар. За избягване на мъртво блокиране в системната мрежа, предизвиканоот механизма за заемане и освобождаване на ресурсите, за всеки физическиканал се дефинират два виртуални канала.15

Фиг. 2.21 Интерклъстерна комуникация – трите фази16

Системната комуникационна мрежа „Alpha Omega Highway” е с йерархичнаархитектура и е изградена на две нива с оглед постигане на високаскалируемост и е предназначена за осигуряване на високо скоростенинформационен обмен във паралелни системи, изградени от голям бройсървъри. Паралелната компютърна система има модулна структура, оформенае в шасита и шкафове, и на практика, представлява клъстер от компютърниклъстери т.е. хиперклъстер. Всеки компютърен клъстер конструктивно еоформен в отделен шкаф (рак), като шаситата в рака съдържат изчислителнитевъзли (многопроцесорни сървъри). Интраклъстерната комуникация обхващаобмена на съобщения между изчислителните възли (сървърите) в рамките наклъстера (шкафа) и се осъществява от рутери с матрична архитектура,наречени Алфа рутери. Интерклъстерната комуникация се осъществявапосредством комуникационната магистрала Омега.Архитектурата на рутера Алфа е матрична и се изгражда аналогично наархитектурата на рутера YARC на фирмата CRAY [35].Радиксът на рутераАлфа се избира такъв, че половината от входните и изходни портове на буферасе свързват към изчислителните възли на клъстера и осъществяватинтраклъстерната комуникация т.е. комуникация между сървърите в рамките накомпютърния клъстер. Останалата половина входни и изходни портове нарутера Алфа се свързват към съответен рутер XR от магистралата Омега и сеизползват за интерклъстерна комуникация т.е. обмен на съобщения сизчислителни възли (сървъри) в други компютърни клъстери на хиперклъстера.Аналогично, половината от входните и изходните портове на рутерите XR намагистралата Омега се свързват към съответните изходни и входни портове нарелевантния рутер Алфа за обслужване на трафика от/към компютърнияклъстер (сегмент). Функционалното разпределение на портовете в рутеритеАлфа и рутерите XR на ниво Омега е показано на фиг.3.2.3.2. Архитектура на рутерите АлфаАрхитектурата на кросбара с входно и изходно буфериране, която често сеизползва при рутерите с нисък радикс, не поддържа ефективно скалиране приимплементации на рутера с висок радикс, поради факта, че сложността наарбитражната логика и сложността на свързване нарастват квадратично снарастването на броя на входовете. За преодоляването на този проблем сеизползва йерархична матрична архитектура.Рутерът Алфа представлява матрица от базови модули. Всеки базовмодул на рутера Алфа съдържа цялата логика и буфериране, свързано сподмножество входни и един изходни портове, както и един комутатор 8х8 исвързаните с него буфери т.е. входна опашка, буфери по редове, буфери поколони и комутатор 8х8.Входните портове са организирани по редове, а изходните портове – вколони. На фиг.3.3 е показана архитектурата на матричен рутер Алфа с радикс64х64 (64 входни и 64 изходни порта). Възможно е скалиране на архитектуратакато се използват рутери с радикс 32, 128, и т.н. в зависимост от възможноститена технологията, която се използва. Модулната реализация осигурява високастепен на регулярност на структурата за репликации и осигурява ефективнафизическа имплементация в чипа. Всеки комутатор на плочката приема входнисигнали от 8 шини на редовете и управлява отделни изходни канали към 8-теизходни порта в неговата колона.17

Рутерът Алфа има три набора буфери: входни буфери, буфери наредовете и буфери на колоните. Всеки буфер е разделен на два виртуалниканала. Всеки входен порт е свързан с 1 входен буфер и 8 буфера на реда.Всеки комутатор е свързан с 8 буфера на колоните. Разпределението напакетите в буферите на колоните се осъществява по времето на тяхнатакомутация. Изходният арбитраж се осъществява на две фази. През първатафаза се прави арбитраж за получаване на достъп до изхода на комутатора.През втората фаза на арбитража пакетът се съзтезава с пакетите от другитемодули за достъп до изходния порт.Рутерът Алфа осъществява управление на мрежовия поток от типа „дупкана червея” (wormhole) поради ограничения капацитет на буферите. Арбитражътв рутера Алфа е разпределен, като за всеки комутатор е осигурен локаленарбитър за достъп до колоните (изходните портове). Прилага се апаратноимплементирана приоритетна логика „daisy chain” за разпределения арбитраж.Трансферът на пакети през рутера Алфа е показан на фиг. 3.4.3.3Архитектурата на рутеритена ниво ОмегаАрхитектурата на комутатора в системните мрежи се определя както отстатичните, така и от динамичните характеристики на мрежата.Предназначението на мрежата на ниво Омега е да осигури комуникациятамежду сегментите на клъстера. В комутаторите XR част от от портовете(обикновено половината) се използват за свързване към клъстерните сегменти.Методът на комутация се базира на пакети. За постигане на високи скорости наинформационния обмен се използва метода на маршрутизация с врязване„дупка на червея”. Комутаторите XR са с входно буфериране. Методът намаршрутизация с врязване „дупка на червея” определя и малкия размер навходните буфери. Техният капацитет е само един флит. На фиг.3.7 епредставена архитектурата на комутатор XR с радикс 4х4 – 4 входни порта и 4изходни порта.Комутаторът XR има модулна архитектура. Всеки модул обслужвакомуникацията на един входен порт. Всеки модул съдържа входен регистър,буфер, обслужващ съответния входен порт с капацитет 1 флит, контролер зауправление на конекцията с изходните портове на комутаторите отпредходното стъпало на мрежата и маршрутизацията при входния порт.Изходите на входните буфери са свързани със съответните входове на кросбар4х4. Комутаторът има общ кросбар 4х4, който осъществява комутацията междувходните и изходните портове и глобален контролер за арбитраж, приоритети иконекцията с входните портове на комутаторите в спрегнатата двойка отследващото стъпало намрежово ниво Омега.Входните портове на рутера XR функционално са разделени на 2 групи –едната група входни портове поемат трафика от предните стъпала намрежовониво Омега, а другата група входни портове приемат пакети от съответниярутер Алфа, обслужващ асоциирания клъстерен сегмент. Аналогично, саразпределени и изходните портове на рутера XR – едната група прехвърляпакетите към следващото стъпало намрежово ниво Омега, а другата групаизходни портове финализира трансфера за случаите, когато дестинацията напакета е сървър в асоциирания компютърен клъстер.19

Фиг. 3.4 Трансфер на пакети през рутера Алфа с детерминистична илиадаптивна маршрутизация.Входните и изходните портове на комутатора XR, които обслужваттрафика от/към Алфа рутерите на асоциирания клъстерен сегмент, се наричатАлфа портове. Входните и изходните портове на комутатора XR, които20

обслужват трафика от/към предходните и следващите стъпала в рамките намагистралата Омега, се наричат Омега портове.Входните портове на рутера XR функционално са разделени на 2 групи –едната група входни портове поемат трафика от предните стъпала намрежовониво Омега, а другата група входни портове приемат пакети от съответниярутер Алфа, обслужващ асоциирания клъстерен сегмент. Аналогично, саразпределени и изходните портове на рутера XR – едната група прехвърляпакетите към следващото стъпало намрежово ниво Омега, а другата групаизходни портове финализира трансфера за случаите, когато дестинацията напакета е сървър в асоциирания компютърен клъстер. Рутерът XR може даосъществява както детерминистична, така и адаптивна маршрутизация с целизбор на алтернативен маршрут при блокиране на целевия изходен порт придетерминистична маршрутизация или заобикаляне на частично или напълноотказал комуникационен ресурс – рутер или комуникационна връзка.Следователно, ще разгледаме следните случаи на трансфер:(1) Трансфер на пакет в рамките намрежово ниво Омега– Via_Highway(2) Предаване на пакет от асоциирания клъстер към мрежово нивоОмега– Up_Highway(3) Приемане на пакет към асоциирания клъстер от мрежово ниво Омега–Down_Highway(4) КомуникацияТрансферVia_Highway:(5) ПримернакомуникацияоттиптрансферVia_Highwayе показананафиг.3.9.(6) Изходенпорт 4 нарутера XR в (i-1)-востъпалонанивоОмегаa(7) aВходенпорт 5 нарутер XR в (i)-тостъпалонанивоОмегаa(8) aИзходенпорт 6 нарутера XR в (i)-тостъпалонанивоОмегаa(9) aВходенпорт 7 нарутер XR в (i+1)-тостъпалонанивоОмегаКонтролерът на рутера XR в (i-1)-во стъпало на мрежово нивоОмегаподава заявка за предаване на пакет Request_Output Port_4 към входенпорт 5 на рутера XR в (i)-то стъпало намрежово ниво Омега. Ако входния буферна входен порт 5 е празен, контролерът на рутера XR в (i)-то стъпало намрежово ниво Омегаподава сигнал Grant_Output Port_4 обратно към рутеразаявител от предходното стъпало.След получаването на разрешение от изходен порт 4 на рутера XR в (i-1)-востъпало на мрежово ниво Омегасе предава 1 флит от пакета т.е. осъществявасе една комуникационна транзакция като получения флит се съхранява вбуфера на входен порт 5 на рутера XR в (i)-то стъпало.След анализ на маршрута на пакета и определянето на изходния порт закомуникация на основата на маршрутизиращи таблици, се подава заявка къмвътрешния кросбар на рутера за комуникация към, в случая, изходен порт 6.Ако изходен порт 6 е свободен, то контролерът на рутера подава сигнал зазаявка за трансфер Request_Output Port_6 към входен порт 7 на рутера XR в(i+1)-то стъпало намрежово ниво Омега. Ако входният буфер на входен порт 7на рутера XR в следващото стъпало е празен, то се изпраща сигнал заразрешение за трансфер Grant_Output Port_6 и флитът се комутира презкросбара на рутера XR в (i)-то стъпало и през изходен порт 6 се изпраща къмвходен порт 7 на рутера XR в следващото стъпало.21

Фиг.3.8 Детерминистична и адаптивна маршрутизация през рутера XR22

НачалоСвободен ли евходният регистър напорта?данеПолучена ли езаявка във входния порт n на рутераза приемане на флит на пакетаRequest_ Input Port_n от изходния портна рутера от предходното стъпалонедаПодаване на разрешение за приемане назаглавен флит от входния порт Grant_ Input Port_nкъм изходния порт на рутера от предходното стъпалоФлитът се записва във входния регистър на входен порт n,след което се прехвърля във входния буфер на портанеПриетият флитзаглавен ли е ?Генериране на детерминистичен маршрут чрезмаршрутизиращи таблициЗа определяне на целевия изходен порт на рутерадаЛокалният контролер на входен порт n генерира заявкакъм глобалния контролер на изходните портовеза комутация през изходен порт m на кросбараГенериране на адаптивен маршрут чрезмаршрутизиращи таблици за определяне наалтернативен целеви изходен порт v на рутераГлобалният контролер на изходните портове генериразаявка към релевантния входен порт на рутера отследващото стъпало за приемане на флита на пакетаRequest_ Output Port_mПолучено ли еразрешение затрансферGrant_ Output Port_m ?даНе (Time out)Глобалният контролер на изходните портове реконфигуриракросбарафлитът се предава към релевантния входенпорт на рутера от следващото стъпалонеПоследенфлит?даКрайФиг. 3.9. Алгоритъм за управление на мрежовия поток в рутера XR в мрежовониво Омега23

Предаване на пакет от асоциирания клъстер към трафикавмрежово ниво Омега – Up_HighwayПо същество този трансфер представлява присъединяването насъобщение, генерирано от сървър в даден компютърен клъстер, към трафикана мрежово ниво Омегапри интерклъстерна комуникация, и включва следнитеетапи: (1) предаване на пакета от сървъра- подател към входния буфер нарутера Алфа; (2) комутация на съобщението към изходен порт на рутера Алфакато се прилага детерминистична маршрутизация, ако съответния изходен портна рутера Алфа е свободен или адаптивна маршрутизация, ако ако съответнияизходен порт на рутера Алфа е зает; (3) съобщението се предава от изходнияпорт на рутера Алфа към свързания с него входен порт на релевантния рутерXR вмрежово ниво Омега, след което съобщението е готово да се присъединикъм магистралния трафик.Приемане на пакет към асоциирания клъстер от трафикавмрежово ниво Омега– Down_HighwayПо същество този трансфер представлява предаването на съобщение оттрафика на мрежово ниво Омегакъм сървъра- дестинация в даден компютъренклъстер при интерклъстерната комуникация, и включва следните етапи: (1)комутиране на съобщението през свободен изходен порт алфа на рутера XR,свързан към асоциирания клъстер;Маршрутизацията в рутера XR може да бъде детерминистична, ако есвободен съответния изходен алфа порт, в противен случай се прилагаадаптивна маршрутизация, като съобщението се комутира към произволеналфа изходен порт на рутера XR. (2) съобщението се комутира към съответнияизходен порт на рутера Алфа като се прилага детерминистична маршрутизация– маршрутът е единствен.ГЛАВА 4.ОЦЕНКА И АНАЛИЗ НА КОМУНИКАЦИОННАТАПРОИЗВОДИТЕЛНОСТ НА СИСТЕМНATA КОМУНИКАЦИОННA МРЕЖA“ALPHA OMEGA HIGHWAY”4.3 Оценка и анализ на параметрите на комуникационнатапроизводителност на основата на симулационни експерименти4.3.2.Функционалност на компонентите на симулационния модел нарутера XRС цел верификация на предложената архитектура на рутера XR сеизползва симулационен модел в средата за симулация по дискретни събитияOmnet++. Компонентите на симулационния модел, са както следва: Temp_Reg,Input_Port_Buffers, Routing_Logic, Crossbar_arbiter, Input_Communication_Lines,Output_Communication_Lines, Internal_Communication_Lines.25

Табл. 4.2 Описанието на функционалността на компонентите насимулационния модел на рутераXRКомпонентTemp_RegВременен регистърInput_Port_BuffersБуфери на входнитепортовеRouting_LogicМаршрутизираща логикаCrossbar_arbiterАрбитър на комутаторакросбарInput_Communication_LinesКомуникационни линии навходния порт (входенинтерфейс)Output_Communication_LinesКомуникационни линии наизходния порт (изходенинтерфейс)Internal_Communication_LinesВътрешни комуникационнилинииФункционалностРутерът XR е синхронна система. Системнитекомункационни мрежи, обаче, в глобален аспект саасинхронни. Рутерите в мрежата са локалносинхронни и всеки рутер има свой собствен тактовгенератор, работещ с тактова честота различна инезависима от останалите рутери в мрежата.Предназначението на временния регистърTemp_Regе да буферира приетия флит на пакетадо следващия цикъл на рутераДва буфера на флитовете за двата виртуалниканала. Флитовете на пакетите се извличат отбуферите на виртуалните канали по алгоритъма„roundrobin”. Компонентът с входните опашкиизпраща флитовете на пакета един след друг къмкомпонента на маршрутизиращата логикаRouting_Logic, като след изпращането на текущияфлит очаква сигнал за потвърждение заприемането на флита от маршрутизатора преди даизпрати следващия флитВзема решение за маршрутизация. Целевиятизходен порт за комутация на пакета през рутераXR се определя при приемането на заглавния флитв маршрутизиращата логика.Стартира трансфера на флита през комутаторакросбар, ако съответният изходен порт е свободени има разрешение от входния порт на следващиякомутатор за обмен на флит.Формират комуникационните канали иосъществяват трансфера на флита между входнияпорт на рутера и изходния порт на рутера впредходното стъпало на мрежата.Поддържат процедурата „handshake”.Формират комуникационните канали иосъществяват трансфера на флита междуизходния порт на рутера и входния порт на рутерав следващото стъпало на мрежата.Поддържат процедурата „handshake”.Осъществяват трансфера на флита от входниябуфер през комутатора.26

4.3.3. Симулационен модел на мрежа„αΩ Highway”и резултати отсимулационните експериментиНаправени са множество симулационни експерименти, на основата накоито са оценени параметрите на комуникационната производителност напредложената системна комуникационна мрежа „αΩ Highway”за случаите намрежови трафицис различно разпределение: случаен, равномерен, Гаусов иелспоненциален.На фиг. 4.10 е показан броят на комуникационите стъпки (hops) в мрежа„αΩ Highway”при трафик с равномерно разпределение на пакетите, а нафиг.4.11 - броят на комуникационите стъпки (hops) в мрежата Омега при трафикс Гаусово разпределение на пакетите.Фиг. 4.10 Броят на комуникационитестъпки (hops) в мрежа „αΩ Highway”притрафик с равномерно разпределение напакетите.Фиг. 4.11 Броят на комуникационитестъпки (hops) в мрежа „αΩ Highway”притрафик с Гаусово разпределение напакетите.1600ЛАТЕНТНОСТ140012001000800600400ЕкспоненциалноРавномерно20000.031 0.033 0.036 0.037 0.048 0.0525 0.056 0.0715 0.0761 0.0884 0.1584 0.1979 0.7847ПРЕДЛОЖЕН ТОВАРФиг.4.13 Сравнение на мрежовата латентност на мрежа „αΩ Highway”в зависимостот предложения трафик при фиксиран размер на пакета 32 флита при мрежовитрафици с равномерно и експоненциално разпределение.27

ЛАТЕНТНОСТ350030002500200015001000500032flits64flits128flits256flits0.0310.0330.0360.0370.0480.0520.0560.0710.0760.0880.1580.1970.784ПРЕДЛОЖЕН ТОВАРФиг. 4.17 Мрежовата латентност в зависимост от размера на пакета приекспоненциално разпределение на пакетите в трафика.4.4. Анализ и оценка на резултатитеот симулационните експериментиЦелта на симулационните експерименти в средата на мрежовиясимулатор Omnet++ е да се верифицира (да се провери работоспособносттана) предложената архитектура на мрежа „αΩ Highway”и изграждащите яградивни модули – рутера XRи рутера Алфа. Симулационият модел на мрежа„αΩ Highway”е компонент-базиран и е проектиран на базата на модули зарутера XR, рутера Алфа, подмрежа Омега и подмрежа Реверсивна Омега.Симулиран е мрежовият трафик в мрежа „αΩ Highway”за случая наинтерклъстерна комуникация при различно разпределение на мрежовия трафик– случайно разпределение (randomflood), равномерно разпределение,експоненциално разпределение и Гаусово разпределение. Оценени салатентността на мрежа „αΩ Highway”при различни разпределения на мрежовиятрафик. Определен е максималният брой на стъпките на комуникация (hops) намрежа „αΩ Highway”при различни разпределения на мрежовия трафик.Пропускателната способност на мрежата е определена на основата наотношението „предложен комуникационен товар/приет комуникационен товар”.Изследвано е влиянието на размера на пакета (32, 64, 128 и 256 флита) върхумрежовата латентност.28

ПРИНОСИ НА ДИСЕРТАЦИОННИЯ ТРУД1. Предложен е концептуален модел на високоскоростна системна мрежа зависоко паралелни компютърни клъстери, който осигурява добра скалируемост иустойчивост спрямо откази.2. На основата на предложения концептуален модел е синтезиран архитектуренпроект на йерархична мултирингова системна комуникационна мрежа на двенива за високо паралелни компютърни клъстери с висока устойчивост спрямооткази като се осигуряват множество алтернативни маршрути за адаптивнамаршрутизация.3. Проектирана е топологията на системната комуникационна мрежа „αΩHighway” на основата на циклична конкатенация от топологиите Омега иреверсивна Омега като се постига намаляване на степента на блокиране вмрежата.4. Предложен е архитектурен проект на рутерите XR, които осъществяватинтeрклъстерната комуникация в мрежата „αΩ Highway”.5. Синтезиран е алгоритъм за управление на мрежовия поток в системнатакомуникационна мрежа „αΩ Highway”.6. Дефинирани са режимите на трансфер в системната мрежа „αΩ Highway” иса създадени сценарии за тяхната имплементация.7. Предложената архитектура на мрежата „αΩ Highway” е верифицирана наосновата на симулационни експерименти в средата на мрежов симулаторOmnet++ при различно поведение на трафика в мрежата. Верификацията енаправена за случаите на трафици със случайно, равномерно, експоненциалнои Гаусово разпределение.8. Дефинирана е функционалността на модулите, изграждащи компонентбазираниясимулационен модел на системната мрежа „αΩ Highway”.9. На основата на симулационни експерименти са оценени и анализиранипараметрите на комуникационната производителност на системната мрежа „αΩHighway” при различните видове трафици, респ. латентност и пропускателнаспособност, най-дългите маршрути (в брой стъпки на комуникация – hops), и еизследвано влиянието на размера на пакета (32, 64, 128 и 256 флита) върхумрежовата латентност.29

ПУБЛИКАЦИИ, СВЪРЗАНИ С ДИСЕРТАЦИОННИЯ ТРУД1. P. Borovska, I. Georgiev, G. Georgiev, H. Mohamed, Modelling and SimulationEnvironments for Networkon Chip Architectures: Survey, Fifth InternationalConference "Computer Science" 5-6 November 2009,International Workshop"Supercomputers Architecture and Applications", Technical University – Sofia,Bulgaria,Proceeding, pp. 26-32.2. P. Borovska, O. Nakov, D. Ivanova, A. Ruzhekov, H. Mohamed, AComparative Analysis of Next Generation High-End Switch Architectures, FifthInternational Conference "Computer Science" 5-6 November2009,International Workshops "Supercomputers Architecture and Applications",Technical University – Sofia,Bulgaria, Proceeding, pp. 7-123. П. Боровска, Х. Алкаф, Моделиране и средства за симулация накомпютърни комуникационни мрежи, сп. Computer &CommunicationsEngineering, брой 2/2010, стр. 5-20, ISSN 1313-27174. P. Borovska, D. Ivanova, H. Alkaf, и др., Comparative Analysis ofCommunication Performance Evaluation for Butterfly Bidirectional MultistageInterconnection Network Topology with Routing Tableand Destination TagRouting, International Scientific Conference”ComputerScience’2011”, Ohrid,Macedonia 01 - 03 September 2011, pp. 29-345. П. Боровска, Х. Алкаф, Архитектура на системна комуникационна мрежа“ALPHA OMEGA HIGHWAY”за компактни компютърни клъстери, сп.Computer & Communications Engineering, брой2/2012, ISSN 1313-2717ВнедряванеПроект Развитие на център за върхови научни постижения„Суперкомпютърни приложения” (Super CA++), договор ДЦВП 02/1 от 2009г. –работен пакет 2 Многопроцесорни комуникационни мрежи заPetaFLOPSсуперкомпютри, финансиран от фонд „Научни изследвания”30

System Area Network Architecture for High PerformanceComputer ClustersSummaryThe prevailing architectural style of modern high performance computersystems is building up clusters of numerous servers that compute one and the sameprogram and behave like an integrated powerful computing resource. Thecoordination of the compute nodes is based on the message passing model and so,the communication performance and the attributes of the system area networks is acrucial factor for the overall parallel performance of the computer cluster. The focusof the PhD thesis is the architectural design of efficient system area networks for highperformance computer clusters. Besides high speed data transfer, the system areanetwork design must ensure high reliability, fault tolerance and good scalability.In this thesis an innovative conceptual model of high speed system areanetwork intended for highly parallel computer clusters „αΩ Highway”has beensuggested that provides for high reliability, fault tolerance and good scalability. Onthe basis of the suggested conceptual model an architectural design of hierarchicalmulti-ring system area network on two levels for computer clusters has been built upproviding multiple alternative paths for message transfer for adaptiverouting.Thenetwork „αΩ Highway” is built up of 2 levels – level Alfa and level Omega.The computer cluster is partitioned into S segments. The intra-cluster communicationis performed on level Alfa, while the inter-cluster communication is conducted onlevel Omega of „αΩ Highway”.The topology of the system area network „αΩ Highway” has been designed onthe basis of cyclic concatenation of Omega topology and reverse Omega topology forthe purpose of decreasing the level of blocking in the net. Architectural design of theXR routersfor Omega level of the proposed system area network „αΩ Highway” hasbeen suggested, that are responsible for the inter-cluster communication.An algorithm for flit-based control flow in the system area network „αΩ Highway”has been designed intended for cut trough routing of the “wormhole” type. Thetransfer modes in the network have been defined as well as the scenarios for theirimplementation.The proposed architectural design of „αΩ Highway” has been verified on thebasis of simulation experiments by the discrete event-driven network simulatorOmnet++ for various traffics such as random flood, uniform, exponential and Gaussdistribution. The functionality of the modules that build up the network simulationmodule has been defined. The communication performance parameters of „αΩHighway” such as network latency, the bandwidth, offered/delivered communicationload ratio, as well as the longest paths (in hops) have been evaluated on the basis ofsimulation. The impact of the packet size (32, 64, 128 and 256 flits) on the latency of„αΩ Highway” has been estimated.31