Mrežna infrastruktura za potrebe novih upravljačkih ... - Multilink

HRVATSKI OGRANAK MEĐUNARODNOG VIJEĆA
ZA VELIKE ELEKTROENERGETSKE SUSTAVE – CIGRÉ
9. simpozij o sustavu vođenja EES-a
Zadar, 8. – 10. studenoga 2010.
Suzana Javornik Vončina
HEP- Operator prijenosnog sustava d.o.o
suzana.javornik@hep.hr
Hrvoje Korasić
Končar – Inženjering za energetiku i transport d.o.o.
hrvoje.korasic@koncar-ket.hr
Davor Janković
CS Computer Systems d.o.o.
djankovic@cs.hr
MREŽNA INFRASTRUKTURA ZA POTREBE NOVIH UPRAVLJAČKIH CENTARA
HEP-OPS-a
SAŽETAK
U sklopu ugovora „Funkcije vođenja elektroenergetskog sustava“ (FV EES) dizajnira se i
implementira LAN infrastruktura u Nacionalnom dispečerskom centru (NDC), Rezervnom dispečerskom
centru (RDC) i u svim Mrežnim centrima (MC). Također, treba uspostaviti sustav za upravljanje
informacijskom sigurnošću uključujući projektiranje i implementaciju mjera sigurnosti za cijeli sustav.
Prema zahtjevima na sigurnost potrebno je ograničiti logički pristup mreži i mrežnim aktivnostima sustava
za upravljanje procesima što uključuje korištenje mrežne arhitekture s višestrukim demilitariziranim
zonama i vatrozidovima kako bi se spriječilo da mrežni promet direktno prolazi između vanjske i procesne
mreže.
Ključne riječi: LAN, lokalna računalna mreža, sigurnost, upravljanje mrežom
LOCAL AREA NETWORK INFRASTRUCTURE FOR CONTROL CENTRES OF
HEP-OPS
SUMMARY
In the scope of contract Power System Operation Functions LAN infrastructure in National
Control Centre (NCC), Emergency Control Centre (ECC) and all Regional Control Centers (RCC) is being
designed and implemented. Security Information System including design and implementation of security
measures for whole system has to be established as well. The access to the network and process
management system's network activities has to be limited in accordance with the security requests that
includes usage of network architecture with multiple demilitarized zones and firewalls to prevent direct
network traffic flow between external and process network.
Key words: LAN, Local Area Network, security, network management
1. UVOD
Mreža za vođenje EES-a raspoređena je na pet lokacija u Hrvatskoj: NDC Zagreb, rezervni NDC
Žerjavinec, MC Split, MC Osijek i MC Rijeka. Za međusobno povezivanje lokacija koristi se DWDM
sustav koji WAN mrežnim uređajima isporučuje kapacitete 1Gbps na optičkim sučeljima tipa
1000baseLX. Lokacije MC Split, MC Rijeka i MC Osijek imaju redundantne veze prema lokaciji NDC
Zagreb i po jednu vezu prema lokaciji MC/RDC Žerjavinec. Lokacije NDC Zagreb i MC/RDC Žerjavinec
spojene su redundantnim vezama.
1

Zahtjeva se da svaki poslužitelj i radna stanica moraju imati direktne dualne veze na lokalnu
mrežu brzinama 1 Gbit/s, čime bi se postigla neosjetljivost na ispad pojedine mrežne kartice, kabela ili
prospojnika. Svaki periferni uređaj mora posjedovati barem jednu direktnu vezu na lokalnu mrežu s
brzinom barem 100 Mbit/s.
Mora postojati mogućnost dodavanja ili isključivanja (fizički ili logički) pojedinih uređaja na
lokalnoj mreži, a da se pri tome ne utječe na rad drugih uređaja na lokalnoj mreži. Isto tako, mora biti
moguće proširiti lokalnu mrežu bez utjecaja na funkcionalnost uređaja spojenih na nju.
Sustav za nadgledanje mreže i sigurnosnih događaja treba omogućavati praćenje statusa
softverskih aplikacija, hardverske opreme i komunikacija, praćenje performansa sustava i komunikacija,
detekciju upada i upravljanje konfiguracijom komunikacijske mreže i opreme. Lokalna mreža mora biti
neosjetljiva na eventualne fizičke prekide u bilo kojem segmentu, odnosno ne smije doći do gubitka
komunikacije među uređajima povezanim na mrežu.
2. DIZAJN MREŽNE I SIGURNOSNE INFRASTRUKTURE
2.1. Inicijalni dizajn
Početni dizajn mreže za potrebe Funkcija vođenja EES-a je bio usmjeren prema korištenju
jednog para redundantnih uređaja po lokaciji i korištenju jednog para vatrozidova uz iskorištavanje
funkcionalnosti logičkog razdvajanja. Primjer tog dizajna nalazi se na Slici 1.
Slika 1. Inicijalni prijedlog dizajna
S obzirom da se u zahtjevima veliki naglasak stavlja na sigurnost sustava, pokazalo se da
koncept korištenja zajedničke platforme za povezivanje segmenata različitih sigurnosti nije primjeren.
Naime iako se logičkim razdvajanjem (VLANovi, VRFovi, sigurnosne zone na vatrozidu) postiže
zadovoljavajuća razina izolacije prometa, korištenje zajedničke fizičke platforme uvodi opasnost od
kompromitiranja cijelog sustava ukoliko se kompromitira samo jedan segment, i to najvjerojatnije onaj
najmanje siguran. Potencijalne opasnosti su kako razni napadi izvana tako i problemi sa komunikacijom
iznutra. Takvi neželjeni događaji mogu zauzeti resurse cijelog fizičkog uređaja i na taj način onemogućiti
rad svih segmenata tog uređaja. Mrežni uređaji, uz standardne resurse kao što su centralna procesorska
2

jedinica i radna memorija, još imaju i CAM tablicu, tablicu usmjeravana i matricu preklapanja. Svi ti resursi
su konačni i ukoliko se prepune, uređaj se ponaša nepredvidivo. Tada i redundancija dolazi u pitanje.
Naime, ukoliko detaljno promotrimo kako radi redundancija, ona se uvijek oslanja na tzv. keepalive
mehanizam, odnosno par redundantnih uređaja moraju biti svjesni jedan drugoga. Ako se jedan od njih
podržava nepredvidljivo, moguće je da i mehanizam redundancije ne konvergira uspješno i tada se
događa potpuni pad servisa.
Ukratko, problemi ovakvog dizajna su sljedeći:
• Oprema različitih segmenata i sigurnosnih zona dijeli iste fizičke resurse
• Lokalni problemi jednog segmenta mogu imati utjecaj na funkcioniranje cijelog sustava
• Napadi ili problemi na samo jednom uređaju mogu uzrokovati preopterećenje nekog od njegovih
resursa i posljedično prekid rada svih segmenata povezanih na taj uređaj
• Upitno ponašanje mehanizama redundancije u nekim slučajevima može uzrokovati potpuni prekid
servisa
2.2. Realizirani dizajn
Zbog svega gore navedenoga predložen je i realiziran drugačiji koncept mreže koji je opisan u
nastavku. Dizajn mrežne infrastrukture je takav da fizički dizajn u velikoj mjeri slijedi logički dizajn,
odnosno segmente. Segmenti su podijeljeni u tri glavna dijela: procesnu mrežu, podršku poslovnim
korisnicima (back office) i podršku vanjskim korisnicima (front office). Fizički dizajn slijedi ovaj koncept pa
su krajnji uređaji glavnih segmenata terminirani na odvojenim fizičkim platformama. Isto tako posebni
fizički odvojeni vatrozidovi odvajaju procesnu mrežu od mreže za podršku poslovnih korisnika te mrežu
za podršku poslovnih korisnika od mreže za podršku vanjskim korisnicima. Odabir fizičkih platformi
obavljen je na temelju dva osnovna kriterija: funkcionalnosti i kapaciteta. Pri tome se pazilo da se
odabere najoptimalnija varijanta koja je istovremeno i cjenovno prihvatljiva i odgovara na sve zahtjeve.
Iako je se u mreži nalazi više različitih platformi mrežnih uređaja, njihove glavne funkcionalnosti su iste, a
radi se o Layer 3 usmjeravanju, OSPF protokolu usmjeravanja i podržanim virtualnim tablicama
usmjeravanja – VRFovima. Vatrozidovi su podijeljeni u dvije platforme sa istim funkcionalnostima, a
razlikuju se po maksimalnom kapacitetu. Slike u nastavku ilustriraju podjelu fizičkih uređaja unutar
lokacije i prikazuje uređaje po njihovim ulogama i koncept komunikacije kojim se osigurava optimalna
komunikacija uz zadovoljavajuću sigurnost. Fizički dizajn mreže prikazan je na Slici 2.
Slika 2. Fizički dizajn mreže
Ukratko, glavne značajke ponuđenog dizajna su:
• Fizički i logički dizajn su vrlo slični i temeljeni na istim pretpostavkama
• Sustav je fizički podijeljen u tri osnovne sigurnosne zone
• Sustav je dodatno logički podijeljen u više segmenata
• Dizajn omogućuje bolju sigurnost uz veću fleksibilnost pri odabiru opreme
3

• Koncept vertikalne i horizontalne komunikacije omogućava optimalan tok prometa
• Intenzivno korištenje naprednih funkcionalnosti mrežnih uređaja kao što su dinamičko
usmjeravanje, virtualne tablice usmjeravanja, BFD i QoS mehanizmi na WAN sustavu
Koncept komunikacije mreže za potrebe Funkcija vođenja EES-a prikazan je na Slici 3. Pod
vertikalnom komunikacijom podrazumijeva se strogo, preko vatrozidova, kontrolirana komunikacija
između segmenata, dok se pod horizontalnom komunikacijom podrazumijeva komunikacija unutar jednog
segmenta između dvije ili više lokacija.
Slika 3. Koncept komunikacije mreže
3. DIZAJN SIGURNOSNIH MEHANIZAMA
Sigurnosni sustav projektiran je u cilju zadovoljavanja četiri osnovna zahtjeva na sigurnost:
• tajnost – sprečavanje neautoriziranog pristupa osjetljivim informacijama
• cjelovitost – sprečavanje neautorizirane izmjene podataka, sistema i informacija
• dostupnost – sprečavanje uskraćivanja usluge i osiguravanje autoriziranog pristupa
informacijama
• nepriznavanje – sprečavanje poricanja aktivnosti koja se dogodila ili potvrđivanja aktivnosti koja
se nije dogodila
Implementacijom vatrozida ograničio se logički pristup mreži i mrežnim aktivnostima za upravljanje
procesima. Dodatno, omogućilo se realiziranje višestrukih demilitariziranih zona kako bi se spriječio
direktan mrežni promet prolazi između vanjskog svijeta i procesne mreže. Implementacijom RADIUS
servera i konfiguracijom AAA (Authentication, Authorization, Accounting) servisa omogućio se zasebni
autentikacijski mehanizam. Potpunom redundantnošću projektiranog sustava osigurava se zadržavanje
funkcionalnosti za nepovoljnih uvjeta.
Pravilno projektirana fizička topologije mreže i mrežne infrastrukture osnova je, i u stvarnosti
najbitnija stavka obrane od neovlaštenog upada ostalih tipova mrežnih napada. Sve ostale
funkcionalnosti osiguranja, bazirane na konfiguracijama različitih mrežnih i zaštitnih uređaja,
najdjelotvornije su tek u tako pravilno fizički projektiranoj topologiji.
4. NADZOR I UPRAVLJANJE
4.1. Uvod
Nadzor i upravljanje mrežnom infrastrukturom projektirano je po konceptu FCAPS (fault,
configuration, accounting, performance i security management). Iako se sastoji od više različitih alata
možemo govoriti da se radi o jednom sustavu s obzirom da je dizajn takav da administratoru kroz jedan
alat daje pogled u sve gore navedene segmente nadzora i upravljanja mrežnom infrastrukturom. Takav
4

način olakšava rad mrežnih administratora i ubrzava vrijeme otkrivanja problema kada se on dogodi. Kao
i za mrežnu infrastrukturu i kod odabira alata za nadzor vodilo se računa o funkcionalnostima koje
omogućavaju i o cijeni sustava. Slika 4 ilustrira realizaciju različitih alata u jedan sustav za upravljanje i
nadzor nad mrežnom i sigurnosnom infrastrukturom.
Slika 4. Model realizacije nadzornog sustava.
4.2. Nadzorni sustavi
Generalno, lokalna EES mreža sastoji se od vanjskog i unutarnjeg dijela. Povezivanje lokalne
EES mreže s vanjskom mrežom (Internet, HEP Poslovna mreža) predviđen je na lokacijama NDC Zagreb
i Rezervni NDC Žerjavinec.
U svrhu onemogućavanja neautoriziranog pristupa iz vanjske mreže u unutarnju, predviđa se
implementacija vanjskog vatrozida na lokacijama NDC Zagreb i Rezervni NDC Žerjevinec. Vatrozid se
implementira u active/standby redundantnoj konfiguraciji s pripadajućim modulima za prevenciju
neautoriziranog upada u mrežu.
U području pokrivanja Sustava za upravljanje informacijskom sigurnošću (ISMS), segment
Sistemske podrške procesa Vođenja ICT sustava uključuje komponente koje pružaju podršku ICT
sustavu i osiguravaju njegovo ispravno funkcioniranje. Među tim komponentama nalaze se i sustavi za
nadzor rada ICT opreme.
Ovdje su navedeni sustavi za nadgledanje mreže, mrežne opreme i sigurnosnih događaja u
sklopu Središnjeg sustava za upravljanje mrežom i sigurnosnim mehanizmima .
Funkcije takvih sustava su sljedeće:
• praćenje statusa opreme te ključnih aplikacija i/ili procesa na njima
• praćenje, prikupljanje i spremanje podataka o performansama opreme, sustava i komunikacije
• prikupljanje i spremanje događaja (alarma) iz mreže
• prezentacija prikupljenih podataka
• izvršavanje predefiniranih akcija, bilo planiranih, bilo kao odgovor na neki događaj
• praćenje pristupa, prometa i aktivnosti na mreži
• otkrivanje i prevencija sigurnosnih propusta
Aplikacije nadzornih sustava koje se koriste u mreži za potrebe Funkcija vođenja EES-a su:
• IBM Tivoli Netcool/OMNIbus – služi za centralizirani nadzor kompleksnih ICT sustava i okoline
• IBM Tivoli Network Manager – služi za fault i performance management nadzor mreže
• CiscoWorks – služi za nadzor mrežne infrastrukture i uređaja baziranih na Cisco tehnologiji
• MARS – služi za kontrolu i nadzor Cisco sigurnosnih rješenja
• Check Point Endpoint Security – Secure Access – služi za nadzor krajnjih točaka u mreži
• Cacti – služi za prikupljanje, analizu i prikaz performansi sustava (performance management)
Navedene aplikacije osiguravaju tražene funkcionalnosti iz područja upravljanja mrežnim
elementima (Element Management), otkrivanja grešaka i kvarova (Fault Management), praćenja
5

performansi (Performance Management) i upravljanje sigurnosnim mehanizmima (Security
Management).
5. ZAKLJUČAK
Dokumentacijom za javno nadmetanje za mrežnu infrastrukturu za potrebe Funkcija vođenja
EES-a postavljeni su zahtjevi na dizajn i sigurnost mreže, kao i na sustav za upravljanje i nadzor mreže.
Na temelju dizajna mreže i provedenih proračuna proizašla je specifikacija aktivne mrežne opreme i
programske podrške koja omogućuje 50 % proširenje kapaciteta mrežnih uređaja, zadovoljava sve
zahtjeve iz DZN-a, omogućuje rad u prijelaznom razdoblju, te je u skladu s aktualnim trendovima.
6. LITERATURA
[1] Dokumentacija za javno nadmetanje br.E-VV 2/2007, HEP Operator prijenosnog sustava d.o.o.,
Zagreb 08/2007.g.
[2] Telekomunikacijsko povezivanje za potrebe projekta Funkcije vođenja EES-a u 2010. godini za
Sustav daljinskog vođenja – aplikacija SCADA, sekundarnu regulaciju radne snage i frekvencije,
SM izvan SDV-a i obračunsko mjerenje, Tim za koordinaciju uspostave IP mreže procesnog
sustava HEP-OPS, Zagreb, studeni 2009.
[3] Dokumentacija br. 100191/11: Funkcije vođenja EES-a Projekt mreže, Izvedbeni projekt, Knjiga:
E09, CS COMPUTER SYSTEMS d.o.o., Zagreb, lipanj 2010.
6