Marc Wilkens: Energiemonitoring in Rechenzentren

ENERGIEMONITORING IN
RECHENZENTREN
HERAUSFORDERUNGEN & ERFAHRUNGEN
www.regioit-aachen.de
Berlin, Green-IT-Tag, 24.10.2012

GGC-Lab: Die Projektpartner
Technische Universität Berlin
2
Fachgebiet Informations- und
Kommunikationsmanagement

Hier:
GGC-Lab: Übersicht und Einflussfaktoren
Energieeffizienz
Lastmanagement
3

Agenda
1. Monitoring im Rechenzentrum – Status und Trends
2. Energiemonitoring für Rechenzentren – Herausforderungen
3. Praxisbeispiel GGC-Lab:
Aufbau eines Energie- und Performance-Monitorings
� Planung
� Umsetzung
� Ergebnisse
4. Empfehlungen
4

EVU
1. Monitoring: Ein Rechenzentrum – Zwei Welten
Gebäudetechnik Kühlsystem
IKT
Legende
Stromversorgung
Netzersatzanlage
Transformator
Eigenerzeugung
Abkürzungen:
Stromleitung
Systemgrenzen
EVU = Energieversorgungsunternehmen
NSHV = Niederspannungshauptverteilung
R-NSUV = Rack-Niederspannungsunterverteilung
USV = Unterbrechungsfreie Stromversorgung
MSR = Mess-, Steuer- und Regelungstechnik
NSHV
NSUV
NSUV
USV NSUV
Kälteanlagen
Umluftkühler
Leitungsnetze (Pumpen…)
Sonstiges
Rück-/Freikühler
Splitgeräte
MSR
Beleuchtung
R-NSUV
Brand- & Gefahrenschutz
Sonstiges
5
IKT-Systeme
Server
Speicher
Netzwerke

1. Monitoring: bunte Landschaft im Rechenzentrum
6

1. Monitoring: Standards und Trends im RZ-Monitoring
IKT-Systeme
» Oft IP-basiertes Monitoring (SNMP) mit Fokus auf Performance und
Verfügbarkeit
» Häufig werden Agenten auf Zielsystem benötigt
» Neuer Trend: Agentenloses Monitoring durch IPMI (z.B.: HP-ILO und WMI)
Gebäudetechnik
» Viele verschiedene Feldbusse (MODBUS, Profibus)
» Trend zu IP-basiertem Monitoring (BACNet)
7

Agenda
1. Monitoring im Rechenzentrum – Status und Trends
2. Energiemonitoring für Rechenzentren – Herausforderungen
3. Praxisbeispiel GGC-Lab:
Aufbau eines Energie- und Performance-Monitorings
� Planung
� Umsetzung
� Ergebnisse
4. Empfehlungen
8

2. Energiemonitoring für Rechenzentren
Analyse von ausgewählten Systemen zum RZ-Monitoring
Avocent
CA Tech.
deZem
IBM
IT-Backbone
JouleX
Nimsoft
Cob-Web (proRZ)
Paessler PRTG
Raritan - Power IQ
Raritan - DC Track
RiZone (Rittal)
Speedikon DAMS
Anbindung IT
Anbindung GT
Quelle: Drenkelfort et al, 2012, GreenIT Cockpit
Referenz
Kostentransparenz
0% 25% 50% 75% 100%
Messsensoren Art
Messsensoren
Hersteller
Datenexport
Schnittstellen
Datenexport-KPI
9
Datenexport-
Zeitauflösung
Datenqualität
Auswertung
Visualisierung
Achtung:
die Systeme sind nur
bedingt vergleichbar.
Herausforderung:
übergreifende Lösungen
für IT und GT

2. Fazit: Energiemonitoring im Rechenzentrum
» Die Qualität des Energiemonitorings hängt sehr stark vom umgesetzten
Datenerhebungskonzept ab
» Viele Anbieter von Energiemonitoringsystemen sind derzeit dabei, ihre
Systeme zu erweitern und insbesondere die einfache Integration von
Komponenten anderer Hersteller zu ermöglichen
» Die große Herausforderung:
Energieverbrauchsdaten und Performancedaten zusammenbringen !
10

Agenda
1. Monitoring im Rechenzentrum – Status und Trends
2. Energiemonitoring für Rechenzentren – Herausforderungen
3. Praxisbeispiel GGC-Lab:
Aufbau eines Energie- und Performance-Monitorings
� Planung
� Umsetzung
� Ergebnisse
4. Empfehlungen
11

3.1 Planung: Definition der Zielgrößen
HVAC – HVAC-EEP
Energy el IT / Energy all HVAC in
Chiller (CH) – CH-EEP
Energy th CH out / Energy el CH in
Re/Freecooler (RFC) – RFC-EEP
Energy th RFC / Energy el RFC in
Cooling Cycles (CC) – CC-EEP
Energy th CC out / Energy th CC in
CRAC/H – CRAC/H- EEP
Energy th CRAC/H out / Energy el CRAC/H in
Source: Schödwell et al 2012
Green Performance Indicator Framework (GPIF)
Facility – DCiE
Energy el IT in/ Energy total DC
Data Center – DCeP
IT-Services / Energy all DC
Power Provisioning – PP-EE
1- Energy el PP/ Energy el DC
UPS – UPS-SE
Energy el UPS out/ Energy el UPS in
Transformator – Trafo-EEP
Energy el Trafo out/ Energy el Trafo in
EPS – EPS-EEP
max Energy el EPS out/ Energy el EPS in
Power Distribut. (PD) – PD-EEP
1 - Energy el PD/ Energy el PP
On-Site Generation – OSG-EEP
Energyel OSGout/ Energyfuel OSGin IT – IT-PEW
IT Services / Energy el IT
12
Energieeffizienz
und
Produktivität
Server - Serv-EEP
tasks/ Energy el Server
Storage – Stor-EEP
IO or GB/ Energy el Storage
Network – Net-EEP
Gb/ Energy el Network

EVU
3.1 Planung: Messkonzept
Zielgrößen:
Top-Down planen
Stromversorgung
Notstromaggregat
Transformator
Eigenerzeugung
Legende
MP
Stromleitung
Systemgrenzen
Messpunkt
MP EVU
MP EE
NSHV
MP KS
MP So
Kühlsystem
MP USV
Sonstiges
Kälteanlagen
Rück-/Freikühler
Be-/Entfeuchter
Umluftklimagerät
Pumpen & Ventile
MP IT1
USV PDU
Mess-, Steuer- und
Regelungstechnik
Beleuchtung
Kleinverbraucher
Brand- und
Gefahrenschutz
13
Kontinuierliche Messung für jeden Messpunkt:
• Qel = elektr. Energie
• Pel = elektr. Wirklasten
MP IT2
Abkürzungen
IKT-System
Server
Speicher
Netzwerk
EVU = Energieversorgungsunternehmen
NSHV = Niederspannungshauptverteilung
PDU = Power Distribution Unit
Telekommunikation
USV = Unterbrechungsfreie Stromversorgung

3.1 Planung: Bestandsaufnahme Messtechnik
Was wird bereits
gemessen?
i.d.R. sind Messgeräte
im RZ vorhanden …
diese gilt es zu finden
und zuzuordnen !!!
14

3.1 Planung: Raumbelegungsplan
Wo
finde ich das, was
zusätzlich gemessen
werden soll?
Was
soll zusätzlich
gemessen werden?
15

3.1 Planung: Stromlaufplan
Wo
können die zusätzlichen
Messungen am besten
umgesetzt werden?
16

Nr. Messkategorie
3.2 Umsetzung: Messkonzept Bsp. GGC-Lab
Messpunkt
(phys. Messgröße) Symbol Einheit
Lasten-/Pflichtenheft
erarbeiten …
Messintervall
1 Stromversorg. Wirkleistung P wirk,Rzges W 2 min
2 Stromversorg. Wirkleistung Pwirk,Rzges Kompressor Kälteanlage 1 RZ2
W 2 min
3 Stromversorg. Wirkleistung Phase 1 Phase1
Kompressor Kälteanlage 1 RZ2
W 2 min
3 Stromversorg. Wirkleistung Phase 2 Phase2
Kompressor Kälteanlage 1 RZ2
W 2 min
3 Stromversorg. Wirkleistung Phase 3 Phase3 W 2 min
80 Server EE Serv = Transactions/ Q el, serv [Tran/kWh el ] [%]
82 - CPU EE CPU = Cycles CPU /Q el, CPU [Cycles/kWh el ] Ausl RAM = Space RAM, used /Space RAM, rated [%]
83 - RAM EE RAM = IO RAM /Q el, RAM [IO/kWh el ] Ausl Disk = IO disk, used/ IO disk, rated [%]
88 - Fan EE AFR = AFR serv, fan /Q el, serv, fan [m³/kWh el ] - [%]
90 Storage EE Stor = IO storage /Q el, storage [IO/kWh el ] Ausl storage = IO storage, used /IO storage, rated [%]
93 Network EE Net = IO net /Q el, net [Tb/kWh el ] Ausl Net = IO net, used/ IO net, rated [%]
Messstelle (Ort
des Messgeräts) Messstelle (Ort des Messgeräts)
Raum
- Bezeichnung Messgerät
Gebäude RZ2,
Janitza UMG 507E
(NSHV-Raum) NSHV Feld 4 (Trafo1)
(Nr.1)
Gebäude RZ2,
Janitza UMG 507E
(NSHV-Raum) NSHV Feld 7 (Trafo2)
(Nr.2)
Gebäude RZ2, Schaltschrank NSHV Feld 9,
(NSHV-Raum) Abgang Q26 Wandler 300 A
Gebäude RZ2, Schaltschrank NSHV Feld 9,
(NSHV-Raum) Abgang Q26 Wandler 300 A
Gebäude RZ2, Schaltschrank NSHV Feld 9,
(NSHV-Raum) Abgang Q26 Wandler 300 A
… … … … … … … … …
79 Stromversorg.
Gesamtstrom USV-A-
Wirkleistung Phase 1 Versorgung für Raum 105
Gesamtstrom USV-A-
W
und für die Gebäude Detailplanung
RZ2,
2 min (USV-A-Raum) Installation am 26.07
der Messstellen Gebäude RZ2, …
Wandler 150 A
79 Stromversorg. Wirkleistung Phase 2 Versorgung für Raum 105 W 2 min (USV-A-Raum) Installation am 26.07 Wandler 150 A
Gesamtstrom USV-A-
Gebäude RZ2,
79 Stromversorg. Wirkleistung Phase 3 Versorgung für Raum 105 W 2 min (USV-A-Raum) Installation am 26.07 Wandler 150 A
17
… genug Zeit einplanen !

3.2 Ergebnisse: Lösung im GGC-Lab
Unsere Lösung:
Integration von
IT und GT mit einem
übergeordneten Tool
18

1
2a
3b
4
3.2 Ergebnisse: Effizienzmaßnahmen regio iT
1
Power-Management bei Servern
Abschalten einzelner Server
Einhausung Kaltgang für einen Serverraum
Abschalten einzelner Server
2a
5 Umzug von Servern in neues RZ
2b
Virtualisierung und Konsolidierung Virtualisierung und neue Server
3a
ca. 400 phys. Server
ca. 120 virt. Server
2b
3b
ca. 500 phys. Server
ca. 750 virt. Server
Serverraumtemperatur u. Blindplatten
26 kW wurden eingespart:
- über 100 neue physische Server und
- 800 zusätzliche virtuelle Maschinen
Einsparpotenzial von 15% bei den Energiekosten
19
4
5
kWel.

Agenda
1. Monitoring im Rechenzentrum – Status und Trends
2. Energiemonitoring für Rechenzentren – Herausforderungen
3. Praxisbeispiel GGC-Lab:
Aufbau eines Energie- und Performance-Monitorings
� Planung
� Umsetzung
� Ergebnisse
4. Empfehlungen
20

4. Empfehlungen
(1) Geschäftsleitung, IT-Abteilung und Gebäudemanagement müssen von Beginn
an zusammenarbeiten
(2) Die passende Lösung suchen
» Skalierbarkeit
» Offene Schnittstellen
» Professioneller Support: z.B. Expertise für IT und GT
(3) Kostentransparenz schaffen
» Lasten- und Pflichtenheft erstellen !!!
(4) Top-Down-Vorgehen bei der Planung Messstellen
» Klein anfangen – groß einsparen
21
Nicht bei der
Ist-Analyse
sparen !!!

Vielen Dank für Ihre Aufmerksamkeit
Dipl.-Ing. Marc Wilkens
• Wiss. Mitarbeiter TU Berlin, FG IuK-Management
• Experte für die Energieeffizienz in RZ
Tel.: +49 (0) 30 / 314 28571
Fax: +49 (0) 30 / 314 78702
E-Mail: marc.wilkens@tu-berlin.de
Web: www.ikm.tu-berlin.de
22

4. Empfehlungen: Literatur
» „Rechenzentren und Cloud Computing – Ein aktuelles Handbuch für die Öffentliche Verwaltung“,
Hrsg. Zarnekow, Rehfeld, Wilkens; Loseblattwerk Heise Zeitschriften Verlag, 2012
» „Bewertung von Kennzahlen und Kennzahlensystemen zur Beschreibung der Energieeffizienz von
Rechenzentren“; Wilkens, Drenkelfort, Dittmar, IZE Schriftenreihe Nr.3, 2012
» “Towards a holistic Multi-Level Green Performance Indicator Framework (GPIF) to improve the
Energy Efficiency of Data Center Operation – A Resource Usage-Based Approach”; Schödwell,
Drenkelfort et al, Electronics Goes Green, 2012
» „Orientierungshilfe zur Leistungsdichte und Lastermittlung von Servern, Datenschränken und
Rechenzentren“; Terrahe, Wilkens, Whitepaper eco Datacenter Expert Group, 2012
» APC White Paper Reihe: http://www.apc.com/go/promo/whitepapers/index.cfm
» “Classification of Data Center Management Software Tools”, White Paper 104
» “Avoiding Common Pitfalls of Evaluating and Implementing DCIM Solutions”, White Paper 170
23

Back Up Folien
24

Level Metrics
Energy Efficiency (EE) Active Capacity Utilization (ACU)
Data Center (DC)
Power System (PS)
SS
Name, Metric Unit Source Unit Source
DCeP = IT-Services/Qel, DC
DCiE = Qel, IT/Qel, DC
ERF = Qth, Re-Use/Qel, DC
[ITS/kWhel]
[-]
[kWhth/kWhel]
b.o. [62]
[60, 61]
[64]
ACUDC = Ø(ACUIT+ACUPS+ACUCS) [%] b.o. [65]
Server*
EEServ = OPS/ Qel, serv [OPS/kWhel] [42-44] ACUServ = Ø(ACUCPU + ACURAM + ACUdisk + [42-44]
EEServ = Transactions/ Qel, serv [Tran/kWhel] [50]
ACUNIC)
[%] [50]
EEServ = FLOPS/ Qel, serv [Flops/kWhel] [45]
[45]
- CPU** EECPU = CyclesCPU/Qel, CPU [Cycles/kWhel] o.p. ACUCPU = CPU-Timeused/CPU-Timetotal [%] o.p.
- RAM** EERAM = IORAM/Qel, RAM [IO/kWhel] o.p. ACURAM = SpaceRAM, used/SpaceRAM, rated [%] o.p.
- Disk*,** EEDisk = IOserv, disk/Qel, serv, disk [IO/kWhel] b.o. [46] ACUDisk = IOdisk, used/IOdisk, rated [%] b.o. [46]
EEDisk = Spaceserv, disk/Qel, serv, disk [GB/kWhel] b.o. [47] ACUDisk = Spacedisk, used/Spacedisk, rated [%] b.o. [47]
- NIC**
EENIC = IONIC/Qel, NIC [Gb/kWhel] b.o. [48] ACUNIC = IONIC, used/IONIC, rated [%] b.o. [48]
- PSU** EEPSU = Qel, PSU, out/Qel, PSU, in [-] b.o. [66] ACUPSU = Qel, PSU, out/Qel, PSU, rated [%] b.o. [66]
- Fan** EEAFR = AFRserv, fan/Qel, serv, fan [m³/kWhel] o.p. ACUFans = Speedfan, used/Speedfan, rated [%] o.p.
- Board** EEBoard = 1- Qel, board/Qel, serv [-] o.p.
-
- -
Storage*
EEStor = IOstorage/Qel, storage
EEStor = Spacestorage/Qel, storage
[IO/kWhel]
[TB/kWhel]
[46]
[47]
ACUstorage = IOstorage, used/IOstorage, rated
ACUstorage = Spacestorage, used/Spacestorage, rated
[%]
[46]
[47]
Network EENet = IOnet/Qel, net [Tb/kWhel] [48,49] ACUNet = IOnet, used/IOnet, rated [%] [48,49]
IT Total IT DCeP = IT-Services/Qel, IT, in [ITS/kWhel] b.o. [62] ACUIT = Ø(ACUServ+ACUStor+ACUNet) [%] b.o. [66]
Total PS EEPS = 1- (Qel, PS, in/Qel, DC, in) [-] o.p. ACUIT = Qel, dc, in/Qel, trafo, rated [%] o.p.
UPS EEUPS = Qel, UPS, out/Qel, UPS, in [-] [58] ACUUPS = Qel, UPS, out/Qel, UPS, rated [%] [58]
PDU EEPDU = Qel,, PDU, out/Qel, PDU, in [-] [58] ACUPDU = Qel, PDU, out/Qel, PDU, rated [%] [58]
EPS EEEPS = Qel, EPS, in/Qel, PS [-] o.p. - - -
Trafo EETrafo = Qel,, trafo, out/Qel, trafo, in [-] o.p. ACUTrafo = Qel, trafo, out/Qel, trafo, rated [%] [58]
OSG EEOSG = Qel, OSG, out/QOSG, in [-] [67] ACUOSG = Qel, OSG, out/Qel, OSG, rated [%] [67]
EERCS = Qth, CS, out/Qel, CS
EECS = 1- Qel, CS/Qel, DC
[kWhth/kWhel] b.o. [58]
[-] o.p.
ACUCS = Qth, CS, used/Qth, CS, rated [%] [58]
Chillers
- Airside
- Compressor
- Pumps
- Fans
- Waterside
- Compressor
- Pumps
Re-/Free Cool.
RC/FC
- airside
- Fans
- waterside
- Fans
- Pumps
Cool. Cycles***
- Pumps
Cooling System (CS) Total CS
EERchil = Qth, chil/Qel, chil
EERchil includes Re-Cooling
EERcomp = Qth, chil, comp/Qel, chil, comp
EELFR = LFR/Qel, pump
EEAFR = AFRchil fan/Qel, chil, fan
EERChil without Re-Cooling
EERcomp = Qth, comp/Qel, comp
EELFR = LFRchiller, pump/Qel, pump
EERRC/FC = Qth, RC/FC/Qel, RC/FC
EEAFR = AFRRC/FC, fan/Qel, RC/FC, fan
[kWhth/kWhel]
[kWhth/kWhel]
[m³/kWhel]
[m³/kWhel]
[kWhth/kWhel]
[m³/kWhel]
[kWhth/kWhel]
[m³/kWhel]
[58]
[58]
[58]
[58]
[58]
[58]
[58]
[58]
ACUchil = Qth, chil, out/Qth, chil, rated
ACUcomp = Qth, chil, comp, out/Qth, chil, comp, rated
ACUpump = Speedpump,chil,used/Speedpump,chil,rated
ACUfan = Speedfan, chil, used/Speedfan, chil, rated
ACUcomp = Qth, chil, comp, out/Qth, chil, comp, rated
ACUpump = Speedpump, used /Speedpump, rated
Special for Free Cooling:
ACUEC, full = hoursused/8756 h
ACUEC, part = hoursused/8756 h
ACUfan = Speedfan, used/Speedfan, rated
EEAFR = AFRRC/FC/Qel, RC/FC, fan [m³/kWhel] [58] ACUfan = Speedfan, used/Speedfan, rated [%] [58]
EELFR = LFRRC/FC/Qel, RC/FC, pump [m³/kWhel] [58] ACUpump = Speedpump, used/Speedpump, rated [%] [58]
EERCC = Qth, CC/Qel, CC [kWhth/kWhel] [58]
-
- -
EELFR = LFR/Qel, pump [m³kWhel] [58] ACUpump = Speedpump, used/Speedpump, rated [%] [58]
CRAH**** EERcrah = Qth, crah/Qel, crah [kWhth/kWhel] [58] ACUcrah = Qth, crah, out/Qth, crah, rated [%] [58]
- Fans
EEAFR = AFRcrah/Qel, crah, fan [m³/kWhel] [58] ACUfan = Speedfan, used/Speedfan, rated [%] [58]
- Humidifier EEHum = water quantity/Qel, hum [l/kWhel] o.p.
-
[%] -
CRAC**** EERcrac = Qth, crac, out/Qel, crac [kWhth/kWhel] [58] ACUcrac = Qth, crac, out/Qth, crac, rated [%] [58]
- DXcomp. EERDX = Qth, crac, comp/Qel, crac, comp [kWhth/kWhel] [58] ACUcomp = Qth, comp, used/Qth, comp, rated [%] [58]
- Pumps EELFR = LFRcrac, pump/Qel, pump [m³/kWhel] [58] ACUpump = Speedpump, used/Speedpump, rated [%] [58]
- Fans EEAFR = AFRcrac, fan/Qel, crac, fan [m³/kWhel] [58] ACUfan = Speedfan, used/Speedfan, rated [%] [58]
- Humidifier EEHum = water quantity/Qel, hum [l/kWhel] o.p.
-
- -
Th. Stor. (TS) EETS = Qth, TS, out/Qth, TS, in [kWhth/kWhth] o.p. EETS = Qth, TS, used/Qth, TS, rated [%] o.p.
Humidifier RHD = Hummax - Hummin [%] [58] - - -
Air
Management
EEAM = Tcrac/h, in - Tcrac/h, out
EEAM, zu = 1/(Tcrac/h, out -TServ, in)
EEAM, ab =1/( Tserv, out –Tcrac/h, in)
[°C]
[-]
[-]
b.o. [68]
b.o. [68]
b.o. [68]
-
-
-
-
-
-
-
-
-
Total Sup. (SS) EESS= 1- QSS/QDC [kWhel/kWhel] o.p. - - -
Lightning EELights = AreaDC/Qel, lights [m²/kWh] b.o. [58] - - -
[%]
[%]
[%]
[%]
[%]
[%]
[%]
[%]
[%]
[58]
[58]
[58]
[58]
[58]
[58]
[59]
[59]
[58]
50 Kennwerte für das GPIF
Quelle: Schödwell et al,
Electronics Goes Green, 2012
25

2. Energiemonitoring für Rechenzentren
» Übergreifende Energiemonitoring-Lösungen erfassen vor allem den
Strombedarf von IKT und Gebäudetechnik
» Dabei erfassen Sie diesen direkt (Messtechnik) oder indirekt
(Energieverbrauchsprofile)
» Momentan: Energiemonitoringsystem schaffen, das Daten von
Anlagen/Geräten/Komponenten verschiedener Hersteller aggregiert
» Zukunft: Zusätzlich noch Performancemonitoring, d.h. Energiebedarfe mit
Performance-Größen verknüpfen
26