Where is the open datacenter facility API ?

<English cross post with my DCP blog>

For some time the Datacenter Pulse top 10 has featured an item called ‘ Converged Infrastructure Intelligence‘. The 2012 presentation mentioned:

Treat the DC infrastructure as an IT system;
- Converge in the infrastructure instrumentation and control systems
- Connect it into the IT systems for ultimate control
Standardize connections and protocols to connect components

With datacenter infrastructure becoming a more complex system and the need for better efficiency within the whole datacenter stack, the need arises to integrate layers of the stack and make them ‘talk’ to each other.

This is shown in the DCP Stack framework with the need for ‘integrated control systems’; going up from the (facility) real-estate layer to the (IT) platform layer.

So if we have the ‘integrated control systems’, what would we be able to do?

We could:

• Influence behavior (can’t control what you don’t know); application developers can be given insight on their power usage when they write code for example. This is one of the needed steps for more energy efficient application programming. It will also provide more insight of the complete energy flow and more detailed measurements.
• Design for lower level TIER datacenters; when failure is imminent, IT systems can be triggered to move workloads to other datacenter locations. This can be triggered by signals from the facility equipment to the IT systems.
• Design close control cooling systems that trigger on real CPU and memory temperature and not on room level temperature sensors. This could eliminate hot spots and focus the cooling energy consumption on the spots where it is really needed. It could even make the cooling system aware of oncoming throttle up from IT systems.
• Optimize datacenters for smart grid. The increase of sustainable power sources like wind and solar energy, increases the need for more flexibility in energy consumption. Some may think this is only the case when you introduce onsite sustainable power generation, but the energy market will be affected by the general availability of sustainable power sources also. In the end the ability to be flexible will lead to lower energy prices. Real supply and demand management in the datacenters requires integrated information and control from the facility layers and IT layers of the stack.
• …

Gap between IT and facility does not only exists between IT and facility staff but also between their information systems. Closing the gap between people and systems will make the datacenter more efficient, more reliable and opens up a whole new world of possibilities.

This all leads to something that has been on my wish list for a long, long time: the datacenter facility API (Application programming interface)

I’m aware that we have BMS systems supporting open protocols like BACnet, LonWorks and Modbus, and that is great. But they are not ‘IT ready’. I know some BMS systems support integration using XML and SOAP but that is not based on a generic ‘open standard framework’ for datacenter facilities.

So what does this API need to be ?

First it needs to be an ‘open standard’ framework; publicly available and no rights restrictions for the usage of the API framework.

This will avoid vendor lock-in. History has shown us, especially in the area of SCADA and BMS systems, that our vendors come up with many great new proprietary technologies. While I understand that the development of new technology takes time and a great deal of money, locking me in to your specific system is not acceptable anymore.

A vendor proprietary system in the co-lo and wholesale facility will lead to the lock-in of co-lo customers. This is great for the co-lo datacenter owner, but not for its customer. Datacenter owners, operators and users need to be able to move between facilities and systems.

Every vendor that uses the API framework needs to use the same routines, data structures, object classes. Standardized. And yes, I used the word ‘Standardized’. So it’s a framework we all need to agree up on.

These two sentences are the big difference between what is already available and what we actually need. It should not matter if you place your IT systems in your own datacenter or with co-lo provider X, Y, Z. The API will provide the same information structure and layout anywhere…

(While it would be good to have the BMS market disrupted by open source development, having an open standard does not mean all the surrounding software needs to be open source. Open standard does not equal open source and vice versa.)

It needs to be IT ready. An IT application developer needs to be able to talk to the API just like he would to any other IT application API; so no strange facility protocols. Talk IP. Talk SOAP or better: REST. Talk something that is easy to understand and implement for the modern day application developer.

All this openness and ease of use may be scary for vendors and even end users because many SCADA and BMS systems are famous for relying on ‘security through obscurity’. All the facility specific protocols are notoriously hard to understand and program against. So if you don’t want to lose this false sense of security as a vendor; give us a ‘read only’ API. I would be very happy with only this first step…

So what information should this API be able to feed ?

Most information would be nice to have in near real time :

• Temperature at rack level
• Temperature outside of the building
• kWh, but other energy related would be nice at rack level
• warnings / alarms at rack and facility level
• kWh price (can be pulled from the energy market, but that doesn’t include the full datacenter kWh price (like a PUE markup))

(all if and where applicable and available)

The information owner would need features like access control for rack level information exchange and be able to tweak the real time features; we don’t want to create unmanageable information streams; in security, volume and amount.

So what do you think the API should look like? What information exchange should it provide? And more importantly; who should lead the effort to create the framework? Or… do you believe the Physical Datacenter API framework is already here?

More:

Good API design by Google : http://www.youtube.com/watch?v=heh4OeB9A-c&feature=gv

Labels, metrieken en hokjes voor ‘groene ICT’

Oke, laten we eerlijk zijn… de meeste mensen zijn gek op labels plakken en dingen in hokjes stoppen. Het houd de zaken overzichtelijk en zorgt er voor dat we dingen met elkaar kunnen vergelijken. Zo ook in de ICT sector en de datacenter industrie.

In de afgelopen maanden werd ik diverse keren geconfronteerd met ‘misbruik’ van metrieken <pue blog> of de creatie van nieuwe metrieken of labels. Soms oneigenlijk gebruik van bestaande methode, maar steeds vaker een poging tot introductie van nieuwe labels die vooral gefocust zijn op ‘groen’ en de gehele IT dienstverlening keten.

Binnen DatacenterPulse (DCP) hebben we de diverse lagen en onderdelen in het datacenter gevat in een praat plaat genaamd de DataCenterPulse Stack. Naast het feit dat deze de opbouw en onderlinge afhankelijkheden laat zien van de lagen, word hier ook gesproken over metrieken of labels.

Het gedeelte van “Input metrics –> Layer metrics per business sector” doelt daar op. Het verwijst naar de verschillende metrieken en labels die op de diverse lagen beschikbaar zijn.

Voorbeelden hier van zijn:

• PUE, op de Physical&Real Estate laag, welke energie efficiëntie in het facilitaire deel van het datacenter in beeld brengt.
• WUE, op de Real Estate laag, welke efficiënt water gebruik in beeld brengt.
• SPECpower, op de Platform laag, welke energie efficiëntie voor servers in beeld brengt.
• Etc…

Diverse organisaties proberen ook al enige tijd een ‘usefull work’ metriek uit te brengen. Deze moet de overhead in energie gebruik laten zien v.s. de hoeveelheid energie die verbruikt word voor het ‘werk dat er echt toe doet’.

Dit is echter lastig op te lossen aangezien ‘usefull work’ voor het ene bedrijf iets totaal anders kan betekenen dan voor het andere bedrijf. De output van IT kan niet altijd op dezelfde manier gewogen worden.

Het brengt ook het probleem met zich mee van het vangen de de alle lagen in de Stack in 1 label of berekening/metriek. Gezien de complexiteit van al deze lagen en de variabelen (kwalitatief / kwantitatief) is de vraag of dat wel haalbaar is.

Een recente discussie die ik mocht bijwonen ging over een ‘groen label voor cloud computing’. Hier mee zou dan gemakkelijk leveranciers te vergelijken zijn en kunnen bedrijven aantonen dat ze ‘groener’ worden door over te stappen naar cloud computing. Het zou dan een F tot A++ label zijn, zoals met wasmachines en koelkasten op dit moment werkt.

Ik begrijp de hang hier naar best, maar laten we deze wens eens uit elkaar trekken:

1. We beginnen met de definitie: wat is groen dan ? Vaak zie je dat er eigenlijk energie efficiënt word bedoeld. Echter bij groen moet men alle elementen van verbruik mee nemen. Hier in zit dus ook water gebruik en andere grondstoffen. Ook uitstoot moet eigenlijk mee genomen worden. Van totale CO2 uitstoot tot afval van server systemen.
2. Hoe weet ik of ik ‘groener’ word ? Dit betekend dat ik in de hele context van de vraag moet weten waar ik nu sta en dat ik dit moet kunnen vergelijken met het ICT ecosysteem van een ander.
3. Wat is dan de definitie van cloud computing ? Hier zijn al hele boeken en blogs over vol geschreven. Deze afkadering is nog steeds erg flexibel. Laten we voor dit argument eens zeggen dat het Software As A Service is (SAAS). Dan betekend dit dat we de hele DCP Stack in 1 label proberen samen te vatten op het onderwerp ‘groen’. Hier in zouden we dus alle soorten koeling, stroom distributie, server typen, besturingssystemen, applicatie frameworks en talen moeten wegen en in 1 label moeten vangen…

Een label op deze twee grote hypes (groen & cloud) die uit zulke complexe onderdelen bestaat… schreeuwt om misbruik door zijn eigen industrie. Zoals we binnen de datacenter industrie ook met PUE hebben gedaan.

Dit brengt ons bij het punt van creatie, acceptatie en standaardisatie van metrieken en labels. Mijn GreenGrid collega Andre Rouyer gebruikt daar altijd een mooi plaatje voor:

Deze begint bij Industry Alliances zoals de Green Grid, ICT~Office, DatacenterPulse, etc.. Dit is vaak de broedplaats voor nieuwe labels en metrieken. Zodra is voldoende markt acceptatie is, worden deze uitgewerkt door Standaardisatie organisaties. Denk hierbij aan NEN, CENELEC en ISO. Deze uitwerking leid tot een meetbaar en auditbare norm op het label of de metriek. Het zorgt voor duidelijke definities en beoordelingscriteria. Hierna worden deze normen opgenomen in (lokale) regelgeving door de diverse Overheden en kan er op gehandhaafd worden. Dit totale proces duur jaren.

Met de PUE hebben we gezien hoe dit proces kan (mis)lopen: bedacht door de GreenGrid en uitgewerkt in 2 a 3 jaar. Op dit moment ligt het op ISO niveau waar het tot een internationale standaard uitgewerkt gaat worden in de komende 2 a 3 jaar. In de tussen tijd heeft echter de overheid de PUE al opgepikt om er op te handhaven. Daarbij is er dus een belangrijke stap overgeslagen.

Het gebruik van metrieken&labels voor regulering vanuit overheid moet daar naast ook niet leiden tot de blokkade van innovatie zoals dat bij de adoptie van ASHRAE 90.1 gebeurde, waarbij het uitgebrachte label elke andere vorm van innovatieve koeling uitsloot. Als dit label vervolgens een wettelijke eis word door overheid adoptie, dan streeft deze in feiten zijn eigen doel voorbij.  

Men moet dus goed nadenken over de consequenties van de introductie van metrieken en labels:

1. Is het wel haalbaar; probeer ik niet een te complex systeem te vangen ?
2. Zijn de definities van de onderdelen die ik probeer te vangen wel helder ?
3. Welke manipulatie laat het label toe ? (gaming the system)
4. Indien er adoptie plaats vind door de overheid; welke effecten zal dit hebben op je sector/industrie ?
5. …

Het proces daarna is zo mogelijk nog belangrijker: uitproberen en testen van het label/metriek door de markt –> veel feedback verzamelen en verwerken –> aanscherpen en verder uitwerken. Indien blijkt dat het toch niet zo’n goed idee was, dan ook niet bang zijn om weer afscheid te nemen van het idee. Pas als het label goed gerijpt en uitwerkt is, dan is het klaar voor de stap naar standaardisatie.

De roep om een label is makkelijk gedaan, maar zoals de Amerikanen zeggen ‘Be Careful What You Wish For’.

Wil iemand het licht uit doen voor EUE ??!?

In 2007 lanceerde The Green Grid het idee van PUE. Het was niet perfect en niet uitgewerkt. In 2009 kwam de DOE met de EUE. Daar van zijn inmiddels diverse beschrijvingen en vormen:

1. “EUE is calculated by dividing the total source energy by total UPS energy. Some factors will not be a part of the calculation, such as heating and cooling degree days, data center type (traditional, hosting, Internet, etc) and UPS utilization.”

2. “EUE (energy usage efficiency) is very similar to PUE (power usage efficiency) with two notable exceptions. PUE covers only electrical usage where EUE covers all energy coming in to the data center. PUE also only covers electrical power from the entrance to the facility, EUE covers the energy from the source.”

3. “EUE is the same as PUE but calculated in one full year”

4. “EUE is the same as PUE but calculated in kWh”

5. “Deze EUE geeft een energie-prestatiemaat aan, de verhouding tussen het energiegebruik van ondersteunende diensten (zoals koeling) en het ICT-gerelateerde energieverbruik.”

Deze laatste kwam uit Nederland waar men dacht de opstart problemen met PUE ook te moeten aanpakken. ICT~Office kwam, met TNO, in 2009 met het idee voor EUE. Vaak werd aangehaald dat PUE niet over 1 heel jaar berekend hoeft te worden of geen rekening houd met energie (of warmte) terug leveren vanuit het datacenter. Ook het feit dat Nederland een eigen specifieke metriek voor datacenter energie efficiëntie nodig had werd vaak aangehaald.

Nou ben ik behoorlijk nationalistisch ingesteld; ik sta compleet in het oranje in de kroeg tijdens het EK, ik leef mee met ons koningshuis en ik eet haring… maar die EUE heb ik nooit begrepen. Als het dan iets echt Nederlands moest zijn, dan tenminste een echte vertaling – Energie Gebruiks Efficiëntie (EGE).

Recent duikt de EUE weer vol op op in Nederland. Ik hoor ICT~Office er over en AgentschapNL.

Tijdens een EMEA bijeenkomst met internationale collega’s van The Green Grid werd ik dus ook een beetje meewarig aangekeken toen de term viel. Zeker omdat de EPA&DOE de EUE inmiddels heeft los gelaten en PUE ondersteund. Ook de Europese Commissie heeft de PUE geadopteerd voor de Datacenter Code of Conduct.

Veel van de manco’s zijn ook inmiddels geadresseerd voor de PUE. In whitepaper #22 worden enkele zaken geadresseerd:

• Since power distribution losses and cooling equipment power consumption will always take positive values, DCiE can never be greater than 100%, nor can PUE be less than 1.0
• The PUE and DCiE metrics can be computed using either power (kilowatt) or energy (kilowatt-hour) measurements.
• The Green Grid discourages comparisons of different datacenters based on reported PUE/DCiE results.  Location, architecture, vintage, size and many other factors all play a role in a data center’s final results
• The Green Grid’s PUE /DCiE Detailed Analysis provides instructions for several options, differentiated by expected accuracy, for collecting power consumption data and calculating PUE and DCiE values.
• Without some indication as to the time over which particular results were calculated or the frequency with which individual data points were collected, comparison of results are difficult.
• pPUE = Total Energy within a boundary divided by the IT Equipment Energy within that boundary. (Zie deze presentatie en whitepaper #42)

Dus: de PUE mag niet onder de 1 zijn, PUE mag in kW of kWh berekend worden, PUE is niet bedoeld om datacentra met elkaar te vergelijken. Daarnaast dient er bij PUE publicatie context mee gegeven te worden. Deze context bestaat uit de locatie van de meting en de periode van meting;

De locatie van meting:

Het moment van meten:

The subscript is created by appending a character denoting the averaging period and a
character denoting the data collection frequency onto the reported metric
• Averaging Period:
o ‘Y’ denotes a measurement averaged over a year
o ‘M’ denotes a measurement averaged over a month
o ‘W’ denotes a measurement averaged over a week
o ‘D’ denotes a measurement averaged over a day

•Frequency:
o ‘M’ denotes a measurement taken monthly
o ‘W’ denotes a measurement taken weekly
o ‘D’ denotes a measurement taken daily
o ‘C’ denotes a measurement taken continuously (at least hourly)
o ‘–‘ denotes a single measurement (averaging period not used)

Dit geeft de volgende voorbeelden:

Bovenstaande geeft de lezer van een PUE getal een betere context rond de gepubliceerde cijfers. De discussie over een PUE ‘is niet over 1 heel jaar’ is daar mee dus ook afgedekt. Voor de manier van meten en technische uitwerking is samen met ASHRAE een boek geschreven genaamd “Real-Time Energy Consumption Measurements in Data Centers”.

Daar waar leveranciers van datacenter modules, koeling of energie onderdelen graag hun efficientie in beeld willen brengen kunnen ze voor dat deel de Partial PUE (pPUE) gebruiken. Hier mee is meteen duidelijk dat het over een datacenter deel gaat en niet over de gehele installatie.

Voor PUE berekening bestaat ook al enige tijd een tool op de Green Grid website.

Als men energie terug levert als (rest)product van het datacenter, kan men die inzichtelijk maken via de ERE: A Metric for Measuring the Benefit of Reuse Energy from a Data Center. Daarbij komt de PUE dus nooit onder de 1.

Tot ziens EUE

Nu er internationaal gekozen word voor PUE en deze zo ver uitgewerkt is, zou het fijn zijn als de Nederlandse organisaties zich hierbij aansluiten. Sommige ontwikkelde normen zoals BREEAM-NL en te ontwikkelen normen zoals NPR 5313 hebben de PUE ook over genomen. Dit voorkomt allemaal ruis in de markt. Zowel bij datacenter klanten, bij datacenter eigenaren, als bij de overheid. Spraakverwarring over een onduidelijke EUE moet vermeden worden, zodat we bij RFP’s of overheidsregels elkaar niet wazig behoeven aan te kijken. Zoals Neelie Kroes zegt;

Once we have a transparent way to measure, we can start in earnest to audit, report, and exchange best practice in the ICT sector.

Laten we die transparantie eenduidig en internationaal houden… en EUE gedag zeggen. *klik*

Everything is ‘Sustainable’

Not only is everything Green (especially in IT) and everything ‘low-PUE’ (especially in the Datacenter), but everything seems to be ‘sustainable’ also:

Credit: XKDC

The ‘green’ PUE monster…

<sorry Dutchies.. this one is in English… sort of..>

My fellow Datacenter Pulse (DCP) colleague Mark Thiele wrote a good article on the use of PUE in the datacenter industry. He basicly argues that you should look at the TCO of the datacenter and have a holistic view (like we promote with the DCP stack)

He opens with the ‘my PUE is better than yours remark’ we see going around in the industry. As mentioned before by the Green Grid; the misuse of PUE. (I have written several articles about this issue on my Dutch datacenter blog)

Well guess what… we kinda created this monster ourselves;

Commodity

Datacenter are going commodity. Differentiation is in efficiency; Looking at all the signs in the datacenter industry: the datacenter is becoming a commodity. The general idea is that any product will end up a commodity. See Simon Wardley’s excellent presentations on this subject.

Example signs are:

• Factory production of datacenter units. (See Mark’s “The Manufactured Assembly Line Data Center” and “Your Next Data Center – Can You Say: Cookie Cutter”.
• Facebook ‘opensourcing’ their datacenter design. eBay’s Open RFP is kinda in the same area.

(got lots more but for an other blog and beyond the point now…)

Most of it leads to technology being available to everyone. You still need a big budget to start building a datacenter but cost is coming down thanks to advances in IT technology (like: do we still need to build TIER4?) and facility technology. Great example is the option to build modular and from an assembly line. This reduces datacenter production cost and you can spread CAPEX across time.

For any commodity product the competitive advantage diminishes, prices go down and if you’re in the market of selling the stuff: your differentiation is on price and efficiency.

So we drive towards efficiency and lowering our operational cost to be cheaper that the competition. It doesn’t matter what type of datacenter owner you are (enterprise, cloud, co-lo, whole sale..) the competitive advantage is in the operational cost. Everyone already has an SAS70, ISO27001, ISO9001, PCI, etc.. certificate. Everyone can get and build the technology and at some point it doesn’t pay off to worry about the small engineering details anymore; the cost are too high to get enough competitive advantage in return.

Marketing & Sales

If you’re in the datacenter co-lo or whole-sales business then your marketing and sales guys are trying to look for the (next) USP.

With the datacenter efficiency on the rise it’s nice to have a single figure to tell your customer you are more efficient that the competition (and able to offer lower prices with it..).

PUE presented a great opportunity to get a nice USP for our sales guys. And I can’t blame them: it’s hard to sell a (going) commodity product and it’s something our customers are asking for.

Sustainable & marketing

The whole ‘green wash/hype’ (before the economic crisis) added to the misuse of PUE from a sales and marketing perspective. Everyone was ,and still is, building the next greenest datacenter on this planet. It would be nice to have a single figure to promote this ‘green stuff’ and tell the world about this new engineering marvel… and PUE is happily adopted for this.

On the enterprise/cloud datacenter part it’s not very different.. just another angle. Especially the larger datacenter (cloud) owners are pushed from a marketing perspective thanks to organizations like Greenpeace. They demand full disclosure of datacenter energy use and sustainability on behalf of the world’s population.

PUE is a nice tool to get some of the pressure off and tell the world you have the greenest datacenter operation, like Facebook, Google, Microsoft and others are now doing. The problem with those numbers is they don’t say anything without the full context. And like Mark says in his article; it doesn’t say anything about the full datacenter stack.

Sustainable & Government

The really interesting thing I have been dealing with recently is government and PUE.

Many state and local government organizations are looking at datacenters from an energy use perspective. This focus is thanks to reports from research and governmental institutes (for example EPA) and organizations like Greenpeace.

Government can use the ‘carrot (subsidies) or stick (penalties)’ approach but it always requires some kind of regulation and some form of measurement. They happily adapted PUE for this.

The main problem for this is that PUE is not ready to be audited. Sure general guidelines for PUE calculation are available, but it still doesn’t have all the full details and leaves opportunity to ‘game the system’. It also doesn’t address the full holistic datacenter approach and the fact that you cannot use PUE to compare different datacenters.

Datacenter customer

Some of the governmental organizations are also using PUE for their co-lo tenders. They are not the only ones. More and more RFP’s on the datacenter market state a specific PUE number or target with additional credits for the lowest number.

I can’t blame the datacenter customer; the datacenter is a pretty complex facility box if you’re not educated in that industry. It would be nice to just throw some numbers at it like TIER1-4 and PUE1-2 and see the best solution provider out there…

I can’t blame the datacenter owner for the answer with the best possible number he can ‘think’ of… they just want the business…

Datacenter vendor

As usual I’m part of the problem also. When I go shopping for the next big thing in datacenter technology, PUE is always part of the conversation.

Datacenter equipment vendors (especially cooling and power) are happy to throw some numbers my way to convince me that their solution is the most efficient.

The PUE numbers are on the equipment spec sheets, on the vendor website and in the sales meeting… but at the end I always have to conclude that our little number dance really doesn’t tell me anything. Just like Mark mentions.. I go back to TCO.

Our own monster

So… we created this monster as an datacenter industry. Owners and consumers. Government and industry groups. I can also assure you that this will continue and will also happen to some of the great other Green Grid initiatives like CUE, WUE and the Maturity Model. It’s just a way of trying to put a number on what can be a very complex stack of functions called the datacenter.

Only way to diminish the monster is to educate our industry colleagues and our customers. And stop throwing the numbers around…

For the record1: the use of PUE

Don’t get me wrong, I love PUE and have used it successfully many times to benchmark my own data centers and prove to senior management that we progressed in efficiency. Its the way the EU Datacenter Code of Conduct works: show progress every year by calculating the PUE for the same datacenter with the same calculation method. This way you will have an apples – apples situation.

Its just that I don’t like the way PUE is used in the above examples…

For the record2: On datacenter and green

Full disclosure: Datacenters are not green and will never be green. They consume large amounts of energy and will consume more energy in the future. All thanks to Jevons Paradox and the fact that we consume more CPU/Storage if prices go down…. And yes, someone has to build datacenters for all the CPU’s and disk’s…

See GreenMonk – Simon Wardley on ‘Cloud & Green’

I do think that:

1. We should aim to build the most efficient datacenters on the planet. It should not only focus on energy consumption but on all resources used for build and operation.

2. We cannot keep up with the rising demand from an energy-grid perspective. We should start looking for alternative ways for datacenter build and deployment.