Hoe presteren de servers van Facebook?

Facebookingenieurs beweren dat de productiekosten van hun servers 24% lager liggen en dat de stroomefficiëntie 38% hoger is dan bij eender welke andere server. Is dat ook wel zo?

Om deze cijfers te behalen zijn een aantal compromissen gemaakt. Zo is het chassis 1.5U hoog: daardoor kan Facebook efficiëntere 60mm-ventilatoren gebruiken, maar haalt het toch een hogere dichtheid dan een 2U server. Het resultaat is dat deze ventilatoren slechts 2 tot 4% van het totale energieverbruik per server uitmaken. Verder werd ook bijzonder veel aandacht besteed aan de gebruikte spanningsregulatoren: die halen een efficiëntie van 94%.

De ultieme beslissing is uiteraard het verwijderen van alle onnodige stroomstelers: de onboard-GPU-chip, RAID-controller, BMC-chip en andere futiliteiten zijn volledig weggelaten.

Verder is de voeding zeer speciaal: met een efficiëntie van 94,5% laat die andere voedingen ver achter zich. Ook is de voeding genormaliseerd voor DC-(wissel)spanningen tussen 200 en 277V. De regel is dat hoe hoger de ingangsspanning is, hoe hoger het rendement wordt. De Facebook-datacenters draaien op 270V in plaats van, de in Amerika gebruikelijke, 208V en sparen daarmee nog eens 3 à 4% energieverbruik.

Een deksel is er niet, maar wel een plastic geleider voor optimale luchtstroom.

De voeding bovenaan rechts is de echte kracht van de server: zowel wissel- als gelijkstroom kan worden gebruikt.

Onze metingen
Zo veel beloften moeten uiteraard onderzocht worden. We gebruikeen onze gespecialiseerde PDU-stroomlat van Racktivity, die intussen in staat is om niet alleen stroom te meten, maar ook de sinusgolven van deze stroom (via True RMS).

Hierbij moet vermeld dat, hoe meer de curve van de stroom (Current) deze van een perfecte sinusoïde benadert, hoe efficiënter de voeding. Dit is ook afhankelijk van de belasting van de voeding: als een voeding (of Power Supply Unit – PSU) slechts 20% belast is zal deze veel inefficiënter zijn dan een ideale belasting van 50-80%.

Op onderstaande grafieken is dan ook de stroom oftewel de rode lijn van belang.

Een standaard server met een voeding uit de duizend: veel pieken en weinig sprake van een vloeiende lijn.

De lijn van de HP DL380 G7 is al iets vloeiender, dit is de bekendste, commerciële ‘groene’ server.

Performantie en verbruik
Voor de rest van de benchmarks hebben we verdergewerkt met de Intel-versie van de Facebookserver. Op die manier kunnen we een één-op-éénvergelijking brengen tussen de Facebookserver en de bekende HP ProLiant DL380 G7. Deze laatste heeft één 460W High Efficiency Gold PSU.

Voor de rest werd de hardware-configuratie zoveel mogelijk gelijk gehouden:

• 6 x 4GB DDR3 wat een totaal maakt van 24GB
• 2 Intel Xeon X5650 processoren op 2.66GHz
• Intel Speedstep, TurboBoost en Hyperthreading werden aangeschakeld (in HP BIOS: Power Policy ingesteld op OS Control mode)
• 1 SAS HBA card (Adaptec 5085) verbonden met een externe DAS, met daarin 5 x SAS Cheetah 15K5 300GB (RAID0 configuratie)

Er werden 2 verschillende virtualisatie-benchmarks uitgevoerd:

• Eentje die het uiterste van de hardware en vooral de processors vraagt: gemiddelde CPU-Load 97%
• Eentje die een gemiddelde load simuleert van om en bij 60%, we meten ook het stroomverbruik van de idle machine (zonder load).

Alles werd uitgevoerd met een 16-tal virtuele machines bovenop ESXi 5.0.

Full load

Links word de performantie getoond, waarbij de blauwe balk de Facebook-server voorstelt en de rode de HP-server.

Bij een gemiddelde CPU-Load van meer dan 95% is er een licht verlies (doorvoer in transacties per seconde) voor de Facebookserver van 10%. Dit gaat echter wel ten voordele van het stroomverbruik dat een besparing optekent van 18% ten voordele van Facebook machine.

Medium en Idle Load
In veel gevallen echter worden servers niet ten volle belast maar slechts tussen de 10 en 60% gebruikt. Op vele momenten zal een server zelfs gewoon idle draaien, dus zonder load. Ook dit scenario hebben we nagegaan:

Het prestatie verschil van minder dan 3% valt binnen de foutmarge waardoor we kunnen stellen dat beide servers min of meer hetzelfde presteren.

Een ander plaatje wordt het als we naar het stroomverbruik kijken. Tijdens de test kon de Facebook-server een gemiddeld stroomverbruik van 173Watt optekenen terwijl de HP niet minder dan 198Watt nodig had. Een verschil van 13%.
Zonder belasting wordt dit zelfs nog sterker met een verschil van 26% (118W VS 160W).

Facebookingenieurs beweren dat de productiekosten van hun servers 24% lager liggen en dat de stroomefficiëntie 38% hoger is dan bij eender welke andere server. Is dat ook wel zo?

Om deze cijfers te behalen zijn een aantal compromissen gemaakt. Zo is het chassis 1.5U hoog: daardoor kan Facebook efficiëntere 60mm-ventilatoren gebruiken, maar haalt het toch een hogere dichtheid dan een 2U server. Het resultaat is dat deze ventilatoren slechts 2 tot 4% van het totale energieverbruik per server uitmaken. Verder werd ook bijzonder veel aandacht besteed aan de gebruikte spanningsregulatoren: die halen een efficiëntie van 94%.

De ultieme beslissing is uiteraard het verwijderen van alle onnodige stroomstelers: de onboard-GPU-chip, RAID-controller, BMC-chip en andere futiliteiten zijn volledig weggelaten.

Verder is de voeding zeer speciaal: met een efficiëntie van 94,5% laat die andere voedingen ver achter zich. Ook is de voeding genormaliseerd voor DC-(wissel)spanningen tussen 200 en 277V. De regel is dat hoe hoger de ingangsspanning is, hoe hoger het rendement wordt. De Facebook-datacenters draaien op 270V in plaats van, de in Amerika gebruikelijke, 208V en sparen daarmee nog eens 3 à 4% energieverbruik.

Een deksel is er niet, maar wel een plastic geleider voor optimale luchtstroom.

De voeding bovenaan rechts is de echte kracht van de server: zowel wissel- als gelijkstroom kan worden gebruikt.

Onze metingen
Zo veel beloften moeten uiteraard onderzocht worden. We gebruikeen onze gespecialiseerde PDU-stroomlat van Racktivity, die intussen in staat is om niet alleen stroom te meten, maar ook de sinusgolven van deze stroom (via True RMS).

Hierbij moet vermeld dat, hoe meer de curve van de stroom (Current) deze van een perfecte sinusoïde benadert, hoe efficiënter de voeding. Dit is ook afhankelijk van de belasting van de voeding: als een voeding (of Power Supply Unit – PSU) slechts 20% belast is zal deze veel inefficiënter zijn dan een ideale belasting van 50-80%.

Op onderstaande grafieken is dan ook de stroom oftewel de rode lijn van belang.

Een standaard server met een voeding uit de duizend: veel pieken en weinig sprake van een vloeiende lijn.

De lijn van de HP DL380 G7 is al iets vloeiender, dit is de bekendste, commerciële ‘groene’ server.

Performantie en verbruik
Voor de rest van de benchmarks hebben we verdergewerkt met de Intel-versie van de Facebookserver. Op die manier kunnen we een één-op-éénvergelijking brengen tussen de Facebookserver en de bekende HP ProLiant DL380 G7. Deze laatste heeft één 460W High Efficiency Gold PSU.

Voor de rest werd de hardware-configuratie zoveel mogelijk gelijk gehouden:

• 6 x 4GB DDR3 wat een totaal maakt van 24GB
• 2 Intel Xeon X5650 processoren op 2.66GHz
• Intel Speedstep, TurboBoost en Hyperthreading werden aangeschakeld (in HP BIOS: Power Policy ingesteld op OS Control mode)
• 1 SAS HBA card (Adaptec 5085) verbonden met een externe DAS, met daarin 5 x SAS Cheetah 15K5 300GB (RAID0 configuratie)

Er werden 2 verschillende virtualisatie-benchmarks uitgevoerd:

• Eentje die het uiterste van de hardware en vooral de processors vraagt: gemiddelde CPU-Load 97%
• Eentje die een gemiddelde load simuleert van om en bij 60%, we meten ook het stroomverbruik van de idle machine (zonder load).

Alles werd uitgevoerd met een 16-tal virtuele machines bovenop ESXi 5.0.

Full load

Links word de performantie getoond, waarbij de blauwe balk de Facebook-server voorstelt en de rode de HP-server.

Bij een gemiddelde CPU-Load van meer dan 95% is er een licht verlies (doorvoer in transacties per seconde) voor de Facebookserver van 10%. Dit gaat echter wel ten voordele van het stroomverbruik dat een besparing optekent van 18% ten voordele van Facebook machine.

Medium en Idle Load
In veel gevallen echter worden servers niet ten volle belast maar slechts tussen de 10 en 60% gebruikt. Op vele momenten zal een server zelfs gewoon idle draaien, dus zonder load. Ook dit scenario hebben we nagegaan:

Het prestatie verschil van minder dan 3% valt binnen de foutmarge waardoor we kunnen stellen dat beide servers min of meer hetzelfde presteren.

Een ander plaatje wordt het als we naar het stroomverbruik kijken. Tijdens de test kon de Facebook-server een gemiddeld stroomverbruik van 173Watt optekenen terwijl de HP niet minder dan 198Watt nodig had. Een verschil van 13%.
Zonder belasting wordt dit zelfs nog sterker met een verschil van 26% (118W VS 160W).