Warm water is volgens Lenovo de oplossing om servers koel te houden. Met enkele handige innovaties wil de fabrikant waterkoeling breed toegankelijk maken. HPC en AI zijn de initiële doelen, maar op termijn kan iedereen er baat bij hebben. De sleutel: een oplossing die past binnen bestaande datacenters.
Luchtkoeling van servers loopt tegen haar limieten aan. Dat stelt Scott Tease, VP of WW High-Performance Computing en AI Intelligence bij Lenovo in een gesprek met ITdaily tijdens Tech World in Bellevue. “Alle energie die je in een server pompt, verlaat het toestel in de vorm van warmte”, licht hij toe.
“Vraagt je server tien kilowatt aan stroom, dan moet je tien kilowatt aan warmte verwijderen”, gaat hij verder. “Dat gebeurt typisch met airconditioning, maar als je 10 kW wil wegwerken, heb je ongeveer 4 kW aan koeling nodig.”
Als je 10 kW aan warmte wil wegwerken, heb je ongeveer 4 kW aan koeling nodig.
Scott Tease, VP of WW High-Performance Computing en AI Intelligence, Lenovo
Dat is niet efficiënt, maar het gaat wel. “Zelfs HPC-servers met een verbruik van 25 kW kan je met lucht koelen”, geeft ook Tease toe. Lenovo biedt dergelijke oplossingen zelf aan en stelt ze ten toon op Tech World. De luchtgekoelde HPC-servers zijn weliswaar enorm, en wegen veel. De immense radiatoren spel daarbij een grote rol.
Limiet van luchtkoeling
Wanneer servers nog krachtiger worden, verdwijnt de optie voor luchtkoeling. “100 kW kan je gewoon niet met lucht koelen”, aldus Tease. De oplossing; waterkoeling.
100 kW kan je gewoon niet met lucht koelen
Scott Tease, VP of WW High-Performance Computing en AI Intelligence, Lenovo
Lenovo is niet de enige die dat beseft. “Ook Dell en HP bouwen krachtige oplossingen”, zegt Tease zelf. “Maar hun racks zijn gigantisch. Ze zijn 2,5 meter diep, gaan niet door een deur of passen niet in een lift, en klanten moeten de vloer van hun datacenter versterken om ze te zetten.”
Toegankelijkheidsvraagstuk
De kunst is dus om krachtige servers te koelen op een meer toegankelijke manier. “Onze watergekoelde servers zijn ook een beetje breder en hoger dan een standaard rackserver”, aldus Tease. Ze passen met andere woorden evenmin in een standaard rack.
“Die uitdaging legden we bij het ingenieursteam”, gaat hij verder. “Hoe kunnen we die te grote servers toch in een standaard 19 inch-rack krijgen.” Op Tech World stelt Lenovo de oplossing voor dat vraagstuk voor.
De fabrikant introduceert het N1380-chassis. Dat is een grote doos waarin klanten HPC-servers verticaal kunnen wegstoppen. Het N1380-chassis huisvest de servers verticaal, en past zelf wel in een klassiek 19 inch-rack. Het chassis heeft bovendien PDU’s (power distribution units) aan boord. Eén rack kan drie N1380-dozen huisvesten. Lenovo opent hiermee de deur naar racks met een capaciteit van meer dan 100 kW, zonder dat er drastische aanpassingen binnen het datacenter nodig zijn.
Warm water
De Neptune-vloeistofkoeling zelf werkt met ongekoeld water op kamertemperatuur. “Het water dat in de server gaat, mag tot 45 °C zijn”, weet Tease. De uitvoer is water van zo’n 55 °C. Tease: “Zo moeten we al geen energie meer steken in het koelen van het water zelf.”
Met die temperatuurtoleranties is de zesde generatie van de Neptune-vloeistofkoeling in principe geschikt om de meeste datacenters in Europa en de VS fris te houden, zonder speciale behandeling van het water vooraf.
Lenovo kan die redelijk unieke technologie aanbieden dankzij jaren van eigen onderzoek. Dat onderzoek begon eigenlijk al in de IBM-periode, en is gebaseerd op kennis uit de mainframe-sector. “Wanneer je kijkt naar de eerste oplossingen ontworpen rond 2010, dan zie je dat Neptune vandaag daar nog op gebaseerd is”, zegt Tease. “Grote buizen, minimale connectors, een lage flow rate en weinig druk: de oplossing volgt nog steeds dezelfde principes.”
Lenovo ontwikkelt zijn watergekoelde servers helemaal zelf, te beginnen vanaf het moederbord. Dat is volgens Tease de sleutel voor de efficiëntie, die op zijn beurt de warmwaterkoeling mogelijk maakt.
Zwembadverwarming
Het spreekt voor zich dat gebruikers de vloeistofkoeling wel moeten aansluiten, maar dat is volgens Tease geen grote uitdaging. Lenovo heeft al heel wat ervaring bij de integratie van waterkoeling in datacenters van klanten die oorspronkelijk voor luchtkoeling zijn gebouwd.
Tease hoopt dat klanten in de toekomst de restwarmte zullen inzetten, bijvoorbeeld om gebouwen op te warmen. Dat is geen theoretisch idee: in zijn fabriek in Hongarije verwarmt Lenovo zelf al vergaderruimtes met warm water van zijn Neptune-testservers.
lees ook
Warm water, koele servers: Nvidia’s Blackwell-chips als zwembadverwarming
“Je kan de waterleidingen van Neptune gewoon aansluiten op buizen, en het water naar ergens anders pompen”, licht hij toe. “Denk bijvoorbeeld aan een universiteit, waar het warme water van het datacenter via een warmtewisselaar het water van het zwembad kan opwarmen. Het warme water is zo geen afvalproduct meer, maar kan gerecycleerd worden voor energiebesparende doeleinden.”
Lage PUE
De integratie van waterkoeling zelf, brengt ook al heel wat besparingen met zich mee. “Alles begint al bij de ventilatoren”, zegt Tease. “Ventilatoren zijn verantwoordelijk voor tien tot vijftien procent van de het stroomverbruik van luchtgekoelde servers. Het kost veel energie om lucht te bewegen.”
Met Neptune gekoelde servers hebben ze geen ventilatoren meer nodig, en omdat de waterkoeling alle restwarmte van de servers afvoert, heeft het datacenter evenmin nog airco nodig.
“Zo redden we een enorme hoeveelheid stroom”, vertelt Tease. “Een luchtgekoeld datacenter heeft typisch een power usage effectiveness (PUE) van 1,4 of 1,6, wat wil zeggen dat veertig tot zestig procent van de stroom niet naar de servers, maar naar de koeling gaat. Met Neptune daalt de PUE tot onder de 1,1. Een PUE van 1,07 is eenvoudig haalbaar.”
Waterkoeling helpt met andere woorden om tot 40 procent aan stroom te besparen in vergelijking met dezelfde workloads, ondersteund door luchtkoeling.
AI heeft de interesse in waterkoeling echt versneld.
Scott Tease, VP of WW High-Performance Computing en AI Intelligence, Lenovo
“We ontwikkelden de technologie in eerste instantie voor HPC-klanten”, licht Tease toe. “Maar AI gaat nu de grootste profiteur zijn. AI heeft de interesse in waterkoeling echt versneld.”
Ook voor enterprise?
De cijfers waar Tease mee schermt, lijken ook interessant buiten AI- en HPC-workloads om. Ook klassiekere servers kunnen baat hebben bij waterkoeling. Een lagere PUE betekent een kleinere milieu-impact en een lagere operationele kost.
“Er is effectief meer interesse dan ooit”, beaamt Tease, “maar toch nog niet zo sterk van buiten HPC en AI. Met duurzaamheidsdoelstellingen en ESG-doelen zijn er wel meer motiverende factoren dan ooit om waterkoeling te omarmen, maar we zien nog geen grote boost in het enterprise-segment. Nog niet, want dat zal er op termijn wel van komen.”
Sexy server
Op Tech World schermt Lenovo met de splinternieuwe SC777: een AI-server gekoeld door Neptune-waterkoeling en uitgerust met twee Nvidia GB200 Blackwell-superchips. CEO Yuanqing Yan stelt de server samen met Nvidia-baas Jensen Huang voor op het podium. “Is dit niet prachtig”, zei Huang bij de introductie. “Voor een ingenieur is dit toestel sexy.”
Voor een ingenieur is dit toestel sexy.
Jensen Huang, CEO Nvidia
“Die SC777 verbruikt vijftien keer meer stroom dan de eerste nodes die we met Neptune gekoeld hebben, zo’n vijftien jaar geleden”, voegt Tease toe. “Dat lijkt veel, maar iedere SC777 is wel ongeveer duizend keer performanter dan de servers van toen. De toestellen verbruiken meer, maar de prestaties per watt zijn er exponentieel op vooruitgegaan.
Relatief toegankelijk
Neptune en het N1380-chassis zorgen ervoor dat de SC777 relatief toegankelijk is. Klanten kunnen klassieke racks van de AI-servers voorzien, in een klassiek datacenter, dankzij Neptune. Dat wil natuurlijk niet zeggen dat iedereen plots Blackwell-AI-servers kan installeren, het prijskaartje van de dingen nog buiten beschouwing gelaten.
lees ook
Meer dan een hardwareboer: Lenovo surft op AI-golf richting grote ambities
Tease: “De limiterende factor om voldoende rekenkracht uit te rollen, was lange tijd het budget en het aantal rekenkernen. Vandaag is dat eigenlijk de beschikbare stroom.” Meer stroom in het net injecteren, kan Lenovo niet. Toegankelijke Neptune-oplossingen moeten er wel voor zorgen dat de stroom die een organisatie ter beschikking heeft, zoveel mogelijk naar de IT-hardware gaat en niet naar de koeling.
Geheime saus
Tease is ervan overtuigd dat Neptune Lenovo daarom een voordeel geeft. “Andere fabrikanten kunnen waarschijnlijk onze oplossing wel kopiëren, als ze écht willen”, vermoedt hij. “Maar daarmee hebben ze nog niet onze ervaring met de conversie van klassieke datacenters naar waterkoeling. Die ervaring is onze geheime saus.”