Energiankulutus on yksi suurimmista haasteista, kun suunnitellaan ja rakennetaan tehokkaampia supertietokoneita. Suurin osa tietokoneen käyttämästä energiasta muuttuu lämmöksi, ja supertietokoneen jäähdyttämiseen vaatii huolellisesta suunnittelua ja mahdollisesti lisäenergiaa. Kasvava energiankulutus oli yksi pääasiallisista ajureista siirryttäessä massiivisesti rinnakkaistettuun laskentaan sen sijaan, että tehtäisiin yksittäisistä suorittimista tehokkaampia. Supertietokoneissa käytetään myös grafiikkasuorittimia, koska ne voivat parantaa energiatehokkuutta tietyissä työkuormissa.
Maailman tehokkain supertietokone oli marraskuussa 2021 japanilainen Fugaku, jonka tehonkulutus on 28 MW. Vaikka kone on maailman kymmenen energiatehokkaimman tietokoneen joukossa, sen energiankulutus vastaa 10 000 keskimääräisen suomalaisen kotitalouden energiankulutusta. Energiatehokkuuden merkityksen kasvaessa nopeasti supertietokoneiden mittarina Green 500 -listalla käytetään niiden laskentatehon lisäksi myös energiatehokkuutta. Maailmanlaajuisen ilmastonmuutoksen torjunnassa supertietokoneet ovat kaksiteräinen miekka. Toisaalta ne auttavat ymmärtämään ja torjumaan ilmastonmuutosta, mutta toisaalta ne käyttävät suuria määriä energiaa.
Supertietokoneiden kompaktin rakenteen vuoksi jäähdytys on haastavampaa kuin kodin laitteissa. Viileä ilmasto voi kuitenkin auttaa jäähdytyksessä, ja nykyaikaisissa datakeskuksissa on myös runsaasti jäähdytysinfrastruktuuria. Kaksi yleisintä tapaa ovat ilmajäähdytys, jossa tasainen ilmavirta johdetaan supertietokoneen läpi, ja nestejäähdytys, jossa vettä tai muuta sopivaa nestettä kierrätetään järjestelmän läpi. Lisäksi hukkalämpöä voidaan usein käyttää datakeskuksen läheisyydessä olevien tilojen ja joskus jopa lähialueiden rakennusten lämmittämiseen.
Ilmajäähdytys on suhteellisen helppoa mutta ei kovin tehokasta. Nykyaikaiset tiheästi pakatut supertietokoneet, erityisesti grafiikkasuoritinpohjaiset, vaativat nestejäähdytystä, jotta ne eivät kuumene liikaa. Tämän vuoksi supertietokoneita operoiva datakeskus tarvitsee tehokkaan ja monimutkaisen jäähdytysinfrastruktuurin putkistoineen, pumppuineen, lämmönvaihtimineen ja muine laitteineen.
CSC:n Kajaanin datakeskuksen LUMI-supertietokoneen hukkalämpöä käytetään kaupungin kotitalouksien lämmitykseen.