Äärimmäisen rinnakkaisissa ongelmissa ei tarvita erityistä kytkentäverkkoa ja suuri laskentateho voidaan saavuttaa pelkästään internetiin sattumanvaraisesti hajautettujen tietokoneiden avulla. Esimerkiksi vapaaehtoisten henkilökohtaisia tietokoneita käyttävä Folding@home-hanke saavutti 12. huhtikuuta 2020 erittäin korkean 2,43 eksaflopin suorituskyvyn.
Monet tieteelliset laskentaongelmat ovat kuitenkin tiiviisti kytkeytyneitä, ja niiden tehokas ratkaiseminen edellyttää nopeaa kytkentäverkkoa.
Kytkentäverkon kaksi tärkeintä ominaisuutta ovat viive ja kaistanleveys:
Viiveellä tarkoitetaan mihin tahansa toimintoon kuluvaa vähimmäisaikaa (eli yhden tavun siirtämiseen kuluvaa aikaa). Kaikkeen tiedonsiirtoon liittyy viive, joka ei riipu siirrettävän tiedon määrästä. Viiveen suhteen pienempi arvo on parempi.
Kaistanleveys on suurten tietomäärien siirtonopeus. Kaistanleveyden suhteen suurempi arvo on parempi.
Esimerkissämme, jossa toimistotyöntekijät pitävät puhelimitse yhteyttä eri toimistojen välillä, viive on numeron valitsemisesta vastaamiseen kuluva aika. Kaistanleveys on nopeus, jolla soittaja voi puhua ymmärrettävästi.
Esimerkkinä nykyaikaisten supertietokoneiden viive- ja kaistanleveysluvuista CSC:n Mahti-supertietokoneen kytkentäverkossa viive on noin 0,5 mikrosekuntia (0,5 x 10–6 tai 0,5 sekunnin miljoonasosaa) ja kahden solmun välinen suurin kaistanleveys on 200 Gb/s. Kodin erittäin nopean internet-valokuituyhteyden vastaavat luvut voisivat olla viiden millisekunnin viive (10 000 kertaa suurempi) ja 1 Gb/s:n kaistanleveys (200 kertaa pienempi).
Supertietokoneen kytkentäverkon viive voidaan asettaa perspektiiviin toteamalla, että valo kulkee 0,5 mikrosekunnissa 150 metriä. Jos siis kahden tietokoneen välinen etäisyys on yli 150 metriä, fysiikan lait tekevät alle 0,5 mikrosekunnin viiveestä mahdottoman. Tämän vuoksi ongelmissa, joissa pieni viive on tärkeä, ympäri maailmaa hajautettujen tietokoneiden verkkoa ei voi käyttää tehokkaasti.
Verkkotopologia kertoo, miten solmujen väliset yhteydet on järjestetty.
Käsitteellisesti yksinkertaisin topologia on täysin yhdistetty verkko, jossa kaikkien solmuparien välillä on suora yhteys. Vaikka täysin yhdistetty verkko tarjoaisi parhaan suorituskyvyn, se on liian monimutkainen ja kallis muuten kuin hyvin pienissä verkoissa. Esimerkiksi Mahdissa on 1 400 solmua, joten täysin yhdistetty verkko vaatisi lähes 1 000 000 yhteyttä.
Käytännön verkkotopologioissa pyritään kompromisseihin yhteyksien määrän ja hinnan sekä topologian suorituskyvyn välillä. Eri rinnakkaisongelmien tiedonsiirrossa on erilaisia piirteitä. Solmun suoritinytimen on ehkä kommunikoitava vain muutaman tietyn toisessa solmussa olevan ytimen kanssa, tai ytimet ja solmut, joiden kanssa kommunikoidaan, voivat muuttua dynaamisesti. Joissakin tapauksissa saman ytimen on ehkä kommunikoitava kaikkien muiden sovelluksen käyttämien ytimien kanssa.
On hyvin harvinaista, että yksi sovellus käyttää koko supertietokonetta. Sen sijaan eräajojärjestelmä varaa yleensä eri ajoille eri solmuja. Joissakin ajoissa solmut voivat olla fyysisesti lähellä toisiaan, kun taas toisissa ajoissa ne ovat fyysisesti kaukana toisistaan. Näin ollen verkkotopologian valinnassa on otettava huomioon monia parametreja, ja topologiat voivat olla myös käsitteellisesti varsin monimutkaisia.
Esimerkiksi Mahdissa käytetään Dragonfly-nimistä topologiaa. Solmut on jaettu kuuteen dragonfly-ryhmään, joissa kussakin on 234 solmua. Dragonfly-ryhmän sisällä on puolestaan niin kutsuttuja fat-tree-topologioita, jotka ovat täysin yhdistettyjä dragonfly-ryhmien välillä.
Sisältää "Supercomputing"-verkkokurssin materiaaleja (https://www.futurelearn.com/courses/supercomputing/), Edinburgh Supercomputing Center (EPCC), Creative Commons SA-BY -lisenssi