Jokainen erillinen tietokone (solmu) toimii itsenäisesti ja sen muisti on täysin erillään muista solmuista. Yhden solmun suoritinytimet eivät voi myöskään käyttää suoraan muiden solmujen muistia. Kaikki tiedonsiirto tapahtuu verkon kautta. Jokaisessa solmussa ajetaan myös erillistä käyttöjärjestelmää.
Jos jatkamme toimistovertausta, hajautettua muistia käyttävä tietokone vastaa tilannetta, jossa työntekijöitä on useissa eri toimistoissa. Jokaisessa toimistossa on oma kirjoitustaulu, ja toimistot pitävät yhteyttä toistensa kanssa puhelimitse. Esimerkin avulla näemme selkeästi toimintatavan edut ja haitat.
"Loputon" kapasiteetti: Kirjoitustaulujen määrä (eli muistin kokonaismäärä) kasvaa, kun toimistojen määrää lisätään. Jos ongelma on liian suuri mahtuakseen solmun muistiin, käytetään yksinkertaisesti enemmän solmuja, jolloin muistintarve yhtä solmua kohden pienenee.
"Loputon" laskentateho: Työntekijöiden määrä kasvaa, kun toimistoja lisätään. Jos ongelman ratkaiseminen kestää liian kauan, käytetään enemmän solmuja solmukohtaisen työmäärän vähentämiseen. Tämä tarkoittaa käytännössä enemmän rinnakkaisuutta.
Muistiväylä ei "ylikuormitu": Työntekijöiden määrä kirjoitustaulua kohden on vakio, joten muistin käyttönopeus ei hidastu lisättäessä solmuja.
Edullisuus:Järjestelmän muistia ja laskentakapasiteettia on suhteellisen edullista kasvattaa lisäämällä solmuja.
Mahdollisesti kallis tiedonsiirto: Muistellaan toimistoesimerkkiä. Mitä enemmän toimistojen välillä soitetaan, sitä enemmän aikaa kuluu tiedonsiirtoon.
Tiedonsiirron yleisrasite: Puhelimella soittaminen vie enemmän aikaa kuin kirjoitustaulun lukeminen tai sille kirjoittaminen.
Tiedonsiirtoverkon mahdollinen kuormittuminen: Kun kaksi toimistoa on puhelinyhteydessä, toisista toimistoista ei saada niihin yhteyttä samanaikaisesti. Vaikka on mahdollista jättää viesti tai käyttää ryhmäpuheluja toimistojen välillä, tietojen siirtonopeus toimistojen välillä on silti rajoitettu.
Tietovaatimukset: Tiedot on toisinaan jaettava kaikkiin solmuihin, mikä voi olla haastavaa suurten ja monimutkaisten tietorakenteiden kohdalla.
Järjestelmä- ja ohjelmistovaatimukset: Käyttöjärjestelmä ja kaikki ohjelmistot on asennettava ja niitä on ylläpidettävä useissa solmuissa. Tämä voidaan onneksi automatisoida suurelta osin.
Rajoituksista huolimatta on havaittu, että on paljon helpompaa ja halvempaa rakentaa suuria tietokonemääriä yhdistäviä verkkoja kuin lisätä yhteen yhteistä muistia käyttävään tietokoneeseen suuria määriä suoritinytimiä. Tämä tarkoittaa, että fyysisesti valtavien supertietokoneiden rakentaminen on suhteellisen helppoa. Se on tekninen haaste, jonka tietokoneinsinöörit näyttävät kuitenkin ratkaisevan taitavasti!
Supertietokoneen rakentamisessa tehdyt kompromissit (useat erilliset tietokoneet, joissa on kussakin oma yksityinen muisti) aiheuttavat kuitenkin ongelmia ohjelmistopuolella. Supertietokonetta varten on kirjoitettava ohjelmia, jotka voivat tehokkaasti hyödyntää tuhansia suoritinytimiä. Ohjelmistojen laatiminen voi olla haastavaa hajautetussa muistimallissa.
Mukautettu "Supercomputing"-verkkokurssin materiaalista (https://www.futurelearn.com/courses/supercomputing/), Edinburgh Supercomputing Center (EPCC), Creative Commons SA-BY -lisenssi