Hai bisogno di una macchina in grado di fornire centinaia di trilioni di calcoli in virgola mobile al secondo? O hai bisogno di una storia da bar su come il supercomputer nel tuo seminterrato ha lanciato un interruttore? Costruire il tuo cluster di calcolo ad alte prestazioni, noto anche come supercomputer, è una sfida che qualsiasi geek esperto con un fine settimana di tempo libero e un po' di soldi da spendere può affrontare. Tecnicamente parlando, un moderno supercomputer multiprocessore è una rete di computer che lavorano insieme in parallelo per risolvere un problema. Questo articolo descriverà brevemente ogni fase del processo, concentrandosi su hardware e software.
Passi
Passaggio 1. Determinare innanzitutto i componenti hardware e le risorse necessarie
Avrai bisogno di un nodo principale, almeno una dozzina di nodi di calcolo identici, uno switch Ethernet, un'unità di distribuzione dell'alimentazione e un rack. Determinare la domanda elettrica, il raffreddamento e lo spazio necessari. Decidi anche quale indirizzo IP vuoi per le tue reti private, come nominare i nodi, quali pacchetti software vuoi installare e quale tecnologia vuoi fornire le capacità di calcolo parallelo (ne parleremo più avanti).
- Sebbene l'hardware sia costoso, tutto il software elencato in questa guida è gratuito e la maggior parte è open source.
- Se vuoi vedere quanto veloce sarebbe teoricamente il tuo supercomputer, usa questo strumento:
Passaggio 2. Creare i nodi di calcolo
Sarà necessario assemblare i nodi di calcolo o acquisire server pre-compilati.
- Scegli uno chassis per server per computer che massimizzi lo spazio, il raffreddamento e l'efficienza energetica.
- Oppure puoi utilizzare una dozzina di server obsoleti e usati, il cui intero supererà la somma delle loro parti ma ti farà risparmiare una considerevole quantità di denaro. Tutti i processori, le schede di rete e le schede madri dovrebbero essere identici affinché l'intero sistema funzioni bene insieme. Ovviamente, non dimenticare la RAM e lo spazio di archiviazione per ogni nodo e almeno un'unità ottica per il nodo principale.
Passaggio 3. Installare i server nel rack
Inizia dal basso, in modo che il rack non sia pesante. Avrai bisogno di un amico che ti aiuti in questo: i server densi possono essere molto pesanti e guidarli nei binari che li trattengono nel rack è difficile.
Passaggio 4. Installare lo switch Ethernet sopra lo chassis del server
Prenditi questo momento per configurare lo switch: consenti dimensioni di frame jumbo di 9000 byte, imposta l'indirizzo IP sull'indirizzo statico che hai deciso nel passaggio 1 e disattiva i protocolli di routing non necessari come SMTP Snooping.
Passaggio 5. Installare la PDU (unità di distribuzione dell'alimentazione)
A seconda della quantità di corrente necessaria ai tuoi nodi al massimo carico, potresti aver bisogno di 220 volt per il calcolo ad alte prestazioni.
Passaggio 6. Con tutto installato, puoi iniziare il processo di configurazione
Linux è di fatto il sistema operativo per i cluster HPC: non solo è l'ambiente ideale per l'elaborazione scientifica, ma non costa nulla installarlo su centinaia o addirittura migliaia di nodi. Immagina quanto costerebbe installare Windows su tutti quei nodi!
- Inizia con l'installazione dell'ultima versione del BIOS e del firmware della scheda madre, che dovrebbe essere la stessa su tutti i nodi.
- Installa la tua distribuzione Linux preferita su ciascun nodo, con un'interfaccia utente grafica per il nodo principale. Le scelte più popolari includono CentOS, OpenSuse, Scientific Linux, RedHat e SLES.
- Questo autore consiglia vivamente di utilizzare Rocks Cluster Distribution. Oltre a installare tutti gli strumenti necessari per il funzionamento di un cluster di calcolo, Rocks utilizza un ottimo metodo per "distribuire" molte istanze di se stesso ai nodi molto rapidamente utilizzando l'avvio PXE e la procedura "Kick Start" di Red Hat.
Passaggio 7. Installare l'interfaccia di passaggio dei messaggi, il gestore delle risorse e altre librerie necessarie
Se non hai installato Rocks nel passaggio precedente, dovrai configurare manualmente il software necessario per abilitare i meccanismi di calcolo parallelo.
- Per prima cosa avrai bisogno di un sistema di gestione portatile bash, come il Torque Resource Manager, che ti consente di suddividere e distribuire le attività su più macchine.
- Associa Torque con il Maui Cluster Scheduler per completare la configurazione.
- Successivamente sarà necessario installare l'interfaccia di passaggio dei messaggi, necessaria affinché i singoli processi sui nodi di calcolo separati condividano gli stessi dati. OpenMP è un gioco da ragazzi.
- Non dimenticare le librerie ei compilatori matematici multi-threading per creare i tuoi programmi di calcolo parallelo. Ho detto che dovresti semplicemente installare Rocks?
Passaggio 8. Collegare in rete i nodi di calcolo
Il nodo principale invia le attività di calcolo ai nodi di calcolo, che a loro volta devono restituire il risultato, oltre a inviare messaggi l'uno all'altro. Più veloce è, meglio è.
- Utilizzare una rete ethernet privata per connettere tutti i nodi del cluster.
- Il nodo principale può anche fungere da server NFS, PXE, DHCP, TFTP e NTP sulla rete Ethernet.
- È necessario separare questa rete dalle reti pubbliche, il che garantisce che i pacchetti di trasmissione non interferiscano con altre reti nella LAN.
Passaggio 9. Testare il cluster
L'ultima cosa che potresti voler fare prima di rilasciare tutta questa potenza di calcolo ai tuoi utenti è testarne le prestazioni. Il benchmark HPL (High Performance Lynpack) è una scelta popolare per misurare la velocità di calcolo del cluster. Dovrai compilarlo dal sorgente con tutte le possibili ottimizzazioni offerte dal tuo compilatore per l'architettura che hai scelto.
- Ovviamente devi compilare dal sorgente con tutte le possibili opzioni di ottimizzazione per la tua piattaforma. Ad esempio, se si utilizzano CPU AMD, compilare con Open64 con livello di ottimizzazione -0fast.
- Confronta i tuoi risultati su TOP500.org per confrontare il tuo cluster con i 500 supercomputer più veloci al mondo!
Video - Utilizzando questo servizio, alcune informazioni potrebbero essere condivise con YouTube
Suggerimenti
- Per velocità di rete davvero elevate, esamina le interfacce di rete InfiniBand. Preparati a pagare prezzi premium però.
- IPMI può rendere l'amministrazione di un cluster di grandi dimensioni un gioco da ragazzi fornendo KVM-over-IP, ciclo di alimentazione remoto e altro ancora.
- Usa Gangli per monitorare i carichi computazionali sui nodi.
