Zawartość
to wiki, co oznacza, że wiele artykułów jest napisanych przez kilku autorów. Aby stworzyć ten artykuł, 18 osób, niektóre anonimowe, uczestniczyło w jego edycji i ulepszaniu w miarę upływu czasu.Czy potrzebujesz maszyny, która musi wykonywać setki miliardów obliczeń zmiennoprzecinkowych na sekundę? Czy potrzebujesz historii, aby wyjaśnić, jak twój superkomputer w piwnicy wysadził wyłącznik? Budowa klastra (lub klastra) wysokowydajnych komputerów to wyzwanie, które każdy ekspert może pokonać w weekend przy odpowiednim budżecie. Z technicznego punktu widzenia nowoczesny superkomputer wieloprocesorowy to sieć komputerów pracujących równolegle w celu rozwiązania problemu. Wykonując proste kroki, aby zamontować sprzęt i zainstalować niezbędne oprogramowanie, ty też możesz mieć superkomputer.
etapy
-
Określ niezbędny sprzęt i zasoby. Będziesz potrzebował węzła głównego, co najmniej dwunastu innych identycznych węzłów, przełącznika Ethernet, zasilacza i półki. Określ swoje potrzeby w zakresie energii elektrycznej, chłodzenia i przestrzeni. Musisz także zdecydować, którego adresu IP chcesz używać w swoich sieciach prywatnych, nazw węzłów, oprogramowania, które chcesz zainstalować, oraz technologii, która ma być wykorzystywana do obliczeń (wrócimy do tego później).- Nawet jeśli sprzęt będzie cię drogo kosztował, całe oprogramowanie przedstawione w tym artykule jest bezpłatne, a większość jest wolna od praw.
- Jeśli chcesz dowiedzieć się, jak szybko może osiągnąć superkomputer, możesz użyć tego narzędzia: http://hpl-calculator.sourceforge.net/.
-
Zainstaluj węzły. Będziesz musiał zmontować węzły lub uzyskać wstępnie zmontowane serwery.- Wybierz obudowę serwera z dużą ilością miejsca, odpowiednim systemem chłodzenia i optymalizacją zużycia energii.
- Możesz także użyć kilkunastu starych serwerów, których suma przekroczy moc poszczególnych jednostek i zaoszczędzisz dużo pieniędzy. Wszystkie procesory, karty sieciowe i płyty główne muszą być identyczne, aby cały system działał sprawnie. Oczywiście nie należy zapominać o pamięci RAM i pamięci dla każdego z węzłów, a także o co najmniej jednym napędzie dyskowym dla głowy.
-
Zainstaluj serwery na półce. Rozpocznij od dołu, jeśli góra półki nie jest ważona. Będziesz także potrzebować przyjaciela, który ci pomoże, serwery mogą być ciężkie i trudno będzie prowadzić je na szynach półki. -
Zainstaluj przełącznik Ethernet na górze obudowy. Poświęć chwilę, aby go skonfigurować. Zezwól na ramkę typu jumbo o wielkości 9000 bajtów, ustaw adresy IP na adresy statyczne wybrane w pierwszym kroku i wyłącz niepotrzebne protokoły, takie jak szpiegowanie SMTP. -
Zainstaluj bieżącą jednostkę. W zależności od tego, ile prądu będą potrzebne węzły, prawdopodobnie potrzebujesz 220-woltowej jednostki. -
Skonfiguruj sprzęt. Po zainstalowaniu wszystkiego możesz rozpocząć konfigurowanie sprzętu. Linux jest domyślnym systemem operacyjnym dla klastrów HPC, nie tylko dlatego, że jest najlepszym środowiskiem do obliczeń naukowych, ale także dlatego, że można go zainstalować bezpłatnie na setkach lub tysiącach węzłów. Wyobraź sobie cenę, jaką zapłacisz, jeśli będziesz musiał zainstalować system Windows na każdym z tych węzłów.- Zacznij od zainstalowania najnowszego oprogramowania BIOS i płyty głównej, które powinny być takie same dla wszystkich płyt głównych.
- Zainstaluj preferowaną dystrybucję Linuksa na każdym z węzłów i dystrybucję z interfejsem graficznym na węźle głównym. Często używane są CentOS, OpenSuse, Scientific Linux, RedHat lub SLES.
- W tym artykule zdecydowanie zalecamy Rocks Cluster. Oprócz instalacji wszystkich narzędzi potrzebnych do poprawnego działania klastrów, Rocks stosuje doskonałą metodę szybkiego „rozpowszechniania” wielu wystąpień w węzłach za pomocą rozruchu PXE i procedury szybkiego uruchamiania Red Tea Tree.
-
Zainstaluj oprogramowanie. Zainstaluj interfejs do transmisji, zarządzania zasobami i innych niezbędnych bibliotek. Jeśli Rocks nie został zainstalowany w poprzednim kroku, będziesz musiał ręcznie skonfigurować całe niezbędne oprogramowanie, aby aktywować mechanizmy obliczeń równoległych.- Po pierwsze, potrzebujesz systemu zarządzania bash, takiego jak Torque Resource Manager, który pozwala dzielić i dystrybuować różne zadania na wielu komputerach.
- Torque Torque z Maui Cluster Scheduler, aby zakończyć konfigurację.
- Następnie musisz zainstalować interfejs nadawcy, który jest niezbędny do tego, aby procesy na różnych komputerach współdzieliły te same dane. Zainstaluj OpenMP, jest bardzo łatwy w użyciu.
- Nie zapomnij o wielowątkowych bibliotekach i kompilatorach do tworzenia równoległych programów obliczeniowych. Po raz kolejny Rocks jest najlepszym rozwiązaniem.
-
Połącz węzły w sieci. Węzeł główny wysyła zadania do wykonania do innych węzłów obliczeniowych, które zwracają wyniki podczas wysyłania sobie komunikatów. Im szybciej to idzie, tym lepiej.- Użyj prywatnej sieci Ethernet, aby połączyć wszystkie te węzły w klaster.
- Węzeł główny może również działać jako serwer NFS, PXE, DHCP, TFTP i NTP w tworzonej sieci.
- Musisz oddzielić tę sieć od sieci publicznych, aby pakiety wymieniane przez serwery nie zakłócały pakietów wymienianych w pozostałej części sieci.
-
Przetestuj klaster. Ostatnią rzeczą, którą musisz zrobić przed uwolnieniem całej mocy superkomputera, jest przetestowanie jego wydajności. Test wydajności High Performance Lynpack (HPL) jest popularnym wyborem do pomiaru prędkości obliczeniowej klastra komputerowego. Będziesz musiał skompilować go ze źródła ze wszystkimi optymalizacjami oferowanymi przez kompilator zgodnie z wybraną architekturą.- Oczywiście musisz go skompilować ze źródła, które daje najwięcej opcji optymalizacji Twojej platformy. Na przykład, jeśli używasz procesorów AMD, skompiluj go z Open64, wybierając poziom optymalizacji -0szybki.
- Porównaj wyniki na TOP500.org, aby zobaczyć, czy twój superkomputer może konkurować z 500 najpotężniejszymi superkomputerami na świecie!
- Aby osiągnąć naprawdę duże prędkości w sieci, dowiedz się o interfejsach InfiniBand. Przygotuj się jednak do rozbicia skarbonki.
- IPMI może ułatwić administrowanie na dużą skalę, oferując KVM-over-IP, oddzielny cykl zasilania i wiele innych.
- Użyj Ganglia do śledzenia obciążeń obliczeniowych w węzłach.
- Upewnij się, że Twoja infrastruktura może obsługiwać obciążenie.