Zestaw do budowy klastra

[Gość Cornelius Scipio]

Chciałbym w najbliższym czasie zakupić nowy sprzęt,gdyż obecny prywatny zaczyna mi nie wystarczać.Mam do dyspozycji 6k7k.Wszystko chce połączyć na zasadzie klastrów,czyli wspólnej mocy obliczeniowej.Jaki najlepiej sprzęt do tego wybrać?Wiadomo płyta,dysior,karta graficzna nie muszą być wyczesane,głównie chodzi tu o procki.Co polecacie ?

Będę wdzięczny za pomoc.

 

pzdr.

Adam-Cornelius.

Edytowane 1 Wrzesień 2008 przez Cornelius Scipio

[streaker]

Hehe... trochę wielkie słowo klaster obliczeniowy na parę komputerów spiętych w sieć ;)

Płyta bez jakiś zbędnych bajerów, ale solidna, dysk mały, tylko, żeby system z programami się pomieścił, grafika najlepiej integra albo wogóle (o ile płyta pozwoli na takie uruchomienie). A procesor - to zależy, czy chcesz dwu- czy jednoprocesorowe maszyny. Przy jedno - zależy czy chcesz podkręcać - jeśli tak, to jakieś quady intela, bo mają zapas mocy i mniejsze TDP, jeśli nie - można wziąść pod uwagę phenomy - zegar w zegar niewiele już ustępują intelom, a cenowo wypadają nawet lepiej (w tym samym segmencie) a można zaoszczędzić jeszcze np. na płycie (płyty pod intela są widocznie droższe). Jeśli dwa procesory - to się nie wypowiadam, bo nie wiem jak tam opterony stoją.

[Rascal]

Pierwsze to nalezy sobie zadac pytanie na jakiej platformie chce sie opierac czy to beda typu tower czy rack i druga sprawa czy sie uzglednia konfiguracje multiprocessor, Core 2 Quad jest niezly do renderingu ale dwa na jednej plycie chodzic nie beda, wiec pozostaje Xeon.

Edytowane 1 Wrzesień 2008 przez Rascal

[kannu]

serwus :)

Cornelius - stawiaj farme na quadach intela. Rascal - przy takim budzecie nie wchodza w gre racki raczej. i nie ma to sensu. Najtansza obudowa rack ( bez zasilacza ) to 300 pln. A szafka do rackow to od 700 pln w gore. Mysle ze nie wchodzi to w gre.

Cornelius - pamietaj o odpowiednim okablowaniu elektrycznym, chlodzeniu ( w sensie klimy) , i o gogabitowych switchach ( oczywiscie na plytach tez potrzebujesz gogabitowych kart).

Rascal - to nieprawda ze nie ma plyt dualowych na quady intela. Sa - ale drogie, wiec bez sensu.

I tym bardziej bez sensu sa xeony - nieekonomiczne w tym przypadku.

Najekonomiczniej jest jechac na quadach intela.

Nie widze mozliwosci zeby z xeonow za ta cene wycisnelo sie wydajniejsza obliczeniowo faremke niz z quadow zwyklych.

Mowie o farmie do animacji. Bo jesli np. jest potrzebna mocna stacja do symulacji fizycznych to tylko xeony , i to jak najmocniej krecone. Kazde zastosowanie wymaga innej konfiguracji.

pozdrawiam i zycze powodzenia :)

[streaker]

Rascal - to nieprawda ze nie ma plyt dualowych na quady intela. Sa - ale drogie, wiec bez sensu.

Są tylko na serie extreme, która jest na podstawce 771, czyli de facto są to xeony

I tym bardziej bez sensu sa xeony - nieekonomiczne w tym przypadku.

Wg. komputronika:

Intel Core2 Quad Q8200 2,33 GHz (S775/45nm) BOX - 712

Quad-Core Intel Xeon Processor E5410 - 2,33 GHz; 12MB cache; Passive - 869

rzeczywiście xeony są w tej chwili trochę droższe (przed obniżką cen core'ów były na bardzo zbliżonym poziomie), za pamięć zapłacisz również trochę więcej (fb-dimm'y), za płytę sporo więcej. Jak sobie przekalkulujesz na pln/GHz (ale uwzględniając również konieczność zukupu większej ilości zasilaczy, obudów itp dla core'ów, koszty energii) to xeony nie wypadają wcale źle... a doliczmy do tego teraz koszty licencji na oprogramowania (99% licencjonujemy od stanowiska, czyli de facto ilości mobo, wyjątki od ilości procesorów lub rdzeni).

[kannu]

serwus :)

streaker - farma na quadach intela bezdie tansza. Przynajmniej jakis czas temu byla tansza , gdy to liczylem. I to uwzgledniajac koszty zasilaczy i obudow.

O legalnym sofcie nie ma co tu wspominac. Zakladamy testowanie kosztow sprzetu.

Ten komputronik to widze ze dosyc drogi jest. Po co takie drogie czesci kalkulowac ?

Jesli widzisz mozliwosc za taka kase zlozenia farmy o lepszej wydajnosci niz na quadach to daj znac - ja nie widzialem takiej mozliwosci. I dalej nie widze .

pozdrawiam i zycze powodzenia :)

[Gość Cornelius Scipio]

Ooooo dzięki za info :).Ogólnie rzecz biorąc plan jest taki:

 

Jak wspomniał wcześniej Kannu, chce zakupować Q6600 (chodzą po jakieś 550zł)...no i wiadomo jakaś tania płyta i reszta komponentów...co polecacie?Chciałbym się tak zatrzymać w granicy 1000zł na jednego noda....co do obudowy to też jak powyżej-cena gra główną role...

 

Kolejne pytanie...na jakim najlepiej sofcie składać to wszystko?.Cinema 4d wraz z vrayem śmiga stabilnie na Win XP 32bit,taki soft jest mi potrzebny na komputerze na którym będę pracował.Czy na serwerze najlepiej zastosować linuxa,czy może xp professionala?Czy to jaki jest soft na nodach ma kolosalne znaczenie?W końcu liczy się tylko pobieranie z tamtąd mocy obliczeniowej,a dokupywanie windowsa bądź instalacja darmowego linuxa to jest różnica ;).Mam znajomego który zawodowo zajmuje się sieciami więc kwestia instalacji tego nie będzie problemem.

 

Pzdr.

 

Cornelius.

[kannu]

serwus :)

Cornelius - polecam XP64 bity . chodzi pieknie. Obsluguje wieksze ilosci ramu.

Na Cinemie bezdiesz jechac ? - bo np. ,ax na systemach 64 instaluje sie w dwoch kopiach - 32 i 64 bitowej. To taki maly bonusik. Powiem Ci , ze jak wypuszczalem rendery na farme z xp64 i podpialem tez notebooka na ktorym byl xp 32 to mialem errora i nie chcialo sie renderowac.

Z tym linuchem to nie mam pojecia. w Maxie to nie jest tak , Ze jest pobierana TYLKO moc obliczeniowa. Poszczegolen klatki sa renderowane wlasne na tamtych kompach. Jak sie odlaczysz monitorkiem , to zobaczysz ze tam sie odpala max i sie normalnie renderuje. Co wiecej wymagania i rygory sa wieksze niz "zwykly" render jednostanowiskowy. Jak bedzie jakikolwiek error za brakiem bitmapy, jakiegokolwiek plugina to sie nie zrenderuje. Czyli jak wysylasz scene do renderu to musi byc na kazdym kompie poinstalowany kazdy plugin uzywany w scenie. Nawet jesli to dotyczy jakeigos obiektu, ktory jest schowany i niepotrzebny. Tego sie niestety trzeba nauczyc . sciezki do bitmap musza byc podawane sieciowo - a nie np D/maps/ fajnamapa.jpg. Bo to musi byc sciezka czytalna dla kazdego kompa w sieci.

Obudowy to bierz zwykle. im zwyklejsze tym lepiej. na allegro nowki sa po 40 pln za sztuke :d

pozdrawiam i zycze powodzenia :)

[arev]

O ile wiem to moc obliczeniowa nie przesyła się kablem sieciowym :> Najpierw chyba powinieneś zdecydować jaki soft ma być w użyciu, a potem sprawdzić jakie ma możliwości renderowania w sieci. Z tego co się orientuję to farmy Vraya nie postawisz na Linuksie :D

Scena, wraz z teksturami jest ładowana na każdy z komputerów w sieci i tam liczony jest jej fragment.

Tak czy inaczej w tysiącu za sztukę sie nie zmieścisz na pewno. Sam procesor to już prawie połowa. Do tego płyta min. 200, pamięci, skoro potrzebujesz farmy to sceny pewnie spore są, więc 4GB to min. - kolejne 200 (przynajmniej), dysk - 120, grafika może być zintegrowana, chociaż w takim wypadku płyta może być nieco droższa. Do tego oczywiście zasilacz, przyzwoity jakiś będzie potrzebny, od ok. 150pln w górę. Najbrzydsza obudowa za 50 pln, napędu DVD/klawiatury/myszy nie liczę, bo tylko przy instalacji się przydadzą. Tak czy inaczej masz jakieś 1150, za sprzęt tylko do renderowania. I to bez kosztów softu, których pomijanie jest według mnie pomyłką. Mówienie sobie, że "liczymy tylko koszt sprzętu" jest praktyczne równoznaczne z "soft będzie lewy", a w firmie sobie raczej nikt na to nie pozwoli. W tym momencie można kupić dwa nody na Q6600 za 1200 pln/sztuka albo jeden na Xeonach za np. 5000 pln. Tylko że koszt softu w wypadku Q6600 będzie daleko wyższy niż zysk na sprzęcie. No chyba, że ktoś renderuje Blenderem na Linuksie ;)

[kannu]

serwus :)

jasne. racja. tylko legalny soft. no to juz nie ma kwestii do rozwazania.

biorac pod uwage ze bylby to maxik (a wcale nie musi byc) , to w gre wchodzi tylko jedna stacja .

Bo dwie pociagnelyby za soba koniecznosc drugiej licencji. I to nawet jesli na sprzet byloby 15 tysiecy to taniej wyjdzie jeden komp.

Dlatego napisalem ze pomijamy koszty softu, bo autor topiku chyba zdaje sobie z tego sprawe. Fajnie ze sie wpisaliscie, bo sprawa zostala rozwiazana. Jedna stacja . Jak najbardziej wypasiona.

pozdrawiam dosyc mocno.

[streaker]

kannu - nie przecze, że quady będą tańsze - ale róźnica do xeonów nie będzie tak duża jak mogłoby się wydawać (np. drogie mobo, same procesory droższe, szczególnie przy wyższych modelach), a jeśli jednak doliczymy do tego soft (bo na sprzęt bez softu to kupa złomu) - szala może się przechylić jednak na strone xeonów (przy maxie to nie ma o czym gadać, ale jeśli potrzebujemy np. tylko dodatkowej licencji MR, która będzie śmigać na linuxie - trzeba sobie dokładnie przekalkulować). Do tego jeszcze można doliczyć zużycie energii - niewątlipie większe przy quadach.

[Gość Cornelius Scipio]

Hmmm to mi ćwieka zadaliście :P To może zapytam tak: czy jest możliwość połączenia kompów tak że na głównym będą widoczne wszystkie rdzenie i będą uważane za część tego komputera.Czy będą brały udział we wszystkich obliczeniach jednocześnie...niezależnie od softu jaki się używa.Nie wiem czy dobrze mnie rozumiecie.Pamiętam taką akcje we wcześniejszej firmie jak to jedna scena w 3d maxie była renderowana przez wszystkie kompy w sieci.Tyle że taka akcja była ustawiana za pomocą 3d maxa, a mi chodzi o "trwałe połączenie".

Jeżeli nie ma takiej możliwości o której myślę to co proponujecie kupic mocnego za 6k7k ??

 

Pzdr.

 

Cornelius.

[arev]

Nie ma takiej możliwości. Zadzwoń do wallopa - on na pewno poleci ci coś fajnego, sprawdzonego i w przystępnej cenie :)

[Tas]

http://helmer.sfe.se/

 

Ktos juz na forum dawal tego linka, a dokladnie tutaj http://max3d.pl/forum/showthread.php?t=52597&

 

Dokladnie to co bys chcial, tylko ze to jest na quadach, wiec zeby nie bylo ze mieszam :)

 

Przynajmniej koszto obudowy ci odchodzi, i bedziesz musial sie do IKEI przejechac po szafke hehe

Oczywiscie ten projekt trzeba traktowac z przymruzeniem oka ;), oprocz wydajnosci i ceny to mnie to nie przekonuje.

 

pozdro!

 

Daj znac jak zlozysz ta farme.

Edytowane 3 Wrzesień 2008 przez Tas

[streaker]

Jeszcze innym wyjściem jest kilka komputerów na quadach i pełna wirtualizacja - choć nie wiem jak się w tym wypadku licencjonowuje, a sam soft do wirtualizacji nie mam pojęcia ile może kosztować - ogólnie mówiąc to nie ta liga - ale tak tylko mówie ;)

[Gość Cornelius Scipio]

Sprawy nie odpuściłem :) Temat nie jest taki prosty ,ze Znajomym walczymy z tym nadal.Niestety ale komputery można połączyć w sposób równoległy (takiego połączenia najczęściej dotyczą opisy-ciekawostka http://kopalniawiedzy.pl/Windows-Compute-Cluster-Server-CSS-Microsoft-klaster-superkomputer-Linux-Unix-HPC-high-performance-computing-2296.html),czyli maszyny robią to samo, w razie awarii klaster nie odczuwa braku uszkodzonego kompa(połączenie niezawodnościowe).A chodzi tutaj o połączenie szeregowe,nastawione na pobierania mocy obliczeniowej.Nie ma problemu aby takie połączenia zrobić na linuxie,ba! nawet można je mieszać ze sobą przy większej ilości kompów.

Chyba jednak pozostaje mi zakup pojedynczej maszyny :)

 

Co polecacie w kwocie 6-7k ?

 

Pzdr.

 

Adam-Cornelius.

Edytowane 30 Wrzesień 2008 przez Cornelius Scipio

[arev]

Zasugerowałem ci już wcześniej kontat z naszym forumowym dilerem hardware'u W rubryce "O mnie" masz dane kontaktowe.

[chudy]

a nie jest przypadkiem tak, że razem z licencją maxa dostaje się dodatkowo licencje dla render nodów?

 

W sumie sprawdzałem to i węzeł renderujący kompletnie nie potrzebuje rejestrowanej wersji maxa. Żeby nie było też po trialu jest. I rendering się normalnie uruchamia.

[wallop]

Witam.

To prawda ... max a raczej Backburner obsluguje w zasadzie nielimitowaną ilość nodów wlaczonych po sieci.

Ale w maxie moga byc zainstalowane pluginy zewnętrznych firm i wtedy klops.

Jezeli polityka sprzedaży pluginów danej firmy bedzie wymagala zakupu do kazdego noda takiego plugina to trzeba bedzie go każdorazowo kupić.

Przypominam również że cala masa softu 3d to soft inny niż 3dsmax.

Przykładowo RendermanProServer kosztuje 3400 USD na server.

Jednakże w przypadku zakupu do renderingu po sieci płacę za każde stanowisko ca.600 USD. Czyli 10 kompów ( 80 rdzeni) 6000 $.

Czasem bywa jeszcz gorzej... licencja nie jest na maszyne ale na procesor i tak np maszyna dwuproceosorowa to przykladowo 2x450USD.

Trzeba uważnie wczytywać sie w prawa licencyjne.