4 GPU rig

Diskuse týkající Hardware a to jak všeobecné, tak i přímo o tom co máte právě doma, nebo na čem zpracováváte DC projekty.

Moderátoři: petnek, nenym, Zelvuska, Anubis

Zpráva
Autor
v.svantner
36.8421052632 %
36.8421052632 %
Příspěvky: 502
Registrován: sob 11 pro, 2010 16:51

4 GPU rig

#1 Příspěvek od v.svantner » stř 19 čer, 2019 11:36

Zdravím místní diskutéry.

Jelikož teplota v kanceláři se stává nesnesitelnou, došlo k rozhodnutí "ustájit" většinu GPU do jednoho rigu a ten strčit do plonkové místnosti s plným větráním.

Jelikož nemám se skládám rigu žádnou zkušenost, rád bych se poradil, zda při stavbě rigu na DC vycházet ze stavby miningu, nebo jít samostatnou cestou a dát si pozor na MOBO (pci-e linky) a potažmo RAM. CPU bych volil max. 6 až 8 jádrové, pojedou tam pouze GPUprojekty, v mém případě GPUGrid a na zálohu PG a Einstein.

Nějaké rady a návody?

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1351
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: 6 GPU rig

#2 Příspěvek od Czech Human » stř 19 čer, 2019 11:45

A nebude jednodušší na chlazení a možná i levnější pořídit 2-3 základní desky s levnými čtyřjádry a do nich ty GPU umístit po 2 nebo po 3? Dalo by se to provést ve stylu starého CNT clusteru, kdy byl hardware uchycen na zásuvky dřevotřískové patrové poličky - třeba by byla ještě k dispozici? Když budeš počítat Einsteina na 6 výkonných GPU, mohly by ti dojít jádra u jednoho CPU a nebudeš mít problém s rychlostí PCI-E. Taky sehnat zdroj co utáhne 6 hiend GPU naráz je těžší než to rozdělit na dva-tři levnější zdroje. Já bych si takovou sestavu asi dal do trojpoličky na kolečkách nebo kdyby to mělo vypadat zvažoval bych rack - vejde se ti tam UPS, kabeláž ven vede jen jedna a nepřejede ti to uklízečka hadrem :-).
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

v.svantner
36.8421052632 %
36.8421052632 %
Příspěvky: 502
Registrován: sob 11 pro, 2010 16:51

Re: 6 GPU rig

#3 Příspěvek od v.svantner » stř 19 čer, 2019 12:03

Ne, zadání je jasné, jeden rig.

Já jsem jel Einsteina v různých konfiguracích a nakonec jsem skončil jedna úloha na jedno GPU, rozdíl oproti 3 úlohám na 1 GPU, t.z. hned 3 CPU jádra na jedno GPU bylo výkonově srovnatelné.

Navíc E. i PG je záložní projekt, na titul Honorary cruncher mi chybí ještě nějakých 4.7B creditu 45hh - poslání je jasné - GG. Kdybych honil pořadí, jsem na koláčích.

v.svantner
36.8421052632 %
36.8421052632 %
Příspěvky: 502
Registrován: sob 11 pro, 2010 16:51

Re: 6 GPU rig

#4 Příspěvek od v.svantner » stř 19 čer, 2019 12:07

Mimochodem, já měl v merku tohle: https://www.smicro.cz/supermicro-h11ssl-c-b-17432.html a osadit to 8jádrovým epycem.

Jen nevím, zda bych na tom rozběhal W10Pro.

Jinak PSU mám dost výkonné ve stávajících pc, ty bych dal na ten rig.

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1351
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: 6 GPU rig

#5 Příspěvek od Czech Human » stř 19 čer, 2019 12:36

Já myslím že na tom win10 Pro normálně pojedou :-). Je to pořád vcelku obyčejná deska a Epyc platforma už tu s námi je pár let. Případně linux, nvidia pro něj dělá stejně dobré ovladače jako pro windows co se výkonu týká.

Epyc bych ti doporučil spíš koupit 7351P, stojí jen o 35% víc než 8jádrová varianta 7251 ale má dvojnásobek L3 cache a dvojnásobek stejně rychlých jader a je o dost energeticky efektivnější, žere jen o 30% víc při dvojnásobném výkonu. Do duální desky ho stejně dávat nebudeš :-). A 8 RAM modulů aby se využil řadič může být klidně maličkých, budou stačit i á 4GB. Na WCG by to byl slušný kombajn i při přidělení 6 CPU grafikám - zbylo by ti pořád 26 vláken na 2.9 GHz :-).
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

Honza
57.8947368421 %
57.8947368421 %
Příspěvky: 2443
Registrován: pát 03 lis, 2006 10:46

Re: 6 GPU rig

#6 Příspěvek od Honza » stř 19 čer, 2019 12:45

SMicro mám zkušenost s dual-CPU Intel (pochopitelně jiný model), běhá na tom dobře Windows 10 i VMWare.

Nebylo snadné k tomu najít bednu (objednanou dopravce poškodil, další v nedohlednu), nakonec dodavatel převrtával díry.
Pokud to necháš běžet stylem vrabčus-hnizdusbez bedny, tak ok - a při tom počtu grafik to asi bude lepší ofukovat externě stojanovým větrákem.

v.svantner
36.8421052632 %
36.8421052632 %
Příspěvky: 502
Registrován: sob 11 pro, 2010 16:51

Re: 6 GPU rig

#7 Příspěvek od v.svantner » stř 19 čer, 2019 13:00

Bude to v mining rig rámů, takže chlazení a uchycení konstrukce se nebojím.

Díky za info, už vím, jak na to půjdu.

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1351
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: 6 GPU rig

#8 Příspěvek od Czech Human » stř 19 čer, 2019 13:10

Jestli to plánuješ dávat do rámu, mohl by ses podívat i na kryptoměnové desky - v alze to teď vyprodávají za 899 Kč. Je to tedy na levné Intelí CPU ale mohlo by se ti to hodit - ušetřil bys za desku i RAM dost peněz a měl bys v rámu i pěkné chlazení GPU. Ten Epyc mi přijde trošku overkill na čistě GPU počítání. Zase to ale je o dost obecně použitelnější počítač i na CPU projekty nebo když tě to v jedné hromadě přestane bavit. Tu epyckou desku by mě napadlo použít pro 3 GPU přímo na ní ob slot do pcie 16 a ty další tři vyvedeš přes pcie1x redukce někam do rámu. Ani by to nemuselo být moc velké, dala by se z toho udělat nějaká krychlička vyhrát si s konstrukcí a dopředu dát pořádnou 30 cm vrtuli :-).
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

v.svantner
36.8421052632 %
36.8421052632 %
Příspěvky: 502
Registrován: sob 11 pro, 2010 16:51

Re: 6 GPU rig

#9 Příspěvek od v.svantner » stř 19 čer, 2019 13:42

Já už to řešil na GG forů a to nefunguje, resp. byla by to výkonová ztráta.

Ty 3 zbývající sloty jsou 8, to bych je 1ovou redukcí zabil, všechno se to vyvede před 16, resp. 8 prodloužení nahoru, bude se vše lépe chladit. Místa je dost, je na to celá plonková místnost, kde jsou jen knihy.

à propos, overkilly, to tak nějak byla vždy moje doména ...

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1351
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: 6 GPU rig

#10 Příspěvek od Czech Human » stř 19 čer, 2019 14:41

V tom případě je platforma Epyc přesně to co potřebuješ :-). Jen bych zainvestoval do toho vyššího jak 8jádrového modelu pokud tedy výhledově nechystáš instalaci Rome...
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

v.svantner
36.8421052632 %
36.8421052632 %
Příspěvky: 502
Registrován: sob 11 pro, 2010 16:51

Re: 6 GPU rig

#11 Příspěvek od v.svantner » stř 19 čer, 2019 14:47

Na tohle bude stačit první generace, ta druhá na 7 nm půjde jinam ...

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17780
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: 6 GPU rig

#12 Příspěvek od forest » sob 20 črc, 2019 09:52

Psal jsi Viktore v jiném vláknu, že už jsi rozjel jeden stroj se čtyřmi 1080Ti a stavíš druhý. Můžeš nám zde trochu poodhalit, jakou tu sestavu a konstrukci jsi nakonec zvolil? Dle toho odkazu to vypadá, že pro provoz využiješ stávajících dvou Threadripperů 2990WX. Nechal jsi i desky a vše okolo a jen to celé předělal do nové skříňové konstrukce s nějakýmu prodlužkami? To víš, jsem určitě nejen já lačný po podrobnostech okolo podobný HW jedinečných strojích pro DC 45cc

v.svantner
36.8421052632 %
36.8421052632 %
Příspěvky: 502
Registrován: sob 11 pro, 2010 16:51

Re: 6 GPU rig

#13 Příspěvek od v.svantner » sob 20 črc, 2019 20:04

Pár foto na úvod:
Přílohy
viber_image_2019-07-20_19-55-37.jpg
viber_image_2019-07-20_19-55-37.jpg (148.73 KiB) Zobrazeno 286 x
viber_image_2019-07-20_19-55-36.jpg
viber_image_2019-07-20_19-55-36.jpg (176.31 KiB) Zobrazeno 286 x
viber_image_2019-07-20_19-55-38.jpg
viber_image_2019-07-20_19-55-38.jpg (160.79 KiB) Zobrazeno 286 x
viber_image_2019-07-20_19-55-39.jpg
viber_image_2019-07-20_19-55-39.jpg (139.11 KiB) Zobrazeno 286 x

v.svantner
36.8421052632 %
36.8421052632 %
Příspěvky: 502
Registrován: sob 11 pro, 2010 16:51

Re: 6 GPU rig

#14 Příspěvek od v.svantner » sob 20 črc, 2019 21:02

A teď trochu k vysvětlení.

Původně se uvažovalo o 6GPU rigu, ale nakonec jsem se rozhodl ustájit všechny NV 1080ti do 2 rigu.

Ten první už je hotový a druhý by měl následovat příští týden poté, co dorazí pci-e prodlužky.

Konfigurace je v odkaze: http://gpugrid.net/show_host_detail.php?hostid=506552

MB je Asus Zenith a PSU je Corsair AX1600i.

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17780
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: 6 GPU rig

#15 Příspěvek od forest » sob 20 črc, 2019 21:25

Naprostá nádhera 22rrr
Předpokládám, že se ta konstrukce dá někde koupit jako komplet, nebo sis to nechal někde dělat na míru?

v.svantner
36.8421052632 %
36.8421052632 %
Příspěvky: 502
Registrován: sob 11 pro, 2010 16:51

Re: 6 GPU rig

#16 Příspěvek od v.svantner » sob 20 črc, 2019 22:13

Základ je ANPIX těžební rám pro 6 grafických jednotek a trochu jsme si s tím vyhráli.

v.svantner
36.8421052632 %
36.8421052632 %
Příspěvky: 502
Registrován: sob 11 pro, 2010 16:51

Re: 4 GPU rig

#17 Příspěvek od v.svantner » čtv 25 črc, 2019 20:50


Dzordzik
57.8947368421 %
57.8947368421 %
Příspěvky: 1990
Registrován: ned 12 úno, 2017 00:26
rok narození: 18 zář 1980
ID CNT statistics: 503
Bydliště: Zdounky (u Kroměříže)
Kontaktovat uživatele:

Re: 4 GPU rig

#18 Příspěvek od Dzordzik » pát 26 črc, 2019 16:14

10% jednotek je nevadlidních? Na to že grafiky se od sebe neohřívají? Ještě by to chtělo doladit aby se neplýtvalo potenciálem tak výkonného stroje.
Albert: Dual Xeon E5-2696 V4, Supermicro X10DRG-Q, 64GB DDR4 ECC, 1x GTX 1070, Enermax Platimax 1700W

Dzordzik
57.8947368421 %
57.8947368421 %
Příspěvky: 1990
Registrován: ned 12 úno, 2017 00:26
rok narození: 18 zář 1980
ID CNT statistics: 503
Bydliště: Zdounky (u Kroměříže)
Kontaktovat uživatele:

Re: 4 GPU rig

#19 Příspěvek od Dzordzik » pát 26 črc, 2019 16:36

Když jsme u toho, dneska jsem si všiml, že mi začalo na CPU skákat taky kolem 10% nevalidních jednotek a to i když jsou teploty ještě hodně pod max. povolenými. Klasika, skoro 3/4 roku jsem Alberta nevysál, až tak jsem na něj zlý. Takže dneska večer pěkně vysavačové orgie. ještě že jsou všude filtry. Když jsem otevřel ten přední a vysál ho, je mi úplně jasné co bude na těch ostatních ... Sám jsem zvědavý kolik prachu i přes filtry nakonec najdu v chladičích i na GPU ... Předpokládám že ho málo nebude.
Albert: Dual Xeon E5-2696 V4, Supermicro X10DRG-Q, 64GB DDR4 ECC, 1x GTX 1070, Enermax Platimax 1700W

v.svantner
36.8421052632 %
36.8421052632 %
Příspěvky: 502
Registrován: sob 11 pro, 2010 16:51

Re: 4 GPU rig

#20 Příspěvek od v.svantner » pát 26 črc, 2019 18:36

Dzordzik píše:
pát 26 črc, 2019 16:14
10% jednotek je nevadlidních? Na to že grafiky se od sebe neohřívají? Ještě by to chtělo doladit aby se neplýtvalo potenciálem tak výkonného stroje.
Špatně to čteš, je tam 8 chyb a 3 nevalidní.

Ty chyby jsou v rámci chybových tasků, t.z. byly vyřazeny kvůli chybnému zadání. Nešlo je spočítat dobře: https://www.gpugrid.net/workunit.php?wuid=16656967

Ty 3 zbylé nevalidní byly způsobeny restartováním stavu výpočtu po převozu. GG tohle dělá, když se vypne zdroj a znovu se nahodí pc, tak stav výpočtu se hodí na 0%, ale započte se již uběhlá doba, takže to vypadá tak, že sice jsme na 0% stavu, ale už počítáme třeba 3 hodiny. A to se přesně stalo včera večer.

Takže za mě zatím 0 problémů.

Odpovědět

Zpět na „Hardware“