Týmový PC - Cimrman

[forest]

Peníze za reklamaci Cimrmanových grafik dorazí nejpozději v půlce října.

Naložíme s nimi dle dohody před srazem a na něm následovně:
- od zdenka si vezmeme nabízený U5 RACK a do něj sestavím Cimrmana 2
- koupí se dvě grafické karta s referenčním chlazením ATI HD 7970
- koupí se základní deska Asus Crosshair IV Extreme - AMD 890FX a do ní CPU AMD Phenom II X4 965 Black Edition
- Horvi mně pošle z Cimrmana 1 zdroj Enermax 1250W a půlku Cimrmanových pamětí (3x2GB DDR3)
- doplním to diskem z darů, sestavím a nějakým způsobem pošlu do provozu do Prahy
- Cimrman 2 bude sestaven tak, aby jej bylo možné v budoucnu doplnít přímo do desky třetí stejnou grafikou, případně na PCI-E prodlužce čtvrtou

- do Cimrmana 1 koupíme tenle 700W Forton a pojede dále se dvěma grafikama, jako dosud.

Celé se to pokusíme zrealizovat jak to půjde nejdřív, aby tento potenciální výkon byl týmu co nejdřív k dispozici.

[InHuMan]

a do ní CPU AMD Phenom II X4 965 Black Edition

Bude tento procesor na high-end grafiky stačit? Přecijen Phenomy mají svá léta slávy dávno za sebou. Mám obavy z výkonostních propadů při použití dvou (a více?) HD7970tek.

- Cimrman 2 bude sestaven tak, aby jej bylo možné v budoucnu doplnít přímo do desky třetí stejnou grafikou, případně na PCI-E prodlužce čtvrtou

Doufám že to nedopadne jako s IQEm, tzn. že grafiky budou plavat ve vzduchu a držet jen za slot a že základní deska bude přichycena jen na jednom šroubu, což znemožní jakoukoliv manipulaci.

[forest]

a do ní CPU AMD Phenom II X4 965 Black Edition

Bude tento procesor na high-end grafiky stačit? Přecijen Phenomy mají svá léta slávy dávno za sebou. Mám obavy z výkonostních propadů při použití dvou (a více?) HD7970tek.

Už se to zde rozebíralo - záleží čistě na projektu. Na POEM by jich nestačilo ani 16, ale na ostatní ATI projekty stačí určitě jedno plnohodnotné jádro na obsluhu jedné karty. Alespoň si nevybavuji případ, kdy by si někdo stěžoval, že mu GPU výpočty brzdí CPU. I vkliber tu psal, na jaké tu kartu jede vykopávce a v pohodě.

- Cimrman 2 bude sestaven tak, aby jej bylo možné v budoucnu doplnít přímo do desky třetí stejnou grafikou, případně na PCI-E prodlužce čtvrtou

Doufám že to nedopadne jako s IQEm, tzn. že grafiky budou plavat ve vzduchu a držet jen za slot a že základní deska bude přichycena jen na jednom šroubu, což znemožní jakoukoliv manipulaci.

Pozice desky bude zhruba stejná, ale s montáží si určitě více pohraju. Dílnu už mám hotovou, jen tam musím uklidit. Desku určitě bude držet více šroubů a každá z grafik bude mít své uchzcení. Nějak to prostě vymyslím a udělám, toho se nebojím.

[InHuMan]

a do ní CPU AMD Phenom II X4 965 Black Edition

Bude tento procesor na high-end grafiky stačit? Přecijen Phenomy mají svá léta slávy dávno za sebou. Mám obavy z výkonostních propadů při použití dvou (a více?) HD7970tek.

Už se to zde rozebíralo - záleží čistě na projektu. Na POEM by jich nestačilo ani 16, ale na ostatní ATI projekty stačí určitě jedno plnohodnotné jádro na obsluhu jedné karty. Alespoň si nevybavuji případ, kdy by si někdo stěžoval, že mu GPU výpočty brzdí CPU. I vkliber tu psal, na jaké tu kartu jede vykopávce a v pohodě.

Já teda mam zkušenost s Milkyway na 7970ce a na C2Q je zpomalení aspoň 10%, spíš víc oproti i7 SandyBridge.

[forest]

O jeké procesory se konkrétně jedná? Opravdu byly CPU při výpočtech vytížené na 100% Není ten rozdíl spíš ve verzi PCI-E? Osobně nevím, zda má verze PCI-E nějaký vliv na výkon samotné karty v DC. Pokud by někdo taková měření mohl poskytnout, jistě by to bylo k užitku. Pokud se ale bavíme o desce pro 4 dvouslotové PCI-E karty, tak cenový rozdíl mezi tím setem co jsem navrhoval a deskou s CPU i7 SandyBridge je nemálo tisíc. Za to můžeme koupit pořádnou další grafiku do některého z farmových počítačů

[vkliber]

Tak je jasné, že čím pomalejší CPU, tím pomalejší výpočet na GPU, protože samotný výpočet neprobíhá pouze na GPU, ale je podporován CPU. A to se nezmění, i kdyby byla alikace 100% GPU, tak je tady vždy nějaká režie pro CPU (např. rozbalení jednotky ze zipu). Otázka je, nakolik může pomalé CPU ovlivnit výpočet na GPU.
Např. pro aplikaci DistrRTgen jsou u mě výsledné časy RunTime : 495,05, CPUTime : 16,95, tedy CPUTime tvoří 3,42% RunTime. Kdybych měl 2x pomalejší CPU, pak by se výsledný čas zvýšil o 8,475 sec, tedy o 1,71% . Prodloužení času výpočtu na CPU o 50% způsobí prodloužení celkového času výpočtu o 1,71%.
Pak tady jsou ostatní komponenty, především verze (tedy rychlost) sběrnice PCIe. Neznám způsob výpočtu, ale odhaduji, že právě pro DistrRTgen nelítá spoustu dat mezi GPU a CPU, předpokládám že na začátku se balík dat pošle na GPU a na konci se balík dat odešle zpátky. Opět platí že pokud budu mít sběrnici i 2x pomalejší, bude to znamenat v celkovém čase zanedbatelné ztráty (jestli se balík dat přenese za 1 nebo 2 sec. nerozhoduje). U jiných projektů, využívajících např. celé jádro CPU, kdy se blok dat neustále přesouvá z GPU na CPU a zpátky, to samozřejmě může znamenat výrazné zpomalení.
Z mých zkušeností neodborníka (to co jsem vypozoroval). Pokud chceme zodpovědně naměřit časy výpočtů konkrétní GPU aplikace na vícero systémech, museli by jsme ji testovat osamoceně (pak to pro zapojení do BOINC lehce postrádá smysl), nebo dodržet na těch vícero systémech stejné rozvržení projektů.
Když k 1x GPU MilkyWay pustím na 4-jádru 4x CPU aplikaci AlmereGrid, zvýší se výsledný RunTime MilkyWay max. o 1-2 sec. (max. 5% celkového času) oproti stavu kdy jede MilkyWay osamoceně. Když místo AlmereGrid pustím 4x Cosmology, zvedne se čas MW o 5-10 sec. ... tedy až o skoro 25%. A to je MW nejméně náchylná k vytížení CPU během výpočtu na GPU. Pro GPU aplikaci Einstein způsobí souběžně počítaný nevhodný CPU projekt stejné tragické zpomalení výpočtu, jako neuvolnění potřebného počtu CPU jader pro podporu GPU (i více než 100% zpomalení výpočtu).
Není to záležitost priority procesů, protože klasické CPU tasky běží na prioritě "Nízká" a CPU procesy GPU aplikací běží na prioritě o 1 vyšší "Nižší než normální" (Primegrid dokonce na prioritě "Normální"). Je to někde uvnitř BOINC Core. Je třeba si uvědomit, že nastavení volby v BM : "Použít nejvýše 50% procesorového času" způsobí že se bude počítat každý 2. takt CPU (není to ta volba o počtu jader CPU) řídí přímo BOINC Core. Stejně tak řídí BOINC Core i nastavení v app_info (<max_ncpus>) souběh CPU a GPU. Pokud tedy půjdete s hodnotu <max_ncpus> příliš nízko, výpočet na GPU se zpomalí a to i přesto, že GPU i CPU se bude flákat ... prostě jste mu řekli že CPU pro danou GPU aplikaci má běžet pouze na x%, tak to BOINC Core pohlídá. Hodně ovšem závisí na disciplinovanosti programátorů CPU i GPU aplikací. Kdyby byli všichni 100%, nedocházelo by k nevhodnosti různých párů BOINC projektů (o tom ví určitě své nenym). Kapitolou samu pro sebe pak tvoří ovladače a jejich jednotlivé verze, respektive kombinace buildu aplikace s verzí ovladače.
Je to skutečně alchymie. Stačí kouknout do výsledků WUProp a najdete tam spoustu nesmyslných případů, kdy pomalejší CPU znamená (pomalejší) rychlejší časy GPU. (EDIT)

EDIT : konkrétně u MilkyWay zapůsobí změna taktu CPU na rychlost GPU jednotky neměřitelné hodnoty zrychlení (je to někde na rozlišovací schopnosti toho, jestli jsem v průběhu měření více jezdil s myší, nebo omylem stiskl 2x PrtScr). Metodika byla : spočítat 3 WUs, zvýšit FSB, spočítat 3 WUs, zvýšit FSB, ... výsledný trend byl sice klesání časů, ale jen proto že jsem ho očekával. Výkyvy v rámci každé trojice byly vyšší, než výsledné zrychlení ... tedy jeden jedinný jiný výsledek ze všech měření způsobil opačnou změnu trendu.

[vkliber]

Co je s Cimrmanem?
Chtěl jsem ho zapojit do turnaje na PG a koukám že od rána je off .

[Horvi]

Co je s Cimrmanem?
Chtěl jsem ho zapojit do turnaje na PG a koukám že od rána je off .

Kdo ví, na TV se nehlásí, příští týden se na něj podívám. Tentokrát už to musí vyjít, domluvit 3 lidi na jedno místo a hodinu dá fakt práci.

[forest]

Penízky už jsou na účtu
Tenhle týden rozešlu poptávky na ty nové díly a vrhnu se na to.

[Horvi]

Asi to stejně opět vyšumí do prázdna, ale:

• V Cimrmanovi momentálně "běží" jedna 5870, druhá po výměně chlazení ráda jezdí výtahem a odmítá běžet v Cimrmanovi
• Cimrman má momentálně na utáhnutí dvou libovoných karet a to jak zdrojem tak výkonem. Deska neumožňuje nasazení více karet.
• Po reklamaci dvou 5970 máme na peníze na účtě.

Můj nápad:

• Koupit 2 7970 do Cimrmana a zbylé peníze ušetřit na jeho další upgrade. Deska už není nejmladší.

Forestův nápad:

• Postavit Cimrmana II s 2x 7970 na AMD platformě s možností rozšíření až na 4 karty, které by se postupně dokoupily.

Zkoumal jsem nabídku AMD desek a ty layouty nejsou 2x příznivé, navíc se v manuálech většinou nezmiňuje jak to funguje v konfiguraci 4 karet. Přijde mi to divné, ale co není v manuálu explicitně zmíněné, jako když není. Nebylo by příjemné zjistit, že to s tou 4 kartou nakonec neběží nebo běží jen na 4 linkách. Další poznámka na okraj, 7970 budou na trhu asi ještě dalších 6-8 měsíců. Myslíte, že stihneme vybrat dost prostředků na další dvě karty, než nám stopnou výrobu?

Mimo výše zmíněné nesrovnalosti mi není zmámo jak se chvají 4 7970 na Phenomu II, Vítek (Vkliber) to tu sice rozebíral, ale nejde jen o hrubou sílu procesoru. Praktická zkušnost s Moo! a MilkyWay na 5970 a C2D E8400 ukazuje, že i bez CPU výpočtů nelze dosáhnout vytížení, jakého jsem dosáhl později na Cimrmanovi. Sice to není úpně relevatní a vím, že nedostatečná propustnost sběrnic byla obecně největší slabina C2D. Mám trochu obavy abychom nenarazili na limity AMD podvozku a upřímě nemám moc představu jak velké by mohli být výkonnové propady se 4 7970. Tolik můj názor.

Byl bych rád, kdyby se k tomu vyjádřilo co nejvíce počtářů z CNT a možná by nebylo od věci s tím alespoň chvíli počkat a prodiskutovat to.

[eisler jiri]

tak sem zarazel platbu 1800 na cimrmana. horvi chapu ze situace je slozita, ale gdyz mi klekne kompik tak do 3dnu si s tim poradim. a jedem dal. ale pul roku na cimrmanku nadupanem houno delajicim??? to je nechces priznat, ze na to nestacis?
a cekat uz nebudu

[nenym]

@ jirka: Cimrman ještě před 3 dny běžel, ale IQE mě bolí mnohem více. Pomocí SMS ovládaný vypínač je mimo provoz? Abych pravdu řekl, je mi zcela ukradené, co se bude dít s Cimrmanem za dva roky nebo jak dlouho to bude trvat, mnohem více mě zajímá, proč stroj, kterému údajně nic není, nejede. Osobně vůbec nemám chuť jakkoli uvažovat nad rekonstrukcí Cimrmana, když vidím jeho provozní budoucnost v jasných barvách, má to vůbec smysl?

[vkliber]

Ještě přihodím pár bodů k HD7970 a nebude to o výkonu.
- zdá se mi že je to (týká se nejen ovladačů, ale i aplikací projektů) stále né úplně podporovaný (a využitelný) kus HW
- jednou se mi stalo, že po aktualizaci Windows (Win7 64-bit) všechny GPU projekty jely o 50% pomaleji. Pomohlo reinstal CCC
- a po poslední aktualizaci mi MilkyWay i DistrRTgen jede o 10% pomaleji než před aktualizací a reinstal CCC nepomůže
- o nutnosti Win7 (ideálně 64-bit) jsem už tuším psal. AMD odpískalo podporu WinXP
- používám CCC 12.8, 12.9 Beta se prý nepovedly (nově podporují .NET 4.0) a čeká se na 12.10

K jednotlivým projektům (přesná čísla nevím, páč mám úplně novou instalaci Win7 a soubor s poznámkami /celý adresář/ se mi nepochopitelně někde ze zálohy vytratil) nevím kdy se zase dostanu k udělání celého kolečka přes všechny GPU projekty abych si udělal poznámky
- DistrRTgen ... velice stabilní, karta nejede úplně na 100%, za celou dobu se mi zatoulala jediná WU (nutné odstřelení v BM) která byla zcela vadná
- MilkyWay ... taktéž velice stabilní, karta jede téměř na 100%, ale díky velice krátké době výpočtu si karta stihne odpočinout mezi náběhem na další WU, takže výsledné topení je nižší než u DistrRTgen
- Collatz Conj. ... to si vůbec nevzpomínám, na účtu projektu mám na kartě napočítáno jen 700K.
- PrimeGrid ... velice stabilní, zatím jen Sieve PPS, vytížení do 60% (souběh 2WU jsem zatím nezkoušel, mám v plánu)
- POEM ... vytížení mizerné, jel jsem tuším 4xWU, ale stabilní
- Moo ... mám pocit, že teď wraper Distributed.net klienta na ati14 vůbec na HD7970 nejde (ale už nevím proč)
- SETI ... stabilní, jel jsem 2xWU, aplikace od Lunatiků, bez problému
- Einstein ... celkem stabilní s velice ojedinělými problémy - zaběhnutá jednotka která po odstřelu vezme i ostatní (jel jsem tuším 4xWU)
- Donate ... nestabilní (velice), asi každá 3 WU se na progresu 100% zaběhne a počítá dále bez žádného vytížení GPU a bez konce ... třeba ručně odstřelit.

[forest]

Jestli je v Cimrmanovi 1 jen jedna karta, tak tím lépe, což ale zároveň bohužel znamená, že asi nikde nejedou ty dvě 5770, co jsem od Frenka posílal do Prahy loni na jaře. Bohužel nám leží lade HW opravdu hodně. Tedy pokud by případně v budoucnu ta třetí (případně čtvrtá) karta v Cimrmanovi 2 dělala potíže, dala by se do Cimrmana 1. Ta co je Cimrmanovi pak do některého z MATFYZ šuplíků. U té desky co má IQE taky nikde nepsali o možném provozu 4 dvoujádrových karet a jelo to tam. Mohu se na to ale optat při poptávce, určitě je to dobrá připomínka.
Znovu opakuji, že Cimrman 2 vzniká hlavně kvůli minimalizaci možných odstávek na pokud možno nejdelší období. Bohužel u nás momentálně vyřešení odstávky stroje trvá měsíce a to si nemůžeme vůči dárcům co na to jakkoliv přispěli dovolit.

Cimrman 2 bude mít nové vnitřnosti a novou větší bednu. K tomu Cimrman 1 pojede dál co ještě snese, co víc si přát. Na srazu jsme se pro toto řešení jednoznačně shodli a zde proti němu také pokud se nepletu vystupuješ sám, tak bych to asi bral jako uzavřené. Výkon Cimrmana šel dolů před cca půl rokem a už je opravdu čas naši vlajkovou loď vrátit zpátky na vodu.
To stejné jistě jak nenym poukazuje správně, platí i o IQEm.

Není to nic proti tobě Horvi a jsme rádi že se týmovým PC v Praze věnujete, spíš jsme takhle na dálku bezmocní a chtěli by jsme všichni, aby to v Praze vše makalo. Jak už jsme si o tom psali ostatně někdy loni na jaře. Čas hrozně letí a každým dnem přicházíme o spoustu výkonu jak pro tým, tak pro republiku, tak pro samotné projekty.

[Horvi]

@nenym: SMS ovladač je odpopojeny a na IQEho si brosím zuby tento týden. Vážně zkuste si udělat průnik 3 programů různých lidí aby vám tam vyšlo okno alespoň dvě hodiny. A aby bylo jasno, IQE mi taky leží v žaludku, ale není jediný. Na půdě mi leží dost HW na to aby se to dalo ignorovat. Jestli je něco s HW, tak na to přijdu o to by se nebál. Cimrmana řešim taky proto, že se mi nelíbí, že sotva mi zbývá čas na to co máme teď a forest jakoby nic zvesela plánuje další. Proto to tu ventiluju aby jsme ho mimo jiné přesvědčili, že to je sice hezký, ale někdo se o to musí pak postarat.

@jirka A ano momentálně je toho moc. Farma je již hotová a čekám na reset desku, která značně vylepší výsledný počet mrtvol doufejme limitně k 0 a je v plánu na to navěsit i IQEho a Cimrmana. Mimochodem nezapomínejte, že to pořád dělám jen pro dobrý pocit a občas to stojí nejen mě nějakou kačku navíc a sem tam i pár (desítek) hodin, nechci tu obhajovat nulové výsledky, ale přemýšlejte občas i z té druhé strany "barikády". Má-li někdo v Praze náladu se vrtat v HW, není problém se do toho koordinovaně pustit. Nabídka platí stále.

[nenym]

Horvi, je mi zcela jasné, co to žere času, udržuji s vypětím fšech sil v chodu 10 relativně zánovních strojů. Stačí, když na týden vypadnu a nejméně tři nepočítají tak, jak by měly, či nepočítají vůbec. A to jsou většinou stroje, které se přes pracovní dobu normálně jedou a neexistuje, aby nejely. Pouze mám pocit, že máte jinak poskládané priority oprav a údržby, že by odpovídalo snad kýženému cíli - co nejkratší výpadky u nejvýkonnějších sestav. Já bych asi v první řadě řešil SMS reboot Cimrmana a IQE - i když to není systémové řešení - a teprve poté zbytek.

[eisler jiri]

horvi, o ty kacky se s tebou rad rozdelem. ale vrtat se do HW, jen pokud mas dobre lepidlo, aby to nebelo poznat

[Horvi]

Horvi, je mi zcela jasné, co to žere času, udržuji s vypětím fšech sil v chodu 10 relativně zánovních strojů. Stačí, když na týden vypadnu a nejméně tři nepočítají tak, jak by měly, či nepočítají vůbec. A to jsou většinou stroje, které se přes pracovní dobu normálně jedou a neexistuje, aby nejely. Pouze mám pocit, že máte jinak poskládané priority oprav a údržby, že by odpovídalo snad kýženému cíli - co nejkratší výpadky u nejvýkonnějších sestav. Já bych asi v první řadě řešil SMS reboot Cimrmana a IQE - i když to není systémové řešení - a teprve poté zbytek.

Jsem rád, že jsme se jen nepochopili. Aktuálně nejvyšší pritu má tohle tedy přesněji jádro systému. I+C do toho připojíme taky. To je dneska už jasné. Výhody jsem tu sáhodlouze popisoval. Jde o to, že se do Vimbaa štrašně blbě dostává. Ten GSM reset bude jako poslední záchrana na server. Kýžený výsledek je 0 a udržet to na dálku co to dá.

[Bijek]

Zdravím tady všechny na fóru. Dlouho jsem tady nic nenapsal, k tomuto tématu bych se ale rád vyjádřil.
Obdivuji zapálenost některých lidí pro BOINC, ale směrovat tolik úsilí do týmových počítačů nechápu. Stavět tolik počítačů, pro které nemám adekvátní zázemí, je mrháním časem i finančními prostředky. Na co mi je ultravytuněný počítač, který je stejně většinu roku mimo provoz. Tato vaše politika jde proti principům distribuovaných výpočtů. Tam se přece nehraje na to mít jeden nejvýkonnější počítač, ale zapojit co možná nejvíce obyčejných kompů. Cenově i výkonově je vždy lépe postavit dva obyčejné kompy, než jeden ultrahighend jedoucí na hranici stability. Já sám už počítám nejméně 12 let. Zhruba co 4 roky vyměním staré železo za nové. Nikdy jsem neutratil za desku více jak 2200 Kč, za procesor 4000 Kč, zdroj 1500 Kč. Za celých 12 let mi kromě jednoho hard disku neodešla žádná komponenta. A to počítám 24/7/365. Počítač nechávám v provozu, i když jedu na dovolenou. Za poslední rok jsem s jednou HD 5850 za 2400 Kč udělal více kreditů než Cimrman. Tím se nechci nějak chválit, jen chci říct, že stavět další počítač za těžké prachy, ke kterému nemám okamžitý přístup, je jen dalším opakováním současného stavu. Nehledě na to, že v oblasti počítačových komponent je vše po dvou letech morálně zastaralé. Za pár měsíců tu budou HD8970 s daleko větším výkonem, tak proč dnes urychleně kupovat HD7970. Mít vaší zapálenost pro BOINC, tak směřují úsilí spíše do propagace DC a týmu CNT, než do marného boje s nevyzpytatelným a rychle stárnoucím hardwarem . Já věřím, že investice do propagace přinese týmu více kreditů, než postavení dalšího Cimrmana.

[nenym]

Kýžený výsledek je 0 a udržet to na dálku co to dá.

Právě v tomto bodě se diametrálně rozcházíme. Jak je k tomu cíli daleko:
a) materiálově,
b) finančně,
c) časově?
Do doby, než bude dosažen, bude SMS vypínač zahálet a IQE i Cimrman nejspíše mimo provoz. Přesně toto mi vadí, kvůli nějaké vizi ideálního stavu konkrétní stroje, kterým HW každým dnem morálně zastarává, leží ladem. Proč do doby, než bude kompletní sestava ideálního stavu, nemůže SMS vypínač býti pověšen na IQE? Nemyslím si, že by kohokoli nějak iritovaly nejedoucí farmy, protože je dostatečně známo, z čeho a jak jsou poskládané. Jestli nepojedou o dva týdny déle je úplně jedno, pokud se jejich zprovoznění oddálí kvůli znovunahození IQE a Cimrmana. Navíc GPU v IQE jsou snad ještě v záruce.
Dokud nepojede IQE a po něm Cimrman, a to v jakémkoli z hlediska cílové vize provizoriu, je podle mého názoru jiná činnost na týmových strojích mařením nejen času.