POEM na GPU (OpenCL)

[vkliber]

První GPU aplikace (OpenCL) je oficiálně venku (pro Linux).
Důrazně se doporučuje používat nejnovější vývojové verze BOINC (nestabilní ) (zde).
Zatím doporučují pouze velmi zkušeným uživatelům.

[nenym]

Kterak optimalizovat kreditový výnos na tomto projektu. Odhaduji, že admini projektu se tu díru budou snažit rychle zalátat. Po několika pokusech (2,3,4,5 paralelních úloh) jsem naladil app_info tak, aby se na stroji ještě dalo pracovat (je to 32bit Wirouz s 2G RAM). Na CPU počítat nelze. Sestava 2CPU C2D 2,13 GHz + HD 4770 @ Boinc core 7.0.7 (který je mimochodem pěkný kýbl, například natahuje práci z projektů s RS 0, i když práce je dostatek). Na jiných kombinacích může být poměr počtu jader a počtu GPU úloh zcela jiný a na CPU bude asi možné počítat (nebo půjde pustit 6 úloh POEMu, pokud se vlezou do paměti), moje C2D je mimořádně slabé.
Do <flops>xxxx</flops> si doplňte vlastní čísla, opsaná z client_state.xml před aplikací app_info.xml na POEMu.

Kód: Vybrat vše

<app_info>

<app>
 <name>poemcl</name>
 <user_friendly_name>POEM++ OpenCL</user_friendly_name>
</app>

<file_info>
 <name>poemcl_0.1_windows_intelx86__opencl_ati_100</name>
 <executable/>
</file_info>

<app_version>
 <app_name>poemcl</app_name>
 <version_num>1</version_num>
 <plan_class>opencl_ati_100</plan_class>
 <avg_ncpus>0.5</avg_ncpus>
 <max_ncpus>0.5</max_ncpus>
 <flops>xxxxxx</flops>
 <coproc>
  <type>ATI</type>
  <count>0.25</count>
 </coproc>
 <cmdline></cmdline>
 <file_ref>
  <file_name>poemcl_0.1_windows_intelx86__opencl_ati_100</file_name>
  <main_program/>
 </file_ref>
</app_version>

</app_info>

Pokud by snad někdo měl zábrany - stačí letmá prohlídka TOP strojů s výsledkem, že nikdo nepoužívá stock nastavení, všichni jednou přes app_info. Odhaduji podle časů, že někteří i 6 úloh paralelně.

[petnek]

Jsem zvedav jak bude vypadat aplikace pro nVidia GPU na Winech. Snad to bude odladenejsi. Proc durazne doporucuji pouzivat nejnovejsi verzi BOINC kdyz je teprv testovaci a jak je videt ne moc dobra? Je tam nejake zasadni vylepseni?

[jura-p]

Petneku, to doporučení je na houby. Stejné dávají na Albertovi, tam navíc doporučují 7.0.1 s odkazem na 7.0.3.
Jenže, když to zkusím respektovat, tak mi po určité době přestanou počítat GPU a jede jen CPU. Takže jsem už dvakrát ztratil několik hodin, než jsem si toho všiml.

[nenym]

Qvuli jakýmsi kni hovnám, souvisejícím s podporou boincu pro OpenCL, šestkové verze je nemají. Viz můj zoufalý dotaz v core 7 vláknu (aplikace pro nV je pouze pro linux), kde je nutná verze openssl 1.0.0, kterou má až distro 11.10 (a s níž umí spolupracovat pouze sedmičkové verze boincu), do něhož se mi vůůůůbec nechce, anžto má problémy s xserverem.
P.S. no to je věta, mimořádně se mi vyvedla

[petnek]

Porad jsi to napsal lepe nez treba takhle Qvuli jakým si kni hovnám, sou visejícím s podporou boingu pro OpenCL, švestkové verze je nemají... Pardon za remake

Tak to jsem zvedav, kdy sedmickovou verzi BOINCu odladi, aby byla normalne pouzitelna. Nebylo by to vubec spatne. Sam bych ji rad zkusil, ale takhle se mi do toho nechce...

[hanbanaroda]

Možu sa zeptat, jestli někde na fóru není návod na app_info? Nikde to nemožu najít.

[forest]

Co přesně by jsi v tom návodu chtěl? Nenym se hodil celý a funkční obsah a je to mylsím docela čitelné oč v něm na každém řádku jde.

[hanbanaroda]

No, to máš pravdu, ale já ve zdrojáku nemám app_info vůbec, app, file_info a app_version mám rozházené po několika stránkách a app_version tam mám dokonce dvakrát a pokaždé s jinýma parametrama Takže by mně (a věřím že nejenom mněú přišel vhod nějaký návod ve smyslu: ukončete BOINC, otevřete ve notepadu ten a ten soubor, toto smažte, toto dejte tam a tam, v <count>0.25</count> napište počet jednotek, uložte to nějakým způsobem a zapněte BOINC. Teda vlastně návod pro blbečky, no Doufám, že vás tím moc neotravuju

[nenym]

Zastávám ten názor, že app_info.xml na libovolném projektu by měl aplikovat pouze ten, kdo přesně ví, o co jde, co dělá a proč to dělá, jaké to může mít následky a důsledky. Nejedná se o nějakou primitivní úpravu parametrů počítání, ale cruncher bere veškerou odpovědnost za použitou aplikaci a výpočty vůbec na sebe. Proto podrobný návod nikdy nezveřejňuji a předpokládám, že ze stejného důvodu ani ostatní tvůrci app_info.xml. Úvod do problematiky zde http://boinc.berkeley.edu/wiki/Anonymous_platform.
Pro navedení: Každé aplikaci <app>.....</app> odpovídá nějaká <app_version>.....</app_version>, ve které jsou parametry výpočtu a potřebné soubory k běhu. Kdo počítá POEM dostatečně dlouho, měl by mít v client_state.xml tři tyto dvojice (POEM, POEM++ na CPU a POEM++ na GPU) s příslušnými sadami souborů.
Pro nezkušené pokusníky: raději počítejte s tím, že při aplikaci app_info přijdete o všechny jednotky, natažené pro stock aplikaci - nemusí se to stát a většinou nestane, při sebemenší chybě v app_info však ano. Na jisto počítejte s tím, že při zrušení app_info, tedy přechodu na stock aplikaci, přijdete o všechny jednotky natažené pod app_info, které nejsou dopočítané, odeslané a potvrzené (tj. o VŠECHNY, které ukazuje BM). App_info ovlivňuje celý projekt, nikoli pouze zamýšlenou aplikaci. Konkrétně mnou postnuté app_info neumožňuje počítat POEM na CPU.

[hanbanaroda]

nenym:Děkuju za odpověď Takže se prvně budu vzdělávat a až pak si budu zvyšovat výkon

[hanbanaroda]

Jestli by vám to nevadilo, tak bych sem dal návod s komentářem z oficiálního fóra POEM (app_info je stejné jako nenymovo):

Information to run more then one gpu app per gpu in windows 7 (other windows may work)

Make a file called app_info.xml in the program \ProgramData\BOINC\projects\boinc.fzk.de_poem

What decides how many tasks to run PER GPU is the "<count>0.2</count>"
take 1, divided by the number of tasks you want to run PER GPU.
A "count" of 1 will run 1 task / gpu
A "count" of 0.5 will run 2 tasks / gpu
A "count" of 0.33 will run 3 tasks / gpu
A "count" of 0.25 will run 4 tasks / gpu
A "count" of 0.2 will run 5 tasks / gpu
A "count" of 0.125 will run 8 tasks / gpu
A "count" of 0.1 will run 10 tasks / gpu
If you have 2 gpu's, and a "count" of .33, you will be running 6 tasks at once, 3 on each gpu.

Set "no new tasks" in Boinc manager an complete and return ALL WORK before making, or deleteing the app_info file. You can edit it as much as you want, but creating or deleting the file will purge all work you have on the system, and the server will think you still have it until it times out. After ANY change to the app_info file you have to stop and restart BOINC, A reboot will do this also.


use the parts between the **************** but not the ****************.

****************
<app_info>

<app>
<name>poemcl</name>
<user_friendly_name>POEM++ OpenCL</user_friendly_name>
</app>

<file_info>
<name>poemcl_0.1_windows_intelx86__opencl_ati_100</name>
<executable/>
</file_info>

<app_version>
<app_name>poemcl</app_name>
<version_num>1</version_num>
<plan_class>opencl_ati_100</plan_class>
<avg_ncpus>0.75</avg_ncpus>
<max_ncpus>1.0</max_ncpus>
<flops>25000000000</flops>
<coproc>
<type>ATI</type>
<count>0.2</count>
</coproc>
<cmdline></cmdline>
<file_ref>
<file_name>poemcl_0.1_windows_intelx86__opencl_ati_100</file_name>
<main_program/>
</file_ref>
</app_version>

</app_info>
****************

I have 2 ATI 6990 cards, each one has 2 gpu's for a total of 4 gpu's. If I have both gpu's on a single card crunching poem, I can't get above ~65% on each gpu. To limit poem to using 1 gpu on each card I exclude 1 gpu on each card, poem uses whatever is left after excluding. I limit milkyway and collatz to the other 2 gpu's (that poem is not using). This way I get 85~90% on each gpu, and 2 tasks on other projects at the same time.
make a cc_config.xml and put it ProgramData\BOINC

****************
<cc_config>
<options>
<exclude_gpu><url>http://milkyway.cs.rpi.edu/milkyway/</u ... xclude_gpu>
<exclude_gpu><url>http://boinc.thesonntags.com/collatz/</ ... xclude_gpu>
<exclude_gpu><url>http://milkyway.cs.rpi.edu/milkyway/</u ... xclude_gpu>
<exclude_gpu><url>http://boinc.thesonntags.com/collatz/</ ... xclude_gpu>
<exclude_gpu><url>http://boinc.fzk.de/poem/</url><device_ ... xclude_gpu>
<exclude_gpu><url>http://boinc.fzk.de/poem/</url><device_ ... xclude_gpu>
</options>
</cc_config>
****************

[nenym]

Návod nemá chybu, lze se jím přesně řídit a odladit optimální kombinaci pro svoji sestavu. Může sloužit i jako vodítko pro tvorbu app_info na jiných projektech, považuji za nezbytné upozornit na údaj <gpu_ram> (v client_state je vždy uveden), který na POEMU nemá význam, anžto zábor VRAM je mizivý. Na jiných projektech (Einstein & Albert) je však velmi podstatný a počet jednotek na GPU se musí ladit i podle tohoto údaje.

[nenym]

Foreste, máš výpomoc? Na HD4770 takový výkon podle mého není dlouhodobě možný, snad prvních pár tasků, než se CreditNew zorientuje.
Zdá se, že slabinu výpočtu kreditu čistě GPU aplikací nějakým způsobem ošetřili, ale i tak - na mé HD4770 přetaktované téměř na mez (820/840) vypadá stabilní RAC na 64k (jedno CPU jádro na 50% volné), což je při vytížení GPU přibližně na 70% relativně o dost více, než na MW (67k, obě+ jádra volná) či Moo (82k, jedno jádro volné), kteréžto oba vytíží GPU na 99% a se strojem se vůbec nedá pracovat.
EDIT: opraveny kmitočtz GPU

[hanbanaroda]

nenym: Mně ty forestovy výsledky přijdou normální... Taky mám 4770 (860/905) a časy v průměru kolem 135 minut, jádra neuvolňnuju žádné, jedu 4 jednotky zároveň. To mně dává teoretický RAC 120 000, na MilkyWay mám teoretický asi 180 000.

PS: Opravdu máš takt na jádře 620? Do výroby šla původně se 750MHz, dokonce se uvažovalo o 800MHz a některé OC verze takovou frekvenci měly...

[nenym]

Jsem se splet, 6 nebo 8 jsou podobdná písmenka .
Jinak je zbytek opravdu jak píšu, víc z toho nejsem schopen vyrazit, kdoví, co mám zač. Default hodnoty jsou 750/800 a bez uvolnění CPU (údajem <ncpu>) se mi POEM tasky zoufale plazí s příslušně mizerným kreditem. Ze by verze Catalystů - asi ne, výkon na Moo/DNETC i MWje v podstatě stejný od verze 9.x?

[hanbanaroda]

4770 vyházela od dubna 2009 a posední 9.x Catalysty vyšly v prosinci toho roku. Rozhodně bych zkusil když ne 11, tak aspoň verzi 10. Bežně přijde vylepšení výkonu na maximum i po půl roce po uvedení karty (zvlášť u ATI/AMD), a i když se to má týkat převážně her, tak změna výkonu nebude nezanedbatelná. Ale že by to dělalo dvojnásobek? To těžko...
Nemůže být problém ještě někde po cestě? Hodně stará deska, chyba v northbridge nebo co já vím. Zkoušels na stejném počítači jiné (stejně nebo výkonnější) karty? Ale jak píšeš, tak máš vytížení karty na 100%, že? Máš to podivné

[nenym]

Vytížení karty na POEM OpenCL mám na 70%, víc z toho nedokáži vytáhnout, 100% jede MW a Moo nebo PG PPSE OpenCL Sieving.
Motherboard je opravdu postarší se C2D 2,13 GHz (asi 4 roky), nicméně ta karta byla ještě před půl rokem na docela zánovním stroji s C2D 3,0 GHz a měla stejný výkon. Catalysty jsem měl před 2 hodinami 11.10, teď jsem nahodil 11.12, vypadá to přibližně stejně. Verze 10.x (x>cosi) jsem vynechával qůli bugu v openCL, kde si karta brala zcela bezdůvodně celé CPu.
Před ATinou tam byla 9600GT, zcela bez problémů.

[forest]

Foreste, máš výpomoc? Na HD4770 takový výkon podle mého není dlouhodobě možný, snad prvních pár tasků, než se CreditNew zorientuje.

Jedu jen na té jedné 4770 a dle tvých rad. Klient 7.0.7

[forest]

Nahodil jsem počítání 8 jednotek naráz, tak aby jsi se nenyme nedivil. Zatížení GPU stouplo na 96% a výkon je rovněž vyšší. Na PC se dá stále v pohodě dělat, takže i když jsem výpočtům musel poskytnout všechna čtyři jádra, tak se to vyplatí.