Optimalizace

Fórum o projektu

Moderátoři: petnek, nenym, Zelvuska

Zpráva
Autor
Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17645
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Optimalizace

#1 Příspěvek od forest » úte 17 bře, 2009 05:00

Našel jsem místo, kde jsou všechny optimalizace pro MilkyWay hezky pohromadě: http://zslip.com/
Na 64-bitovém Linuxu mně ale všechny uvedené hážou jenom chyby. Máte někdo jinou zkušenost s posledními optimalizacemi?

Uživatelský avatar
Rivo (Prague) Czech
36.8421052632 %
36.8421052632 %
Příspěvky: 565
Registrován: pát 20 črc, 2007 13:36
rok narození: 03 čer 1970
ID CNT statistics: 2097
Bydliště: Praha

Re: Optimalizace

#2 Příspěvek od Rivo (Prague) Czech » úte 17 bře, 2009 07:53

2 forest:

... bez problémů používám aplikaci 0.19 pro Windows 32bit na třech mašinkách (SSE, SSE 3 a SSSE 3) ...
... pravda, někdy se stane, že nenačte novou práci, tak ho "postrčím" (aktualizuji) a zase to jede bez problémů ...

... předpokládám, že každý kdo na netu hledal optimalizace pro "Milku" tuto stránku již dávno našel ...
... www.zslip.com a nebo jdou stahovat zde http://www.planet3dnow.de/vbulletin/sho ... ostcount=8 ... atd.

Uživatelský avatar
Meharts
42.1052631579 %
42.1052631579 %
Příspěvky: 698
Registrován: úte 04 bře, 2008 10:09
ID CNT statistics: 2
Bydliště: Castle in the city Brušperk 37 let

Re: Optimalizace

#3 Příspěvek od Meharts » úte 17 bře, 2009 08:16

musím potvrdit, že optimalizace pro 64 bit Linux způsobuje i u mě chybu každé jednotky a je jedno pro jaké instrukce tu optimalizaci člověk má. Na win odzkoušeny pouze aplikace pro GPU jak 0.19d, 0.19b tak i 0.19 všechny fungují.

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17645
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Optimalizace

#4 Příspěvek od forest » úte 17 bře, 2009 09:50

Rivo (Prague) Czech píše: ... předpokládám, že každý kdo na netu hledal optimalizace pro "Milku" tuto stránku již dávno našel ...
... http://www.zslip.com a nebo jdou stahovat zde http://www.planet3dnow.de/vbulletin/sho ... ostcount=8 ... atd.
Důležité je lidi v týmu informovat o takovýchto věcech a u nás nebylo založené zatím ani patřičné téma, ani uvedené linky odkud stahovat, takže proto jsem tak učinil.
Jaké jste zaznamenali zrychlení výpočtu s těmi posledními optimalizacemi na win 32-bit?

Uživatelský avatar
krahulik
52.6315789474 %
52.6315789474 %
Příspěvky: 1217
Registrován: úte 09 led, 2007 10:33

Re: Optimalizace

#5 Příspěvek od krahulik » úte 17 bře, 2009 15:28

S novou aplikaci v.19 jsem nemel problem na win32 problem. Jel jsem jak oficilani aplikaci se zapracovanymi optimalizacemi, tak i nove optimalizovanymi aplikacemi. Mel jsem za to, ze se tady o tom psalo. Na foru MW byly zverejneny linky od konce ledna jak na optimalizace pro win a Linux. Optimalizace tvori 2 "skupiny" dle OS. Po mesici se lide ptali furt na to same a tvorily se "zbytecne" vlakna, tak ICE udelal vlastni vlakno, ktere venoval strankam s optimalizacemi, ktere pravidelne aktualizuje (se svolenim "optimalizatoru").

Pokud je problem s Linuxem, tak zkuste najit reseni na foru primo u zdroje zde Recompiled Linux 32/64 apps.

Nevim zda je v souborech pro linux nejake "readme", ale pro Win staci natahnout/prepsat soubory do spravneho adresare projectu MW. BOINC je vhodne pred upravou zalohovat, pote vypnout "BM", pretahnout soubory, a zapnout opet BM. S timhle postupem nebyl pod win problem.
Obrázek
Obrázek

Uživatelský avatar
krahulik
52.6315789474 %
52.6315789474 %
Příspěvky: 1217
Registrován: úte 09 led, 2007 10:33

Re: Optimalizace

#6 Příspěvek od krahulik » úte 17 bře, 2009 15:38

forest píše:Jaké jste zaznamenali zrychlení výpočtu s těmi posledními optimalizacemi na win 32-bit?
Bohuzel jsem v te dobe udelal jen tenhle vycuc (jednalo se o snizeni kreditu z duvodu komparace kreditoveho ohodnoceni s ostatnimi projekty).

Kód: Vybrat vše

ntel(R) Core(TM)2 Duo CPU E6750 @ 2.66GHz, now without OC, 2 GB Memory, Microsoft Windows XP, SP2, 32b
Measured floating point speed 2615.41 million ops/sec
Measured integer speed 5673.84 million ops/sec
ps_s79
1364.234375 s
stderr out <core_client_version>5.10.21</core_client_version>
<![CDATA[
<stderr_txt></stderr_txt>]]>
Validate state Valid
Claimed credit 6.54426217506722
Granted credit 8.184748
application version 0.19
~ 22 cr/h
Po nasazeni posledni optimalizace jsem zaznamenal zvyseni vykonu o 100%, tj. doba vypoctu byla na uvedenem stroji mezi 600-650s. Jine pretaktovane dvoujadro davalo jednotky do 400s a ctyrjadro kolem 300s. Bohuzel jsem v te dobe ale uz zacal stourat do GPU aplikace, ta se probira v jinem vlakne. V te dobe ale probehly dalsi upravy od Travise, takze ani optimalizace nedosahly na limitni hodnotu 108kr/h. Pred nedavnem byly ale jednotky prodlouzeny, tusim ze na dvojnasobek a vyse kreditu se adekvatne zvysila.
Obrázek
Obrázek

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17645
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Optimalizace

#7 Příspěvek od forest » úte 17 bře, 2009 20:46

Tak na Linuxu už jsem to vzdal. Bez optimalizace trvá výpočet 3120s a optimalizace nefunguje Linuxová ani jedna. Nahrávání optimalizací je stejné jako na Win, to žádný návod nepotřebuje.

S optimalizací pro 32-bit windows jsou časy s tím stejným nastavením na tom stejném taktu 850s, což je brutální rozdíl se stejným kreditovým ohodnocením.

Kdyby měl někdo odkaz na funkční 64-bit optimalizaci Linux, tak dejte určitě vědět.

Uživatelský avatar
Jamoko
47.3684210526 %
47.3684210526 %
Příspěvky: 994
Registrován: pát 20 úno, 2009 17:42
rok narození: 12 pro 1983
ID CNT statistics: 10005
Bydliště: Praha
Kontaktovat uživatele:

Re: Optimalizace

#8 Příspěvek od Jamoko » stř 18 bře, 2009 00:00

zdar, vypada to nadejne a snad konecne zapojim i GPU do projektu.

Aktualne pocitam na svem pc (viz podpis) QMC, SETI a NQueens. Kdyz prihodim Milku na GPU, tak predpokladam ze dojde k rapidnimu zpomaleni vypoctu na CPU. PC nechavam vetsinou pres den zapnute tak nevim...

dale v tech verzich aby se clovek vyznal, stahnul sem Ati_0.19e_win64 tak predpokladam, ze je to to co potrebuju. Da se nastavit pocitani pouze pres Gpu?

dik za vycerpavajici odpoved.
AMD Phenom X4 9950 BE 2,6 GHz
4x2GB DDR2 800 MHz GEIL Dragon (CL 5-5-5-15)
Asus M3A79-T Deluxe
RAID 1 2x WD Velociraptor 74GB
ATI HD4870 TOXIC 512 GDDR5
Fortron Epsilon 700W
CPU Cooler Aka Evo2 (48°C full load, 31°C idle)
CPU pasta Collaboratory Liquid Pro (tekuty kov)
Akasa Infinity Gamer
CZ Windows 7 Ultimate 64bit
a nakonec cumim do Samsung T240HD
Obrázek
CNT Supporter
CimrmanObrázek
IQEObrázek
IQE-FARMObrázek
MATFYZ-FARMObrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 9893
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: Optimalizace

#9 Příspěvek od vkliber » stř 23 zář, 2009 16:51

Na naší stránce projektu jsem aktualizoval linky na Optimalizace.
Za informace děkuji krahulikovi :smt038 .
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Uživatelský avatar
Jamoko
47.3684210526 %
47.3684210526 %
Příspěvky: 994
Registrován: pát 20 úno, 2009 17:42
rok narození: 12 pro 1983
ID CNT statistics: 10005
Bydliště: Praha
Kontaktovat uživatele:

Re: Optimalizace

#10 Příspěvek od Jamoko » pát 25 zář, 2009 14:31

Ahoj, zpozorovali jste take, ze kreditovy pridel klesl? Z 74 na 53 za jednu WU.
AMD Phenom X4 9950 BE 2,6 GHz
4x2GB DDR2 800 MHz GEIL Dragon (CL 5-5-5-15)
Asus M3A79-T Deluxe
RAID 1 2x WD Velociraptor 74GB
ATI HD4870 TOXIC 512 GDDR5
Fortron Epsilon 700W
CPU Cooler Aka Evo2 (48°C full load, 31°C idle)
CPU pasta Collaboratory Liquid Pro (tekuty kov)
Akasa Infinity Gamer
CZ Windows 7 Ultimate 64bit
a nakonec cumim do Samsung T240HD
Obrázek
CNT Supporter
CimrmanObrázek
IQEObrázek
IQE-FARMObrázek
MATFYZ-FARMObrázek

Uživatelský avatar
krahulik
52.6315789474 %
52.6315789474 %
Příspěvky: 1217
Registrován: úte 09 led, 2007 10:33

Re: Optimalizace

#11 Příspěvek od krahulik » pát 25 zář, 2009 14:48

Jamoko píše:Ahoj, zpozorovali jste take, ze kreditovy pridel klesl? Z 74 na 53 za jednu WU.
Ano, info a debata je " o kousek vedle" :) http://forum.czechnationalteam.cz/viewt ... 333#p26333
PS: ubytek kreditu, byl "smazan" novymi aplikacemi (tj. v souctu by se mel rozdil temer vyrovnat)
Obrázek
Obrázek

Uživatelský avatar
Hagen
5.26315789474 %
5.26315789474 %
Příspěvky: 12
Registrován: sob 29 kvě, 2010 20:18
rok narození: 19 říj 1980
Kontaktovat uživatele:

Re: Optimalizace

#12 Příspěvek od Hagen » ned 30 kvě, 2010 15:16

Prosim Vas jsem tu novy a chtěl jsem zkusit nějaké optimalizace, ale co jsem všude našel a stahnul tak tam jsou soubory pro instalaci: app_info.xml a astronomy_0.19_SSE4.1.exe ale co mám adresář c:\ProgramData\BOINC\projects\milkyway.cs.rpi.edu_milkyway tak tam nic takového není ale jsou tam milkyway_0.19_windows_x86_64.exe a milkyway_0.23_windows_x86_64__ati13ati.exe

respektive nevíte kde stáhnout správné pro CPU Intel Q8300 (OC 3GHz), VGA ATI 5870 a běžím na Win7 64b

předem děkuji za odpověď
Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 9893
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: Optimalizace

#13 Příspěvek od vkliber » pon 31 kvě, 2010 08:40

Ahoj a vítej na fóru 45nn .

soubory astronomy_0.19_SSE4.1.exe a podobné jsou pro počítání na CPU.
Ty potřebuješ pro GPU, tak koukni na Milkyway Optimized Apps a hned na 2. řádků v tabulce máš optimalizace pro GPU (ATI).
Oficiální aplikace je z 07.04.2010 tak je otázka která bude lepší. To ať posoudí někdo kdo počítá Milky. Nebo vyzkoušej 45cc .
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Uživatelský avatar
krahulik
52.6315789474 %
52.6315789474 %
Příspěvky: 1217
Registrován: úte 09 led, 2007 10:33

Re: Optimalizace

#14 Příspěvek od krahulik » pon 31 kvě, 2010 14:57

Hagen píše:Prosim Vas jsem tu novy a chtěl jsem zkusit nějaké optimalizace, ale co jsem všude našel a stahnul tak tam jsou soubory pro instalaci: app_info.xml a astronomy_0.19_SSE4.1.exe ale co mám adresář c:\ProgramData\BOINC\projects\milkyway.cs.rpi.edu_milkyway tak tam nic takového není ale jsou tam milkyway_0.19_windows_x86_64.exe a milkyway_0.23_windows_x86_64__ati13ati.exe

respektive nevíte kde stáhnout správné pro CPU Intel Q8300 (OC 3GHz), VGA ATI 5870 a běžím na Win7 64b

předem děkuji za odpověď
ahoj,
pro poradek jen otazka, MW chces zpracovavat pres CPU nebo GPU (varianty obeho vzhledem k problemum s upravami appinfo a vykonove propasti mezi CPU a GPU vypocty neuvazuji).
Pokud CPU:
Stahni si optimalizovanou aplikaci 0.21:SSE3 pro WIN64 (predpokladam ze mas nainstalovan i BOINC pro 64b system), vytahni si ji napr. z baliku odtud. Pote vypni vypocty Boinc, vypni BM (ujisti se ze vypocty opravdu nejdou). Poté oba soubory prekopiruj do ProgramData\BOINC\Projects\Milkyway , po zapnuti vypctu (BM) tim nahradis puvodni aplikaci .exe
Pokud GPU:
V profilu nastav/povol vypocet pomoci GPU ATI, pokud mas jiz nejake WU k CPU, proved odpojeni/pripojeni k projektu, mela by se natahnout automaticky aplikace pro ATI.
Pokud bude problem se stabilitou, odezvou PC, je mozne korigovat chovani aplikace. K tomu slouzi optimalizovana plikace (vykonove vsak totozna), ktera obsahuje navic prave app_info.xml, kde lze upravit nekolik parametru (viz readme ze stazeneho souboru).
Obrázek
Obrázek

Uživatelský avatar
Hagen
5.26315789474 %
5.26315789474 %
Příspěvky: 12
Registrován: sob 29 kvě, 2010 20:18
rok narození: 19 říj 1980
Kontaktovat uživatele:

Re: Optimalizace

#15 Příspěvek od Hagen » pon 31 kvě, 2010 19:05

krahulik píše:
Hagen píše:Prosim Vas jsem tu novy a chtěl jsem zkusit nějaké optimalizace, ale co jsem všude našel a stahnul tak tam jsou soubory pro instalaci: app_info.xml a astronomy_0.19_SSE4.1.exe ale co mám adresář c:\ProgramData\BOINC\projects\milkyway.cs.rpi.edu_milkyway tak tam nic takového není ale jsou tam milkyway_0.19_windows_x86_64.exe a milkyway_0.23_windows_x86_64__ati13ati.exe

respektive nevíte kde stáhnout správné pro CPU Intel Q8300 (OC 3GHz), VGA ATI 5870 a běžím na Win7 64b

předem děkuji za odpověď
ahoj,
pro poradek jen otazka, MW chces zpracovavat pres CPU nebo GPU (varianty obeho vzhledem k problemum s upravami appinfo a vykonove propasti mezi CPU a GPU vypocty neuvazuji).
Pokud CPU:
Stahni si optimalizovanou aplikaci 0.21:SSE3 pro WIN64 (predpokladam ze mas nainstalovan i BOINC pro 64b system), vytahni si ji napr. z baliku odtud. Pote vypni vypocty Boinc, vypni BM (ujisti se ze vypocty opravdu nejdou). Poté oba soubory prekopiruj do ProgramData\BOINC\Projects\Milkyway , po zapnuti vypctu (BM) tim nahradis puvodni aplikaci .exe
Pokud GPU:
V profilu nastav/povol vypocet pomoci GPU ATI, pokud mas jiz nejake WU k CPU, proved odpojeni/pripojeni k projektu, mela by se natahnout automaticky aplikace pro ATI.
Pokud bude problem se stabilitou, odezvou PC, je mozne korigovat chovani aplikace. K tomu slouzi optimalizovana plikace (vykonove vsak totozna), ktera obsahuje navic prave app_info.xml, kde lze upravit nekolik parametru (viz readme ze stazeneho souboru).
No zatím jedu jak CPU tak GPU výpočty, a jedu bez optimalizací na originálu. Mám nainstalován Boinc 64b. A dělám řádově přes 180tis za den. Výpočty mi jedou cca 7h CPU a 90-105s GPU, takže nevím ale pokud bych měl jet jenom jedno tak asi to GPU bude výhodnější? Případně prosím poraďte co dát potom na CPU
Obrázek

rendo
26.3157894737 %
26.3157894737 %
Příspěvky: 245
Registrován: ned 09 pro, 2007 14:25
ID CNT statistics: 3742
Bydliště: Pardubický kraj, Svitavy

Re: Optimalizace

#16 Příspěvek od rendo » pon 31 kvě, 2010 21:11

Jestli ti jde o kredit tak zkus na CPU počítat AQUA@HOME.

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 9893
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: Optimalizace

#17 Příspěvek od vkliber » pon 31 kvě, 2010 21:33

Hagen píše:No zatím jedu jak CPU tak GPU výpočty, a jedu bez optimalizací na originálu. Mám nainstalován Boinc 64b. A dělám řádově přes 180tis za den. Výpočty mi jedou cca 7h CPU a 90-105s GPU, takže nevím ale pokud bych měl jet jenom jedno tak asi to GPU bude výhodnější? Případně prosím poraďte co dát potom na CPU
Tak jestli děláš ~180k kreditů za den, tak to máš tak 178k na GPU a 2k na CPU 45hh .
Zkus hodit na CPU projekt AQUA, tam se ti jedna jednotka bude počítat na všech jádrech CPU současně a z výše kreditu budeš mile překvapen 45cc .
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

fake
26.3157894737 %
26.3157894737 %
Příspěvky: 255
Registrován: čtv 07 čer, 2007 08:52

Re: Optimalizace

#18 Příspěvek od fake » úte 25 led, 2011 09:58

jen dotaz na okraj je nejaka nova optimalizace pro Milky? mam chybu v manazeru.

25.1.2011 9:51:06 Milkyway@home Message from server: Your app_info.xml file doesn't have a version of MilkyWay@Home N-Body Simulation.

diky za info.
Obrázek

Uživatelský avatar
MIZ
42.1052631579 %
42.1052631579 %
Příspěvky: 601
Registrován: sob 22 bře, 2008 14:54
Bydliště: Krkonoše, Czech Republic, Europe, 3rd from the Sun
Kontaktovat uživatele:

Re: Optimalizace

#19 Příspěvek od MIZ » úte 25 led, 2011 10:08

Pokud jsem to dobře pochopil, tak na projektu jim vadí nějaké optimalizace, které načítají do zásoby příliš mnoho jednotek. To pak působí problémy na serveru, nestíhá validátor nebo co, tak to nějak omezují. Nevyznívá mi z toho, že by byl problém s klasickými optimalizovanými aplikacemi třeba pro konkrétní CPU. Ale radši si to od Travise přečtěte sami:
bypassing server set cache limits
Obrázek
World Community Grid: Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek
Asteroids: ObrázekObrázekObrázekObrázekObrázekObrázek Milkyway: ObrázekObrázek Universe: Obrázek PrimeGrid: Obrázek Obrázek Obrázek Obrázek Obrázek Enigma: Obrázek WUProp: Obrázek
Yoyo: Evolution Obrázek, Muon Obrázek, ecm Obrázek, OGR Obrázek.
ObrázekObrázek
BOINC team :smt049 Space Family

honza5678
5.26315789474 %
5.26315789474 %
Příspěvky: 5
Registrován: stř 16 úno, 2011 12:58

Re: Optimalizace

#20 Příspěvek od honza5678 » stř 16 úno, 2011 14:08

Hádám správně, když si myslím, že na W7 64b pro GPU jednotky dnes (viz datum mého příspěvku) žádné optimalizace neexistují. Tedy v základu jsou už používány. Z webu se mi podařilo stáhnout pouze jakousi V2 verzi a ta neměnila vliv na výkon. V3 byla kdekoli nestáhnutelná. Ale stejně si myslím, že V3 je současná co už je nějak v základu od serveru implementovaná a poslána klientům.

Samo to běží na M@H 0.23 (Ati3ati). Co jsem zkoušel z webu optimalizace, tak měli naprosto stejný vliv na čas výpočtu a následně i RAC.

Jinak pokud máte zkušenost.. Sedí to, když mi 3850 (770/1050) dává RAC 35K pro 24h počítání denně??? (reálně samozřejmě méně.)
Jednotky počítá cca 8m.30 do 12m.30. (obvykle lehce přes 10m.)
Ale už jsem viděl i 5m jednotky.

Co jsem se díval na zahraniční fóra, tak to sedí s tím, že do dokonce přesně odpovídá vzhledem k poměrům výkonu ati čipů nových grafik jejich RAC k tomu co to dává tato 3850.

Je normální, když třeba 5m jednotku po resetu najednou počítá i přes 10m?

Odpovědět

Zpět na „MilkyWay@Home“