Bodové ohodnocení

Fórum o projektu

Moderátoři: petnek, nenym, Zelvuska

Odpovědět
Zpráva
Autor
Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17733
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Bodové ohodnocení

#1 Příspěvek od forest » čtv 10 led, 2008 10:37

Testnul jsem zapojit do projektu E6400 a výpočet je znatelně rychlejší i kvůli zpracovávání obou jednotek naráz. Jen mně trochu zaráží, že ikdyž jsou každá z těch dvou jednotek jinak náročné, tak se počítají jako jeden bod. Je to myslím trochu nefér a taky by nebylo špatné, kdyby u jednojádrových mašin byla volba na výpočet jen jedné jednotky s tím, že by se jejich stahování třeba střídalo, aby to bylo fér na délku výpočtu. Zpracovávání dvou výpočtů na jednojádru je totiž pomalejší, než při postupném zpracovávání. To bylo již dříve několikrát na DC projektech ověřeno.

Nárok na paměť 7MB RAM je opravdu nádhera, tedy myslím ideální i pro kancelářské obstarožní stroje, které na BOINC projektech nestíhají dedline, protože u tohoto projektu jsem na termín do kdy se má výsledek odevzdat vůbec nenarazil.

LookAS
42.1052631579 %
42.1052631579 %
Příspěvky: 811
Registrován: ned 02 pro, 2007 14:34
rok narození: 12 čer 1981
ID CNT statistics: 9215
Bydliště: Přelouč
Kontaktovat uživatele:

Re: Wieferich@home

#2 Příspěvek od LookAS » čtv 10 led, 2008 11:15

bod neni za obe dohromady, ale za kazdou zvlast.
-LookAS- ~ Core i9-7920X + Be quiet! Dark Rock PRO 4, ASRock Taichi, 32GB Corsair 4133MHz , 2x Gigabyte GTX 1080 Ti Gaming OC, Win 10 x64
PG: Obrázek

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17733
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Wieferich@home

#3 Příspěvek od forest » čtv 10 led, 2008 12:55

No právě a každá je jinak náročná.

LookAS
42.1052631579 %
42.1052631579 %
Příspěvky: 811
Registrován: ned 02 pro, 2007 14:34
rok narození: 12 čer 1981
ID CNT statistics: 9215
Bydliště: Přelouč
Kontaktovat uživatele:

Re: Wieferich@home

#4 Příspěvek od LookAS » čtv 10 led, 2008 13:02

ted sem si to po obede precetl cely znova a uz chapu co si tim myslel ;)
jo to mas pravdu, to mi taky neprijde zrovna dvakrat rozumny davat po bodu za jednotku ktera trva X a stejne za jednotku ktera trva 3X. asi tema bodama jen sledujou kolik kdo dokoncil jednotek a nechtelo se jim zavadet dalsi ukazatel, kdyby byly jednotky jinak ohodnoceny. tezko rict, snad se zeptat primo jich.
-LookAS- ~ Core i9-7920X + Be quiet! Dark Rock PRO 4, ASRock Taichi, 32GB Corsair 4133MHz , 2x Gigabyte GTX 1080 Ti Gaming OC, Win 10 x64
PG: Obrázek

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17733
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Wieferich@home

#5 Příspěvek od forest » stř 16 led, 2008 07:35

Ptal jsem se na projektu na podrobnosti k tomu systému bodování a upozorňoval na možnost toho, že by to někdo mohl zneužívat, přikládám odpověď:
jandobes píše: Nepředpokládám, že by se někdo pokoušel tímto způsobem manipulovat s velikostí skóre (mazáním jednotek) - počtem bodů (toto bych čekal u ziskových projektů), ale máte pravdu ukázalo se, že periodický test je opravdu velice náročný a bod za něj se získá poměrně těžce, ale čtěte dále.

Připravuje se nová verze aplikace, která bude v kompletním testu až 10x rychlejší a nepatrně rychlejší také v periodickém testu. Jednotka kompletního testu tedy bude mít větší rozměry. Rychlost získávání bodů v kompletním testu se navýší. S přechodem na novou verzi bude prohledávání zase o řád efektivnější. Nová verze bude o proti předchozí verzi paměťově náročnější, ale neměla by přesahovat 40 MB. Úpravou velikosti využití paměti směrem nahoru se dále opět zvyšuje rychlost prohledávání (max do 140 MB), necháme na uživateli kolik paměti pro aplikaci vyhradí (může si to nastavit v popup - system-tray nabídce, výchozí bude paměťové zatížení samozřejmě nejnižší).

Zřejmě bude opravdu upraveno skóre pro periodický test (trvá déle a je náročnější). Pokud k tomu dojde, budete informováni zde na stránkách a bude to provedeno automaticky pro nové jednotky a zpětně z již zpracovaných jednotek periodického testu, tzn. pokud nebude mít člen žádné (nebo malý počet) bodů z periodického testu, u něj se navýšení nijak výrazně neprojeví. O žádné body nikdo nepřijde, naopak může získat používáním aktuální verze a získání co nejvíce bodů za oba testy.
Do konce týdne chci připravit a vydat o projektu krátký článek na našem webu, tak snad se mně to podaří.

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17733
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Wieferich@home

#6 Příspěvek od forest » pát 25 led, 2008 14:43

Zjistil jsem, že na dvoujádru je poměr mezi kompletním testem a periodickým testem dokonce 5:1 v potřebné délce výpočtu. Ještě že s těma bodama budou něco dělat.

rendo
26.3157894737 %
26.3157894737 %
Příspěvky: 245
Registrován: ned 09 pro, 2007 14:25
ID CNT statistics: 3742
Bydliště: Pardubický kraj, Svitavy

Re: Wieferich@home

#7 Příspěvek od rendo » pát 25 led, 2008 18:38

Já Vás zdravím přátelé :smt006 , taky jsem se připojil k tomuto projektu a můj poměr je 3:1 takže žádná sláva.Je dobře ,že tvůrci projektu jsou velice ochotní k vylepšování projektu a berou připomínky velmi vážně což by časem mohlo ještě více přitáhnout další počtáře. Jen bych se nezlobil kdyby měli stránky i v češtině ,hodně lidí to může odradit.Nedočíst se o tom na vašem fóru tak o nich ani nevím a protože anglicky neumím asi bych to ani nečetl.Každopádně náš tým má slušně našlápnuto a jestli to vydrží nepochybuju o tom ,že brzy budeme ve vedení.

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17733
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Wieferich@home

#8 Příspěvek od forest » čtv 07 úno, 2008 14:00

Už vyšly podrobnosti o novém způsobu bodového ohodnocení:
jandobes
Bodové hodnocení se změnilo o tzv. bonus body, které uživatel získává pouze a jen, pokud má nainstalovanou aktualizovanou verzi, pokud má starší, bonus body jsou pozastaveny.

Bonus body jsou automaticky přičítány ke skóre a do celkového hodnocení.

Bodování zůstalo stejné ze statistických důvodů, tzn. vždy jeden bod za každou dokončenou jednotku bez ohledu na typ testu, i v případě pokud je používána starší verze nebo současná. Tento údaj (počet bodů P a C jsou důležitým údajem pro statistiku, proto jej nelze měnit nebo odlišovat).

Bonus body může člen získávat o různých velikostech z různých testů, pokud má člen aktualizovanou verzi, získá jeden další bonus bod za jednotku kompletního testu, tedy celkem celkem 2 body a 3 bonus body za periodický test (celkem tedy 4 body!).

Kdo přejde na novou verzi co nejdříve, může získávat body velice rychle a předstihnout tak rychle ty, kteří používají starší verze. Příkladem je např. tým AMD users.

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17733
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Wieferich@home

#9 Příspěvek od forest » pon 25 úno, 2008 05:25

Ano, připomínky k tomu bodování mám, jelikož je značně nevyvážené.
Z vedení tvrdí, že se zvyšujícím se počtem bitů periody klesá také čas zpracování jednotky. To ovšem nesouhlasí s praxí, kde to funguje asi takhle:

Při stejném provozu zpracuje stejný PC jednotky kompletního testu za 18,30,45,75 a nebo i 94 hodin. Za každý z těch časů dostanu jen 2 body, což je prostě špatné bodové ohodnocení. Jednotky periodického testu mají také velké česové rozmezí. Na stejném PC 121 až 192 hodin, ovšem za ty dostanu 4 body. Poměr časů 18 a 94 hodin za stejné hodnocení a 94 a 121 hodin s dvojnásobným rozdílem mlátí do očí a tak jsem na to i upozornil. Bohužel se nikdo nepřidal.

Osobně to připisuji mouše ranní fáze projektu, ovšem vedení se k tomu nestaví ve smyslu že by si problém uvědomovali a chtěli ho nějak řešit.

LookAS
42.1052631579 %
42.1052631579 %
Příspěvky: 811
Registrován: ned 02 pro, 2007 14:34
rok narození: 12 čer 1981
ID CNT statistics: 9215
Bydliště: Přelouč
Kontaktovat uživatele:

Re: Wieferich@home

#10 Příspěvek od LookAS » pon 25 úno, 2008 07:47

zasadni problem, ktery brani zmenit bodove ohodnoceni podle spocitaneho casu je ten, ze ve statistikach nemeri cisty CPU time, ale meri cas od stahnuti jednotky do vraceni spocitane jednotky. to jestli cpu jel porad na 100% nebo treba jen 8 hodin denne oni nezjistej a je jim to momentalne jedno. K nicemu to ted nepotrebuji.

Opravdu ti pocitac pocita 100% casu bez prestavek a spocitat kazdou jednotku ti trva az takhle moc ruzne?
-LookAS- ~ Core i9-7920X + Be quiet! Dark Rock PRO 4, ASRock Taichi, 32GB Corsair 4133MHz , 2x Gigabyte GTX 1080 Ti Gaming OC, Win 10 x64
PG: Obrázek

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17733
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Wieferich@home

#11 Příspěvek od forest » pon 25 úno, 2008 09:17

Neusále nejede, ale prodlevy jsem odečetl od daných časů. Na tom PC jede jen běžná kancelářská práce a priorita projektu je nastavena jako nejmenší, nikoli aby počítal jen v nečinnosti.
To že neřeší ty časy je jen jedna z věcí které neřeší. Ale myslím si že pokud těm lidem záleží na tom, aby u projektu počtáři zůstali, tak ty mouchy časem vychytají, alespoň v to doufám.

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17733
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Wieferich@home

#12 Příspěvek od forest » stř 27 úno, 2008 08:33

Další info o bodování na projektu:
jandobes píše:Jelikož se množí dotazy na bodové hodnocení...

Situace je taková: od počátku až do teď je přičítán pouze vždy 1 fixní bod za kompletní a periodický test, takto to bylo stanoveno a je to zahrnuto do statistiky, proto měnit to již bohužel nelze. Tzn. fixní body 1 a 1 pro jednotlivé testy budou i nadále.

Poznámka: dříve se tedy nerozlišovala náročnost testů.

Vznikly proto body, které mohou mít různé velikosti pro jednotlivé testy (bonus body). Tyto bonus body (nyní platné 1 další bod za kompletní test 3 další body za periodický test) měly v počátku odlišit náročnost jednotlivých testů.

Spravedlnější, ale pořád je co zlepšovat..., že?

Bohužel není měřen čistý CPU čas, proto nelze počet bodů určovat dle času, protože, když bude mít např. někdo přes noc vypnutý počítač, čas zpracování jednotky naroste o čas vypnutí. Dále jiný čas zpracování jednotky bude také v případě, pokud se na počítači pracuje nebo nikoliv. Výchozí proces běží totiž s prioritou IDLE, nikoiv LOWEST, proto je mnohdy výpočet zcela vypnut. Tzn. času zpracování jednotky se nelze nijak chytnout. Bylo by to také nefér, aby ten, co má vypnutý počítač (délka zpracování jednotky větší o dobu vypnutí) měl např. více bodů, než ten co jej nechává zapnutý stále a je pro projekt jistě zajímavější. Dalším argumentem je rychlost počítačů, klient nepracuje jako benchmark, nevíme o jak silný stroj se jedná, např. ohodnocený body, nemůžeme hodnotit tedy časy a výkon.

O velikostech bonus bodů je tedy řeč, kolik pro jaký test...

Lze se chytit jen samotné podstaty jednotek.

Každá jednotka kompletního testu obsahuje vždy stejný rozsah ve kterém se hledá (1000 000 000), periodický test obsahuje vždy 150 period pro otestování, každá stejné množství. Tzn. ze své podstaty by měla být každá jednotka stejná s drobnou výhradou u periodického testu, ...

Postřeh: Nyní je perioda 18-bitová, tzn. v této době obdrží členové vždy 150 různých 18-bitových period pro zpracování. Se zvyšujícím se počtem bitů periody, klesá čas zpracování. Nárůst počtu bitů periody bude čím dál pomalejší.

Proto ta zkostnatělá pevnost bodů pro jendotlivé jednotky. Je tedy třeba zohlednit především periodický test, protože body z obou testů jsou sčítány dohromady. Je proto podstatné, body byly vyrovnané s ohedlem na náročnost (aby nebylo např. výhodné provádět jeden test na úkor druhého, to nechceme, protože oba testy jsou velice důležité). Vyrovnanost už v současné době neplatí a s tím s Forestem souhlasím, protože od vzniku verze 2.0, kde perioda PTII byla na 2 bitech se zvýšila díky vynikající práci členů na současných 18 a to už se výrazně projevilo na času zpracování. Je poměrně těžké odhadnout, kdy např. dosáhneme 30 bitů jestli vůbec.

Poznámka: není jednoduché určit např. kolik period včetně levostranných nul bude dané bitové délky. Jedná se o poměrně složitý kombinatorický problém.

Já věřím, že se společně podaří vytvořit finální a ustálenou podobu bodového hodnocení. Nikdy nic není uzavřené a definitivní a určitě ne současná podoba, proto pište nápady, jak vy si představujete hodnocení ze stávající situace, body jsou především pro vás...

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17733
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Wieferich@home

#13 Příspěvek od forest » úte 18 bře, 2008 09:15

Vedení projektu se rozhodlo přepracovat bodový systém a to i zpětně, takže se nelekněte až se kouknete na stavy účtů.
Není to sice přesně tak jak jsem navrhoval, ale prostor na korekce přidělování dle náročnosti WU vzniknul docela slušný a vítám že to bodování upravili, nuže tady to je:
miroslavkures píše: Nová verze bodové klasifikace bere v úvahu trvání kompletního a periodického testu. Proto je objektivnější. (K tomu se užije jistý vzorek dat.) Aktuální klasifikace:
Kompletní test:
Počet bodů (staré verze klienta) 11
Počet bodů (aktuální verze of klienta) 16
Periodický test:
Počet bodů (staré verze klienta) 16
Počet bodů (aktuální verze of klienta) 24
(Všechny staré body byly přepočítány.) Aktualizace bodových hodnot se uskuteční vždy v pondělí ve 2:00 SEČ.

Souhlasím, že tím, že přepočet znamená zpětně 11 bodů celkem za kompletní test (při aktuální verzi) a 13 bodů celkem za periodický test (při aktuální verzi) a dříve to byly 2, resp. 4 body, byla oslabena role bonusových bodů a tím tedy posílena váha bodů za skutečně dokončené jednotky. To znamená, že pro týmy či jednotlivce, u nichž byla role bonusových bodů podstatná, je tato změna nevýhodná.

Máme za to, že nový system je objektivnější, do budoucna dostatečně pružný a proto další změnu hodnocení a přepočítávání bodů určitě neplánujeme. Nepovažuji to, že jsme změnou (mimochodem inspirováni některými z vás) přiznali, že předchozí stav bodování nebyl zcela odpovídající, za horší variantu než kdybychom stále trvali tvrdošíjně na svém. Při podobné změně je to, že jsou pro někoho nevýhodné, spíše pravidlem než výjimkou. Kritiku naší strategie vítáme, učíme se a reagujeme.

Odpovědět

Zpět na „Wieferich@home“