Czech National Team

Týmové fórum
Právě je úte 20 úno, 2018 07:08

Všechny časy jsou v UTC + 1 hodina




Odeslat nové téma Odpovědět na téma  [ Příspěvků: 10 ] 
Autor Zpráva
 Předmět příspěvku: Zmatený jak Lesní včela ve městě
PříspěvekNapsal: pon 28 úno, 2011 21:32 
Offline

Registrován: pon 28 úno, 2011 21:10
Příspěvky: 3
Datum narození: 19 říj 1977
Zdravím,
tak sem si potřeboval něčím zatížit cluster. Něco, co vytíží všechny stroje na 100procent. Vzpoměl sem si na Seti, regnul se na bonic, nainstaloval a jen tak se přidal do týmu, že to třeba k něčemu bude.

Teď na to civim jak prašteněj.
Sice sem tak nějak otestoval rozložení zátěže a reakce serverů při plném rovozu, ale fakt nechápu jak blbě se ovládá, co chci kde počítat.. nevadí, ale výsledky, to už nerozumim totálně.

Od Sobotní noci, co sem to pustil mi naskočilo
1,566 kreditů, ořekávaná kredit 4.680 a v čeká na vyřízení je přes 30 balíčků.
Může mi někdo říct co to má znamenat ? :D
Jako fun factor sem bral jako příjemnej bonus, ale když pořád někde něco čeká a na plnej výkon to vyplivne jeden balíček za 20 minut a pořád něco čeká na schválení, nebo co, tak mě to ani nebaví.
Stáhnul sem ot na 10 procent a nechal zatím běžet.


Nahoru
 Profil  
Odpovědět s citací  
PříspěvekNapsal: pon 28 úno, 2011 21:58 
Offline Stats
Admin webu a fóra CNT
Admin webu a fóra CNT
Uživatelský avatar

Registrován: pát 27 říj, 2006 09:19
Příspěvky: 16313
Bydliště: Újezd u Brna
Datum narození: 03 bře 1977
ID CNT statistik: 71
Vítej na fóru :smt006
Takto zmatený je téměř každý nováček, z toho si nic nedělej. Běžně ale nemají k dispozici hned takový výkon, nebo testují na jednom PC, takže než si zvyknou, nejsou ta čísla tak velká. Po chvíli pochopíš oč jde a zjistíš, že to je běžný provoz který není nijak špatný.

Základem je, že každý z výsledků projektu který zpracováváš, musí projít více než jedním počítačem. Jsou i projekty kde je ověřování správnosti výsledku jiné, jen z jednoho PC a příděl ohodnocení je okamžitý, to ale není dle popisu tvůj případ. Tedy práce se rozešle na 2 a více PC. Pak je dán minimální počet PC pro validaci a příděl ohodnocení. To bývá různé, ale berme že jsou dva (nenapsal jsi, jaký projekt vlastně počítáš). Ty tedy si stáhneš jednotku, zpracuješ ji, odevzdáš výsledek a pokud druhý PC už jednotku neodevzdal zpracovanou, čekáš na něj a tedy i na bodové ohodnocení. Jakmile od něj výsledek přijde, dostanete ohodnocení oba naráz.

Po pár dnech práce na projektu zjistíš, že se příděl srovná při stejném množství odvzdávané práce na reálnou hodnotu a jen se ti vytvoří jakýsi stabilně velký polštář jednotek, které čekají na příděl kreditu. Nové každý den doplníš a obdobný počet jich každý den dokončí validaci. Tedy v globálu o nic nejde, o nic nepřicházíš a tvé výsledky nejdou nikam do koše, jen je ten příděl trochu časově pozdržen, nic víc v tom nehledej.

Snad jsem to vysvětlil srozumitelně, kdyžtak se ptej.

_________________
Galerie CNT
Statistiky CNT od vklibera
Moje osobní statistika!
Kde a kdy jsem byl UoD
testovací balíček CNT 2017
tabulka výsledků testovacího balíčku CNT 2015


Nahoru
 Profil  
Odpovědět s citací  
PříspěvekNapsal: pon 28 úno, 2011 22:05 
Offline

Registrován: pon 28 úno, 2011 21:10
Příspěvky: 3
Datum narození: 19 říj 1977
díky, myslel sem si nejdřív, že se jen zvaliduje checksum, nebo tak. Později mi došlo, že se to možná počítá jinde a porovnaj se výsledky. Jenže tímhle tempem by se to nevalidovalo nikdy. Jelo to jako dva stroje. Asi je tam nějaký algoritmus, co by to časem přerozdělil, ale prostě ten pocit, že naskakujou kredity tam nebyl.
Nechtělo sem mi o tom moc přemejšlet, tak sem vsadil na ufony, jestli je něco užitěčnějšího (to určitě ano), nebo za víc bodů ( to jsem nezkoumal) rád si nechám poradit. Testování je stejně u konce a teď můžu žrát tak 10 procent, aniž by se to jakkoli projevilo. Občas potřebuju něco zatížit, tak kdyžtak poraďte co počítat.
Jinak nechápu to ovládání, jak mu říct, aby si stáhnul už maximálně 8 balíků a pak na to dlabal. Nebo naplánovat snížení zátěže při přenosu na jiný stroj. Chápu, že je to jen takové jednoduché počítátko, ale některé funkce jsou tak nějak zásadní, pokud to nemá běžet jen na jednom počítači :(


Nahoru
 Profil  
Odpovědět s citací  
PříspěvekNapsal: úte 01 bře, 2011 01:01 
Offline Stats
78.9473684211 %
78.9473684211 %

Registrován: úte 13 led, 2009 15:33
Příspěvky: 6379
Datum narození: 0- 0-1956
ID CNT statistik: 10124
Zdravím.
Jenom několik poznámek jako reakce na tvoje příspěvky, ať nejsi hned ze začátku zahlcen horou informací.
1. V zásadě bez nějakých triků můžeš počítat pouze na tom stroji, na který jsi práci stáhl. Existují cesty, jak to obejít, ale ty prozatím ponechme stranou.
2. Pokud si chceš vybírat mezi projekty, nejrychlejší orientaci najdeš zde. http://projekty.czechnationalteam.cz/index.php?akce=projekty_overview Jsou tam informace, z jaké oblasti projekt je a na jakém operačním systému (Windows, Linux, MacOS) a HW (CPU, GPU ATI, GPU nVidia) se dá počítat. Popřípadě vznes dotaz, má to spoustu nuancí, které tabulka nepobere. Podrobnější popisy nalezneš také zde http://projekty.czechnationalteam.cz/index.php, nebo po kliknutí na název konkrétního projketu.
3. Zatížení PC je regulováno automaticky a můžeš ho ještě sám dolaďovat
- automatická regulace: výpočty až na výjimky běží na nejnižší prioritě CPU procesu
- dodatečná regulace z Boinc Manageru (dále BM), jinak pojmologie zde http://forum.czechnationalteam.cz/viewforum.php?f=160:
-- drsná: zákaz výpočtů, pokud je počítač používán
-- jemná: zákaz výpočtů, pokud jiná než Boinc aplikace vytíží počítač na více než xx%
-- využití počtu jader: lze nastavit, kolik jader (v %) z celkového počtu bude Boinc využívat
-- regulace využití paměti při používání počítače a v klidu
-- regulace využití diskového prostoru
4. V BM lze regulovat zásobu práce od 0,00 (tedy žádná) až do 10 dnů, nelze určit, kolik přesně chceš od jakého projektu WU's. Poměr mezi projekty se nastavuje pomocí RS (Resource Share) - viz dříve uvedený odkaz na FAQ. Má to spoustu zákeřností, protože ne všechny projekty se chovají korektně, ale ty stabilní produkční se chovají v zásadě předvídatelně a kulturně. U Alfa projketů je chování dost nepředvídatelné, u beta projketů bývá relativně stabilní až na drobné, ale pravidelné výkřiky do tmy.
5. Samostatnou kapitolou jsou výpočty na GPU, pokud máš zájem, tak napiš, chování GPU výpočtů je poněkud jiné
6. Validace a přidělování kreditu, v zásadě jsou dva způsoby, jak se kredit přiděluje
- jediná replikace pracovní jednotky (dále WU) - kredit je přidělen po odeslání a potvrzení WU v relativně krátké době od několika desetin sekundy do několika dnů; server ověří, zda tvar výsledku odpovídá předpokladům a předepsané formě
- více replikací pracovní jednotky (dvě až tři, zcela výjimečně čtyři) - server ověří při potvrzení jednotky, zda je formálně v pořádku, ale kredit je přidělen až po obdržení předepsaného počtu dokončených jednotek a kontrole, zda všechny dávají shodné výsledky. U některých projektů se na přidělení kreditů čeká týdny až měsíce u extrémně náročných jednotek.
Kredit je však u formálně i výsledkově správné jednotky přidělen (až na naprosté výjimky u testovacích projketů) vždy, protže pokud se replikace nevrátí v předepsané době (Dead Line), je odeslána další replikace Wu na jiný počítač. Konkrétně u Seti, kde je DL až 6 týdnů, není až tak vzácná výjimka přidělení kreditu za 3 až 4 měsíce.
7. Výše přiděleného kreditu - záležitost, o které by se daly psát romány. Lze říci, že na různých projektech lze obdržet na stejném železe několikanásobný rozdíl (od 8s/kredit do 180s/kredit na C2D 3,0 GHz podle projektu a operačního systému). Pokud bys měl zájem delší dobu počítat nikoli podle zaměření projektu, ale podle výše kreditového výnosu, napiš na jakém železe počítáš a jaké na něm používáš operační systémy, poradíme ty nejvýnosnější. Většina členů však (pokud vůbec) honí kredity na jednom či dvou projektech a zbytek počítá podle svého naturelu, chuti, zájmu či dalších okolností, např. zde http://forum.czechnationalteam.cz/viewtopic.php?f=10&t=1974&hilit=svalov%C3%A1+dystrofie, či věnuj pozornost podpisu našeho člena bundaboy http://forum.czechnationalteam.cz/viewtopic.php?p=44279#p44279

_________________
Prý už není krize; pořád jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 434x
Obrázek 2xObrázek 7xObrázek 9xObrázek Obrázek
Obrázek


Nahoru
 Profil  
Odpovědět s citací  
PříspěvekNapsal: úte 01 bře, 2011 02:05 
Offline

Registrován: pon 28 úno, 2011 21:10
Příspěvky: 3
Datum narození: 19 říj 1977
Rozhodně děkuji za informace.
K tomu jak momentálně počítám.
Systém je až na vyjímky 2008R2 SP1, dostane vždy 100 procent a neběží na něm nic jiného.
Stroj je hostem na virtuální farmě, kde mu přidělím kolem 25procent zdrojů.
Celá věc mi zatím slouží k testování výkonu a virtualizační strategie.
Počítám tedy výhradně na CPU, 4 (vyjímečně 2 jádra). Ty se dál rozkládají podle farmy na 16-32 jader skutečného fysického stroje.
Strojů je teď 6 , každý má nastavené trochu jiné paramatry, abych mohl porovnyt výsledek. Pokud stroj přesouvám, je pauznutý a přenesený na jinou farmu, kde se opět rozběhne. Protože test může probíhat na některých prostředích jen v noci, potřebuju pokud možno omezit počet zpracovaných úloh tak, abych ho nemusel nechat stopnout, ale jen dopočítat balíček například do sedmi do rána.
Trochu mě točí, že se nedá nastavit třeba 1000Teraglop a pak pauza. Změřil bych čas. Takhle mám jen statistiky vytížení strojů a kredity každího znich, což porovnám se zatížením na různá nastavení a odezvou hostitelského systému při zatížení.
Téměž vždy se jedná o emulovaný Xeon procesor.
Abych zatížil celý fysický stroj, ptořebuju 4-6 instancí. Pak můžu změřit odběr při zátěži a další hovadiny.
Když vidím, jak to hezky počítá , nechal bych to jet pořád, ale na burn mi stačí 24hodin a za 3 dny mám přehled o výkonu, jak se zdá.
Koukám, jak bojujete na mezinárodním poli , tak alespoň nechám běžet pár výpočtů trvale, někde, kde se to ztratí.


Nahoru
 Profil  
Odpovědět s citací  
PříspěvekNapsal: úte 01 bře, 2011 02:42 
Offline Stats
78.9473684211 %
78.9473684211 %

Registrován: úte 13 led, 2009 15:33
Příspěvky: 6379
Datum narození: 0- 0-1956
ID CNT statistik: 10124
Na otestování (bez reálného výstupu ven) je ideální testovací balíček PrimeGrid http://www.czechnationalteam.cz/view.php?nazevclanku=testovaci-balicek-cnt&cisloclanku=2007020005.
S reálným výstupem nejtvrději zatížíš stroje libovolnou LLR aplikací Prime Grid, není nic náročnějšího. V popisu podprojektů při jejich výběru (nikoli přehledu) - edit prime grid preferences - je uvedená přibližná délka výpočtu, stačí si natáhnout potřebný počet jednotek a projektu nastavit NNT (nepřijímat další práci), zásoba se dopočítá a dál se neděje nic. Již za 5% progress baru víš celkem přesně, jak dlouho bude jednotka trvat, jednotky daného podprojektu jsou zpravidla téměř stejně dlouhé.
No a v 7 hodin ráno můžeš také použít plánovač úloh ze systému a výpočty zastavit, blíže zde http://forum.czechnationalteam.cz/viewtopic.php?f=160&t=1745, konkrétně příkazem boinccmd --quit.
Já mám programovou část systému Boinc v adresáři C:\Program Files\BOINC\ a příslušná naplánovaná úloha by pak zněla "C:\Program Files\BOINC\boinccmd.exe" --quit.
Také můžeš v BM nastavit časové úseky dne a týdne, kdy je povoleno počítání.

_________________
Prý už není krize; pořád jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 434x
Obrázek 2xObrázek 7xObrázek 9xObrázek Obrázek
Obrázek


Nahoru
 Profil  
Odpovědět s citací  
PříspěvekNapsal: úte 01 bře, 2011 06:06 
Offline Stats
Admin webu a fóra CNT
Admin webu a fóra CNT
Uživatelský avatar

Registrován: pát 27 říj, 2006 09:19
Příspěvky: 16313
Bydliště: Újezd u Brna
Datum narození: 03 bře 1977
ID CNT statistik: 71
S tím přesným časováním jednotek by možná byl vhodný i projekt Rosetta, na kterém (zatím jako jediném) jde zvolit délku výpočtu jednotek. Tedy od jedné do dvacetičtyř hodin. Není to úplně přesné na minutu, ale +/- to sedí a jednotky jsou ohodnoceny prakticky hned. Žádný trhák to ale v přídělu kreditu není, spíše naopak.

Lepší způsob jak to ovládat je určitě to, co psal nenym. Přímo v BM si můžeš naplánovat které dny v týdnu a v jakém časovém rozmezí se počítat může a kdy ne. Taky třeba že když někdo na PC pracuje, výpočty se hned pozastaví a stojí xxx minut po ukončení práce. Pak se zase rozběhnou.

_________________
Galerie CNT
Statistiky CNT od vklibera
Moje osobní statistika!
Kde a kdy jsem byl UoD
testovací balíček CNT 2017
tabulka výsledků testovacího balíčku CNT 2015


Nahoru
 Profil  
Odpovědět s citací  
PříspěvekNapsal: sob 02 črc, 2011 01:27 
Offline Stats
78.9473684211 %
78.9473684211 %

Registrován: úte 13 led, 2009 15:33
Příspěvky: 6379
Datum narození: 0- 0-1956
ID CNT statistik: 10124
Jsem též zmaten. Netuší někdo, co znamenají položky Vaios, Clanks a Maxwells na Free-DC stats?


Přílohy:
Free_DC_milestones.png
Free_DC_milestones.png [ 3.59 KiB | Zobrazeno 1944 krát ]

_________________
Prý už není krize; pořád jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 434x
Obrázek 2xObrázek 7xObrázek 9xObrázek Obrázek
Obrázek
Nahoru
 Profil  
Odpovědět s citací  
PříspěvekNapsal: sob 02 črc, 2011 09:42 
Offline Stats
42.1052631579 %
42.1052631579 %
Uživatelský avatar

Registrován: pát 03 lis, 2006 23:24
Příspěvky: 862
Bydliště: Praha
ID CNT statistik: 349
Maxwell, Clank a další jsou kluci z Free-DC, kteří si hrají s tzv. meta-statistikami. Občas nějakou vymyslí a pojmenují ji po sobě. Pro detaily je potřeba pročítat diskuze na fóru Free-DC. Já je pro teď ignoruji, protože jsou ve stavu vymýšlení. Maxwells se objevily nedávno, pak Boks, pak Clanks, teď i Vaios... pořád se to mění. 45hh

_________________
Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek
Obrázek


Nahoru
 Profil  
Odpovědět s citací  
PříspěvekNapsal: pon 04 črc, 2011 09:57 
Offline Stats
78.9473684211 %
78.9473684211 %

Registrován: úte 13 led, 2009 15:33
Příspěvky: 6379
Datum narození: 0- 0-1956
ID CNT statistik: 10124
Dík za info.

_________________
Prý už není krize; pořád jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 434x
Obrázek 2xObrázek 7xObrázek 9xObrázek Obrázek
Obrázek


Nahoru
 Profil  
Odpovědět s citací  
Zobrazit příspěvky za předchozí:  Seřadit podle  
Odeslat nové téma Odpovědět na téma  [ Příspěvků: 10 ] 

Všechny časy jsou v UTC + 1 hodina


Kdo je online

Uživatelé procházející toto fórum: Žádní registrovaní uživatelé a 1 návštěvník


Nemůžete zakládat nová témata v tomto fóru
Nemůžete odpovídat v tomto fóru
Nemůžete upravovat své příspěvky v tomto fóru
Nemůžete mazat své příspěvky v tomto fóru
Nemůžete přikládat soubory v tomto fóru

Hledat:
Přejít na:  
Založeno na phpBB® Forum Software © phpBB Group
Český překlad – phpBB.cz