Zmatený jak Lesní včela ve městě

Do threadů v koši se nedá už nic psát. Pokud zde náhodou naleznete něco důležitého, tak na to prosím upozorněte a bude zvážen přesun daného tématu zpět do fóra.

Moderátor: nenym

Odpovědět
Zpráva
Autor
vector
Příspěvky: 3
Registrován: pon 28 úno, 2011 21:10
rok narození: 19 říj 1977

Zmatený jak Lesní včela ve městě

#1 Příspěvek od vector » pon 28 úno, 2011 21:32

Zdravím,
tak sem si potřeboval něčím zatížit cluster. Něco, co vytíží všechny stroje na 100procent. Vzpoměl sem si na Seti, regnul se na bonic, nainstaloval a jen tak se přidal do týmu, že to třeba k něčemu bude.

Teď na to civim jak prašteněj.
Sice sem tak nějak otestoval rozložení zátěže a reakce serverů při plném rovozu, ale fakt nechápu jak blbě se ovládá, co chci kde počítat.. nevadí, ale výsledky, to už nerozumim totálně.

Od Sobotní noci, co sem to pustil mi naskočilo
1,566 kreditů, ořekávaná kredit 4.680 a v čeká na vyřízení je přes 30 balíčků.
Může mi někdo říct co to má znamenat ? :D
Jako fun factor sem bral jako příjemnej bonus, ale když pořád někde něco čeká a na plnej výkon to vyplivne jeden balíček za 20 minut a pořád něco čeká na schválení, nebo co, tak mě to ani nebaví.
Stáhnul sem ot na 10 procent a nechal zatím běžet.

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17055
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Zmatený jak Lesní včela ve městě

#2 Příspěvek od forest » pon 28 úno, 2011 21:58

Vítej na fóru :smt006
Takto zmatený je téměř každý nováček, z toho si nic nedělej. Běžně ale nemají k dispozici hned takový výkon, nebo testují na jednom PC, takže než si zvyknou, nejsou ta čísla tak velká. Po chvíli pochopíš oč jde a zjistíš, že to je běžný provoz který není nijak špatný.

Základem je, že každý z výsledků projektu který zpracováváš, musí projít více než jedním počítačem. Jsou i projekty kde je ověřování správnosti výsledku jiné, jen z jednoho PC a příděl ohodnocení je okamžitý, to ale není dle popisu tvůj případ. Tedy práce se rozešle na 2 a více PC. Pak je dán minimální počet PC pro validaci a příděl ohodnocení. To bývá různé, ale berme že jsou dva (nenapsal jsi, jaký projekt vlastně počítáš). Ty tedy si stáhneš jednotku, zpracuješ ji, odevzdáš výsledek a pokud druhý PC už jednotku neodevzdal zpracovanou, čekáš na něj a tedy i na bodové ohodnocení. Jakmile od něj výsledek přijde, dostanete ohodnocení oba naráz.

Po pár dnech práce na projektu zjistíš, že se příděl srovná při stejném množství odvzdávané práce na reálnou hodnotu a jen se ti vytvoří jakýsi stabilně velký polštář jednotek, které čekají na příděl kreditu. Nové každý den doplníš a obdobný počet jich každý den dokončí validaci. Tedy v globálu o nic nejde, o nic nepřicházíš a tvé výsledky nejdou nikam do koše, jen je ten příděl trochu časově pozdržen, nic víc v tom nehledej.

Snad jsem to vysvětlil srozumitelně, kdyžtak se ptej.

vector
Příspěvky: 3
Registrován: pon 28 úno, 2011 21:10
rok narození: 19 říj 1977

Re: Zmatený jak Lesní včela ve městě

#3 Příspěvek od vector » pon 28 úno, 2011 22:05

díky, myslel sem si nejdřív, že se jen zvaliduje checksum, nebo tak. Později mi došlo, že se to možná počítá jinde a porovnaj se výsledky. Jenže tímhle tempem by se to nevalidovalo nikdy. Jelo to jako dva stroje. Asi je tam nějaký algoritmus, co by to časem přerozdělil, ale prostě ten pocit, že naskakujou kredity tam nebyl.
Nechtělo sem mi o tom moc přemejšlet, tak sem vsadil na ufony, jestli je něco užitěčnějšího (to určitě ano), nebo za víc bodů ( to jsem nezkoumal) rád si nechám poradit. Testování je stejně u konce a teď můžu žrát tak 10 procent, aniž by se to jakkoli projevilo. Občas potřebuju něco zatížit, tak kdyžtak poraďte co počítat.
Jinak nechápu to ovládání, jak mu říct, aby si stáhnul už maximálně 8 balíků a pak na to dlabal. Nebo naplánovat snížení zátěže při přenosu na jiný stroj. Chápu, že je to jen takové jednoduché počítátko, ale některé funkce jsou tak nějak zásadní, pokud to nemá běžet jen na jednom počítači :(

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 6721
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: Zmatený jak Lesní včela ve městě

#4 Příspěvek od nenym » úte 01 bře, 2011 01:01

Zdravím.
Jenom několik poznámek jako reakce na tvoje příspěvky, ať nejsi hned ze začátku zahlcen horou informací.
1. V zásadě bez nějakých triků můžeš počítat pouze na tom stroji, na který jsi práci stáhl. Existují cesty, jak to obejít, ale ty prozatím ponechme stranou.
2. Pokud si chceš vybírat mezi projekty, nejrychlejší orientaci najdeš zde. http://projekty.czechnationalteam.cz/in ... y_overview Jsou tam informace, z jaké oblasti projekt je a na jakém operačním systému (Windows, Linux, MacOS) a HW (CPU, GPU ATI, GPU nVidia) se dá počítat. Popřípadě vznes dotaz, má to spoustu nuancí, které tabulka nepobere. Podrobnější popisy nalezneš také zde http://projekty.czechnationalteam.cz/index.php, nebo po kliknutí na název konkrétního projketu.
3. Zatížení PC je regulováno automaticky a můžeš ho ještě sám dolaďovat
- automatická regulace: výpočty až na výjimky běží na nejnižší prioritě CPU procesu
- dodatečná regulace z Boinc Manageru (dále BM), jinak pojmologie zde http://forum.czechnationalteam.cz/viewforum.php?f=160:
-- drsná: zákaz výpočtů, pokud je počítač používán
-- jemná: zákaz výpočtů, pokud jiná než Boinc aplikace vytíží počítač na více než xx%
-- využití počtu jader: lze nastavit, kolik jader (v %) z celkového počtu bude Boinc využívat
-- regulace využití paměti při používání počítače a v klidu
-- regulace využití diskového prostoru
4. V BM lze regulovat zásobu práce od 0,00 (tedy žádná) až do 10 dnů, nelze určit, kolik přesně chceš od jakého projektu WU's. Poměr mezi projekty se nastavuje pomocí RS (Resource Share) - viz dříve uvedený odkaz na FAQ. Má to spoustu zákeřností, protože ne všechny projekty se chovají korektně, ale ty stabilní produkční se chovají v zásadě předvídatelně a kulturně. U Alfa projketů je chování dost nepředvídatelné, u beta projketů bývá relativně stabilní až na drobné, ale pravidelné výkřiky do tmy.
5. Samostatnou kapitolou jsou výpočty na GPU, pokud máš zájem, tak napiš, chování GPU výpočtů je poněkud jiné
6. Validace a přidělování kreditu, v zásadě jsou dva způsoby, jak se kredit přiděluje
- jediná replikace pracovní jednotky (dále WU) - kredit je přidělen po odeslání a potvrzení WU v relativně krátké době od několika desetin sekundy do několika dnů; server ověří, zda tvar výsledku odpovídá předpokladům a předepsané formě
- více replikací pracovní jednotky (dvě až tři, zcela výjimečně čtyři) - server ověří při potvrzení jednotky, zda je formálně v pořádku, ale kredit je přidělen až po obdržení předepsaného počtu dokončených jednotek a kontrole, zda všechny dávají shodné výsledky. U některých projektů se na přidělení kreditů čeká týdny až měsíce u extrémně náročných jednotek.
Kredit je však u formálně i výsledkově správné jednotky přidělen (až na naprosté výjimky u testovacích projketů) vždy, protže pokud se replikace nevrátí v předepsané době (Dead Line), je odeslána další replikace Wu na jiný počítač. Konkrétně u Seti, kde je DL až 6 týdnů, není až tak vzácná výjimka přidělení kreditu za 3 až 4 měsíce.
7. Výše přiděleného kreditu - záležitost, o které by se daly psát romány. Lze říci, že na různých projektech lze obdržet na stejném železe několikanásobný rozdíl (od 8s/kredit do 180s/kredit na C2D 3,0 GHz podle projektu a operačního systému). Pokud bys měl zájem delší dobu počítat nikoli podle zaměření projektu, ale podle výše kreditového výnosu, napiš na jakém železe počítáš a jaké na něm používáš operační systémy, poradíme ty nejvýnosnější. Většina členů však (pokud vůbec) honí kredity na jednom či dvou projektech a zbytek počítá podle svého naturelu, chuti, zájmu či dalších okolností, např. zde http://forum.czechnationalteam.cz/viewt ... +dystrofie, či věnuj pozornost podpisu našeho člena bundaboy http://forum.czechnationalteam.cz/viewt ... 279#p44279
Blíží se další krize; jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 474x
Obrázek 2xObrázek 7xObrázek 10xObrázek Obrázek
Obrázek

vector
Příspěvky: 3
Registrován: pon 28 úno, 2011 21:10
rok narození: 19 říj 1977

Re: Zmatený jak Lesní včela ve městě

#5 Příspěvek od vector » úte 01 bře, 2011 02:05

Rozhodně děkuji za informace.
K tomu jak momentálně počítám.
Systém je až na vyjímky 2008R2 SP1, dostane vždy 100 procent a neběží na něm nic jiného.
Stroj je hostem na virtuální farmě, kde mu přidělím kolem 25procent zdrojů.
Celá věc mi zatím slouží k testování výkonu a virtualizační strategie.
Počítám tedy výhradně na CPU, 4 (vyjímečně 2 jádra). Ty se dál rozkládají podle farmy na 16-32 jader skutečného fysického stroje.
Strojů je teď 6 , každý má nastavené trochu jiné paramatry, abych mohl porovnyt výsledek. Pokud stroj přesouvám, je pauznutý a přenesený na jinou farmu, kde se opět rozběhne. Protože test může probíhat na některých prostředích jen v noci, potřebuju pokud možno omezit počet zpracovaných úloh tak, abych ho nemusel nechat stopnout, ale jen dopočítat balíček například do sedmi do rána.
Trochu mě točí, že se nedá nastavit třeba 1000Teraglop a pak pauza. Změřil bych čas. Takhle mám jen statistiky vytížení strojů a kredity každího znich, což porovnám se zatížením na různá nastavení a odezvou hostitelského systému při zatížení.
Téměž vždy se jedná o emulovaný Xeon procesor.
Abych zatížil celý fysický stroj, ptořebuju 4-6 instancí. Pak můžu změřit odběr při zátěži a další hovadiny.
Když vidím, jak to hezky počítá , nechal bych to jet pořád, ale na burn mi stačí 24hodin a za 3 dny mám přehled o výkonu, jak se zdá.
Koukám, jak bojujete na mezinárodním poli , tak alespoň nechám běžet pár výpočtů trvale, někde, kde se to ztratí.

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 6721
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: Zmatený jak Lesní včela ve městě

#6 Příspěvek od nenym » úte 01 bře, 2011 02:42

Na otestování (bez reálného výstupu ven) je ideální testovací balíček PrimeGrid http://www.czechnationalteam.cz/view.ph ... 2007020005.
S reálným výstupem nejtvrději zatížíš stroje libovolnou LLR aplikací Prime Grid, není nic náročnějšího. V popisu podprojektů při jejich výběru (nikoli přehledu) - edit prime grid preferences - je uvedená přibližná délka výpočtu, stačí si natáhnout potřebný počet jednotek a projektu nastavit NNT (nepřijímat další práci), zásoba se dopočítá a dál se neděje nic. Již za 5% progress baru víš celkem přesně, jak dlouho bude jednotka trvat, jednotky daného podprojektu jsou zpravidla téměř stejně dlouhé.
No a v 7 hodin ráno můžeš také použít plánovač úloh ze systému a výpočty zastavit, blíže zde http://forum.czechnationalteam.cz/viewt ... 160&t=1745, konkrétně příkazem boinccmd --quit.
Já mám programovou část systému Boinc v adresáři C:\Program Files\BOINC\ a příslušná naplánovaná úloha by pak zněla "C:\Program Files\BOINC\boinccmd.exe" --quit.
Také můžeš v BM nastavit časové úseky dne a týdne, kdy je povoleno počítání.
Blíží se další krize; jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 474x
Obrázek 2xObrázek 7xObrázek 10xObrázek Obrázek
Obrázek

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17055
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Zmatený jak Lesní včela ve městě

#7 Příspěvek od forest » úte 01 bře, 2011 06:06

S tím přesným časováním jednotek by možná byl vhodný i projekt Rosetta, na kterém (zatím jako jediném) jde zvolit délku výpočtu jednotek. Tedy od jedné do dvacetičtyř hodin. Není to úplně přesné na minutu, ale +/- to sedí a jednotky jsou ohodnoceny prakticky hned. Žádný trhák to ale v přídělu kreditu není, spíše naopak.

Lepší způsob jak to ovládat je určitě to, co psal nenym. Přímo v BM si můžeš naplánovat které dny v týdnu a v jakém časovém rozmezí se počítat může a kdy ne. Taky třeba že když někdo na PC pracuje, výpočty se hned pozastaví a stojí xxx minut po ukončení práce. Pak se zase rozběhnou.

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 6721
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: Zmatený jak Lesní včela ve městě

#8 Příspěvek od nenym » sob 02 črc, 2011 02:27

Jsem též zmaten. Netuší někdo, co znamenají položky Vaios, Clanks a Maxwells na Free-DC stats?
Přílohy
Free_DC_milestones.png
Free_DC_milestones.png (3.58 KiB) Zobrazeno 2019 x
Blíží se další krize; jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 474x
Obrázek 2xObrázek 7xObrázek 10xObrázek Obrázek
Obrázek

Uživatelský avatar
KPX
42.1052631579 %
42.1052631579 %
Příspěvky: 864
Registrován: pát 03 lis, 2006 23:24
ID CNT statistics: 349
Bydliště: Praha

Re: Zmatený jak Lesní včela ve městě

#9 Příspěvek od KPX » sob 02 črc, 2011 10:42

Maxwell, Clank a další jsou kluci z Free-DC, kteří si hrají s tzv. meta-statistikami. Občas nějakou vymyslí a pojmenují ji po sobě. Pro detaily je potřeba pročítat diskuze na fóru Free-DC. Já je pro teď ignoruji, protože jsou ve stavu vymýšlení. Maxwells se objevily nedávno, pak Boks, pak Clanks, teď i Vaios... pořád se to mění. 45hh
Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek
Obrázek

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 6721
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: Zmatený jak Lesní včela ve městě

#10 Příspěvek od nenym » pon 04 črc, 2011 10:57

Dík za info.
Blíží se další krize; jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 474x
Obrázek 2xObrázek 7xObrázek 10xObrázek Obrázek
Obrázek

Odpovědět

Zpět na „Neaktuální, OT, no prostě vše co se časem smaže“