Czech National Team

Týmové fórum
Právě je ned 22 říj, 2017 05:18

Všechny časy jsou v UTC + 1 hodina




Odeslat nové téma Odpovědět na téma  [ Příspěvků: 428 ]  Přejít na stránku Předchozí  1 ... 18, 19, 20, 21, 22
Autor Zpráva
 Předmět příspěvku: Re: Ostatní diskuse k projektu
PříspěvekNapsal: stř 20 zář, 2017 07:53 
Offline Stats
36.8421052632 %
36.8421052632 %

Registrován: ned 12 úno, 2017 00:26
Příspěvky: 596
Bydliště: Zdounky (u Kroměříže)
Datum narození: 18 zář 1980
ID CNT statistik: 503
Ahoj, na tohle jsem už včera přišel svépomocí metodou pokus omyl ale je super že jsi to napsal. Takto přesně a srozumitelně to tady myslím nikde není a bude se to určitě hodit všem. Možná by to ale stálo překopírovat někam kde jsou rady k nastavování projektů ... Protože tohle je obecné a tady by to nikdo nehledal.

_________________
Albert: Dual Xeon E5-2696 V4, Supermicro X10DRG-Q, 32GB DDR4 ECC, 2x GTX 1080Ti FE, Enermax Platimax 1700W


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: Ostatní diskuse k projektu
PříspěvekNapsal: pát 22 zář, 2017 20:38 
Offline Stats
Admin webu a fóra CNT
Admin webu a fóra CNT
Uživatelský avatar

Registrován: pát 27 říj, 2006 09:19
Příspěvky: 16099
Bydliště: Újezd u Brna
Datum narození: 03 bře 1977
ID CNT statistik: 71
Dzordzik píše:
Takto přesně a srozumitelně to tady myslím nikde není a bude se to určitě hodit všem. Možná by to ale stálo překopírovat někam kde jsou rady k nastavování projektů ... Protože tohle je obecné a tady by to nikdo nehledal.

Pokusil jsem se to zpracovat srozumitelně do sekce Rad a návodů: viewtopic.php?f=160&t=4573

Mrkněte na to prosím a pokud by tam bylo něco špatně, nebo bylo třeba doplnit, tak mně na to prosím upozorněte. Tuhle věc používám právě na Golemovi již hodně dlouho, ale je pravda, že návod na to nikde nemáme.

_________________
Galerie CNT
Statistiky CNT od vklibera
Moje osobní statistika!
Kde a kdy jsem byl UoD
testovací balíček CNT 2017
tabulka výsledků testovacího balíčku CNT 2015


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: Ostatní diskuse k projektu
PříspěvekNapsal: sob 23 zář, 2017 11:35 
Offline Stats
36.8421052632 %
36.8421052632 %

Registrován: ned 12 úno, 2017 00:26
Příspěvky: 596
Bydliště: Zdounky (u Kroměříže)
Datum narození: 18 zář 1980
ID CNT statistik: 503
Super, tohle určitě pomůže. Myslím že je to popsané přehledně a srozumitelně. Děkuju.

_________________
Albert: Dual Xeon E5-2696 V4, Supermicro X10DRG-Q, 32GB DDR4 ECC, 2x GTX 1080Ti FE, Enermax Platimax 1700W


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: Ostatní diskuse k projektu
PříspěvekNapsal: ned 24 zář, 2017 00:24 
Offline Stats
42.1052631579 %
42.1052631579 %
Uživatelský avatar

Registrován: čtv 10 led, 2013 00:41
Příspěvky: 626
ID CNT statistik: 15767
Pár námitek mám 45cc:
- kolik má Golem vláken (aby si čtenář udělal představu, proč je mu vyčleněno 14 vláken pro rosettu).
- s tím příkladem WCG je třeba začít lepším odstavcem než jak to z ní. Nejdříve se zmiňujeme o Golemovi s rosettou a čtenář je vhozen do WCG aniž by věděl proč. Takže bych to viděl asi takhle, kdybych jako já laik to měl pochopit:
========================================================================

S příchodem a postupným rozšiřováním procesorů s mnoha jádry (vlákny), stoupají požadavky uživatelů na podrobnější nastavení výpočtů. Zde si ukážeme, jak lze snadno řídit počet CPU jader (vláken). Základem tohoto nastavení je soubor app_config.xml, který nejdříve je třeba si vytvořit a uložit do adresáře konkrétního projektu. Pro OS Windows tento soubor vytvoříme a uložíme do adresáře (nejběžnější odkaz k adresáři):
Citace:
\ProgramData\BOINC\project\{adresář projektu}\app_config.xml


Nejdříve si vysvětlíme příkaz <project_max_concurrent> a jak to vypadá na týmovém Golemovi, mající celkově počet vláken 32. Na projektu Rosetta má Golem v jeho souboru app_config.xml tento text:
Citace:
<app_config>
<project_max_concurrent>14</project_max_concurrent>
<app>
<name>minirosetta</name>
<cpu_versions>
<cpu_usage>1</cpu_usage>
</cpu_versions>
</app>
</app_config>


Jak je z textu patrné, i když Golem by zvládal počítat 32 jednotek naráz, má projekt Rosetta omezeno počítání příkazem <project_max_concurrent>14</project_max_concurrent> jenom na 14 vláknech. Toto omezení platí pro součet všech různých projektů (subprojektů) dané Rosettou, který tento projekt může poskytnout. Zbytek vláken tj. celkem 18 ze 32 Golem využívá pro jiné projekty ať už CPU nebo pro podporu grafických karet.


Ale jak je to s projektem, u kterého chceme ovlivňovat nejen celkový příděl vláken viz. předchozí text, ale i počet vláken na jednotlivé podprojekty (subprojekty)? Nejlíp si to vysvětlíme např. na projektu WCG a příkazu <max_concurrent>, který si neplést s příkazem <project_max_concurrent>.

Vezmeme ještě k našemu příkladu Golema a jeho 18 nevyužitých vláken. 14 vláken využívá na Rosettu, 2 vlákna využije např. na podporu GPU projektů u 2 grafických karet a 16 vláken přiřadíme pro WCG, kde si například v nastavení na stránkách WCG dáte za cíl počítat subprojekty AIDS, TBC a Ebola.

Nejdůležitější jsou tyto dva řádky pro správné ovládání jednotlivých vláken CPU:
Citace:
1. <project_max_concurrent>xx</project_max_concurrent>
2. <max_concurrent>yy</max_concurrent>


Položka č.1. se píše na začátek editace app_config.xml a říká BM, že pro daný projekt jako celek nemá spustit více než xx jednotek. Pokud chcete spustit maximum 16 jednotek daného projektu xx=16.

Pokud počítáme více podprojektů daného projektu (WCG) naráz a chcete jim přerozdělit počet vláken na každý podprojekt, pak musíte editovat další řádky v app_config.xml a vložit ke každému podprojektu řádek s položkou č.2. Tudíž dejme tomu lze nastavit, aby v projektu WCG fungovalo počítání podprojektu AIDS yy=8, další řádek s položkou č.2 TBC yy=3 a opět řádek s položkou č.2 Ebola yy=5 . Tím je součet 16 vláken CPU přerozdělen mezi tři podprojekty WCG. Pokud máte nastaveno na účtu WCG i počítáni beta jednotek a v app_config.xml je nemáte zapsány jako podprojekt, tak BM ví, že může spustit až xx=16 jednotek celkem. Máte to tedy pojištěné právě tou první položkou na začátku skriptu app_config.xml.

Takže shrnuto položka č.1 je v app_configu.xml pouze jednou a to na začátku skriptu, a položka č.2 může být v takovém množství, podle toho kolik podprojektů hodláte počítat v daném projektu a kolik vám to dovoluje množství vláken CPU. Položka xx je vždy nadřazena, i kdyby součet yy všech podprojektů v daném projektu byl vyšší než xx.

Aby bylo nastavení ještě dokonalejší, tak můžete takovýto soubor app_config.xml vložit do adresáře každého projektu který počítáte a nastavit si jej dle vlastních potřeb. Tedy například, aby na 32 jádrovém Golemu jelo vždy max. 14 jednotek Rosetty, celkem 16 jednotek WCG (rozdělené mezi 8x AIDS, 3xTBC, 5x Ebola) a 2 jednotky pro podporu výpočtů pro 2 GPU. A netýká se to jenom těchto projektů, ale všeobecně širokým spektrem projektů, které se nachází v BM.

Např. takto by vypadal app_config.xml v adresáři WCG:
Citace:
<app_config>
<project_max_concurrent>16</project_max_concurrent>
<app>
<name>faah1</name>
<max_concurrent>8</max_concurrent>
<fraction_done_exact/>
</app>
<app>
<name>hst1</name>
<max_concurrent>3</max_concurrent>
<fraction_done_exact/>
</app>
<app>
<name>oet1</name>
<max_concurrent>5</max_concurrent>
<fraction_done_exact/>
</app>
</app_config>


-------------------------------------------------------------------------------------------
Jsem to trochu pozměnil, kdyby někdo dal nápady jak to vylepšit, nejsem proti, jen si nejsem jist těmi zkratkami ohledně projektů pro WCG pro BOINC, jak jsem resetoval jednotlivé projekty skrz nový hardware zmizel mi ten app_config.xml pro WCG. Jinak tys tam Forest měl pro Rosettu takový nišmaš config, tenhle upravený by mohl to zredukovat, ale ať se radši někdo ozve od programátorů, já nejsem žádny BM guru abych si byl jistý, zda tam nejsou nějaký zbytečný chyby v těch ukázkách app_config.xml .

Tak snad se to ujme a bude to k užitku, se dívám, že mi to zabralo úprava a nový koncept celého příspěvku přes hodinu. Mno to bych nebyl moc produktivní za ten čas 45hh

PS: stejně pro tu Rosettu bych to měl spíš takto:
Citace:
<app_config>
<project_max_concurrent>14</project_max_concurrent>
<app>
<name>minirosetta</name>
<fraction_done_exact/>
</app>
</app_config>


Upřimně nevím vůbec, k čemu slouží ta položka a k čemu vůbec slouží pro to nastavení Golema v Rosette:
<cpu_versions>
<cpu_usage>1</cpu_usage>
</cpu_versions>

Jedině mne napadá, že Golem je 2 CPU stroj po 16 vláknech a je mu vyhrazeno počítat jednotky Rosetty jen na jednom CPU. Radši pro názorný příklad bych tam tu položku jako bych vynechal, aby celý příspěvek vyzněl srozumitelněji bez zbytečných dalších příkazů, i když jsem tam začlenil položku <fraction_done_exact/> pro přesnější odhad výpočtu. Kdyžtak se musí ještě doladit text, proč tam jsou uvedeny. Aspoň by se uživatel ještě seznámil s něčím navíc.

_________________
Motto: "Pokrok vědy nezastavíš, ale i ty ho můžeš urychlit." © 2014 Plšák Ráďa
User of The Day

Medajle na projektech:
Asteroids@home: Obrázek Obrázek Obrázek Obrázek Obrázek
WCG: Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: Ostatní diskuse k projektu
PříspěvekNapsal: ned 24 zář, 2017 16:58 
Offline Stats
36.8421052632 %
36.8421052632 %

Registrován: ned 12 úno, 2017 00:26
Příspěvky: 596
Bydliště: Zdounky (u Kroměříže)
Datum narození: 18 zář 1980
ID CNT statistik: 503
Dotaz, existuje nějaký CPU projekt pod BOINC, který snese prioritu 0, tj. automaticky se přestane počítat pokud jakýkoli jiný projekt má práci? Docela by mi to bodlo. Ideálně z biologie nebo astro ale to už bych si asi moc vymýšlel.

_________________
Albert: Dual Xeon E5-2696 V4, Supermicro X10DRG-Q, 32GB DDR4 ECC, 2x GTX 1080Ti FE, Enermax Platimax 1700W


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: Ostatní diskuse k projektu
PříspěvekNapsal: ned 24 zář, 2017 19:00 
Offline Stats
36.8421052632 %
36.8421052632 %

Registrován: sob 31 bře, 2012 13:27
Příspěvky: 564
ID CNT statistik: 13326
Dzordzik píše:
Dotaz, existuje nějaký CPU projekt pod BOINC, který snese prioritu 0, tj. automaticky se přestane počítat pokud jakýkoli jiný projekt má práci? Docela by mi to bodlo. Ideálně z biologie nebo astro ale to už bych si asi moc vymýšlel.

S nulovou prioritou používám projekty Asteroids (CPU), Einstein a Moo (GPU). Myslím, že i Rosetta fungovala. Pokud máš rozpočítaný úkol, tak ho dopočítá, ale další nestahuje, pokud má jinou práci.

_________________
Obrázek

PG SGS: 2337608400675*2^1290000-1


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: Ostatní diskuse k projektu
PříspěvekNapsal: pon 25 zář, 2017 05:11 
Offline Stats
36.8421052632 %
36.8421052632 %

Registrován: ned 12 úno, 2017 00:26
Příspěvky: 596
Bydliště: Zdounky (u Kroměříže)
Datum narození: 18 zář 1980
ID CNT statistik: 503
Vyzkouším, děkuju za navedení.

_________________
Albert: Dual Xeon E5-2696 V4, Supermicro X10DRG-Q, 32GB DDR4 ECC, 2x GTX 1080Ti FE, Enermax Platimax 1700W


Nahoru
 Profil  
Odpovědět s citací  
 Předmět příspěvku: Re: Ostatní diskuse k projektu
PříspěvekNapsal: pon 25 zář, 2017 08:10 
Offline Stats
Admin webu a fóra CNT
Admin webu a fóra CNT
Uživatelský avatar

Registrován: pát 27 říj, 2006 09:19
Příspěvky: 16099
Bydliště: Újezd u Brna
Datum narození: 03 bře 1977
ID CNT statistik: 71
® Plšák Ráďa ® píše:
Pár námitek mám 45cc:
- kolik má Golem vláken (aby si čtenář udělal představu, proč je mu vyčleněno 14 vláken pro rosettu).

Golem je jediný stroj s více než 4 vlákny, který mám v dosahu. Má dva 16 jádrové CPU, tedy celkem 32 jader. Na Rosettu je omezen počítáním 14 jádry z toho důvodu, že více jednotek Rosetty naráz nezvládal HDD. K výměně HDD jsem se bohužel už dlouho nedostal, ale je v plánu. Ta aplikace je tak špatně naprogramovaná, že s tím má problém většina vícejádrových strojů. Na zbytku jader jede Asteroids, opět přiškrcený app_configem. To nastavení mně poradil kdysi Zdenek, nenym, nebo vkliber. Netuším už nyní který z těchto odborníků, ale dosud to tak fungovalo.

Návod ještě tedy přepracuji, chce to ale asi podrobnější rozbor a testy na těch podprojektech, aby byl návod naprosto korektní. Do srazu to určitě už nebude.

_________________
Galerie CNT
Statistiky CNT od vklibera
Moje osobní statistika!
Kde a kdy jsem byl UoD
testovací balíček CNT 2017
tabulka výsledků testovacího balíčku CNT 2015


Nahoru
 Profil  
Odpovědět s citací  
Zobrazit příspěvky za předchozí:  Seřadit podle  
Odeslat nové téma Odpovědět na téma  [ Příspěvků: 428 ]  Přejít na stránku Předchozí  1 ... 18, 19, 20, 21, 22

Všechny časy jsou v UTC + 1 hodina


Kdo je online

Uživatelé procházející toto fórum: Žádní registrovaní uživatelé a 1 návštěvník


Nemůžete zakládat nová témata v tomto fóru
Nemůžete odpovídat v tomto fóru
Nemůžete upravovat své příspěvky v tomto fóru
Nemůžete mazat své příspěvky v tomto fóru
Nemůžete přikládat soubory v tomto fóru

Hledat:
Přejít na:  
Založeno na phpBB® Forum Software © phpBB Group
Český překlad – phpBB.cz