Aplikace
Re: Aplikace
LLR2 aplikace se rozjela a na dalších projektech a sice jmenovitě tyto:
321
CUL
ESP
PSP
SOB
TRP
WOO
Později bude i GCW.
O těchto zatím není jasno:
DIV, SR5, PPS-MEGA
A tyto nebudou, protože jsou je jich hodně, což je zátěž pro server na generování ověřovacích jednotek:
PPS, PPSE, SGS
Jak jsem psal dříve, jsou větší nároky na disk a upload, tady to dal Pavelk do tabulky.
b n depth DC Temporary Upload Download
----------- ---------- ---------- ---------- ---------- ---------- ---------- ----------
321 2 16075875 7 1/128 245 MB 15 MB 1.9 MB
CUL 2 18310545 7 1/128 279 MB 20 MB 2.2 MB
ESP 2 14820654 7 1/128 226 MB 14 MB 1.8 MB
PSP 2 22513138 7 1/128 344 MB 21 MB 2.7 MB
SOB 2 32698611 7 1/128 499 MB 31 MB 3.9 MB
TRP 2 10796670 7 1/128 165 MB 10 MB 1.3 MB
WOO 2 18730248 7 1/128 286 MB 20 MB 2.2 MB
GCW 121 2022636 7 1/128 214 MB 15 MB 1.7 MB
DIV 2 6166918 7 1/128 94 MB 6 MB 0.7 MB
SR5 5 3173566 7 1/128 112 MB 7 MB 0.9 MB
PPS-MEGA 2 3337564 7 1/128 51 MB 3 MB 0.4 MB
321
CUL
ESP
PSP
SOB
TRP
WOO
Později bude i GCW.
O těchto zatím není jasno:
DIV, SR5, PPS-MEGA
A tyto nebudou, protože jsou je jich hodně, což je zátěž pro server na generování ověřovacích jednotek:
PPS, PPSE, SGS
Jak jsem psal dříve, jsou větší nároky na disk a upload, tady to dal Pavelk do tabulky.
b n depth DC Temporary Upload Download
----------- ---------- ---------- ---------- ---------- ---------- ---------- ----------
321 2 16075875 7 1/128 245 MB 15 MB 1.9 MB
CUL 2 18310545 7 1/128 279 MB 20 MB 2.2 MB
ESP 2 14820654 7 1/128 226 MB 14 MB 1.8 MB
PSP 2 22513138 7 1/128 344 MB 21 MB 2.7 MB
SOB 2 32698611 7 1/128 499 MB 31 MB 3.9 MB
TRP 2 10796670 7 1/128 165 MB 10 MB 1.3 MB
WOO 2 18730248 7 1/128 286 MB 20 MB 2.2 MB
GCW 121 2022636 7 1/128 214 MB 15 MB 1.7 MB
DIV 2 6166918 7 1/128 94 MB 6 MB 0.7 MB
SR5 5 3173566 7 1/128 112 MB 7 MB 0.9 MB
PPS-MEGA 2 3337564 7 1/128 51 MB 3 MB 0.4 MB
- RoKro
- 52.6315789474 %
- Příspěvky: 1439
- Registrován: pon 31 srp, 2009 08:57
- rok narození: 29 črc 1970
- ID CNT statistics: 10234
- Bydliště: Beroun
- Kontaktovat uživatele:
Re: Aplikace
Prosím o vysvětlení pro blbé, co v tomto kontextu znamená temporary, upload, download. Ty stovky MB mě straší, mám dvě pc připojená přes mobilní data. Doufám, že temporary je něco jako první nahrání aplikace a pak už jsou to jen ty jednotky MB až desítky MB na úlohu.
Re: Aplikace
Temporary je kolik místa na disku jednotka potřebuje.
LLR2 si vytváří pracovní soubory, v podstatě checkpointy, které na konci použije, zapakuje a projede matematickou magii a certifikát a výsledek se pak ověřuje.
Z hlediska místa je lepší používat MT.
LLR2 si vytváří pracovní soubory, v podstatě checkpointy, které na konci použije, zapakuje a projede matematickou magii a certifikát a výsledek se pak ověřuje.
Z hlediska místa je lepší používat MT.
- RoKro
- 52.6315789474 %
- Příspěvky: 1439
- Registrován: pon 31 srp, 2009 08:57
- rok narození: 29 črc 1970
- ID CNT statistics: 10234
- Bydliště: Beroun
- Kontaktovat uživatele:
Re: Aplikace
Díky za ujasnění. Místo na disku není problém. I těch 12 GB potřebných na 24 x 500 MB SoB úkolů se snad najde i na rychlém SSD, nepředpokládám, že kdo má 24 jádrový CPU nevyškrábnul pár tisíc na použitelný disk
Re: Aplikace
No hlavně kdo má 24-core, asi máš na mysli Intel Xeon s velkou CPU cache a AVX512, měl by být rozumný a počítat s MT nastavením.
Taky na kombajnu nejedu 32 tasků, ale 7 threadů na task, tedy 4 tasky naráz.
Ohledně místa můžeš bojovat, pokud jde o virtuálku.
Zejména kdo si pronajde něco službu v Cloudu, s osekaným Linuxem a malým diskem, jak bývá zvykem...
Taky na kombajnu nejedu 32 tasků, ale 7 threadů na task, tedy 4 tasky naráz.
Ohledně místa můžeš bojovat, pokud jde o virtuálku.
Zejména kdo si pronajde něco službu v Cloudu, s osekaným Linuxem a malým diskem, jak bývá zvykem...
Re: Aplikace
Jsem rád, že na LLR2 přešel i můj oblíbený SR5.
Mimochodem, tím, že se nyní spočítá více LLR práce (téměř dvojnásobek), tak je přehodnotí sieving pro LLR projekty.
Prvním kandidátem pro zastavení sievingu je 321 LLR - takže kdo chce nějakou badge, neváhal bych.
(lhůta 30 dní na ohlášení zastavení projetku by se měla držet)
Mimochodem, tím, že se nyní spočítá více LLR práce (téměř dvojnásobek), tak je přehodnotí sieving pro LLR projekty.
Prvním kandidátem pro zastavení sievingu je 321 LLR - takže kdo chce nějakou badge, neváhal bych.
(lhůta 30 dní na ohlášení zastavení projetku by se měla držet)
- RoKro
- 52.6315789474 %
- Příspěvky: 1439
- Registrován: pon 31 srp, 2009 08:57
- rok narození: 29 črc 1970
- ID CNT statistics: 10234
- Bydliště: Beroun
- Kontaktovat uživatele:
Re: Aplikace
To ten sieving pomáhá tak málo, že se to při dvojnásobné rychlosti LLR už nevyplatí? Vidíš, to jsem myslel, že tam je třeba řádový rozdíl.
Re: Aplikace
Je to vždy o vyvážení toho, jak "hluboko" dělat sieving a jak rychlý je test kandidátů.
není to poprvé, co se toto přehodnocuje a je to tak správně - například příchod GPU aplikace pro Genefer tyto poměry výrazně změnil.
A už je to oficiálně venku - 321 sieve bude za 30 dní pozastaven.
Další badge leve nedohoním, ze 115M na 200M je to 85M a to za asi 30 dní nedám.
I když, 3950X k tomu má co říct a případně na konci zásoba, jenže do toho turnaj...no nevím.
není to poprvé, co se toto přehodnocuje a je to tak správně - například příchod GPU aplikace pro Genefer tyto poměry výrazně změnil.
A už je to oficiálně venku - 321 sieve bude za 30 dní pozastaven.
Další badge leve nedohoním, ze 115M na 200M je to 85M a to za asi 30 dní nedám.
I když, 3950X k tomu má co říct a případně na konci zásoba, jenže do toho turnaj...no nevím.
- RoKro
- 52.6315789474 %
- Příspěvky: 1439
- Registrován: pon 31 srp, 2009 08:57
- rok narození: 29 črc 1970
- ID CNT statistics: 10234
- Bydliště: Beroun
- Kontaktovat uživatele:
Re: Aplikace
Je zajímavé, že se třeba jenom nepřejde na mělčí sieving, že se úplně ruší.
200M, no ty jseš jinde
Mně zbývá přes mega na tyrkys (5M), ale chtěl jsem pomáhat v Thor challenge na WCG.
200M, no ty jseš jinde
Mně zbývá přes mega na tyrkys (5M), ale chtěl jsem pomáhat v Thor challenge na WCG.
-
- 31.5789473684 %
- Příspěvky: 357
- Registrován: úte 05 led, 2016 14:25
- rok narození: 05 črc 1969
- ID CNT statistics: 22548
- Bydliště: Kotvrdovice
Re: Aplikace
Tak nevím, kde dělám chybu, ale jednotky LLR2 SR5 mi to počítá skoro dvakrát tak dlouho, jako verzi LLR... Tedy cca 6600sec. oproti cca 3500sec.
Zatím to posílá i LLR, které se postupně dovalidovávají, proto je to v tabulce smíchané.
Zatím to posílá i LLR, které se postupně dovalidovávají, proto je to v tabulce smíchané.
Re: Aplikace
321 Sieving bude pozastaven. To také znamená, že nepůjde víc do hloubky.
Nelze přejít na mělčí sieving - hloubka je právě dána tím, jak dlouho se počítá.
Představ si to jako prosévání kamínků.
Nejdřív hrubé, pak menší, pak ještě menší...obdobně u sievingu ubývá četnost faktorů.
SR5 LLR2 - ano, je tam bohužel nechtěné zpomalení, jak se zjistilo, navíc snad na kažédm procesoru trochu jiné. Je to dáno tím, jak GWNUM funguje, když b<>2 (u SR5 je b=5) a potíž je při čtení checkpointů.
Z toho důvodu byl počet checkpointů snížen ze 128 na 64 (pochopitelně u nově generovaných jednotek).
Optimalizace této situace znamená v úpravu GWNUM knihovny, kterou LLR využívá, tedy poměrně zásadní změna a s tím související proces přetestování celé aplikace.
Nelze přejít na mělčí sieving - hloubka je právě dána tím, jak dlouho se počítá.
Představ si to jako prosévání kamínků.
Nejdřív hrubé, pak menší, pak ještě menší...obdobně u sievingu ubývá četnost faktorů.
SR5 LLR2 - ano, je tam bohužel nechtěné zpomalení, jak se zjistilo, navíc snad na kažédm procesoru trochu jiné. Je to dáno tím, jak GWNUM funguje, když b<>2 (u SR5 je b=5) a potíž je při čtení checkpointů.
Z toho důvodu byl počet checkpointů snížen ze 128 na 64 (pochopitelně u nově generovaných jednotek).
Optimalizace této situace znamená v úpravu GWNUM knihovny, kterou LLR využívá, tedy poměrně zásadní změna a s tím související proces přetestování celé aplikace.
- RoKro
- 52.6315789474 %
- Příspěvky: 1439
- Registrován: pon 31 srp, 2009 08:57
- rok narození: 29 črc 1970
- ID CNT statistics: 10234
- Bydliště: Beroun
- Kontaktovat uživatele:
Re: Aplikace
Jen ze zvědavosti - ty krátké ověřovací jednotky se taky počítají na více vláknech najednou?
Re: Aplikace
Ano, používá se na to stejná LLR2 aplikace.
Takže pak to vypadá třeba u 321 LLR
Run time 73.22
CPU time 442.14
Takže pak to vypadá třeba u 321 LLR
Run time 73.22
CPU time 442.14
- RoKro
- 52.6315789474 %
- Příspěvky: 1439
- Registrován: pon 31 srp, 2009 08:57
- rok narození: 29 črc 1970
- ID CNT statistics: 10234
- Bydliště: Beroun
- Kontaktovat uživatele:
Re: Aplikace
Výpočet validační jednotky je opravdu superrychlý, ale zdá se mi, že nějak moc dlouho trvá, než ji server někomu pošle. Čekal bych, že ty validační bude distribuovat přednostně. Ale visí mi tam 10 spočítaných Woodal úloh, které čekají na ověření, některé už dva dny, což je vzhledem ke čtyřem či pěti minutám, co trvá výpočet validační jednotky, trochu zvláštní. A prokliknutí na link DC task u všech ukáže stránku "nelze najít pracovní jednotku". Znamená to, že ještě nebyla ani vygenerována, natož pak odeslána ke zpracování?
Re: Aplikace
Good point, ale...
Nejde jen o to jednotku poslat, ale i připravit, server ji nemá hotovou za vteřinu. Prostě ten důvod, proč LLR2 není i u krátkých jednotek.
Pak je to někde ve frontě scheduleru, kde ten pool asi nejde moc ovládat, to je prostě design BOINCu. Předpokládám, že tam budou v paměti sedět oba typy jednotek pro danou aplikaci.
Pak si to nějaký host někdy stáhne do své fronty (kde má další úkoly) a např. jako u mě v případě 321 odevzdá až po 5 hodinách s chybou (doba výpočtu 2 vteřiny).
A pak to znovu čeká na další host.
Jo, DC task může být otázka 5 minut, ale asi není v současnosti mechanismus, jak jej přednostně dostat na nějaký host a už vůbec nelze zaručit, že se přednostně a správně daý host vypočítá a hned po vypočítání odešle, aby se pak hned na serveru mohlo validovat.
Jen tam prostě x kroků a některé z nich nelze ovlivnit.
Chápu, že to může vypadat na první pohled jako neefektivním zbytečně prodlužující čekání na výsledky a navíc flustrující.
Pro představu - mám v DB 900 tasků 321, z toho 715 valid a 139 je pending (21 in progress). Ale cca 120 z těch pending není starší 24 hodin a pouze 7 je starší 3 dní, to je méně jak 1%. A ten nejstarší (5 dní) je kvůli tomu, že error, error, timeout. S tím asi server nic neudělá.
Takto mi to přijde jako akceptovatelný stav - pro můj případ 321 jednotek.
Brzy uvidím/e, jak se chovají delší jednotky.
Nejde jen o to jednotku poslat, ale i připravit, server ji nemá hotovou za vteřinu. Prostě ten důvod, proč LLR2 není i u krátkých jednotek.
Pak je to někde ve frontě scheduleru, kde ten pool asi nejde moc ovládat, to je prostě design BOINCu. Předpokládám, že tam budou v paměti sedět oba typy jednotek pro danou aplikaci.
Pak si to nějaký host někdy stáhne do své fronty (kde má další úkoly) a např. jako u mě v případě 321 odevzdá až po 5 hodinách s chybou (doba výpočtu 2 vteřiny).
A pak to znovu čeká na další host.
Jo, DC task může být otázka 5 minut, ale asi není v současnosti mechanismus, jak jej přednostně dostat na nějaký host a už vůbec nelze zaručit, že se přednostně a správně daý host vypočítá a hned po vypočítání odešle, aby se pak hned na serveru mohlo validovat.
Jen tam prostě x kroků a některé z nich nelze ovlivnit.
Chápu, že to může vypadat na první pohled jako neefektivním zbytečně prodlužující čekání na výsledky a navíc flustrující.
Pro představu - mám v DB 900 tasků 321, z toho 715 valid a 139 je pending (21 in progress). Ale cca 120 z těch pending není starší 24 hodin a pouze 7 je starší 3 dní, to je méně jak 1%. A ten nejstarší (5 dní) je kvůli tomu, že error, error, timeout. S tím asi server nic neudělá.
Takto mi to přijde jako akceptovatelný stav - pro můj případ 321 jednotek.
Brzy uvidím/e, jak se chovají delší jednotky.
- RoKro
- 52.6315789474 %
- Příspěvky: 1439
- Registrován: pon 31 srp, 2009 08:57
- rok narození: 29 črc 1970
- ID CNT statistics: 10234
- Bydliště: Beroun
- Kontaktovat uživatele:
Re: Aplikace
Díky za rychlou reakci.
OK, chápu, že to není easy. Mě hlavně zarazilo, že u svých spočítaných pending jednotek vidím odkaz na DC task, tak to působí, jako kdyby nějaký DC task již byl PG serverem vytvořen a minimálně zařazen do fronty na přidělení nějakému počtáři.
Ale když všechny ty odkazy vedou na stránku, že task neexistuje, tak to je hodně user unfriendly. Kdyby tam odkaz ještě nebyl, tak na první pohled vidím, že na to ještě vůbec nepřišla řada.
Tak spíš takovej tip k zamyšlení ...
OK, chápu, že to není easy. Mě hlavně zarazilo, že u svých spočítaných pending jednotek vidím odkaz na DC task, tak to působí, jako kdyby nějaký DC task již byl PG serverem vytvořen a minimálně zařazen do fronty na přidělení nějakému počtáři.
Ale když všechny ty odkazy vedou na stránku, že task neexistuje, tak to je hodně user unfriendly. Kdyby tam odkaz ještě nebyl, tak na první pohled vidím, že na to ještě vůbec nepřišla řada.
Tak spíš takovej tip k zamyšlení ...
Re: Aplikace
PPS teď běží také na LLR2.,
Je to řekněme testovací provoz (část zátěže byla převedena na externí zdroje) a případně se to může vrátit zpět.
Taky je otázka, jak by to vypadalo během turnaje...
Je to řekněme testovací provoz (část zátěže byla převedena na externí zdroje) a případně se to může vrátit zpět.
Taky je otázka, jak by to vypadalo během turnaje...
- RoKro
- 52.6315789474 %
- Příspěvky: 1439
- Registrován: pon 31 srp, 2009 08:57
- rok narození: 29 črc 1970
- ID CNT statistics: 10234
- Bydliště: Beroun
- Kontaktovat uživatele:
Re: Aplikace
Hmm, tak stále asi nebyla vygenerovaná ani jedna ověřovací jednotka k žádnému z mých 13 čekajících Woodall úkolů (nejstarší z 9.11.), ani mně už po 7.11. nepřišla žádná ověřovací Woo jednotka. A přitom k SoB dopočítanému včera už ověřovací jednotka vznikla. Jestli ono se to tam někde nezašprclo