Aplikace

Fórum o projektu
Odpovědět
Zpráva
Autor
Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: Aplikace

#181 Příspěvek od Honza »

LLR2 aplikace se rozjela a na dalších projektech a sice jmenovitě tyto:
321
CUL
ESP
PSP
SOB
TRP
WOO

Později bude i GCW.

O těchto zatím není jasno:
DIV, SR5, PPS-MEGA

A tyto nebudou, protože jsou je jich hodně, což je zátěž pro server na generování ověřovacích jednotek:
PPS, PPSE, SGS

Jak jsem psal dříve, jsou větší nároky na disk a upload, tady to dal Pavelk do tabulky.

b n depth DC Temporary Upload Download
----------- ---------- ---------- ---------- ---------- ---------- ---------- ----------
321 2 16075875 7 1/128 245 MB 15 MB 1.9 MB
CUL 2 18310545 7 1/128 279 MB 20 MB 2.2 MB
ESP 2 14820654 7 1/128 226 MB 14 MB 1.8 MB
PSP 2 22513138 7 1/128 344 MB 21 MB 2.7 MB
SOB 2 32698611 7 1/128 499 MB 31 MB 3.9 MB
TRP 2 10796670 7 1/128 165 MB 10 MB 1.3 MB
WOO 2 18730248 7 1/128 286 MB 20 MB 2.2 MB
GCW 121 2022636 7 1/128 214 MB 15 MB 1.7 MB
DIV 2 6166918 7 1/128 94 MB 6 MB 0.7 MB
SR5 5 3173566 7 1/128 112 MB 7 MB 0.9 MB
PPS-MEGA 2 3337564 7 1/128 51 MB 3 MB 0.4 MB

Uživatelský avatar
RoKro
52.6315789474 %
52.6315789474 %
Příspěvky: 1438
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: Aplikace

#182 Příspěvek od RoKro »

Prosím o vysvětlení pro blbé, co v tomto kontextu znamená temporary, upload, download. Ty stovky MB mě straší, mám dvě pc připojená přes mobilní data. Doufám, že temporary je něco jako první nahrání aplikace a pak už jsou to jen ty jednotky MB až desítky MB na úlohu.
Obrázek

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: Aplikace

#183 Příspěvek od Honza »

Temporary je kolik místa na disku jednotka potřebuje.
LLR2 si vytváří pracovní soubory, v podstatě checkpointy, které na konci použije, zapakuje a projede matematickou magii a certifikát a výsledek se pak ověřuje.

Z hlediska místa je lepší používat MT.

Uživatelský avatar
RoKro
52.6315789474 %
52.6315789474 %
Příspěvky: 1438
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: Aplikace

#184 Příspěvek od RoKro »

Díky za ujasnění. Místo na disku není problém. I těch 12 GB potřebných na 24 x 500 MB SoB úkolů se snad najde i na rychlém SSD, nepředpokládám, že kdo má 24 jádrový CPU nevyškrábnul pár tisíc na použitelný disk :-)
Obrázek

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: Aplikace

#185 Příspěvek od Honza »

No hlavně kdo má 24-core, asi máš na mysli Intel Xeon s velkou CPU cache a AVX512, měl by být rozumný a počítat s MT nastavením.
Taky na kombajnu nejedu 32 tasků, ale 7 threadů na task, tedy 4 tasky naráz.

Ohledně místa můžeš bojovat, pokud jde o virtuálku.
Zejména kdo si pronajde něco službu v Cloudu, s osekaným Linuxem a malým diskem, jak bývá zvykem...

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: Aplikace

#186 Příspěvek od Honza »

Jsem rád, že na LLR2 přešel i můj oblíbený SR5.

Mimochodem, tím, že se nyní spočítá více LLR práce (téměř dvojnásobek), tak je přehodnotí sieving pro LLR projekty.
Prvním kandidátem pro zastavení sievingu je 321 LLR - takže kdo chce nějakou badge, neváhal bych.
(lhůta 30 dní na ohlášení zastavení projetku by se měla držet)

Uživatelský avatar
RoKro
52.6315789474 %
52.6315789474 %
Příspěvky: 1438
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: Aplikace

#187 Příspěvek od RoKro »

To ten sieving pomáhá tak málo, že se to při dvojnásobné rychlosti LLR už nevyplatí? Vidíš, to jsem myslel, že tam je třeba řádový rozdíl.
Obrázek

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: Aplikace

#188 Příspěvek od Honza »

Je to vždy o vyvážení toho, jak "hluboko" dělat sieving a jak rychlý je test kandidátů.
není to poprvé, co se toto přehodnocuje a je to tak správně - například příchod GPU aplikace pro Genefer tyto poměry výrazně změnil.

A už je to oficiálně venku - 321 sieve bude za 30 dní pozastaven.
Další badge leve nedohoním, ze 115M na 200M je to 85M a to za asi 30 dní nedám.
I když, 3950X k tomu má co říct a případně na konci zásoba, jenže do toho turnaj...no nevím.

Uživatelský avatar
RoKro
52.6315789474 %
52.6315789474 %
Příspěvky: 1438
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: Aplikace

#189 Příspěvek od RoKro »

Je zajímavé, že se třeba jenom nepřejde na mělčí sieving, že se úplně ruší.

200M, no ty jseš jinde :-)
Mně zbývá přes mega na tyrkys (5M), ale chtěl jsem pomáhat v Thor challenge na WCG.
Obrázek

Albert
31.5789473684 %
31.5789473684 %
Příspěvky: 357
Registrován: úte 05 led, 2016 14:25
rok narození: 05 črc 1969
ID CNT statistics: 22548
Bydliště: Kotvrdovice

Re: Aplikace

#190 Příspěvek od Albert »

Tak nevím, kde dělám chybu, ale jednotky LLR2 SR5 mi to počítá skoro dvakrát tak dlouho, jako verzi LLR... Tedy cca 6600sec. oproti cca 3500sec.
Zatím to posílá i LLR, které se postupně dovalidovávají, proto je to v tabulce smíchané.
SR5.jpg
SR5.jpg (270.01 KiB) Zobrazeno 8442 x

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: Aplikace

#191 Příspěvek od Honza »

321 Sieving bude pozastaven. To také znamená, že nepůjde víc do hloubky.
Nelze přejít na mělčí sieving - hloubka je právě dána tím, jak dlouho se počítá.

Představ si to jako prosévání kamínků.
Nejdřív hrubé, pak menší, pak ještě menší...obdobně u sievingu ubývá četnost faktorů.

SR5 LLR2 - ano, je tam bohužel nechtěné zpomalení, jak se zjistilo, navíc snad na kažédm procesoru trochu jiné. Je to dáno tím, jak GWNUM funguje, když b<>2 (u SR5 je b=5) a potíž je při čtení checkpointů.
Z toho důvodu byl počet checkpointů snížen ze 128 na 64 (pochopitelně u nově generovaných jednotek).
Optimalizace této situace znamená v úpravu GWNUM knihovny, kterou LLR využívá, tedy poměrně zásadní změna a s tím související proces přetestování celé aplikace.

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: Aplikace

#192 Příspěvek od Honza »

PPS DIV byl také přesunut na LLR2.

Uživatelský avatar
RoKro
52.6315789474 %
52.6315789474 %
Příspěvky: 1438
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: Aplikace

#193 Příspěvek od RoKro »

RoKro píše: pon 21 zář, 2020 22:17 200M, no ty jseš jinde :-)
Mně zbývá přes mega na tyrkys (5M), ale chtěl jsem pomáhat v Thor challenge na WCG.
Tak jsem tu tyrkysovou dohonil Obrázek
Obrázek

Uživatelský avatar
RoKro
52.6315789474 %
52.6315789474 %
Příspěvky: 1438
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: Aplikace

#194 Příspěvek od RoKro »

Jen ze zvědavosti - ty krátké ověřovací jednotky se taky počítají na více vláknech najednou?
Obrázek

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: Aplikace

#195 Příspěvek od Honza »

Ano, používá se na to stejná LLR2 aplikace.
Takže pak to vypadá třeba u 321 LLR
Run time 73.22
CPU time 442.14

Uživatelský avatar
RoKro
52.6315789474 %
52.6315789474 %
Příspěvky: 1438
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: Aplikace

#196 Příspěvek od RoKro »

Honza píše: čtv 01 říj, 2020 19:12 Je znát, že validace s LLR2 jsou rychlejší, zvláště u SoB.
Výpočet validační jednotky je opravdu superrychlý, ale zdá se mi, že nějak moc dlouho trvá, než ji server někomu pošle. Čekal bych, že ty validační bude distribuovat přednostně. Ale visí mi tam 10 spočítaných Woodal úloh, které čekají na ověření, některé už dva dny, což je vzhledem ke čtyřem či pěti minutám, co trvá výpočet validační jednotky, trochu zvláštní. A prokliknutí na link DC task u všech ukáže stránku "nelze najít pracovní jednotku". Znamená to, že ještě nebyla ani vygenerována, natož pak odeslána ke zpracování?
Obrázek

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: Aplikace

#197 Příspěvek od Honza »

Good point, ale...

Nejde jen o to jednotku poslat, ale i připravit, server ji nemá hotovou za vteřinu. Prostě ten důvod, proč LLR2 není i u krátkých jednotek.

Pak je to někde ve frontě scheduleru, kde ten pool asi nejde moc ovládat, to je prostě design BOINCu. Předpokládám, že tam budou v paměti sedět oba typy jednotek pro danou aplikaci.

Pak si to nějaký host někdy stáhne do své fronty (kde má další úkoly) a např. jako u mě v případě 321 odevzdá až po 5 hodinách s chybou (doba výpočtu 2 vteřiny).
A pak to znovu čeká na další host.

Jo, DC task může být otázka 5 minut, ale asi není v současnosti mechanismus, jak jej přednostně dostat na nějaký host a už vůbec nelze zaručit, že se přednostně a správně daý host vypočítá a hned po vypočítání odešle, aby se pak hned na serveru mohlo validovat.
Jen tam prostě x kroků a některé z nich nelze ovlivnit.

Chápu, že to může vypadat na první pohled jako neefektivním zbytečně prodlužující čekání na výsledky a navíc flustrující.
Pro představu - mám v DB 900 tasků 321, z toho 715 valid a 139 je pending (21 in progress). Ale cca 120 z těch pending není starší 24 hodin a pouze 7 je starší 3 dní, to je méně jak 1%. A ten nejstarší (5 dní) je kvůli tomu, že error, error, timeout. S tím asi server nic neudělá.
Takto mi to přijde jako akceptovatelný stav - pro můj případ 321 jednotek.
Brzy uvidím/e, jak se chovají delší jednotky.

Uživatelský avatar
RoKro
52.6315789474 %
52.6315789474 %
Příspěvky: 1438
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: Aplikace

#198 Příspěvek od RoKro »

Díky za rychlou reakci.
OK, chápu, že to není easy. Mě hlavně zarazilo, že u svých spočítaných pending jednotek vidím odkaz na DC task, tak to působí, jako kdyby nějaký DC task již byl PG serverem vytvořen a minimálně zařazen do fronty na přidělení nějakému počtáři.
Ale když všechny ty odkazy vedou na stránku, že task neexistuje, tak to je hodně user unfriendly. Kdyby tam odkaz ještě nebyl, tak na první pohled vidím, že na to ještě vůbec nepřišla řada.
Tak spíš takovej tip k zamyšlení ...
Obrázek

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: Aplikace

#199 Příspěvek od Honza »

PPS teď běží také na LLR2.,
Je to řekněme testovací provoz (část zátěže byla převedena na externí zdroje) a případně se to může vrátit zpět.
Taky je otázka, jak by to vypadalo během turnaje... 45hh

Uživatelský avatar
RoKro
52.6315789474 %
52.6315789474 %
Příspěvky: 1438
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: Aplikace

#200 Příspěvek od RoKro »

Hmm, tak stále asi nebyla vygenerovaná ani jedna ověřovací jednotka k žádnému z mých 13 čekajících Woodall úkolů (nejstarší z 9.11.), ani mně už po 7.11. nepřišla žádná ověřovací Woo jednotka. A přitom k SoB dopočítanému včera už ověřovací jednotka vznikla. Jestli ono se to tam někde nezašprclo :-)
Obrázek

Odpovědět

Zpět na „PrimeGrid“