ostatní diskuse k projektu

Fórum o projektu

Moderátoři: petnek, nenym, Zelvuska

Zpráva
Autor
Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 9933
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#41 Příspěvek od vkliber » pát 13 čer, 2014 10:56

Hmmm, trochu jsme se na to zaměřil a u mě to vypadá že se checkpointuje celkem pravidelně
Latice_Garli.png
Latice_Garli.png (13.14 KiB) Zobrazeno 2245 x
přibližně co 2 minuty :smt102 .
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7088
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: ostatní diskuse k projektu

#42 Příspěvek od nenym » pát 13 čer, 2014 11:00

Ještě něco, počítáš 8 Garli jednotek najednou, což já nedělám ani na stroii s 32 GB RAM - kolik máš RAM? Jaký je u těch tasků CPU time a Elapsed time? Nejedeš náhodou přes swapfile?
@ vkliber: máš jinou, zdá se kulturnější sérii.
Přílohy
Garli.PNG
Garli.PNG (10.51 KiB) Zobrazeno 2243 x
Blíží se další krize; jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 535x
Obrázek 3xObrázek 8xObrázek 10xObrázek Obrázek
Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 9933
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#43 Příspěvek od vkliber » pát 13 čer, 2014 11:20

Ještě taková drobnost, mám nastaveno "Ponechat aplikaci v paměti ...".
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

fake
26.3157894737 %
26.3157894737 %
Příspěvky: 255
Registrován: čtv 07 čer, 2007 08:52

Re: ostatní diskuse k projektu

#44 Příspěvek od fake » pát 13 čer, 2014 11:44

mam 32 GB RAM

CPU time 276:53:11
Elapsed 32:55
cas od posledniho checkpointu vic jak 40 hodin
Obrázek

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7088
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: ostatní diskuse k projektu

#45 Příspěvek od nenym » pát 13 čer, 2014 12:14

Předpokládám, že jsi prohodil Elapsed a CPU time. CPU time je 32:55:00 (tj. 32 hodin), nebo opravdu 32 minut? Za 276 hodin hrubého času dát 32 hodin (natož pak 32 minut) je velice málo a něco těžce podezřelého, co se ti ve stroji děje za hrůzy? Akceptovatelný rozdíl mezi Elapsed a CPU time je do 15% při běžné práci (2D Autocad, Photoshop, Office, databáze....), pokud nehraješ hry nebo nerenderuješ 3D scény s plnou podporou CPU. Doporučuji velmi podrobně prostudovat taskmanager, ve stroji máš něco shnilého, nebo jsi na něj naložil moc.

EDIT:
fake píše:posilam nahled vlastnosti jedne jednotky
Elapsed není čas do konce, ale uplynulý (hrubý, jinak též wall clock time) čas. Čas do konce je Estimated. Takže task se jeví býti zcela OK a není sebemenší důvod s tím něco dělat, natož pak rušit. Rozdíl mezi CPU time a Elapsed time je relativně nepatrný.
Naposledy upravil(a) nenym dne pát 13 čer, 2014 12:24, celkem upraveno 3 x.
Blíží se další krize; jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 535x
Obrázek 3xObrázek 8xObrázek 10xObrázek Obrázek
Obrázek

fake
26.3157894737 %
26.3157894737 %
Příspěvky: 255
Registrován: čtv 07 čer, 2007 08:52

Re: ostatní diskuse k projektu

#46 Příspěvek od fake » pát 13 čer, 2014 12:17

posilam nahled vlastnosti jedne jednotky

Obrázek
Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 9933
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#47 Příspěvek od vkliber » pát 13 čer, 2014 19:53

Ještě mě zaráží ty časy : u většiny máš za 250 hodin nějakých 8-17% a dvě poslední mají za 37 hodin 31% :smt102 .
Nemlátilo se ti to zpočátku s tím WCG co tam máš puštěné?
Pokud jednotka Lattice nedojede do checkpointu a pak se přepne počítání na jiný projekt, tak při zpětném přepnutí jede zase od počátku.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

fake
26.3157894737 %
26.3157894737 %
Příspěvky: 255
Registrován: čtv 07 čer, 2007 08:52

Re: ostatní diskuse k projektu

#48 Příspěvek od fake » pát 13 čer, 2014 22:36

vkliber píše:Ještě mě zaráží ty časy : u většiny máš za 250 hodin nějakých 8-17% a dvě poslední mají za 37 hodin 31% :smt102 .
Nemlátilo se ti to zpočátku s tím WCG co tam máš puštěné?
Pokud jednotka Lattice nedojede do checkpointu a pak se přepne počítání na jiný projekt, tak při zpětném přepnutí jede zase od počátku.
no je to mozny a me pride divny ze je tak dlouho od ulozeni podledni prace u tech starsich je to pres 50 hodin u tech mladsich jeste vubec. a vam to uklada po 2 minutach...
Obrázek

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7088
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: ostatní diskuse k projektu

#49 Příspěvek od nenym » pon 16 čer, 2014 11:02

Poslední Garli tasky u mě trvaly téměř 9 dní Run time s pár checkpointy po několika desítkách hodin => předběžné varování, nenatahujte další, zejména následné replikace jednotek série 1xxx.yyyy, protože za 9 dní a pár hodin začíná další turnaj PG.
Zdá se, že série 2xxx.yyy se již chová (podle vkliberova náhledu a popisu) checkpointově celkem kulturně.
Blíží se další krize; jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 535x
Obrázek 3xObrázek 8xObrázek 10xObrázek Obrázek
Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 9933
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#50 Příspěvek od vkliber » pon 16 čer, 2014 11:52

nenym píše:...
Zdá se, že série 2xxx.yyy se již chová (podle vkliberova náhledu a popisu) checkpointově celkem kulturně.
Mám pocit že to byla předběžná radost. Na nějakých ~90% se zasekly a prgressbar zůstal stát a dále počítaly bez chceckpointu. Navíc jsem dnes ráno po příchodu do práce zjistil že v noci byl výpadek el., takže celovíkendové počítání v pytli a počítá mi to od poslednícho checkpointu :evil: .
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7088
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: ostatní diskuse k projektu

#51 Příspěvek od nenym » sob 13 pro, 2014 01:57

Celkem výživná jednotka - 9 GB RAM, 14 GB virtual memory, 25 hodin bez checkpointu. Je to devátý pokus, jsem zvědav, zda můj stroj uspěje (či já vydržím s nervy), nebo task vybuchne jako všem předchozím.
Přílohy
Garli.PNG
Garli.PNG (5.78 KiB) Zobrazeno 1921 x
Blíží se další krize; jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 535x
Obrázek 3xObrázek 8xObrázek 10xObrázek Obrázek
Obrázek

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7088
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: ostatní diskuse k projektu

#52 Příspěvek od nenym » stř 17 pro, 2014 06:52

Validator na Lattice má nějakou slabší chvilku, kdo má přebytek RAM, sosejte a chroustejte. Po první až několika prvních standardně ohodnocených úlohách se s kredity rozsypal pytel (10x).
Na standardních strojích (3 GHz C2D či průměrný SB/Haswell) trvají tasky 30 až 70 minut. Zábor RAM cca 1GB na task. Zvýšené ohodnocení je cca 170 (krátké) až 360 (dlouhé) kreditů za jednotku.
U "main" tasků je téměř pekelná DL 6 hodin - nikoli tedy úplně pekelná 666 hodin.

EDIT1: tak nevím, zda ho slabší chvilka už přešla nebo co, ale na nově připojeném stroji se kredit nezvedl, na stávajících je pořád královský.
EDIT2: tak vím, chtělo to chroustnout 10 tasků, poté se rozjel vejvar
Blíží se další krize; jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 535x
Obrázek 3xObrázek 8xObrázek 10xObrázek Obrázek
Obrázek

Uživatelský avatar
killik
15.7894736842 %
15.7894736842 %
Příspěvky: 104
Registrován: čtv 24 črc, 2014 19:11
rok narození: 18 úno 1973
ID CNT statistics: 5653

Re: ostatní diskuse k projektu

#53 Příspěvek od killik » stř 17 pro, 2014 14:06

Tak jsem to taky zkusil a kredit to dava prapodivny. viz obr.
Jinak tim jak jsem to delsi dobu nepocital ,tak je videt, ze dost casto aktualizuji applikaci, nyni 5.06, ale dnes jsem mel jeste 2WU verzi 5.05 :smt102
wu-lattice.png
wu-lattice.png (95.25 KiB) Zobrazeno 1863 x
Obrázek

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7088
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: ostatní diskuse k projektu

#54 Příspěvek od nenym » stř 17 pro, 2014 15:23

Na widlích je 5.05 32bitová aplikace, 5.06 64bitová aplikace. Koukám, že i tobě to začalo po 10 odevzdaných úlohách s normálním kreditem pěkně sypat - podívej se na časovou posloupnost odevzdaných úloh a přidělený kredit. Nepočítej do toho 5.05 aplikaci, ta dostává na první dvě až tři úlohy větší kredit, netuším proč.
Blíží se další krize; jím plesnivé sýry, piji staré víno a jezdím v autě bez střechy.
UotD 535x
Obrázek 3xObrázek 8xObrázek 10xObrázek Obrázek
Obrázek

Uživatelský avatar
killik
15.7894736842 %
15.7894736842 %
Příspěvky: 104
Registrován: čtv 24 črc, 2014 19:11
rok narození: 18 úno 1973
ID CNT statistics: 5653

Re: ostatní diskuse k projektu

#55 Příspěvek od killik » stř 17 pro, 2014 15:34

Zvlastni, ze na stejnem stroji jsem mel nejdrive 2xWU verze 5.05 a pak najednou uz bezi jen verze 5.06 , ze by mu doslo pozdeji, ze to je 64bit ? :smt102
Ano mas pravdu, po 10 WU to ted sype 4x vice kreditu :smt038
To jsem zvedav jak dlouho to vydrzi sypat. 45cc

EDIT: tak jsem opet dostal jednu WU verze 5.05, tak jsem zvedav co z ni vypadne :smt017

EDIT2: tak cas od casu dostavam i 32bit verze 5.05, vetsinou vsak 64bit verzi 5.06 (jde o widle 2k8r2)
kreditove ohodnoceni prubezne kleslo ze 160 na 77, takze uz to neni vejvar jak zpocatku, mam pocit cim vic pocitam, tim vic se to zpresnuje.
Jednotky jsou docela ukaznene, berou cca 700MB RAM a i na starsim Opteronu jsou za 58min hotove.
Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 9933
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#56 Příspěvek od vkliber » úte 25 dub, 2017 23:35

Počítá to někdo?
Mám otázku na kterou jsem nenalezl odpověď. Když kouknu do logu (garli.screen.log), najdu tam mimo jiné toto :
###################################################
NOTE: Unlike many programs, the amount of system memory that Garli will
use can be controlled by the user.
(This comes from the availablememory setting in the configuration file.
Availablememory should NOT be set to more than the actual amount of
physical memory that your computer has installed)

For this dataset:
Mem level availablememory setting
great >= 56668 MB
good approx 56667 MB to 35979 MB
low approx 35978 MB to 14729 MB
very low approx 14728 MB to 11011 MB
the minimum required availablememory is 11011 MB

You specified that Garli should use at most 12200.0 MB of memory.

Garli will actually use approx. 12132.9 MB of memory
**Your memory level is: very low
(if possible, you should increase the availablememory setting)**

#######################################################
Jak je napsáno v textu, lze dostupnou paměť řídit pomocí konfiguračního souboru ... má se na mysli zřejmě soubor garli.conf (v adresáři spuštěné jednotky slots), který obsahuje mimo jiné i řádek
[general]
...
availablememory = 12200
...
[master]
...
Což přesně sedí s hodnotu kterou mi ukazuje logfile.

Zatím jsem nic z toho co popíšu nezkoušel, pouze si dávám (veřejně) otázky a doufám že někdo už něco vyzkoumal za mě 45cc .
:arrow: předpokládám, že když vypnu boinc, přepíšu velikost paměti v garli.conf a pustím boinc, tak to bude fungovat (ovšem až u spuštěné jednotky)
:arrow: jak docílit, aby se konfigurační soubor jednotky (v adresáři slots) vytvořil již s požadovanou velikostí paměti netuším, ale napadá mě vytvořit garli.conf přímo v adresáři projektu (tam žádný není) a do něj napsat pouze věci které chci, v mém případě asi toto
[general]
availablememory = 24000
. Předpokládám, že pak garli.conf v adresáři slots převezme hodnotu z garli.conf v adresáři projektu
:arrow: pokud to nebude fungovat, pak zajistit proč se u mě v garli.conf objeví zrovna 12.2GB, není to žádné číslo které by se dalo nějak odvodit, mám 32GB, 6 core (12 thread), dovoleno 85% use a 95% idle.

Pokud již někdo máte nějaké poznatky, budu rád když se o ně podělíte, než se vrhnu do testování.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Uživatelský avatar
killik
15.7894736842 %
15.7894736842 %
Příspěvky: 104
Registrován: čtv 24 črc, 2014 19:11
rok narození: 18 úno 1973
ID CNT statistics: 5653

Re: ostatní diskuse k projektu

#57 Příspěvek od killik » stř 26 dub, 2017 13:15

Ja to taky počítám, taky jsem to hledal a nedohledal , viz můj dotaz http://forum.czechnationalteam.cz/viewt ... 335#p83335
Tak bud nam nekdo poradí, nasměruje, nebo zkusíme spojit síly, třeba brainstroming, ať nás to někam posune.
Jinak tento projekt je fatk masakr pro otrle, jednotky bez checkpointu, minule mi dobehla asi týden po termínu odevzdání, naštěsti se kredit připsal.

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 9933
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#58 Příspěvek od vkliber » stř 26 dub, 2017 13:36

Dík, ten tvůj dotaz mi nějak unikl.

Co jsem už vyzkoušel :
- když vypnu boinc, přepíšu velikost paměti v garli.conf (ve slots adresáři spuštěné jednotky) a pustím boinc, tak to funguje. V garli.screen.log se to správně reportuje a skutečně si jednotka obsadí více RAM. Problém je v tom, že každá WU má tuším pouze 4 checkpointy na jednu fázi, takže je třeba to odchytit nejlépe hned po spuštění jednotky.
Bohužel jsem nezaznamenal absolutně žádné zrychlení výpočtu, což byl můj primární cíl.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Uživatelský avatar
killik
15.7894736842 %
15.7894736842 %
Příspěvky: 104
Registrován: čtv 24 črc, 2014 19:11
rok narození: 18 úno 1973
ID CNT statistics: 5653

Re: ostatní diskuse k projektu

#59 Příspěvek od killik » stř 26 dub, 2017 15:57

Když to zrychlení se asi nedá rozumně změřit, protože každá jednotka má jinou délku a ukazatel běhu lže, takže také koukám do garli.screen.log , pouze tam je vidět posun ve výpočtu. A jestli z "very low" mu s vnutíš "great" RAM, tak by to snad mělo vést ke zkrácení běhu, ale jak píšeš, vzhledem k tomu, že checkpontů je jak šafránu a změna RAM znamená restart jednotky, tak je otázka jestli to má smysl. Pokud by to šlo modifikovat v app_config.xml a jen načíst konfiguraci, tak by to bylo nejlepší, ale obávám se, že tato cesta nebude podporovaná. V každém případě Ti děkuji za průzkum a určitě mne bude zajímat, jestli bude nějaká cesta, kde nastavit velikost RAM, kterou si vezme jako výchozí volbu. 22rrr

Dzordzik
57.8947368421 %
57.8947368421 %
Příspěvky: 2136
Registrován: ned 12 úno, 2017 00:26
rok narození: 18 zář 1980
ID CNT statistics: 503
Bydliště: Zdounky (u Kroměříže)
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#60 Příspěvek od Dzordzik » stř 26 dub, 2017 21:02

nenym píše:Celkem výživná jednotka - 9 GB RAM, 14 GB virtual memory, 25 hodin bez checkpointu. Je to devátý pokus, jsem zvědav, zda můj stroj uspěje (či já vydržím s nervy), nebo task vybuchne jako všem předchozím.
Já ti nevím, zkusmo teď počítám 3 jednotky Garli a každá má od 3 do 3,2 GB RAM a na CPU nepozoruju žádné nadstandardní teploty, stejné jako u čehokoli jiného. Jak se ti stalo že ti to tak žralo? Je to vyjímka nebo u tebe pravidlo?
Albert: Dual Xeon E5-2696 V4, Supermicro X10DRG-Q, 64GB DDR4 ECC, 1x GTX 1070, Enermax Platimax 1700W

Odpovědět

Zpět na „Lattice“