ostatní diskuse k projektu

Fórum o projektu
Zpráva
Autor
Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#41 Příspěvek od vkliber »

Hmmm, trochu jsme se na to zaměřil a u mě to vypadá že se checkpointuje celkem pravidelně
Latice_Garli.png
Latice_Garli.png (13.14 KiB) Zobrazeno 8469 x
přibližně co 2 minuty :smt102 .
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: ostatní diskuse k projektu

#42 Příspěvek od nenym »

Ještě něco, počítáš 8 Garli jednotek najednou, což já nedělám ani na stroii s 32 GB RAM - kolik máš RAM? Jaký je u těch tasků CPU time a Elapsed time? Nejedeš náhodou přes swapfile?
@ vkliber: máš jinou, zdá se kulturnější sérii.
Přílohy
Garli.PNG
Garli.PNG (10.51 KiB) Zobrazeno 8467 x
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#43 Příspěvek od vkliber »

Ještě taková drobnost, mám nastaveno "Ponechat aplikaci v paměti ...".
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

fake
26.3157894737 %
26.3157894737 %
Příspěvky: 282
Registrován: čtv 07 čer, 2007 08:52
ID CNT statistics: 55

Re: ostatní diskuse k projektu

#44 Příspěvek od fake »

mam 32 GB RAM

CPU time 276:53:11
Elapsed 32:55
cas od posledniho checkpointu vic jak 40 hodin

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: ostatní diskuse k projektu

#45 Příspěvek od nenym »

Předpokládám, že jsi prohodil Elapsed a CPU time. CPU time je 32:55:00 (tj. 32 hodin), nebo opravdu 32 minut? Za 276 hodin hrubého času dát 32 hodin (natož pak 32 minut) je velice málo a něco těžce podezřelého, co se ti ve stroji děje za hrůzy? Akceptovatelný rozdíl mezi Elapsed a CPU time je do 15% při běžné práci (2D Autocad, Photoshop, Office, databáze....), pokud nehraješ hry nebo nerenderuješ 3D scény s plnou podporou CPU. Doporučuji velmi podrobně prostudovat taskmanager, ve stroji máš něco shnilého, nebo jsi na něj naložil moc.

EDIT:
fake píše:posilam nahled vlastnosti jedne jednotky
Elapsed není čas do konce, ale uplynulý (hrubý, jinak též wall clock time) čas. Čas do konce je Estimated. Takže task se jeví býti zcela OK a není sebemenší důvod s tím něco dělat, natož pak rušit. Rozdíl mezi CPU time a Elapsed time je relativně nepatrný.
Naposledy upravil(a) nenym dne pát 13 čer, 2014 12:24, celkem upraveno 3 x.
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

fake
26.3157894737 %
26.3157894737 %
Příspěvky: 282
Registrován: čtv 07 čer, 2007 08:52
ID CNT statistics: 55

Re: ostatní diskuse k projektu

#46 Příspěvek od fake »

posilam nahled vlastnosti jedne jednotky

Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#47 Příspěvek od vkliber »

Ještě mě zaráží ty časy : u většiny máš za 250 hodin nějakých 8-17% a dvě poslední mají za 37 hodin 31% :smt102 .
Nemlátilo se ti to zpočátku s tím WCG co tam máš puštěné?
Pokud jednotka Lattice nedojede do checkpointu a pak se přepne počítání na jiný projekt, tak při zpětném přepnutí jede zase od počátku.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

fake
26.3157894737 %
26.3157894737 %
Příspěvky: 282
Registrován: čtv 07 čer, 2007 08:52
ID CNT statistics: 55

Re: ostatní diskuse k projektu

#48 Příspěvek od fake »

vkliber píše:Ještě mě zaráží ty časy : u většiny máš za 250 hodin nějakých 8-17% a dvě poslední mají za 37 hodin 31% :smt102 .
Nemlátilo se ti to zpočátku s tím WCG co tam máš puštěné?
Pokud jednotka Lattice nedojede do checkpointu a pak se přepne počítání na jiný projekt, tak při zpětném přepnutí jede zase od počátku.
no je to mozny a me pride divny ze je tak dlouho od ulozeni podledni prace u tech starsich je to pres 50 hodin u tech mladsich jeste vubec. a vam to uklada po 2 minutach...

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: ostatní diskuse k projektu

#49 Příspěvek od nenym »

Poslední Garli tasky u mě trvaly téměř 9 dní Run time s pár checkpointy po několika desítkách hodin => předběžné varování, nenatahujte další, zejména následné replikace jednotek série 1xxx.yyyy, protože za 9 dní a pár hodin začíná další turnaj PG.
Zdá se, že série 2xxx.yyy se již chová (podle vkliberova náhledu a popisu) checkpointově celkem kulturně.
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#50 Příspěvek od vkliber »

nenym píše:...
Zdá se, že série 2xxx.yyy se již chová (podle vkliberova náhledu a popisu) checkpointově celkem kulturně.
Mám pocit že to byla předběžná radost. Na nějakých ~90% se zasekly a prgressbar zůstal stát a dále počítaly bez chceckpointu. Navíc jsem dnes ráno po příchodu do práce zjistil že v noci byl výpadek el., takže celovíkendové počítání v pytli a počítá mi to od poslednícho checkpointu :evil: .
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: ostatní diskuse k projektu

#51 Příspěvek od nenym »

Celkem výživná jednotka - 9 GB RAM, 14 GB virtual memory, 25 hodin bez checkpointu. Je to devátý pokus, jsem zvědav, zda můj stroj uspěje (či já vydržím s nervy), nebo task vybuchne jako všem předchozím.
Přílohy
Garli.PNG
Garli.PNG (5.78 KiB) Zobrazeno 8145 x
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: ostatní diskuse k projektu

#52 Příspěvek od nenym »

Validator na Lattice má nějakou slabší chvilku, kdo má přebytek RAM, sosejte a chroustejte. Po první až několika prvních standardně ohodnocených úlohách se s kredity rozsypal pytel (10x).
Na standardních strojích (3 GHz C2D či průměrný SB/Haswell) trvají tasky 30 až 70 minut. Zábor RAM cca 1GB na task. Zvýšené ohodnocení je cca 170 (krátké) až 360 (dlouhé) kreditů za jednotku.
U "main" tasků je téměř pekelná DL 6 hodin - nikoli tedy úplně pekelná 666 hodin.

EDIT1: tak nevím, zda ho slabší chvilka už přešla nebo co, ale na nově připojeném stroji se kredit nezvedl, na stávajících je pořád královský.
EDIT2: tak vím, chtělo to chroustnout 10 tasků, poté se rozjel vejvar
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

Uživatelský avatar
killik
15.7894736842 %
15.7894736842 %
Příspěvky: 112
Registrován: čtv 24 črc, 2014 19:11
rok narození: 18 úno 1973
ID CNT statistics: 5653

Re: ostatní diskuse k projektu

#53 Příspěvek od killik »

Tak jsem to taky zkusil a kredit to dava prapodivny. viz obr.
Jinak tim jak jsem to delsi dobu nepocital ,tak je videt, ze dost casto aktualizuji applikaci, nyni 5.06, ale dnes jsem mel jeste 2WU verzi 5.05 :smt102
wu-lattice.png
wu-lattice.png (95.25 KiB) Zobrazeno 8087 x
Obrázek

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: ostatní diskuse k projektu

#54 Příspěvek od nenym »

Na widlích je 5.05 32bitová aplikace, 5.06 64bitová aplikace. Koukám, že i tobě to začalo po 10 odevzdaných úlohách s normálním kreditem pěkně sypat - podívej se na časovou posloupnost odevzdaných úloh a přidělený kredit. Nepočítej do toho 5.05 aplikaci, ta dostává na první dvě až tři úlohy větší kredit, netuším proč.
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

Uživatelský avatar
killik
15.7894736842 %
15.7894736842 %
Příspěvky: 112
Registrován: čtv 24 črc, 2014 19:11
rok narození: 18 úno 1973
ID CNT statistics: 5653

Re: ostatní diskuse k projektu

#55 Příspěvek od killik »

Zvlastni, ze na stejnem stroji jsem mel nejdrive 2xWU verze 5.05 a pak najednou uz bezi jen verze 5.06 , ze by mu doslo pozdeji, ze to je 64bit ? :smt102
Ano mas pravdu, po 10 WU to ted sype 4x vice kreditu :smt038
To jsem zvedav jak dlouho to vydrzi sypat. 45cc

EDIT: tak jsem opet dostal jednu WU verze 5.05, tak jsem zvedav co z ni vypadne :smt017

EDIT2: tak cas od casu dostavam i 32bit verze 5.05, vetsinou vsak 64bit verzi 5.06 (jde o widle 2k8r2)
kreditove ohodnoceni prubezne kleslo ze 160 na 77, takze uz to neni vejvar jak zpocatku, mam pocit cim vic pocitam, tim vic se to zpresnuje.
Jednotky jsou docela ukaznene, berou cca 700MB RAM a i na starsim Opteronu jsou za 58min hotove.
Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#56 Příspěvek od vkliber »

Počítá to někdo?
Mám otázku na kterou jsem nenalezl odpověď. Když kouknu do logu (garli.screen.log), najdu tam mimo jiné toto :
###################################################
NOTE: Unlike many programs, the amount of system memory that Garli will
use can be controlled by the user.
(This comes from the availablememory setting in the configuration file.
Availablememory should NOT be set to more than the actual amount of
physical memory that your computer has installed)

For this dataset:
Mem level availablememory setting
great >= 56668 MB
good approx 56667 MB to 35979 MB
low approx 35978 MB to 14729 MB
very low approx 14728 MB to 11011 MB
the minimum required availablememory is 11011 MB

You specified that Garli should use at most 12200.0 MB of memory.

Garli will actually use approx. 12132.9 MB of memory
**Your memory level is: very low
(if possible, you should increase the availablememory setting)**

#######################################################
Jak je napsáno v textu, lze dostupnou paměť řídit pomocí konfiguračního souboru ... má se na mysli zřejmě soubor garli.conf (v adresáři spuštěné jednotky slots), který obsahuje mimo jiné i řádek
[general]
...
availablememory = 12200
...
[master]
...
Což přesně sedí s hodnotu kterou mi ukazuje logfile.

Zatím jsem nic z toho co popíšu nezkoušel, pouze si dávám (veřejně) otázky a doufám že někdo už něco vyzkoumal za mě 45cc .
:arrow: předpokládám, že když vypnu boinc, přepíšu velikost paměti v garli.conf a pustím boinc, tak to bude fungovat (ovšem až u spuštěné jednotky)
:arrow: jak docílit, aby se konfigurační soubor jednotky (v adresáři slots) vytvořil již s požadovanou velikostí paměti netuším, ale napadá mě vytvořit garli.conf přímo v adresáři projektu (tam žádný není) a do něj napsat pouze věci které chci, v mém případě asi toto
[general]
availablememory = 24000
. Předpokládám, že pak garli.conf v adresáři slots převezme hodnotu z garli.conf v adresáři projektu
:arrow: pokud to nebude fungovat, pak zajistit proč se u mě v garli.conf objeví zrovna 12.2GB, není to žádné číslo které by se dalo nějak odvodit, mám 32GB, 6 core (12 thread), dovoleno 85% use a 95% idle.

Pokud již někdo máte nějaké poznatky, budu rád když se o ně podělíte, než se vrhnu do testování.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Uživatelský avatar
killik
15.7894736842 %
15.7894736842 %
Příspěvky: 112
Registrován: čtv 24 črc, 2014 19:11
rok narození: 18 úno 1973
ID CNT statistics: 5653

Re: ostatní diskuse k projektu

#57 Příspěvek od killik »

Ja to taky počítám, taky jsem to hledal a nedohledal , viz můj dotaz http://forum.czechnationalteam.cz/viewt ... 335#p83335
Tak bud nam nekdo poradí, nasměruje, nebo zkusíme spojit síly, třeba brainstroming, ať nás to někam posune.
Jinak tento projekt je fatk masakr pro otrle, jednotky bez checkpointu, minule mi dobehla asi týden po termínu odevzdání, naštěsti se kredit připsal.

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#58 Příspěvek od vkliber »

Dík, ten tvůj dotaz mi nějak unikl.

Co jsem už vyzkoušel :
- když vypnu boinc, přepíšu velikost paměti v garli.conf (ve slots adresáři spuštěné jednotky) a pustím boinc, tak to funguje. V garli.screen.log se to správně reportuje a skutečně si jednotka obsadí více RAM. Problém je v tom, že každá WU má tuším pouze 4 checkpointy na jednu fázi, takže je třeba to odchytit nejlépe hned po spuštění jednotky.
Bohužel jsem nezaznamenal absolutně žádné zrychlení výpočtu, což byl můj primární cíl.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Uživatelský avatar
killik
15.7894736842 %
15.7894736842 %
Příspěvky: 112
Registrován: čtv 24 črc, 2014 19:11
rok narození: 18 úno 1973
ID CNT statistics: 5653

Re: ostatní diskuse k projektu

#59 Příspěvek od killik »

Když to zrychlení se asi nedá rozumně změřit, protože každá jednotka má jinou délku a ukazatel běhu lže, takže také koukám do garli.screen.log , pouze tam je vidět posun ve výpočtu. A jestli z "very low" mu s vnutíš "great" RAM, tak by to snad mělo vést ke zkrácení běhu, ale jak píšeš, vzhledem k tomu, že checkpontů je jak šafránu a změna RAM znamená restart jednotky, tak je otázka jestli to má smysl. Pokud by to šlo modifikovat v app_config.xml a jen načíst konfiguraci, tak by to bylo nejlepší, ale obávám se, že tato cesta nebude podporovaná. V každém případě Ti děkuji za průzkum a určitě mne bude zajímat, jestli bude nějaká cesta, kde nastavit velikost RAM, kterou si vezme jako výchozí volbu. 22rrr

Dzordzik
57.8947368421 %
57.8947368421 %
Příspěvky: 2448
Registrován: ned 12 úno, 2017 00:26
rok narození: 18 zář 1980
ID CNT statistics: 503
Bydliště: Zdounky (u Kroměříže)
Kontaktovat uživatele:

Re: ostatní diskuse k projektu

#60 Příspěvek od Dzordzik »

nenym píše:Celkem výživná jednotka - 9 GB RAM, 14 GB virtual memory, 25 hodin bez checkpointu. Je to devátý pokus, jsem zvědav, zda můj stroj uspěje (či já vydržím s nervy), nebo task vybuchne jako všem předchozím.
Já ti nevím, zkusmo teď počítám 3 jednotky Garli a každá má od 3 do 3,2 GB RAM a na CPU nepozoruju žádné nadstandardní teploty, stejné jako u čehokoli jiného. Jak se ti stalo že ti to tak žralo? Je to vyjímka nebo u tebe pravidlo?
Albert: Dual Xeon E5-2696 V4, Supermicro X10DRG-Q, 64GB DDR4 ECC, 1x GTX 1070, Enermax Platimax 1700W

Odpovědět

Zpět na „Lattice“