Ostatní diskuse týkající se projektu

Fórum o projektu
Odpovědět
Zpráva
Autor
Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Ostatní diskuse týkající se projektu

#1 Příspěvek od vkliber »

Po prvotních těžkých porodních bolestech se aplikace už ustálila běží bez problému.
Spočítal jsem pár jednotek. Doba výpočtu je různá, relativně krátká. Java si na Win vezme do 100MB v paměti.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Uživatelský avatar
tatik
42.1052631579 %
42.1052631579 %
Příspěvky: 649
Registrován: úte 10 črc, 2007 03:04
rok narození: 0- 0-1971
ID CNT statistics: 3872
Bydliště: Rymarov
Kontaktovat uživatele:

Re: Ostatní diskuse týkající se projektu

#2 Příspěvek od tatik »

Nějak jsem nepochopil, asi také díky mé nevalné úrovni angličtiny, oč přesně na projektu jde, resp. co počítáme.
Snažím se dát souvislost mezi pojmy Data mining, Gaussian, lineární regrese, sigmoida (význam slov znám a ve škole i třeba lineární regresi počítali) a Time Series Analysis a Social Network Analysis. To vše pomocí distribuovaných výpočtů.
Pouze dvě věci jsou nekonečné. Vesmír a lidská hloupost. U té první si tím však nejsem tak jist. [Einstein Albert]
Kde jsem byl UoD
Moje osobní statistika
Medaile na WCG : ObrázekObrázekObrázekObrázekObrázekObrázekObrázek
Medaile na Primegridu : ObrázekObrázek
Medaile na yoyo : ObrázekObrázek
Medaile na enigmě : Obrázek
Medaile na radioactive : Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: Ostatní diskuse týkající se projektu

#3 Příspěvek od vkliber »

Myslím že nejsi sám 45cc , taky jsem to moc nepochopil.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Uživatelský avatar
MIZ
42.1052631579 %
42.1052631579 %
Příspěvky: 606
Registrován: sob 22 bře, 2008 14:54
Bydliště: Krkonoše, Czech Republic, Europe, 3rd from the Sun
Kontaktovat uživatele:

Re: Ostatní diskuse týkající se projektu

#4 Příspěvek od MIZ »

Taky se hlásím. Myslel jsem si ale, že to bude tím, že jsem zatím nestudoval nějak podrobněji ten web. Nerozumím = nepočítám. 45bb
Obrázek
World Community Grid: Obrázek
Universe: Obrázek
Enigma: Obrázek
Obrázek
Obrázek
BOINC team :smt049 Space Family

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: Ostatní diskuse týkající se projektu

#5 Příspěvek od vkliber »

Projekt má nové stránky a novou adresu :

http://www.distributeddatamining.org/Di ... ataMining/

doporučuje se v BOINCManageru projekt odpojit a znovu připojit pod novou adresu.

Rovněž jsem aktualizoval naše stránky projektu Distributed Data Mining (dDM).
Projekt také začal distribuovat novinky přes RSS kanál.

Nové stránky nevypadají vůbec zle, jako na většině projektů se jedná pouze o vrstvu nad původními oficiálními stránkami BOINC, na které je pro neznalé problém se dostat. Zato po přihlášení zobrazují stručný graf aktuálního výkonu který je možné rozkliknout.

Na hlavní stránce je aktualizováno co se vlastně počítá, co bylo dopočítáno a co bylo pozastaveno. Informací spoustu, snad se někdy dostanu i k aktualizaci u nás.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: Ostatní diskuse týkající se projektu

#6 Příspěvek od nenym »

Na AMD X6 1090T se na Aplikaci Medical Data Analysis java jeví býti rychlejší, nežli čas. Druhý projekt, který na stroji běží (yoyo_ecm) nevykazuje odchylku mezi CPU time a run time mimo standard (0,5 až 1%). Rozdíl vzniká až ke konci úlohy, do 80% progress bar je run time a CPU time stejný, resp. CPU time je standardně menší.
Nějaká interpretace tohoto jevu?
Přílohy
dDM.png
dDM.png (2.01 KiB) Zobrazeno 9936 x
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: Ostatní diskuse týkající se projektu

#7 Příspěvek od vkliber »

Na stránce asi mají v PHP zaměněné proměné Run time a CPU time. Jak to vypadá v detailu WU?
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: Ostatní diskuse týkající se projektu

#8 Příspěvek od nenym »

Je to vidět již při běhu tasku, od 80% progress bar je CPU time větší, než elapsed time. Kredit je přidělen podle CPU time (benchmarku stroje odpovídá cca 110s/kredit). Detail tasku bez užvaněné části

Kód: Vybrat vše

 Run time	4541.464317
CPU time	5974.85

stderr out	

<core_client_version>6.10.58</core_client_version>
<![CDATA[
<stderr_txt>
Unzip input...done.
Unzip experiment...done.
Determine Java Version
java version "1.6.0_23"
Java(TM) SE Runtime Environment (build 1.6.0_23-b05)
Java HotSpot(TM) Client VM (build 19.0-b09, mixed mode, sharing)
error: 0 exitcode:0 
Windows 7 6.1
Java 1.6.0_23 32bit
error: 0 exitcode:0 
.
.
</stderr_txt>

Validate state	Valid
Claimed credit	54.8631
Granted credit	109.726
application version	Medical Data Analysis: Laryngeal video classification v1.04 
Zlomová část užvaněné části, kde ji vidět postupný enormní nárůst CPU time

Kód: Vybrat vše

Running application - checkpoint cputime:5384.140511; start at:0.929975; batchsize:261; trial:0
last batch finished successfully - checkpoint cputime:5441.876481;  stop at:0.935475;trials:0; exitcode:0x0 
#2#3#4#5ABCE#6memtrycnt=1;mM -Xmx338m -Xms20m
Running application - checkpoint cputime:5441.876481; start at:0.936550; batchsize:261; trial:0
last batch finished successfully - checkpoint cputime:5499.924453;  stop at:0.942300;trials:0; exitcode:0x0 
#2#3#4#5ABCE#6memtrycnt=1;mM -Xmx338m -Xms20m
Running application - checkpoint cputime:5499.924453; start at:0.943100; batchsize:261; trial:0
last batch finished successfully - checkpoint cputime:5558.565229;  stop at:0.948825;trials:0; exitcode:0x0 
#2#3#4#5ABCE#6memtrycnt=1;mM -Xmx338m -Xms20m
Running application - checkpoint cputime:5558.565229; start at:0.949625; batchsize:261; trial:0
last batch finished successfully - checkpoint cputime:5617.268405;  stop at:0.955425;trials:0; exitcode:0x0 
#2#3#4#5ABCE#6memtrycnt=1;mM -Xmx338m -Xms20m
Running application - checkpoint cputime:5617.268405; start at:0.956225; batchsize:261; trial:0
last batch finished successfully - checkpoint cputime:5676.377184;  stop at:0.962025;trials:0; exitcode:0x0 
#2#3#4#5ABCE#6memtrycnt=1;mM -Xmx338m -Xms20m
Running application - checkpoint cputime:5676.377184; start at:0.962775; batchsize:261; trial:0
last batch finished successfully - checkpoint cputime:5735.907166;  stop at:0.968475;trials:0; exitcode:0x0 
Odkaz na task, ale asi bude ostatním nedostupný http://www.distributeddatamining.org/user/1234/edit.
detail běžícího tasku.
Přílohy
dDM_task.png
dDM_task.png (4.24 KiB) Zobrazeno 9920 x
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: Ostatní diskuse týkající se projektu

#9 Příspěvek od vkliber »

:smt017 že by špatný výpočet Cpu nebo Elapsed time (na tom ale není co zkazit 45hh ).
Leda že by si jednotka brala více než 100% core CPU 33aaa což se může stát pouze u MT aplikací.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: Ostatní diskuse týkající se projektu

#10 Příspěvek od nenym »

Na jednotkách aplikace Medical data Analysis se dějí věci nevídané. Jednotkám ve stavu Waiting to run či Task suspended běží dál progress bar, elapsed time a CPU time však nepřibývá. Když opět přijdou na řadu, chovají se rovněž podivně. Některé se vzpamatují a pokračují ve výpočtu (tj. roste elapsed time i CPU time do doby, než se setká CPU time s falešně indikovaným postupem výpočtu progress barem) standardně až do konce, některým naskočí CPU time k úrovni progress baru a jednotka se dopočítá a ještě jiným roste pouze elapsed time, nikoli však CPU time a progress bar. Pokud se jednotka bez pokroku v CPU time znovu pozastaví, začne jí opět progress bar narůstat. Přijde mi to tak, že si jednotky navzájem kradou čas, protože v průměru je poměr elapsed time a CPU time u jednotek s přerušeným výpočtem stejný, jako u jednotek s normálním během výpočtu (tj. CPU time je o na konci úlohy 1/4 větší, než run time).
Příčina patrně tkví v tom, že pozastavením výpočtu se odstaví pouze aplikační jednotka, nikoli však proces java k ní příslušný. Aspoň tak to vypadá v task manageru.

EDIT: jest tomu tak
Sloupce: Run time, CPU time, claimed credit, granted credit.
Přílohy
dDM_tasks.png
dDM_tasks.png (1.82 KiB) Zobrazeno 9889 x
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

Pallando
42.1052631579 %
42.1052631579 %
Příspěvky: 763
Registrován: sob 08 zář, 2007 11:16
ID CNT statistics: 3749
Bydliště: Ostrava

Re: Ostatní diskuse týkající se projektu

#11 Příspěvek od Pallando »

Na tomhle projektu se nejsem schopná připojit k našemu týmu. Najdu si ho, ale není u něj taková ta volba "připojit k týmu". Nevíte, čím to může být?

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: Ostatní diskuse týkající se projektu

#12 Příspěvek od nenym »

Občas se to děje na různých projektech, zkus to přes stránku projekty, odkaz připojit se (=k týmu). dDm má občas výpadky, nenech se otrávit.
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

Pallando
42.1052631579 %
42.1052631579 %
Příspěvky: 763
Registrován: sob 08 zář, 2007 11:16
ID CNT statistics: 3749
Bydliště: Ostrava

Re: Ostatní diskuse týkající se projektu

#13 Příspěvek od Pallando »

Bezva, dík za radu 22rrr

Otrávit se nenechám a když tak, tak spíš insteinem nebo Albertem, kde mi při výpočtech neustále padají jednotky pro GPU 45hh

eisler jiri
73.6842105263 %
73.6842105263 %
Příspěvky: 4528
Registrován: sob 15 kvě, 2010 17:27
rok narození: 14 zář 1947
ID CNT statistics: 13496
Bydliště: praha 8
Kontaktovat uživatele:

Re: Ostatní diskuse týkající se projektu

#14 Příspěvek od eisler jiri »

pallando od gdy nosis klobouk? :smt102
Obrázek
Obrázek

Baryna.ch
5.26315789474 %
5.26315789474 %
Příspěvky: 10
Registrován: úte 08 čer, 2010 23:15
rok narození: 21 zář 1972

Re: Ostatní diskuse týkající se projektu

#15 Příspěvek od Baryna.ch »

Funguje někomu tenhle projekt pod WIN? Všechny výpočty mi po 4sec. končí chybou a to jsem to zkoušel na třech různých strojích. 45dd

Uživatelský avatar
bundaboy
52.6315789474 %
52.6315789474 %
Příspěvky: 1345
Registrován: ned 02 kvě, 2010 00:00
rok narození: 0- 0-1978
ID CNT statistics: 6579
Bydliště: Praha
Kontaktovat uživatele:

Re: Ostatní diskuse týkající se projektu

#16 Příspěvek od bundaboy »

To jsem zrovna vcera resil, je potreba Windows rict, kde je java.exe.

Viz. http://www.distributeddatamining.org/ddm_pc
Obrázek
-
Obrázek Obrázek

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 19635
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Ostatní diskuse týkající se projektu

#17 Příspěvek od forest »

Baryna.ch píše:Funguje někomu tenhle projekt pod WIN? Všechny výpočty mi po 4sec. končí chybou a to jsem to zkoušel na třech různých strojích. 45dd
Mně to jede na XP v pohodě.

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: Ostatní diskuse týkající se projektu

#18 Příspěvek od nenym »

Když jsem to rozjížděl, měl jsem obdobné problémy. Nebudu popisovat, jak vznikly, nicméně jejich důsledkem byl chaos v registrech, způsobený nutným provozem jakési exotické verze javy pro jednu z aplikací, kterou potřebuji k práci. Tato verze javy byla nainstalovaná v datovém adresáři aplikace, nicméně v registrech došlo patrně k nějaké diskontinuitě.
Odstranil jsem tak, že jsem odinstaloval pracovní aplikaci, OpenOffice, odpojil ze stroje DDM, ručně vyhledal a zlikvidoval veškeré další stopy po javě (včetně jakýchsi souvisejících nevýznamných aplikací) a znovu instaloval v pořadí pracovní aplikace - OpenOffice - připojení k DDM, od té doby OK.
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

eLPeCKo
47.3684210526 %
47.3684210526 %
Příspěvky: 965
Registrován: pát 27 led, 2012 22:20
ID CNT statistics: 12781
Bydliště: Brno

Re: Ostatní diskuse týkající se projektu

#19 Příspěvek od eLPeCKo »

bundaboy píše:To jsem zrovna vcera resil, je potreba Windows rict, kde je java.exe.

Viz. http://www.distributeddatamining.org/ddm_pc
Všem co mají chyby doporučuji tento rychlý, přehledný a hlavně funkční návod :smt023
Díky moc bundo, po tomto mi to šlape konečně v pořádku 33zzz
Obrázek
Tady něco málo o tom na čem počítám.

Odpovědět

Zpět na „DistributedDataMining“