Jednotka pro celý asteroid - obecná diskuze a průzkum názorů

Fórum o projektu
Zpráva
Autor
zdenek
52.6315789474 %
52.6315789474 %
Příspěvky: 1361
Registrován: pon 30 dub, 2012 20:55
ID CNT statistics: 6334
Bydliště: Brno

Jednotka pro celý asteroid - obecná diskuze a průzkum názorů

#1 Příspěvek od zdenek »

Dnes jsme s Kyongem diskutovali možnost vytvoření samostatné fronty s jednotkami pro výpočet celého asteroidu. Tedy pro zájemce, kteří by si chtěli spočítat celý asteroid a hlavně na to měli potřebnou hw výbavu. Kreditový příděl by byl opět odpovídající množství práce, nic víc nic míň.

K diskuzi tedy jsou následující otázky:
  • má to cenu a kolik uživatelů to využije
  • jak nastavit minimální požadavky na hw, pokud vůbec
  • jestli je velikost odesílaného výsledku 10MB hodně
  • obecné další nápady
Já jsem cvičně spočítal jednu jednotku pro celý asteroid a časy jsou tyto:
  • i5-4670 s AVX aplikací 210 000 s
  • GTX Titan CUDA aplikace 70 000 s

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#2 Příspěvek od vkliber »

  • má to cenu a kolik uživatelů to využije ... má to cenu i kdyby to využila minoritní část uživatelů ... co takhle za to nějaké speciální badges 45cc
  • jak nastavit minimální požadavky na hw, pokud vůbec ... podle uvažovaného deadline, pokud to je vůbec možné
  • jestli je velikost odesílaného výsledku 10MB hodně ... to je v pohodě, jsou horší FUPžrouti
  • obecné další nápady ... viz. výše - badges
  • i5-4670 s AVX aplikací 210 000 s ... taky v pohodě, řekl bych že do 10 dnů se to dá snést 45hh
  • GTX Titan CUDA aplikace 70 000 s ... já chci OpenCL :smt022
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#3 Příspěvek od nenym »

1. Já bych do toho klidně šel.

2. délka
Tedy 64bit SSE2/SSE3 na Ivy/Sandy Bridge bez HT by mohla trvat okolo 120 hodin? V tom bych neviděl žádný problém, je to totéž, co AVX PG GFN short.

3. minimální HW
Asi 64bit systém + IvyBridge+, na 32 bitech je to cca 1,7 x delší (pokud se nepletu, když tak mě opravte), tedy 200 hodin, téměř 9 dnů je už dost síla. Na C2D/PhenomII + 64bit systém task v současné době trvá okolo 3 hodin, což by opět reprezentovalo přibližně 200 hodin. Pouze námět, já osobně ani na 10 denním tasku nevidím nic zvrhlého, nejeví se mi to však býti smysluplným.
Pokud blbě odhaduji, tak mě zkorigujte.

4. objem dat
Na GPUGRIDu se odesílá na každou long jednotku něco kolo 50 až 80 MB, opět nevidím problém.

5. co takhle mt task, pokud by ovšem měl šanci být efektivní?
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

Dadu from Silesia
52.6315789474 %
52.6315789474 %
Příspěvky: 1325
Registrován: úte 03 úno, 2009 21:23
rok narození: 03 bře 1984
ID CNT statistics: 10156
Bydliště: Opava

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#4 Příspěvek od Dadu from Silesia »

210 000 / 3600 = 58,3 h to jde.
Později po upgradu bych do toho šel.

jiri kovar
47.3684210526 %
47.3684210526 %
Příspěvky: 1187
Registrován: ned 20 črc, 2008 09:31

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#5 Příspěvek od jiri kovar »

Z Litomyšle jednoznačně pro.
Jedeme na všech mašinách prakticky nonstop, žádná zmíněná omezení nevnímám.
Spíše půjde o to trochu vyladit praxi, jak si o asteroid říci, aby to nebylo nějak extrémně složité.
Co se týče požadavku na HW, podle mých pozorování to zvládne skoro každý PC co jede nonstop na 64 bitech, ale aby to mělo nějaký efekt, tak by bylo lepší to dávat na mašiny Sandy Bridge+ (ale není to podmínka). Jde taky o to, aby se do toho nepouštěli lidi, kteří o tom nemají páru. Co takhle na začátku udělat zkušební období pouze pro AVX mašiny (4xxx) a podle toho, jak to dopadne zařadit i další.

Uživatelský avatar
Murphy.cz
42.1052631579 %
42.1052631579 %
Příspěvky: 661
Registrován: pát 06 kvě, 2011 18:18
ID CNT statistics: 16550
Kontaktovat uživatele:

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#6 Příspěvek od Murphy.cz »

Připojuji se k již uvedenému (jsem líný psát):
vkliber píše:
  • má to cenu a kolik uživatelů to využije ... má to cenu i kdyby to využila minoritní část uživatelů ... co takhle za to nějaké speciální badges 45cc
  • jestli je velikost odesílaného výsledku 10MB hodně ... to je v pohodě, jsou horší FUPžrouti
  • obecné další nápady ... viz. výše - badges
  • i5-4670 s AVX aplikací 210 000 s ... taky v pohodě, řekl bych že do 10 dnů se to dá snést 45hh
jiri kovar píše:...na začátku udělat zkušební období pouze pro AVX mašiny (4xxx) a podle toho, jak to dopadne zařadit i další.
A rovnou bych si objednal tak 20 kousků na prověření nových mašin ;-)
Obrázek

eLPeCKo
47.3684210526 %
47.3684210526 %
Příspěvky: 965
Registrován: pát 27 led, 2012 22:20
ID CNT statistics: 12781
Bydliště: Brno

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#7 Příspěvek od eLPeCKo »

Taky se přidávám k výše uvedenému, podporu bych rád od SB výš, jelikož mám 3930k 33iii
Obrázek
Tady něco málo o tom na čem počítám.

Uživatelský avatar
Kyong
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 1506
Registrován: pát 03 lis, 2006 13:43
rok narození: 29 kvě 1984
ID CNT statistics: 19525
Bydliště: Olomouc
Kontaktovat uživatele:

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#8 Příspěvek od Kyong »

Aby to právě mělo ten smysl a nemuselo se to nijak složitě řešit, tak proto to hardwarové omezení by se nastavilo tak nějak tak, aby to automaticky posílalo jenom počítačům, které by měli procesor nebo grafiku, která zvládnou celý rozsah dat pro jeden asteroid projít do dvou až tří dnů.
Jsem vždycky někde na netu. Vždyť síť je přece rozlehlá a nekonečná.

Jifox.cz
Blog
Czech National Team
Asteroids@home - český projekt - zkoumání tvaru planetek z fotometrických dat

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1372
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#9 Příspěvek od Czech Human »

Přimlouvám se raději o použití SSE3 CPU či lépe GPU, spousta počítačů má SSE3 CPU a délka výpočtu nemusí být tak významná pokud běží pořád a mají rychlé GPU.
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

kadlis
21.0526315789 %
21.0526315789 %
Příspěvky: 170
Registrován: pát 26 úno, 2010 18:31
rok narození: 01 čer 1984
ID CNT statistics: 12911
Kontaktovat uživatele:

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#10 Příspěvek od kadlis »

Celkově možnost spočítat si vlastní asteroid zní velmi lákavě. Jako odměnu byste mohli dát badget s jeho číslem (předpokládám, že je to astologicky nějak "pojmenované"). Pro mladší počtáře by to mohla být fakt puDel, pokud by si (hypoteticky) pak na svá stará kolena letěli ten svůj vlastní kousek osobně prohlédnout. Ať žije scifi 45ff .

jiri kovar
47.3684210526 %
47.3684210526 %
Příspěvky: 1187
Registrován: ned 20 črc, 2008 09:31

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#11 Příspěvek od jiri kovar »

Ještě takový praktický dotaz:
Ty uvedené časy jsou na jedno jádro, protože aplikace není mt.
Na ostatních jádrech tedy normálně počítat běžné wu nebo např. na 4jádru by jely čtyři vybrané souběžné asteroidy?
Doufám, že to půjde ošetřit, aby se nemusely pouštět ještě jiné projekty.
A pak: Zvedne se efektivita výpočtu tím, že se asteroid nebude dělit na wu? Teoreticky mi vychází, že ano, ale...

eisler jiri
73.6842105263 %
73.6842105263 %
Příspěvky: 4528
Registrován: sob 15 kvě, 2010 17:27
rok narození: 14 zář 1947
ID CNT statistics: 13496
Bydliště: praha 8
Kontaktovat uživatele:

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#12 Příspěvek od eisler jiri »

jasan fofr. stará kolena už mám, asteroid fšak ještě né a to je ostuda
Obrázek
Obrázek

zdenek
52.6315789474 %
52.6315789474 %
Příspěvky: 1361
Registrován: pon 30 dub, 2012 20:55
ID CNT statistics: 6334
Bydliště: Brno

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#13 Příspěvek od zdenek »

jiri kovar píše:Ještě takový praktický dotaz:
Ty uvedené časy jsou na jedno jádro, protože aplikace není mt.
Je to na jednom jádru. Aplikace není mt a ani se dělat nebude. Bylo by to asi k ničemu. Musela by být udělaná jako CUDA a to je pro CPU zbytečné. Cílem je použít stávající aplikace pro výkoný hw a jen udělat větší jednotky. Už to tady zaznělo, s Kyongem jsme uvažovali o omezení na avx a CC3.5 GPU, případně deadline. Ale dal bych to do převoleb výpočtu jako další zaškrtávátko, které by bylo standardně vyplé.

Uživatelský avatar
hanbanaroda
52.6315789474 %
52.6315789474 %
Příspěvky: 1373
Registrován: úte 11 kvě, 2010 15:37
rok narození: 08 říj 1989
ID CNT statistics: 9521
Bydliště: Břeclav
Kontaktovat uživatele:

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#14 Příspěvek od hanbanaroda »

Nenuťte mně upgradovat! 45hh
Obrázek

Uživatelský avatar
Murphy.cz
42.1052631579 %
42.1052631579 %
Příspěvky: 661
Registrován: pát 06 kvě, 2011 18:18
ID CNT statistics: 16550
Kontaktovat uživatele:

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#15 Příspěvek od Murphy.cz »

Za to může Intel, když se jim AVX povedlo až napodruhé 33aaa
Obrázek

Petr.350
42.1052631579 %
42.1052631579 %
Příspěvky: 734
Registrován: sob 31 bře, 2012 14:27
ID CNT statistics: 13326
Kontaktovat uživatele:

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#16 Příspěvek od Petr.350 »

Určitě to má cenu a spousta lidí by si ráda spočítala něco konkrétního i kdyby měl výpočet trvat týden.
S minimálními požadavky bych to nepřeháněl, radši prodloužit deadline, ale aby si třeba i majitelé Phenomů mohli ten svůj asteroid spočítat. Na běžnou práci pořád stačí a nový procesor si kvůli tomu koupí málokdo.
Velikost 10 MB je v pohodě.
Dal by se do profilu přidat seznam spočtených asteroidů s odkazem?
Každopádně je to skvělý nápad. :smt023
Obrázek

PG SGS: 2337608400675*2^1290000-1

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#17 Příspěvek od vkliber »

Petr.350 píše:...
Dal by se do profilu přidat seznam spočtených asteroidů s odkazem?
...
Velice dobrý nápad 33iii .

A přimlouval bych se i o zařazení záznamů v "Scientific results" do uživatelského profilu včetně odkazů na JPL a linky na "Shape" (podobně jako to má GPU v sekci "Contribution to scientific publications").
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

zdenek
52.6315789474 %
52.6315789474 %
Příspěvky: 1361
Registrován: pon 30 dub, 2012 20:55
ID CNT statistics: 6334
Bydliště: Brno

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#18 Příspěvek od zdenek »

Tak ted jste Kyongovi nadelili peknej kus prace 45cc

Uživatelský avatar
Murphy.cz
42.1052631579 %
42.1052631579 %
Příspěvky: 661
Registrován: pát 06 kvě, 2011 18:18
ID CNT statistics: 16550
Kontaktovat uživatele:

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#19 Příspěvek od Murphy.cz »

vkliber píše:...podobně jako to má GPU v sekci "Contribution to scientific publications").
To není špatný nápad. Za samostatný výpočet celého šutráku by mohla být také samostatná řada trophies. Aby se to dalo exportovat do signatur, jako to dělá teď GPUgrid a StatSeb ;-)
Obrázek

Uživatelský avatar
Kyong
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 1506
Registrován: pát 03 lis, 2006 13:43
rok narození: 29 kvě 1984
ID CNT statistics: 19525
Bydliště: Olomouc
Kontaktovat uživatele:

Re: Jednotka pro celý asteroid - obecná diskuze a průzkum ná

#20 Příspěvek od Kyong »

No, tak ta práce záleží, jestli se udělá. 45hh Zase bych moc nechtěl, aby to měli počítače, co to budou počítat dlouho, ať se pak ty výsledky jakoby neprodlužují, když nějaké planetky zůstanou někomu ve frontě. Do profilu taky nevím, jestli někdo bude počítač hodně takhle, tak co s tím? Nechci, aby to pak vypadalo jako ty signatures, že to zabírá jednou tolik, jako celý příspěvek. A taky, radši bych to zařadil jako novou část aplikace s těmi minimálními požadavky, takže kdo by splnil, počítal by prostě celý a kdo ne, tak ne. Pokud by to bylo definované na ten hardware 2 - 3 dny, tak by podle mě nebyl problém a bylo by to to stejné, jako vydávat novou aplikaci komplet, s čímž je mnohem více práce a zbytečně to zatěžuji server, protože pak musí běžet kvůli tomu další validator a assimilator, takže jenom kvůli tomu, aby tam bylo to zatržítko, kdo chce nechce, se mi to zdá zbytečné, když by byly stejně ty minimální požadavky. Pak by to opět byla diskriminace vůči těm co, co nemají dostatečný hardware, takže z toho důvodu bych ani nedával nové badges za to. To už přemýšlím, jak by se to zase řešilo v diskuzi projektu, jaké by byly námitky.
Takže prostě by se přidali i jednotky pro plný výpočet a kdo by splnil minimum hardware, automaticky by se mu poslali, kdo ne, tak ne. A je to.
Tak, co na to říkáte? 45hh A kdo zpracuje celou jednotku, tak zpracuje celou jednotku. Žádný rozdíl v scientific results stejně zřejmě nebude, protože to sice projede jeden člověk, ale opět se to musí porovnat s druhou jednotkou, takže tam stejně budmou zřejmě opět 2 lidi napsaní u jednoho modelu, jako je teď, a pokud z vypočtených dat nebude vhodný model odpovídat, tak tam stejně nebudou. Taky nezapomínejte, že hodně dat není moc kvalitních kvůli velké magitudě a jak už vidíte ze současných výsledků, tak těch modelů není tolik, pro kolik se zatím spočítala všechna data. Takže já v tom zase tak moc rozdíl nevidím, jestli někdo projede data komplet nebo projede jenom část a v tom, co projede, tak zrovna budou data odpovídat pro vhodný model.
Jsem vždycky někde na netu. Vždyť síť je přece rozlehlá a nekonečná.

Jifox.cz
Blog
Czech National Team
Asteroids@home - český projekt - zkoumání tvaru planetek z fotometrických dat

Odpovědět

Zpět na „Asteroids@home“