Ostatní diskuse týkající se projektu

Fórum o projektu

Moderátoři: petnek, nenym, Zelvuska

Zpráva
Autor
Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17645
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Ostatní diskuse týkající se projektu

#81 Příspěvek od forest » pon 01 črc, 2019 22:01

Po podrobnějším průzkumu jednotek i informací z webu projektu, jsme se s Dzordzikem shodli na tom, že projekt RNA není až taková mrtvola, jak se může zvenčí jevit.

Jednak je na hlavní stránce informace o tom, kterou verzi VirtualBoxu pro jakou aplikaci projektu použít. Pokud se vám tedy podaří nějakou tu jednotku ulovit, tak se co nejdříve koukněte jakou jednotku máte a přeinstalujte si VB dle doporučení. Zvýšíte si určitě šance na úspěšné dopočítání jednotky.

Druhým důkazem práce na pozadí projektu je průzkum konkrétní nově stažené jednotky: http://www.rnaworld.de/rnaworld/workuni ... id=6341799
Jednotka byla prvně stažena a počítána již v roce 2014 a počítána aplikací 1.14, následovala v roce 2016 verze 1.16, následně 1.17 a 1.18, od roku 2018 je to verze 1.19. Bohužel dosud se nikomu nepodařilo jednotku dopočítat úspěšně do konce. V zázemí projektu se ale někdo snaží aplikaci postupně vylepšovat a upravovat i pro novější verze VB, aby se podařilo tu práci dokončit.

Co je škoda, je že ty jednotky s tak velkou neúspěšností nepošlou více lidem na zpracování, aby se navýšila úspěšnost dokončení celkové práce co na projektu zbývá. Vždy je jen jeden člověk, který tu jednotku několik měsíců zpracovává a tím se to strašně natahuje.

Dzordzik
57.8947368421 %
57.8947368421 %
Příspěvky: 1825
Registrován: ned 12 úno, 2017 00:26
rok narození: 18 zář 1980
ID CNT statistics: 503
Bydliště: Zdounky (u Kroměříže)
Kontaktovat uživatele:

Re: Ostatní diskuse týkající se projektu

#82 Příspěvek od Dzordzik » pon 01 črc, 2019 22:32

Zeptám se tady, byť jde o obecný dotaz, stejný pro všechny projekty. Jaký má být obsah souboru s udicí a kde má být umístěn a jak ho spouštět pod Linuxem? Nepředpokládám že má být identický, protože příkazy v bashi a pod DOSem/Wokny nejsou identické. Jaká musí mít soubor práva a kam jej umístit?
Albert: Dual Xeon E5-2696 V4, Supermicro X10DRG-Q, 64GB DDR4 ECC, 1x GTX 1070, Enermax Platimax 1700W

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1346
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: Ostatní diskuse týkající se projektu

#83 Příspěvek od Czech Human » úte 02 črc, 2019 09:08

To máš pravdu, bash se dost liší od cmd windows. Jak to napsat ti momentálně neporadím, udice jsem nikdy nepoužíval. Můžu se ale na to kouknout jak to vypadá ve windows a zkusit něco vypotit.

Co se opakovaného spouštění týká, bude na to nejlepší asi cron https://www.garron.me/en/linux/run-cron ... hours.html ten je na takovéhle opakované spouštění skriptů zařízený.
Pro nastavení cronu použiješ příkaz crontab -e a do crontab přidáš řádek:

*/5 * * * * /cesta/cesta/udice.sh

a uložíš ho. Tím se ti bude udice spouštět každých 5 minut do nekonečna. Pokud chceš častější interval, sniž číslo.
K umístění skriptu je asi v zásadě jedno kam ho nahraješ, pokud cronu řekneš cestu kde ho má hledat a nebudeš ho přesouvat 45cc .



Edit: Tak jsem prozkoumal udici na jiný projekt
C:
cd "C:\Program Files\BOINC\"
:SEM
boinccmd.exe --project https://lhcathome.cern.ch/lhcathome/ update
TIMEOUT 180
GOTO SEM
A myslím že by mělo stačit vytvořit spustitelný soubor udice.sh a do něj nahrát pokud používáš přes balíčkovač nainstalovaný boinc toto:
#!/bin/bash!
boinccmd --project https://web/projektu/ update
Detaily k boinccmd na linuxu a všechny volby k příkazům jsou uvedeny zde: https://www.systutorials.com/docs/linux/man/1-boinccmd/ ale ty volby jsou stejné na linuxu jako na windows. Cron se postará o pravidelné a opakované spouštění toho příkazu tak tam myslím už není nic dalšího potřeba. Musím ale upozornit na to že se jedná o teoretický koncept, v praxi jsem to takhle nezkoušel tak se můžeš setkat s dalšími/jinými problémy.
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

Dzordzik
57.8947368421 %
57.8947368421 %
Příspěvky: 1825
Registrován: ned 12 úno, 2017 00:26
rok narození: 18 zář 1980
ID CNT statistics: 503
Bydliště: Zdounky (u Kroměříže)
Kontaktovat uživatele:

Re: Ostatní diskuse týkající se projektu

#84 Příspěvek od Dzordzik » úte 02 črc, 2019 12:53

Ahoj, něco jsem si včera dohledal, koncept v tomto duchu si přichystal ale hlásilo to nějaké excesy, tak až na to najdu čas tak mrknu a uvidíme. Základní příkazy Linuxu jsem už pobral, ale tápal jsem v tom jak zajistit to opakování po zadaném čase. Zatím díky.
Albert: Dual Xeon E5-2696 V4, Supermicro X10DRG-Q, 64GB DDR4 ECC, 1x GTX 1070, Enermax Platimax 1700W

Dzordzik
57.8947368421 %
57.8947368421 %
Příspěvky: 1825
Registrován: ned 12 úno, 2017 00:26
rok narození: 18 zář 1980
ID CNT statistics: 503
Bydliště: Zdounky (u Kroměříže)
Kontaktovat uživatele:

Re: Ostatní diskuse týkající se projektu

#85 Příspěvek od Dzordzik » čtv 18 črc, 2019 07:46

To si tak člověk nic netušíc a nečekaje nějakých nečekaných úkladů a nepřístojností po dlouhé době přebootuje na Linux, něco si tam šmrdlá a najednou, co nevidím. RNA, projekt od kterého jsem přes 2 roky nedostal žádnou jednotku, si úplně klidně, i bez udice, sosne jednotku a docela tučnou. Navíc ji už asi tak 50x nikdo nedopočítal. Většinou chyby výpočtu, zrušeno uživatelem, chyba validace atd atd. Zatím to vypadá minimálně na 200 dní výpočtu, pokud se něco nepo ... Tomu říkám adrenalín :-)
Zároveň se mnou ji počítá někdo s i5kou. No uvidíme, řekl slepej ... Tohle bude dlouhý ...

http://www.rnaworld.de/rnaworld/workuni ... id=6330822
Albert: Dual Xeon E5-2696 V4, Supermicro X10DRG-Q, 64GB DDR4 ECC, 1x GTX 1070, Enermax Platimax 1700W

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1346
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: Ostatní diskuse týkající se projektu

#86 Příspěvek od Czech Human » čtv 18 črc, 2019 13:46

Nó to si nahrabeš uptime až ti z toho bude špatně 45hh
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17645
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Ostatní diskuse týkající se projektu

#87 Příspěvek od forest » čtv 18 črc, 2019 14:20

Moc gratuluji 22nnn
Někteří to asi nedokáží dostatečně posoudit, ale je to v DC něco mimořádného. Vždyť je celkem ve hře už jen 59 jednotek: https://www.rnaworld.de/rnaworld/server_status.php
Co je zvláštní, že tu Dzordzikovu odeslali dvěma počtářům ten stejný den. Tu co počítám já, ještě nikdo v pořádku nedopočítal a počítám ji od 4.5.2019 sám :smt017
Dzordzik mněl dobrý nápad. Oslovit provozovatele projektu s návrhem, aby rozeslali těch posledních 59 jednotek například stovce počtářů, aby se stonásobně zvýšila pravděpodobnost, že se v tom jednom rozeslání všechny jednotky už konečně dopočítají.

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1346
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: Ostatní diskuse týkající se projektu

#88 Příspěvek od Czech Human » čtv 18 črc, 2019 17:44

Projekt, který má minimálně desítky zájemců počítat jednotky se všemi výše uvedenými "features" a kteří doslova škemrají aby dostali jednu z těch posledních 59 buď A. vedou totální idioti, za B. je evidentně potřebné ho udržovat v chodu dokud si správce z grantů nenašetří na další auto nebo za C. kombinace obojího. Kdyby ty jednotky na sebe nějak navazovaly tak bych chápal že se to bude vléct ale rozesílat to v systému distribuovaných výpočtů po jedné je prostě kreténizmus a proto se mi tlačí do hlavy důvody, které ten postup intelektuálně "projasní"...
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 17645
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Ostatní diskuse týkající se projektu

#89 Příspěvek od forest » pát 19 črc, 2019 21:54

Pročítal jsem trochu jejich fórum a ejhle, co jesm se dozvěděl:

- 1.7.2018 zbývalo ještě 97 jednotek, nyní jich je 59. Tedy pomalu se to dopočítává, ale je to tak ještě alespoň na dva roky 45cc
- právě tvůrci RNA prý byli ti, kteří navrhli a pomohli procesu checkpointů ve VirtualBoxu. Tedy procesu, který využívá dnes již vícero projektů a které by bez checkouintů pravděpodobně nikdo nepočítal.
- v době největší slávy, měl projekt nejvíce výkonu na světě ze včech, kteří se tímto vědním oborem zabývali/jí .
- některé jednotky vyžadují špičkově až 128GB RAM. Je to pravděpodobně jeden z problémů, proč to počtářům nespočetněkrát při zpracovánávání spadlo. Tento problém byl postupně programově eliminován, což může samozřejmě vést v koněčném důsledku k tomu protahování zpracování před koncem jednotky. Kdo má více RAM, měl by mít tedy větší celkovou úspěšnost a rychlost při zpracovávání.

Ty hlavní informace jsem se pokusil přeložit z tohoto příspěvku. Anglicky moc neumím, tak prosím o shovívavost:
Michael H.W. Weber » 06.06.2019 08:29
Once again:
RNA World allows for disabling the very long tasks. So, everybody can decide on his/her own whether these highly complex tasks are acceptable or not - and the fact (!) that there are multiple people out there who already have successfully processed tasks that run for approx. a full year is a prime example on what distributed computing based on volunteers can do. It is remarkable! And it is THIS project that set landmarks.

By the way, we are very proud that we managed to implement checkpointing using the virtual machine approach. Actually, it was us who originally suggested this technology on a BOINC workshop more than 10 years ago. And it universally enabled the use of software in a volunteer environment which originally was designed for specialized HPC deployment, only. After CERN nicely implemented the idea, a lot of projects make use of it even today.

And finally: We are a team of laymen. 8)
I had spoken to the so-called experts at different research institutes and universities in advance. They laughed at us when they heard what we were planning. But: We did it. And we did it well. And already at the initial setup of RNA World in 2009, this project had more compute power than RNA-focused research centers of the EMBL. Imagine that and, as one of our volunteers, be proud that you were part of it! :D

Michael.

P.S.: You mentioned the Yoyo@home project where some tasks require 8 GB of RAM. RNA World has CMCALIBRATE tasks that require more than 128 GB of RAM. :D Since the research experts (!) who developed the software we use in RNA World never thought of implementing a forecast for RAM requirement and since we, the laymen (!), never thought that someone could have the idea of developing software not taking possible limitations of RAM into account, initially we did not even know this. So we found out by try & error. After we identified the issue, we deployed these tasks to specialized machines. And we made sure that the original programmers got informed to re-work their software (which they did nicely).

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1346
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: Ostatní diskuse týkající se projektu

#90 Příspěvek od Czech Human » pát 19 črc, 2019 22:44

Hm to zní jako ideální kandidát na moje počítače, jednu jednotku si mohu dovolit spustit snad bez obav pokud >128GB neznamená třeba 300... 45hh . Ale jednotku projekt jen tak nepustí...
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

Odpovědět

Zpět na „RNA World (beta)“