Ostatní diskuse týkající se projektu

[forest]

Po podrobnějším průzkumu jednotek i informací z webu projektu, jsme se s Dzordzikem shodli na tom, že projekt RNA není až taková mrtvola, jak se může zvenčí jevit.

Jednak je na hlavní stránce informace o tom, kterou verzi VirtualBoxu pro jakou aplikaci projektu použít. Pokud se vám tedy podaří nějakou tu jednotku ulovit, tak se co nejdříve koukněte jakou jednotku máte a přeinstalujte si VB dle doporučení. Zvýšíte si určitě šance na úspěšné dopočítání jednotky.

Druhým důkazem práce na pozadí projektu je průzkum konkrétní nově stažené jednotky: http://www.rnaworld.de/rnaworld/workuni ... id=6341799
Jednotka byla prvně stažena a počítána již v roce 2014 a počítána aplikací 1.14, následovala v roce 2016 verze 1.16, následně 1.17 a 1.18, od roku 2018 je to verze 1.19. Bohužel dosud se nikomu nepodařilo jednotku dopočítat úspěšně do konce. V zázemí projektu se ale někdo snaží aplikaci postupně vylepšovat a upravovat i pro novější verze VB, aby se podařilo tu práci dokončit.

Co je škoda, je že ty jednotky s tak velkou neúspěšností nepošlou více lidem na zpracování, aby se navýšila úspěšnost dokončení celkové práce co na projektu zbývá. Vždy je jen jeden člověk, který tu jednotku několik měsíců zpracovává a tím se to strašně natahuje.

[Dzordzik]

Zeptám se tady, byť jde o obecný dotaz, stejný pro všechny projekty. Jaký má být obsah souboru s udicí a kde má být umístěn a jak ho spouštět pod Linuxem? Nepředpokládám že má být identický, protože příkazy v bashi a pod DOSem/Wokny nejsou identické. Jaká musí mít soubor práva a kam jej umístit?

[Czech Human]

To máš pravdu, bash se dost liší od cmd windows. Jak to napsat ti momentálně neporadím, udice jsem nikdy nepoužíval. Můžu se ale na to kouknout jak to vypadá ve windows a zkusit něco vypotit.

Co se opakovaného spouštění týká, bude na to nejlepší asi cron https://www.garron.me/en/linux/run-cron ... hours.html ten je na takovéhle opakované spouštění skriptů zařízený.

Pro nastavení cronu použiješ příkaz crontab -e a do crontab přidáš řádek:

*/5 * * * * /cesta/cesta/udice.sh

a uložíš ho. Tím se ti bude udice spouštět každých 5 minut do nekonečna. Pokud chceš častější interval, sniž číslo.

K umístění skriptu je asi v zásadě jedno kam ho nahraješ, pokud cronu řekneš cestu kde ho má hledat a nebudeš ho přesouvat .



Edit: Tak jsem prozkoumal udici na jiný projekt

C:
cd "C:\Program Files\BOINC\"
:SEM
boinccmd.exe --project https://lhcathome.cern.ch/lhcathome/ update
TIMEOUT 180
GOTO SEM

A myslím že by mělo stačit vytvořit spustitelný soubor udice.sh a do něj nahrát pokud používáš přes balíčkovač nainstalovaný boinc toto:

#!/bin/bash!
boinccmd --project https://web/projektu/ update

Detaily k boinccmd na linuxu a všechny volby k příkazům jsou uvedeny zde: https://www.systutorials.com/docs/linux/man/1-boinccmd/ ale ty volby jsou stejné na linuxu jako na windows. Cron se postará o pravidelné a opakované spouštění toho příkazu tak tam myslím už není nic dalšího potřeba. Musím ale upozornit na to že se jedná o teoretický koncept, v praxi jsem to takhle nezkoušel tak se můžeš setkat s dalšími/jinými problémy.

[Dzordzik]

Ahoj, něco jsem si včera dohledal, koncept v tomto duchu si přichystal ale hlásilo to nějaké excesy, tak až na to najdu čas tak mrknu a uvidíme. Základní příkazy Linuxu jsem už pobral, ale tápal jsem v tom jak zajistit to opakování po zadaném čase. Zatím díky.

[Dzordzik]

To si tak člověk nic netušíc a nečekaje nějakých nečekaných úkladů a nepřístojností po dlouhé době přebootuje na Linux, něco si tam šmrdlá a najednou, co nevidím. RNA, projekt od kterého jsem přes 2 roky nedostal žádnou jednotku, si úplně klidně, i bez udice, sosne jednotku a docela tučnou. Navíc ji už asi tak 50x nikdo nedopočítal. Většinou chyby výpočtu, zrušeno uživatelem, chyba validace atd atd. Zatím to vypadá minimálně na 200 dní výpočtu, pokud se něco nepo ... Tomu říkám adrenalín :-)
Zároveň se mnou ji počítá někdo s i5kou. No uvidíme, řekl slepej ... Tohle bude dlouhý ...

http://www.rnaworld.de/rnaworld/workuni ... id=6330822

[Czech Human]

Nó to si nahrabeš uptime až ti z toho bude špatně

[forest]

Moc gratuluji
Někteří to asi nedokáží dostatečně posoudit, ale je to v DC něco mimořádného. Vždyť je celkem ve hře už jen 59 jednotek: https://www.rnaworld.de/rnaworld/server_status.php
Co je zvláštní, že tu Dzordzikovu odeslali dvěma počtářům ten stejný den. Tu co počítám já, ještě nikdo v pořádku nedopočítal a počítám ji od 4.5.2019 sám
Dzordzik mněl dobrý nápad. Oslovit provozovatele projektu s návrhem, aby rozeslali těch posledních 59 jednotek například stovce počtářů, aby se stonásobně zvýšila pravděpodobnost, že se v tom jednom rozeslání všechny jednotky už konečně dopočítají.

[Czech Human]

Projekt, který má minimálně desítky zájemců počítat jednotky se všemi výše uvedenými "features" a kteří doslova škemrají aby dostali jednu z těch posledních 59 buď A. vedou totální idioti, za B. je evidentně potřebné ho udržovat v chodu dokud si správce z grantů nenašetří na další auto nebo za C. kombinace obojího. Kdyby ty jednotky na sebe nějak navazovaly tak bych chápal že se to bude vléct ale rozesílat to v systému distribuovaných výpočtů po jedné je prostě kreténizmus a proto se mi tlačí do hlavy důvody, které ten postup intelektuálně "projasní"...

[forest]

Pročítal jsem trochu jejich fórum a ejhle, co jesm se dozvěděl:

- 1.7.2018 zbývalo ještě 97 jednotek, nyní jich je 59. Tedy pomalu se to dopočítává, ale je to tak ještě alespoň na dva roky
- právě tvůrci RNA prý byli ti, kteří navrhli a pomohli procesu checkpointů ve VirtualBoxu. Tedy procesu, který využívá dnes již vícero projektů a které by bez checkouintů pravděpodobně nikdo nepočítal.
- v době největší slávy, měl projekt nejvíce výkonu na světě ze včech, kteří se tímto vědním oborem zabývali/jí .
- některé jednotky vyžadují špičkově až 128GB RAM. Je to pravděpodobně jeden z problémů, proč to počtářům nespočetněkrát při zpracovánávání spadlo. Tento problém byl postupně programově eliminován, což může samozřejmě vést v koněčném důsledku k tomu protahování zpracování před koncem jednotky. Kdo má více RAM, měl by mít tedy větší celkovou úspěšnost a rychlost při zpracovávání.

Ty hlavní informace jsem se pokusil přeložit z tohoto příspěvku. Anglicky moc neumím, tak prosím o shovívavost:

Michael H.W. Weber » 06.06.2019 08:29
Once again:
RNA World allows for disabling the very long tasks. So, everybody can decide on his/her own whether these highly complex tasks are acceptable or not - and the fact (!) that there are multiple people out there who already have successfully processed tasks that run for approx. a full year is a prime example on what distributed computing based on volunteers can do. It is remarkable! And it is THIS project that set landmarks.

By the way, we are very proud that we managed to implement checkpointing using the virtual machine approach. Actually, it was us who originally suggested this technology on a BOINC workshop more than 10 years ago. And it universally enabled the use of software in a volunteer environment which originally was designed for specialized HPC deployment, only. After CERN nicely implemented the idea, a lot of projects make use of it even today.

And finally: We are a team of laymen.
I had spoken to the so-called experts at different research institutes and universities in advance. They laughed at us when they heard what we were planning. But: We did it. And we did it well. And already at the initial setup of RNA World in 2009, this project had more compute power than RNA-focused research centers of the EMBL. Imagine that and, as one of our volunteers, be proud that you were part of it!

Michael.

P.S.: You mentioned the Yoyo@home project where some tasks require 8 GB of RAM. RNA World has CMCALIBRATE tasks that require more than 128 GB of RAM. Since the research experts (!) who developed the software we use in RNA World never thought of implementing a forecast for RAM requirement and since we, the laymen (!), never thought that someone could have the idea of developing software not taking possible limitations of RAM into account, initially we did not even know this. So we found out by try & error. After we identified the issue, we deployed these tasks to specialized machines. And we made sure that the original programmers got informed to re-work their software (which they did nicely).

[Czech Human]

Hm to zní jako ideální kandidát na moje počítače, jednu jednotku si mohu dovolit spustit snad bez obav pokud >128GB neznamená třeba 300... . Ale jednotku projekt jen tak nepustí...

[Dzordzik]

Dneska jsem se, jak každý den, ráno probudil z komatu a šel zkontrolovat Alberta. Prohrabávám se jednotkama Rosetty abych našel tu jednu šťastně ulovenou jednotku RNA a nemůžu ji najít, měla už víc jak 2% spočítaných a nic. Říkám si, no to si snad někdo dělá prde,l že by spadla? Pak jsem ji našel, má už 3%. A najednou, co nevidím, je tu ještě jedna, co se stáhla někdy nad ránem. Já se snad pudu ožrat :-) Dostat po víc jak roce 1 jednotku RNA je super, ale dostat po 5 dnech další i bez udice? To už zavání protekcí 33ooo

Obě dvě jsou to jendnotky, které server vygeneroval už v roce 2013, z toho jedna už je jedním uživatelem spočítaná, ta druhá ne. No což, uvidíme, řekl slepej.

[forest]

To je určitě protekce od Linuxu. Chtějí, abys na něm zůstal dlouhodobě

Jinak musím projevit neskrývanou závist, nedokážu si to vysvětlit. Já měl za posledních 5 let dvě jen jednu dobu, ale to byly na dvou z pěti počítačů po jedné. Dvě na jednom stroji je opravdu mamonářsví v RNA měřítku a vysložená provokace pro ostatní hladové počtáře

[Dzordzik]

Uznávám, že je to nečestné a nesportovní, ale já co už se mnou. To bude určitě tím jak trpím pokaždé co musím přebootovat do Linuxu, taková odměna za výdrž :) Ono to stejně dopadne tak, že to z nějakého důvodu sletí a bude zase jednotek dost. Když ty moje jsou už od roku 2013 a přede mnou je počítaly desítky lidí a stejně je ti lidé nespočítali, tak by byla moc velká náhoda, aby se to podařilo zrovna mě a ještě u obou jednotek :)
Díval jsem se do seznamu jednotek co už jsou spočítané a zvalidované a některé mají kredit naprosto směšný, ale našly se i bumbrlíčci, kdy za jednu WU byl tuším kredit 450 000 litrů. To už je fakt masakr. Netuším podle čeho se ten kredit uděluje, protože to vůbec neodpovídá nárůstu kreditů oproti času.

Tady je to pěkně vidět:
http://www.rnaworld.de/rnaworld/top_monsters.php

Zatím to u mě vypadá že jedna jednotka bude cca 3/4 roku a druhá kolem půl roku nepřetržitého počítání, pokud se něco nepo ...

Kdyby to nebylo bio a ještě tak vzácné, tak se na takový projekt zvysoka vy ... ehm.

[Dzordzik]

Jedna WU z několika bumbrlíčků:
http://www.rnaworld.de/rnaworld/results ... =0&appid=2

[Dzordzik]

Tak jsem dneska udělal radost dalším 2 počtářům. Obě jednotky z ničeho nic bezdůvodně spadly s prapodivnou chybou. Tváří se to že se prostě VM rozhodl se vypnout. Důvod neznám. jedna jednotka po 9 dnech a druhá po 5 dnech počítání.

2019-07-28 09:38:53 (10957): Status Report: CPU Time: '370645.220000'
2019-07-28 09:43:37 (10957): VM is no longer is a running state. It is in 'poweroff'.
2019-07-28 09:43:37 (10957): VM state change detected. (old = 'running', new = 'poweroff')
2019-07-28 09:43:37 (10957): Powering off VM.
2019-07-28 09:43:37 (10957): Deregistering VM. (boinc_6cf27ff40d0befe1, slot#3)
2019-07-28 09:43:37 (10957): Deleting stale snapshot.
2019-07-28 09:43:37 (10957): Removing network bandwidth throttle group from VM.
2019-07-28 09:43:38 (10957): Removing storage controller(s) from VM.
2019-07-28 09:43:38 (10957): Removing VM from VirtualBox.
2019-07-28 09:43:41 (10957): Removing virtual disk drive from VirtualBox.
2019-07-28 09:43:46 (10957): Virtual machine exited.
09:43:46 (10957): called boinc_finish(0)

</stderr_txt>
<message>
upload failure: <file_xfer_error>
<file_name>cmsvm2_GA-p[e20-30MB_Lin64f]_1_Oryza-sativa-Japonica-Group_CM000144.lin.EMBL_RF00028_Intron_gpI_1349111823_60396_100_0</file_name>
<error_code>-161 (not found)</error_code>
</file_xfer_error>
<file_xfer_error>
<file_name>cmsvm2_GA-p[e20-30MB_Lin64f]_1_Oryza-sativa-Japonica-Group_CM000144.lin.EMBL_RF00028_Intron_gpI_1349111823_60396_100_1</file_name>
<error_code>-161 (not found)</error_code>
</file_xfer_error>
</message>
]]>

[forest]

Já bohužel ani jednu z nich nechytnul

[Dzordzik]

Nj, viděl jsem. Jeden ji chytnul na Win a druhý na Linuxu. Takže radost sice převelikká, leč krátká. Co mě seje nejvíc je že naprosto netuším proč to padlo. Jelo to 24/7, padlo to den poté co jsem vyfoukal Alberta od prachu, že já to otvíral :D

[forest]

Po 100 dnech počítání již mám 96% jednotky hotovo. Jsem zvědav, zda se mně to podaří dotáhnout do úspěšného konce a kolik dní to bude váznout na 100%, než se to ukončí. Držte mně palec

Již zbývá jen 55 jednotek. Další čtyři jsou tedy za dva měsíce hotové.

[vmv]

Držím palce. Mě dneska po 125 dnech na 95% spadla do věčných lovišť

[Dzordzik]

Njn, škoda. Mě padly 2 co jsem po haluzi dostal, naštěstí podstatně dřív.