Počítání LHC native jednotek na linuxu bez VirtualBoxu - co je třeba aby to fungovalo?

Fórum o projektu
Odpovědět
Zpráva
Autor
Uživatelský avatar
AidenCorso
5.26315789474 %
5.26315789474 %
Příspěvky: 20
Registrován: úte 14 čer, 2022 18:30
rok narození: 07 pro 1985
ID CNT statistics: 1748

Počítání LHC native jednotek na linuxu bez VirtualBoxu - co je třeba aby to fungovalo?

#1 Příspěvek od AidenCorso »

Na stroji s C2Q provozuju ubuntu a boinc bez virtualboxu, zkusil sem virtualbox doinstalovat, ale rosetta si stěžovala že CPU nemá virtualizační instrukce a nepoběží, takže sem ho zase odinstaloval.
Když začaly chodit ATLAS jednotky, tak vždycky končily chybou, povedlo se mi z logů zjistit že to potřebuje CVMFS https://cernvm.cern.ch/fs/, ten se mi nakonec povedlo nainstalovat a začalo to fungovat.
Teď mi přišlo pár jednotek Theory a taky končí chybou, ale tam nejsem schopnej přijít na to co s tim.

Kód: Vybrat vše

<core_client_version>7.19.0</core_client_version>
<![CDATA[
<message>
process exited with code 195 (0xc3, -61)</message>
<stderr_txt>
23:59:33 (853330): wrapper (7.15.26016): starting
23:59:33 (853330): wrapper (7.15.26016): starting
23:59:33 (853330): wrapper: running ../../projects/lhcathome.cern.ch_lhcathome/cranky-0.0.32 ()
23:59:33 CEST +02:00 2022-06-13: cranky-0.0.32: [INFO] Detected Theory App
23:59:33 CEST +02:00 2022-06-13: cranky-0.0.32: [INFO] Checking CVMFS.
23:59:51 CEST +02:00 2022-06-13: cranky-0.0.32: [INFO] Checking runc.
23:59:54 CEST +02:00 2022-06-13: cranky-0.0.32: [INFO] Creating the filesystem.
23:59:54 CEST +02:00 2022-06-13: cranky-0.0.32: [INFO] Using /cvmfs/cernvm-prod.cern.ch/cvm3
23:59:55 CEST +02:00 2022-06-13: cranky-0.0.32: [INFO] Updating config.json.
23:59:55 CEST +02:00 2022-06-13: cranky-0.0.32: [INFO] Running Container 'runc'.
container_linux.go:336: starting container process caused "process_linux.go:293: applying cgroup configuration for process caused \"mountpoint for cgroup not found\""
23:59:55 CEST +02:00 2022-06-13: cranky-0.0.32: [INFO] Container 'runc' finished with status code 1.
23:59:55 CEST +02:00 2022-06-13: cranky-0.0.32: [INFO] Preparing output.
23:59:55 CEST +02:00 2022-06-13: cranky-0.0.32: [ERROR] No output found.
23:59:55 (853330): cranky exited; CPU time 0.656248
23:59:55 (853330): app exit status: 0xce
23:59:55 (853330): called boinc_finish(195)

</stderr_txt>
]]>
Zkusil sem doinstalovat golang a runc, ale ničemu to nepomohlo. Tak jestli to někdo taky zkoušel provozovat a vyřešil to, jakákoliv pomoc by se mi hodila.
Vypadá to že se to tu aplikaci snaží spouštět v nějakym kontejneru a nedaří se mu ho nastavit a spustit. Ale nevim proč, nemá přístupový práva nebo mu chybí nějakej program?

Detail PC https://lhcathome.cern.ch/lhcathome/sho ... d=10775658
Detail chybové jednotky https://lhcathome.cern.ch/lhcathome/res ... =357398974
Obrázek

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3062
Registrován: pát 03 lis, 2006 10:46

Re: Počítání LHC native jednotek na linuxu bez VirtualBoxu - co je třeba aby to fungovalo?

#2 Příspěvek od Honza »

Dobře popsaný problém.
C2Q je postaršího data, může to na tom v principu vůbec běžet (virtualizace a tak)?

Zběžně koukám na forum LHC, kde je evidentně dost lidí, co s tím bojují.
Viz např. https://lhcathome.cern.ch/lhcathome/forum_thread.php?id=5595.

Není tam něco specifického pro tento případ?

LHC již není, co bývalo, tj. plug and play BOINC, kde se okolní prostředí OS nemuselo řešit, což platí obecně zejména pro Windows.

Uživatelský avatar
AidenCorso
5.26315789474 %
5.26315789474 %
Příspěvky: 20
Registrován: úte 14 čer, 2022 18:30
rok narození: 07 pro 1985
ID CNT statistics: 1748

Re: Počítání LHC native jednotek na linuxu bez VirtualBoxu - co je třeba aby to fungovalo?

#3 Příspěvek od AidenCorso »

Virtualizaci sem používal už na svym prvnim PC, to byl Duron 650 MHz (starý ms virtual pc a vmware) a chodilo to, ikdyž velmi pomalu. Bez tý HW akcelerace to prostě nebude ono a třeba rosetta na tom odmítne bežet. Takže sem ten virtualbox zase odinstaloval s tim že to bude počítat jen nativní linux úlohy, těch možná nechodí tolik, ale jsou. Na druhym stroji s windows mi zase virtualbox blokuje hyperV, ten bych musel odinstalovat aby mi tam virtualbox fungoval jak má, ale to by mi zase znefunkčnilo wsl subsystém. Takže na windows stroji kde mam lepší CPU, větší paměť a výkon celkově můžu z LHC počítat jen sixtrack a ten chodí hodně málo a je za strašně málo kreditů.

Nicméně koukal sem na skripty co zůstaly v adresáři pro LHC projekty a vypadá to že ty pokusy s instalací golang a runc byly zbytečný, protože se to zjevně všechno spouští z toho vzdálenýho serveru kterej si to přes cvmfs připojuje jako místní disk. Všechno řídí skript cranky-0.0.32 https://pastebin.com/P3GwJQfc a problém pravděpodobně nastane když se vykonává buď "function create_filesystem", "function create_cgroup()" nebo "function run". Je možný že je chyba někde u nich nebo možná je moje distribuce moc nová a ještě to na ní nikdo z cernu netestoval. Takže asi nezbyde než čekat jestli to nezačne časem fungovat samo od sebe. Aspoň že ATLAS mi to už počítá a kredity se hrnou.
Obrázek

Uživatelský avatar
AidenCorso
5.26315789474 %
5.26315789474 %
Příspěvky: 20
Registrován: úte 14 čer, 2022 18:30
rok narození: 07 pro 1985
ID CNT statistics: 1748

Re: Počítání LHC native jednotek na linuxu bez VirtualBoxu - co je třeba aby to fungovalo?

#4 Příspěvek od AidenCorso »

Tak to vypadá že na diskusním fóru LHC@home řešili stejnej problém a zjistili čím to je způsobený - https://lhcathome.cern.ch/lhcathome/for ... 5731#45423
Linuxový jádro před pár lety přešlo z cgroups v1 na cgroups v2 a ta aplikace neni kompatibilní s tim novym rozhraním. Možná jí časem přepíšou. Nicméně by mělo jít jádro donutit přepnout na starší rozhraní, ale nejsem si jistej jestli to nerozbije něco jinýho. Na ATLAS to vliv nemá, ten používá zase jinej software a tam se ta chyba neobjevuje.
Obrázek

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3062
Registrován: pát 03 lis, 2006 10:46

Re: Počítání LHC native jednotek na linuxu bez VirtualBoxu - co je třeba aby to fungovalo?

#5 Příspěvek od Honza »

Koukám, že dost aplikací mají třeba 3 roky staré a už v té době to asi nebylo state-of-the-art.

Je dost možné, že interní systémy jim běží na starých verzích a tudíž preferují aplikace staré oproti nejnovějším, které jsou efektivnější.
Nebo nemají lidi, aby to povýšili či udělali i zpětně kompatabilní, jako například na Primegrid, který jede i na starých sse, i na nejnovější AVX-512, jakmile se objevili.

Každopádně, LHC na Linuxu není snadné rozchodit všechny aplikace a člověk do toho musí být fanda, aby koumal, doinstalovával, konfiguroval, zkoušel.
Good job.

Uživatelský avatar
AidenCorso
5.26315789474 %
5.26315789474 %
Příspěvky: 20
Registrován: úte 14 čer, 2022 18:30
rok narození: 07 pro 1985
ID CNT statistics: 1748

Re: Počítání LHC native jednotek na linuxu bez VirtualBoxu - co je třeba aby to fungovalo?

#6 Příspěvek od AidenCorso »

Je to jediná možnost když to chceš počítat bez virtualboxu. Zkusim předělat to nastavení podle toho co sem našel a pak čekat až zase přijde Theory jednotka.
Obrázek

Uživatelský avatar
AidenCorso
5.26315789474 %
5.26315789474 %
Příspěvky: 20
Registrován: úte 14 čer, 2022 18:30
rok narození: 07 pro 1985
ID CNT statistics: 1748

Re: Počítání LHC native jednotek na linuxu bez VirtualBoxu - co je třeba aby to fungovalo?

#7 Příspěvek od AidenCorso »

Tak už to počítá a zatim to nespadlo.

Obrázek
Obrázek

Uživatelský avatar
AidenCorso
5.26315789474 %
5.26315789474 %
Příspěvky: 20
Registrován: úte 14 čer, 2022 18:30
rok narození: 07 pro 1985
ID CNT statistics: 1748

Re: Počítání LHC native jednotek na linuxu bez VirtualBoxu - co je třeba aby to fungovalo?

#8 Příspěvek od AidenCorso »

Tak se za dnešek úspěšně dokončili tři úlohy, ale za těch 15-20 kreditů za jednu to fakt nestálo :roll:

ATLAS dává podstatně víc a hezky vytíží všechny jádra na max. Uvažuju o tom že přes víkend napíšu nějaký shrnutí co je potřeba nainstalovat a nastavit aby to chodilo.
Nějaký návody sou na fórech LHC, ale je to anglicky a není tam všechno (když má člověk moc novou nebo exotickou distribuci, nejsou hotový balíčky a musí si to sestavit ručně sám).

Jo a taky mi zatim nepřišla žádná CMS úloha, přitom povolený mam pokud vim uplně všechny.
Sem zvědavej jak by se dlouho počítala a kolik by za ní bylo kreditů. Celkově LHC moc nedává, desítky, maximálně stovky, takovej collatz to je přes 30 tisíc za dvě hodinky na GPU 33iii
Obrázek

Odpovědět

Zpět na „LHC@Home“