BOINC na Linuxu

Sekce pro všeobecné rady a návody z oblasti DC projektů
Odpovědět
Zpráva
Autor
329CZE001
10.5263157895 %
10.5263157895 %
Příspěvky: 72
Registrován: čtv 04 led, 2007 11:48
ID CNT statistics: 2687
Kontaktovat uživatele:

BOINC na Linuxu

#1 Příspěvek od 329CZE001 »

Zdar,

mam linuxový stroj, ale přiznám se že v Linuxu docela plavu (začínám....). Stahl jsem Ubuntu distro, v repo byl BOINC klient, zaškrtnul jsem ho vše OK, nějaké výpočty běží.... (kromě MilkyWay, mam 4x XEON a 64bit distro....)

Jenže verze z repo je zastaralá (možná proto nejede milka??), stahnul jsem novou, rozbalil, přes příkaz sh run_client.sh spustim klienta, kterej za chvíli vyhodí chybku a je po počítání....

Takže moje otázečka je jednoduchá, potřeboval bych nějakého počtáře na Linuxovym stroji, kterej by mi vysvětlil krok po kroku co mam dělat a co nemam dělat.... 22sss 22sss
Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: BOINC na Linuxu

#2 Příspěvek od vkliber »

Předpokládám, že jsi tu původní verzi z repo neodinstaloval, takže teď se ti tam bijí 2 verze BOINC.
Koukni tady ať si v obraze.

Takže postup je pak jasný :
- nainstalovat BOINC z repozitáře
- vypnout počítání
- stáhnout verzi kterou chceš z berkeley
- rozbalit do adresáře BOINC
- pak všechny potřebné soubory z adresáře BOINC nakopírovat do umístění kam se instaluje boinc z repozitáře
- smazat adresář BOINC
- spustit z menu počítání

Tuším že někdo měl i nějaký jednodušší návod, já to dělám vždycky takto.
Pokud by jsi to chtěl podrobněji, nebo něčemu nerozumíš, tak se ozvi.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 19635
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: BOINC na Linuxu

#3 Příspěvek od forest »

Jednoduchá instalace je tokováto:
- stáhni si ručně verzi klienta kterou chceš používat
- rozbal ji v místě, kde ji chceš mít v provozu
- do "aplikací po spuštění" přidej "run_client" z adresáře kde máš rozbaleného klienta

A to je vše. Výpočty se ti budou pouštět na pozadí hned po startu, když je budeš chtít ovládat pustíš si ručně klienta a když budeš chtít přejit na novou verzi, prostě ji jen rozbalíš a přehraješ základní soubory. Napřed musíš ale výpočty zastavit a ukončit boinc.

To že ti nejede Milka bych ale hledal spíše v ovladačích na grafiku.

329CZE001
10.5263157895 %
10.5263157895 %
Příspěvky: 72
Registrován: čtv 04 led, 2007 11:48
ID CNT statistics: 2687
Kontaktovat uživatele:

Re: BOINC na Linuxu

#4 Příspěvek od 329CZE001 »

dneska na tom celej pracuju, přišel jsem na to, proč mi nešlo Milky - staré jádro, takže celej den zkouším upgradovat kernel... teď snad nandám ubuntu 9.10, které bude mít novější kernel, zkusim ho taky upgradovat kam až to půjde a pak zkusim googlit ty optimalizace pro x86 na linuxu....
Obrázek

329CZE001
10.5263157895 %
10.5263157895 %
Příspěvky: 72
Registrován: čtv 04 led, 2007 11:48
ID CNT statistics: 2687
Kontaktovat uživatele:

Re: BOINC na Linuxu

#5 Příspěvek od 329CZE001 »

tak jsem dospěl k nějakému kompromisu a již něco jede...

verze BOINC 6.10.58
4x CPU Intel Xeon 3.0GHz
benchmark 826 MIPS Whetstone a 1928 MIPS Dhrystone

dle cat /proc/cpuinfo umi tyhle CPU spousta veci, nejzajimavejsi je asi SSE2

Počítám Milku (začalo to počítat bez chyb - jiná verze kernelu, stahuje si to jednotky kde jedna si vezme všechny 4 CPU :-) ) a Seti

Zkusil sem vygůglit nějaký optimalizace, ale připadá mi to, že ty články nejsou vůbec aktuální, je tu nějaký odborník na optimalizace pro Linux x64?
Obrázek

329CZE001
10.5263157895 %
10.5263157895 %
Příspěvky: 72
Registrován: čtv 04 led, 2007 11:48
ID CNT statistics: 2687
Kontaktovat uživatele:

Re: BOINC na Linuxu

#6 Příspěvek od 329CZE001 »

do seti nahrána optimalizace na linux 64b SSE2, na milku existuje taky optimalizace na SSE2, i pro linux, ale ne na 64bit.... hmm

ale co mě dostalo, že se snad dělali nějaký GeForce 9500GT do PCI slotu, což by na serverovém stroji, kde je to jediný slot, mohlo mít značný vliv na přísun jednotek... nemáte někdo tucha nebo neválí se to někomu doma? Na ebay.com sem toho moc nenašel.
Obrázek

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 19635
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: BOINC na Linuxu

#7 Příspěvek od forest »

Kdyby jsi to rozběhal,tak dej určitě zprávu o výkonu takového GPU počítání na stařičkém PCI slotu. To může být hodně zajímavá věc. Nedělají se i nyní nějaké použitelné karty na GPU výpočty do PCI?

329CZE001
10.5263157895 %
10.5263157895 %
Příspěvky: 72
Registrován: čtv 04 led, 2007 11:48
ID CNT statistics: 2687
Kontaktovat uživatele:

Re: BOINC na Linuxu

#8 Příspěvek od 329CZE001 »

hele co sem tak prošmejdil forka tak jediné co jde použít je GeForce řady 8 a vejš... a do starého PCI se dá sehnat na ebay.com od 8400GS do 9500GT. Já už sem tam jednu koupil, tak uvidim jesli jí vůbec na eServer 336 rozběhnu, pokud ne, našel jsem ještě jednu vychytávku a to reiser card z PCI-X na PCI-E a tam už by nějaká novější karta mohla vlézt. Jedinej problem bude ve velikosti (1U server) a napájení, což samozřejmě neni vůbec neřešitelný. Pak dodám fotky...
Obrázek

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1372
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: BOINC na Linuxu

#9 Příspěvek od Czech Human »

Zdravím všechny příznivce linuxu a počítání v něm. Mám otázku - počítáte někdo s kombinací karet AMD/ATi a nVIDIA na jednom stroji, nebo se to z hlediska výkonu nehodí či se vůbec nesnesou? A v případě , že počítáte s kartami od jedné firmy (AMD) - máte zkušenosti jak v linuxu nastavit boinc, aby využíval těchto více karet a zároveň pokud možno jejich plný potenciál?
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: BOINC na Linuxu

#10 Příspěvek od vkliber »

Ahoj a vítej na fóru 45nn .

Určitě tady je někdo kdo počítá na AMD/ATi a nVidia na jednom stroji a snad se ozve.

Pro začátek doporučuji již starší článek Distribuované výpočty na moderních grafických kartách, na konci článku je odkaz jak zapojit AMD/ATi, nVidii a jak je donutit, aby táhly za jeden provaz.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1372
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: BOINC na Linuxu

#11 Příspěvek od Czech Human »

Děkuji za rychlou odpověď 45uu . Sice jsem s boinc nováček, ale chci se rychle touto beta-fází prokousat. Počítat čím je jen počítat možné už jsem počítač naučil - ale počítat k tomu i efektivně, tj. využít skutečný potenciál HW mi svěřeného, to zatím ještě neumím. A rozdíly v bodech při stejné spotřebě a času mohou být výrazně..ehm...motivující :smt023

Edit: Tak GF8800GTS se moc neosvědčila - má jen 320 MB RAM, víc než jedna úloha se do ní nevejde a ještě ráda hlásí nedostatek paměti a následně chybu výpočtu, což je škoda... holt už je to letitá babička smrk :smt022
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1372
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: BOINC na Linuxu

#12 Příspěvek od Czech Human »

Máte tu někdo fungující cc_config.xml pro linux na 2 AMD karty a byl(a) byste ochotný(á) jej sem nahrát (nebo jestli víte, že je tady, dát sem odkaz), abych si ho mohl projít a analyzovat? Ušetřilo by mi to trochu hledání na internetu a hlavně případnou nefunkční konfiguraci BOINC na PC, přičemž oprava může zabrat dost času, když to pořádně zbabrám 22sss .
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

Shafa
10.5263157895 %
10.5263157895 %
Příspěvky: 89
Registrován: pát 16 led, 2009 00:48

Re: BOINC na Linuxu

#13 Příspěvek od Shafa »

Na foru boinc.sk se o zprovozneni dvou karet zminoval kdysi Palo. Uz si nepamatuju esli mel obe ati, nvidie, nebo mix, zkus pohledat.
Urcite to ale rozjel na nejakem "starsim" ubuntu a musel si pohrat s xorg.conf - coz drive bylo normalni, dnes by uz to snad nebylo potreba.
Ono ale mit na linuxu ati je vetsinou spis za trest. S jejich driverama se muzou jit vycpat.
Naposledy upravil(a) Shafa dne stř 03 dub, 2013 20:48, celkem upraveno 1 x.
Boinc.cz : na srazech jen chlastaj. Trucujou. Lzou. Jsou pres 2 roky mrtvi.
Well, I am in !
:D

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: BOINC na Linuxu

#14 Příspěvek od nenym »

Já bych začal přidáním tagu

Kód: Vybrat vše

<use_all_gpus>1</use_all_gpus> 
do sekce options. Blíže třeba zde.
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1372
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: BOINC na Linuxu

#15 Příspěvek od Czech Human »

Děkuji za rady, už jsem to po menších porodních bolestech rozjel :-). Stačí si trochu pohrát s xorg.conf, zapojit 2 monitory naráz nebo vyrobit dummy plug, aby druhá karta byla aktivní, použít parametr use_all_gpus v cc_config.xml a pak, pak už stačí jen kouzelný příkaz pc@user$: DISPLAY=:0 ./boinc v daném adresáři, kde boinc sídlí a go go go. Protože jinak boinc sice vidí dvě karty, které jsou aktivní, ale na druhé patrně díky způsobu mapování paměti přes xorg server vidí 0MB využitelných a proto ji nepoužije. Parametr DISPLAY=:0 mu oznámí aby použil všechny dostupné xorg sessions, ne jen tu první, kde už běží karta číslo 1.
PS: Popisuji to tu jen +/- z pohledu BFU, nepátral jsem podrobněji a je možné že přísně technicky vzato to je řešené jinak, tak prosím nekamenovat 33aaa

Shafa: Drivery AMD karet na linux už nejsou taková hrůza jako před několika lety ATi, AMD mě teď třeba velmi mile překvapilo vydáním funkčních a bez potíží zbalíčkovacích driverů pro HD 7790 prakticky ihned při jeho vydání na trh. Ovladač navíc GPU dovede využít, proti 7770 je 7790 na první pohled početně výrazně rychlejší.
Dříve se čekalo taky třeba celý rok dva, než se jakási podpora daných karet vůbec objevila (Radeony sérií X000) a i pak se instalace ovladače rovnala provedení rituálu v černé magii s pentagramem, svíčkami a obětí nejméně 2 CPU od Intelu, zatímco u nvidie to byla rutinní funkční záležitost :smt023 . Do roku cca 2010 byla nvidia rozhodně lepší volbou co se pohodlnosti instalace týká a i dnes má stále podporu starých GPU na nová distra, zatímco AMD udělalo tlustou čáru za vším co je starší než 4XXX. Na druhou stranu se v současnosti AMD ovladače pěkně uživatelsky vytváří jako snadno přenositelné balíčky, není nutné vypínat xorg... Takže každý chvilku tahá pilku.

Karty AMD ale nabízí v OpenCL nejlepší poměr spotřeba/výkon na trhu (ještě před měsícem HD 7770, nyní je králem HD 7790), nvidia prostě má větší měrnou spotřebu. Použil jsem dvou relativně levných karet HD 7770, což mi umožnilo dosáhnout na výkon HD 7870 při ceně o zhruba 1000 Kč nižší a s o něco menší spotřebou proudu. Dvě GPU myslím také počítají 4 tasky einstein@home efektivněji než jen jedno GPU. A až tyto GPU budou na boinc hodně pomalé, dají se využít jako levné, nežravé 2D zobrazovadla do 2 PC :-).
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1372
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: BOINC na Linuxu

#16 Příspěvek od Czech Human »

Přemýšlím nad jednou věcí a nenašel jsem tu správný chlíveček - je nějaká řekněme doporučená velikost RAM grafických karet, např. 1 GB, 2GB, nebo je to systém čím víc tím líp :?: Hádám že to poslední je nejlepší varianta, ale verze s mnoha GB RAM jsou samozřejmě výrazně dražší než 1 GB verze. Opakovaně se mi stalo, že karty, nejspíš když vyjedou z možností vlastního 1 GB RAM (např. běží úloha z POEM o velikosti 600-700MB), tak WCG úlohy např. s potřebou 300 MB RAM popadají na chybu výpočtu - patrně nenajdou dost volné paměti a psychicky to holt neunesou a úlohy popadají. Vhledem k tomu, že to obvykle neunesou všechny, třeba 30 za sebou, tak to špatně snáším i já - body stojí a generuji zbytečné rozesílání úloh. Dá se například nastavit, jaké úlohy budou momentálně fungovat? Dám příklad - mám hodně WCG úloh a do toho pár úloh z einsteina. Kombinace obojího nese relativně značné riziko pádu, takže bych rád nastavil einstein first, WCG potom a i když to třeba může mírně ovlivnit počet získaných bodů, nenahází to compute errors. Pečlivým dohledem sice jde část problému eliminovat, ale pozorovat PC zda náhodou nehází chyby je myslím neelegantní a zase tolik času nemám. Tedy, jde to nějak podle projektu seřadit? Nerad bych řešení hledal v kartách, které mají prostě jen víc napájené RAM - jednak finančně, zas takový uhlobaron na nové 3 grafiky měsíčně nejsem a časem by se situace nejspíš opakovala, až úlohy dostatečně nabobtnají. Popřípadě, není toto způsobeno něčím jiným (32/64-bit klient, maximálně adresovatelná RAM na task, to že používám AMD 7770 s OpenCL, vnitropekelné intriky...) Dané PC má 4 GB RAM, což také není zrovna nejvíc ale lze vypnout grafické rozhraní, použít méně rozežrané apod.
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: BOINC na Linuxu

#17 Příspěvek od nenym »

Já bych začal zrušením "leave in memory while suspended" a pozoroval dění. Střídat na GPU jednotlivé projekty za běhu jinde, než na konci tasku je velmi riskantní - takže nastav si "switch between applications every xxx minutes" na dobu nejdelšího tasku z projektů, které počítáš + rezervu nejméně 20%. Pokud po těchto základních opatřeních budeš mít problémy i nadále, pátral bych po tom, zda náhodou neprovozuješ ke GPU úlohám (zejména POEM) nějaké CPU RAM nenasytné tasky, POEM umí sebrat obrovské množství nejen VRAM, ale i standardní RAM. Pozor také na FM@H, je to velmi agresivní aplikace, na některých strojích nemohu současně počítat více úloh, než je polovina CPU jader; pokud identifikuješ FM@H jako zdroj problémů, pomůže ti vkliberův skript - samozřejmě po úpravě.
Problém může být samozřejmě tam, kde ho tušíš ty, ale začal bych u jednoduchých akcí.
Abych pravdu řekl, pokud vůbec na GPU střídám projekty, tak suspend jeden/resume druhý + reboot stroje na vyčištění veškeré paměti a vůbec nenechávám Boinc dělat, co si zrovna zamane, většinou to dělá úplně blbě.
Lze to i zautomatizovat v cronu jako root (já používám berličku scheduled stasks: sudo gnome-schedule) pokud máš autologin do systému, jednu dobu jsem to úspěšně provozoval.
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

Uživatelský avatar
Czech Human
52.6315789474 %
52.6315789474 %
Příspěvky: 1372
Registrován: sob 30 bře, 2013 14:16
rok narození: 0- 0-1981
ID CNT statistics: 19867
Bydliště: Praha

Re: BOINC na Linuxu

#18 Příspěvek od Czech Human »

Díky za rady, vyzkouším změnu tasku po 1500 minutách (1 den) a vypnu držení pozastavených úloh v RAM aby to neběhalo do swapu a uvidím(e). Je pravda že v tom padání se vyskytuje jakási pravidelnost - čím náročnější úloha, tím vyšší šance na pád. Asi to bude s tou dobou běhu zejména souviset, prostě při třeba 30% šanci pádu to jednou projde ale po třetí, čtvrté výměně stráží na GPU už to prostě statisticky musí spadnout...
Pokud FM@H je fight malaria tak ta zrovna na tom stroji už neběží, vzhledem k CPU only počítání ji chroupá přetočené C2D bez vhodné GPU po dvou kusech :-). Čím dál víc mě ale vyvstává řešení jeden projekt - jeden počítač a bude po problémech s kompatibilitou. Teď už zařídit jen tu drobnost mít těch cca 8 našláplých PC a nemít Interpol v zádech :smt017 .

Co se cronu a plánování úloh týká, to je pro mě zatím španělská vesnice. Alespoň mám nové téma k studiu.

Edit: Tak zatím se to chová vzorně, vypnul jsem uchovávání úloh v RAM a zvýšil dobu pro přehazování tasků a zatím (ťuk ťuk ťuk) nic nespadlo :smt038
Vzhůru pro body na linuxu :-).

Linuxová verze CNT 2018 balíčku: https://uloz.to/!yhQoPwu9UIel/cnt2018linux-7z
Linuxová verze PG CPU testu na GNF-21 https://uloz.to/!gXPiQ9BD2IF6/pgtest-tar-gz

Obrázek

Odpovědět

Zpět na „Rady a návody“