Týmový PC - Cimrman

[Bijek]

Zkusil jsem změnit v DNETC@HOME předvolbách nastavení "AMD Stream core selection (AMD GPUs only)" core 0 na core 2. Jedu na HD4850.

Změnou došlo k výraznému zvýšení odezvy celého systému. V nastavení core 0 nešlo s počítačem vůbec pracovat. Teď to jede zcela plynule. Zpomalení systému minimální, vypadá to, jako bych přes GPU vůbec nepočítal.
Zároveň došlo asi k 8-17% snížení výkonu - je to podle toho zda zrovna počítač využívám.
Dost se taky snížila spotřeba. Mírně se zvýšilo vytíženi CPU.

Možná by to chtělo zkusit taky na Cimrmanovi.

V adresáři ...BOINC\projects\dnetc.net je soubor job_1.46.xml.
V něm je tento řádek:

<command_line>-runoffline -multiok=1 -ckpoint chkpoint -pausefile pause -exitfile exit -inbase in -outbase out -priority 5 -n -1 -runbuffers -l stderr.txt</command_line>

Hodnota -1 by měla znamenat toto:

Number of crunchers to run simultaneously:
This option specifies the number of threads you want the client to work on.
On multi-processor machines this should be set to the number of processors
available or to -1 to have the client attempt to auto-detect the number of
processors. Multi-threaded clients can be forced to run single-threaded by
setting this option to zero.

Tento text je z GPU klienta http://www.distributed.net/Download_clients
Zkrátka, je to nastavení zda se má použít více jader. Teď ale nevím zda se v textu píše o CPU nebo GPU. Je to z GPU klienta, který přes CPU nepočítá, tak přepokládám že se jedná o GPU.
Hodnota n -1 je autodetekce.
Sám jsem zkusil zadat 2, ale došlo okamžitě k pádu klienta. Mám jedno GPU. Při zadání 1 k pádu nedošlo, klient dál normálně počítal.

Takže, vklibere a ostatní co máte více GPU můžete zkoušet do aleluja
Ke zkoušení doporučuji originálního klienta na adrese http://www.distributed.net/Download_clients

[vkliber]

Úprava v job_1.46.xml zřejmě nefunguje.
Zkrácený výpis WU :

22:46:36 (3220): wrapper: running dnetc_1.31_windows_intelx86__ati14.exe (-runoffline -multiok=1 -ckpoint chkpoint -pausefile pause -exitfile exit -inbase in -outbase out -priority 5 -n -1 -runbuffers -l stderr.txt )
...
[Nov 23 21:47:02 UTC] Automatic processor detection found 4 processors.
...
...
22:50:13 (3592): wrapper: running dnetc_1.31_windows_intelx86__ati14.exe (-runoffline -multiok=1 -ckpoint chkpoint -pausefile pause -exitfile exit -inbase in -outbase out -priority 5 -n 4 -runbuffers -l stderr.txt )
...
[Nov 23 21:50:13 UTC] Automatic processor detection found 4 processors.
...
...
22:51:07 (3892): wrapper: running dnetc_1.31_windows_intelx86__ati14.exe (-runoffline -multiok=1 -ckpoint chkpoint -pausefile pause -exitfile exit -inbase in -outbase out -priority 5 -n 2 -runbuffers -l stderr.txt )
...
[Nov 23 21:51:07 UTC] Automatic processor detection found 4 processors.
...
...
22:52:04 (1872): wrapper: running dnetc_1.31_windows_intelx86__ati14.exe (-runoffline -multiok=1 -ckpoint chkpoint -pausefile pause -exitfile exit -inbase in -outbase out -priority 5 -n 8 -runbuffers -l stderr.txt )
...
[Nov 23 21:52:05 UTC] Automatic processor detection found 4 processors.

[nenym]

Trapný dotaz, až je mi stydno - ale občas se mi to stane. Restartoval jsi core po aplikaci úprav?

[Jamoko]

karty jsou v CF a CF je aktivni, proto tam je taky DummyPlug

[vkliber]

Trapný dotaz, až je mi stydno - ale občas se mi to stane. Restartoval jsi core po aplikaci úprav?

Jestli myslíš úpravy spouštěcích parametrů v job_1.46.xml tak nerestartoval. Není k tomu důvod. Navíc z logu jednotek je zřejmé že změněné parametry se načítají.

Hrátky s nastavením "AMD Stream core selection (AMD GPUs only)" jsem ještě neprováděl, a ani tady nevidím důvod k restartování core.

Jestli se pletu tak do mě ťukni.

[vkliber]

Ještě teda vyzkouším měnit nastavení "AMD Stream core selection (AMD GPUs only)" ... uvidíme co to udělá.

Díky Bijeka jsem pochopil jak ta aplikace funguje a co vlastně dělá.

A předběžné shrnutí :
Postup který jsem vyzkoušel
- zakázal jsem Collatz a Milky ať se mi nespouští
- zakázal jsem příjem práce pro DNETC
- pozastavil jsem všechny jednotky kromě aktuální
- počkal až se aktuální dopočítá
- vypnul jsem BOINC
- odstřelil všechny procesy dnetc_1.31_windows_intelx86__ati14.exe které zůstaly běžet (maximálně tam byly 3, většinou jeden, někdy žádný)
- spustil BOINC
- povolil počítání DNETC
- první spočítaná jednotka byla vždy vzorná např. zde ... čas 272 sec., 3091 kreditů, Stderr output přesně tak jak má vypadat (předpokládám)
- následující jednotky většinou taky vzorné
- po nějaké době se nějaká jednotka kousne (nastane problém na #d ... zřejmě device3), jednotka se sice dopočítá, ale následně zůstává ve spuštěných procesech a bere si 13% CPU.
- po vypnutí BOINC stále jednotka zůstává ve spuštěných procesech a bere si 0-8-13% (kolísá to mezi těmito třemi hodnotami) a když kouknu na zatížení GPU, tak zatížení osciluje kolem 50% (netuším kolik z toho je normální spotřeba při vykreslování toho na co právě koukám a kolik je nějaký proces který tam běží)
- pokud BOINC nevypnu, tak všechny následující jednotky jsou spočítány za více než dvojnásobný čas a všechny mají v logu problém s #d (device3).

Jak psal Bijek, bylo by dobré vyzkoušet prohodit obě karty mezi sebou, jestli se něco změní.

Dále mě napadl úplně šílený schizofrení způsob řešení :
- napsat program (kill_DNETC.exe), který by nalezl ve spuštěných procesech aplikaci dnetc_1.31_windows_intelx86__ati14.exe a pokud ji nalezne, tak ji odstřelí (něco podobného jsme kdysi napsali s Mehartsem na MilkyWay)
- napsat si svoje vlastní app_info a nespouštět aplikaci dnetc_1.31_windows_intelx86__ati14.exe, ale spouštět vlastní skript, který první spustí program kill_DNETC.exe a pak teprve spustí dnetc_1.31_windows_intelx86__ati14.exe a předá mu parametry které dostal na vstupu
- výsledkem (a cílem) by bylo, že před každým spuštěním jednotky DNETC se automaticky vyčistí procesy od zombie
- režie toho skriptu bude naprosto minimální a výsledkem bude, že pokud se některá jednotka zaběhne, tak hned následující už pojede zase normálně.
- do toho bych se ale pustil, až se vyzkouší prohodit ty karty (ať víme na čem jsme)

[nenym]

Pokud jsi upravoval parametry na webu nebo jobs.xml, taxe core restartovat nemusí. Pouze při aplikaci/úpravě app_info.xml, nějak jsem se zmateně domníval, že pasáž jobs je součástí app_info.
script Kill_zombie mi přijde jako sqělý nápad, když už to jinak nejde.

[vkliber]

Udělal jsem na Cimrmanovi jednu vychytávku.

Vytvořil jsem soubor kill_dnetc.bat, který se automaticky spouští každých 5 minut

Kód: Vybrat vše

cd C:\Users\Cimrman\Desktop\Cimrman\Bin
taskkill /FI "CPUTIME ge 00:01:00" /FI "IMAGENAME eq dnetc_1.31_windows_intel*" /FI "USERNAME eq Cimrman" /F >> kill_dnetc.log

Tento skript hledá spuštěné procesy pod uživatelem Cimrman, jejíchž název začíná na dnetc_1.31_windows_intel* a procesorový čas je větší než 1 minuta. Pokud takový proces najde, tak ho nemilosrdně odstřelí.

Zjistil jsem, že když se jednotka DNETC kousne, tak si začíná brát asi 13% CPU. Normální jednotka na celý svůj běh spotřebuje maximálně asi 4 s. CPU.


EDIT : Hmmm, tak nefunguje to úplně přesně tak jak jsem chtěl. Příkaz taskkill podle mého názoru nedělá přesně to co má dělat .

[JardaPichSvetla]

Zdá se, že CIMRMAN nejede.

[Jamoko]

mno jo. koukam. heh tak to bude problem... zitra

[Bijek]

Denní příděl na projektu DNETC se pohybuje okolo 470 000 cr. Nebylo by lepší přejít na MW? Tam se to pohybuje něco přes 600 000 cr/den. Dále bych zkusil zapojit Primegrid, podprojekt Proth Prime Search (Sieve) v CPU verzi. Mělo by to být o 30% výnosnější než AQUA. Ještě bych pozastavil na MAT-FYZ projekt Collatz, aspoň na HD 5870. Takhle tam propadá 200 000 cr/den. Dohromady by to tak mohlo dělat 400 000 cr/den navíc.

[vkliber]

Co je v plánu s Cimrmanem.
Nachystám ho na turnaj na DNETC a PrimeGrid, musím přeinstalovat ovladače.
Po turnajích uvidíme ... zkusím si ještě jednou pohrát s projektem DNETC.

MATFYZ Farma jede na HD 5800 primárně projekt DNETC, Collatz tam je jako záložní (zkontroluji ještě poměr projektů).
Proč na 1. šuplíku na HD 3800 nejede DNETC netuším, zkontroluji.
2. šuplík s HD 3200 je nějaký nakřáplý, ještě jsem se k tomu nedostal.

[Jamoko]

3200 nema tusim DP? Ale ted nevim, zda DNETC vyzaduje ci nevyzaduje DP!!!

[Jamoko]

Denní příděl na projektu DNETC se pohybuje okolo 470 000 cr. Nebylo by lepší přejít na MW? Tam se to pohybuje něco přes 600 000 cr/den. Dále bych zkusil zapojit Primegrid, podprojekt Proth Prime Search (Sieve) v CPU verzi. Mělo by to být o 30% výnosnější než AQUA. Ještě bych pozastavil na MAT-FYZ projekt Collatz, aspoň na HD 5870. Takhle tam propadá 200 000 cr/den. Dohromady by to tak mohlo dělat 400 000 cr/den navíc.

Ja to rikam furt, ze MW dava vic

[hanbanaroda]

DNETC nevyžaduje DP, to by mně potom najel na mé 2600 Series

[Jamoko]

DNETC nevyžaduje DP, to by mně potom najel na mé 2600 Series

Tak kterej to byl projekt co chtel DP? Milka?

[vkliber]

Tak kterej to byl projekt co chtel DP? Milka?

Jo.

[vkliber]

Momentálně provádím nějaké úpravy na Cimrmanovi, tak občas nepojede.

EDIT : Grrrr jak na potvoru není dostupný ati-stream-sdk-v2.3-vista-win7-64.exe i když je inzerovaný jako poslední verze.

EDIT2 : tak jsem vyzkoušel AMD Catalyst™ Accelerated Parallel Processing (APP) Technology Edition ve verzi 10.12 (10-12_vista64_win7_64_dd_ccc_ocl.exe) obsahuje v sobě i ATI Stream SDK včetně podpory OpenCL a PrimeGrid na Cimrmanovi jede , uvidím na výsledné časy.

EDIT3 : Tak výsledné časy na PrimeGrid jsou 1238 RUN Time a 681 CPU Time. Což by měl být RAC kolem 640K až 650K.
Koukal jsem i na podobné PC s HD5800 a tam jsou časy 1223 RUN Time a 601 CPU Time a 2311 kreditů.
Takže to tak nějak odpovídá.
Povolil jsem pouze MilkyWay, + je tam ještě pár WUs DNETC a v 7 večer pustím do turnaje DNETC.

[JardaPichSvetla]

Cimrman měl poslední 2 dny nějak málo kreditů, není tam něco nastaveno špatně?

[vkliber]

- přepl jsem ho zpátky z PrimeGrid na DNETC ... takže zřejmě úbytek kreditů
- na AQUA jsou teď nějaké menší (méně ohodnocené) jednotky
- od skončení turnaje jsem ho nesledoval (jsou vánoce a nesleduji ani svoje PC)