PG Turnaj 2023 - testy a nastavení

[RoKro]

Pokračuji zde na téma Process Lasso a Ryzeny se dvěma čiplety, hodí se to spíš sem do kanálu o testech a nastavení, než do hlavního turnajového.
Jak jsem psal, zkoušel jsem ručně nastavit konkrétním běžícím úlohám afinitu na jádra v rámci stejného čipletu. Vypadá to, že se tím doby výpočtu sníží i o jednotky hodin, ale zatím jsem detailně nekontroloval, jestli třeba ty jednotky spočítané před těmihle hrátkami neměly zrovna vyšší FFT a ty novější rychleji spočítané jednotky neměly FFT nižší, na to se ještě podívám.
Jak jsem si tak proklikával to Process Lasso, které je pro mě novou věcí, všiml jsem si, že se afinita procesu dá nastavit i tak, že se bere v úvahu cesta, odkud se proces spouští, což jsem předtím nevěděl. Tím už se řešení samo nabídlo.
Ve Woknech složce ProgramData, kde je složka BOINC, z níž se z podsložky pro PrimeGrid spouští ta důležitá LLR apka llr2_1.3.0_win64_220821.exe, jsem si udělal druhou složku BOINC2 a pomocí pár kroků jsem dosáhl toho, že mohu spouštět dva boinc klienty a taky dva BM (každý připojený na svého boinc klienta). V obou BM mám nastaveno využití 50% jader. A v Process Lasso mám nastaveno, že llr apka z BOINC složky má běhat na jádrech 0-11 a ta z BOINC2 složky na jádrech 12-23. Není to nastavení pro ten jeden konkrétní v tu chvíli běžící proces s určitým ID, takže to takhle funguje i třeba po přerušení výpočtu nebo po startu další jednotky.
Dal jsem tomu pár hodin googlení a zkoušení, musel jsem pár věcí pochopit, muselo mi něco dojít, ale zdá se, že se podařilo, co jsem potřeboval.
Až spočítám ještě pár jednotek (spíš až ke konci turnaje), tak zkusím sepsat nějakou statistiku, ať je srovnání, jak ten Ryzen 7900 maká bez nastavené afinity a s nastavenou afinitou.
Jestli tu někdo používá tyhle dvoučipletové Ryzeny, chtěl by tohle řešit, ale neví jak na to, můžu sepsat podrobnější návod. Trochu mě tedy zarazilo, že o nastavování afinity v Process Lassu tu psalo několik lidí, ale konkrétního how to se mi na můj dotaz nedostalo, přestože zvýšení výkonu jednoho člena je ve prospěch celého týmu.

[overtonesinger]

No, já v PROCES LASSO jednoduše nastavil "instance balancer" (ve zkušební době LASSO) pro daný proces (dle jména) na 8 cores (bez SMT). Takže první WU dostala prvních 8 sudých jader (celý první CoreCompleX), a druhá WU dostala posledních 8 sudých jader (celý druhý CCX)...

A fungovalo to i po skončení Trial verze LASSO, na tom Ryzen 9 5950X ("CNT-TR3" CPU).

Jenže, pak se ukázalo, že konkrétně pro SoB: 1 WU na všech 16 jádrech je výhodnější.

Pokračuji zde na téma Process Lasso a Ryzeny se dvěma čiplety, hodí se to spíš sem do kanálu o testech a nastavení, než do hlavního turnajového.
Jak jsem psal, zkoušel jsem ručně nastavit konkrétním běžícím úlohám afinitu na jádra v rámci stejného čipletu. Vypadá to, že se tím doby výpočtu sníží i o jednotky hodin, ale zatím jsem detailně nekontroloval, jestli třeba ty jednotky spočítané před těmihle hrátkami neměly zrovna vyšší FFT a ty novější rychleji spočítané jednotky neměly FFT nižší, na to se ještě podívám.
Jak jsem si tak proklikával to Process Lasso, které je pro mě novou věcí, všiml jsem si, že se afinita procesu dá nastavit i tak, že se bere v úvahu cesta, odkud se proces spouští, což jsem předtím nevěděl. Tím už se řešení samo nabídlo.
Ve Woknech složce ProgramData, kde je složka BOINC, z níž se z podsložky pro PrimeGrid spouští ta důležitá LLR apka llr2_1.3.0_win64_220821.exe, jsem si udělal druhou složku BOINC2 a pomocí pár kroků jsem dosáhl toho, že mohu spouštět dva boinc klienty a taky dva BM (každý připojený na svého boinc klienta). V obou BM mám nastaveno využití 50% jader. A v Process Lasso mám nastaveno, že llr apka z BOINC složky má běhat na jádrech 0-11 a ta z BOINC2 složky na jádrech 12-23. Není to nastavení pro ten jeden konkrétní v tu chvíli běžící proces s určitým ID, takže to takhle funguje i třeba po přerušení výpočtu nebo po startu další jednotky.
Dal jsem tomu pár hodin googlení a zkoušení, musel jsem pár věcí pochopit, muselo mi něco dojít, ale zdá se, že se podařilo, co jsem potřeboval.
Až spočítám ještě pár jednotek (spíš až ke konci turnaje), tak zkusím sepsat nějakou statistiku, ať je srovnání, jak ten Ryzen 7900 maká bez nastavené afinity a s nastavenou afinitou.
Jestli tu někdo používá tyhle dvoučipletové Ryzeny, chtěl by tohle řešit, ale neví jak na to, můžu sepsat podrobnější návod. Trochu mě tedy zarazilo, že o nastavování afinity v Process Lassu tu psalo několik lidí, ale konkrétního how to se mi na můj dotaz nedostalo, přestože zvýšení výkonu jednoho člena je ve prospěch celého týmu.

[RoKro]

Na instance balancer jsem v Lassu koukal, ale nezískal jsem z toho jistotu, že rozhodí úlohy mezi čiplety, že nepoužije náhodných x+x jader. Proto jsem se vydal složitější, ale snad stoprocentní cestou.

[overtonesinger]

Mno, naštěstí PROCES LASSO používá "zdravý rozum" a vždy přiřadí po-sobě-jdoucí jádra, takže výsledkem je rozhození 8 + 8 threadů na dva čiplety / CCX.

Na instance balancer jsem v Lassu koukal, ale nezískal jsem z toho jistotu, že rozhodí úlohy mezi čiplety, že nepoužije náhodných x+x jader. Proto jsem se vydal složitější, ale snad stoprocentní cestou.

[Dadu from Silesia]

Návod by byl fajn pro potencionální nadšence přemýšlející o vícečipletovém CPU co si pamatuji tak se Lasso řešilo před lety kvůli HT, aby ho člověk nemusel furt vypínat tak si v něm nastaví pro daný program plné jádra. Moc lidí s více socketovou deskou tu tehdy nebylo

[RoKro]

První nástřel návodu, prosím o připomínky a opravy. Není to úplně moje odbornost, ale snad tam moc neplácám.

Toto je návod, jak zajistit, aby dvě stejné paralelně běžící vícevláknové úlohy využívaly každá jen jádra jednoho chipletu v případě výpočtů na procesoru složeném ze dvou chipletů. V praxi jsem tenhle postup aplikoval ve Win 10 na procesor AMD Ryzen 7900 (dva chiplety, každý 6 fyzických jader) a na souběžný výpočet dvou jednotek PrimeGrid podprojektu Seventeen or Bust (SoB). Postup lze samozřejmě analogicky aplikovat třeba na počítání tří úloh na CPU se třemi chiplety nebo na počítání čtyř úloh na CPU se dvěma chiplety.
Řešením je použít aplikaci Process Lasso a v ní nastavit afinitu procesů na konkrétní jádra.
Aby PL umělo rozlišovat dvě paralelně běžící instance jedné aplikace, musí ty aplikace být spouštěny z různých složek, čehož lze docílit níže popsanými kroky.
Výchozím předpokladem je, že v počítači už existuje funkční používaná instalace BOINC.

1) V C:\ProgramData\BOINC v souboru cc_config.xml v sekci options nastavit (nebo přidat) parametr <allow_multiple_clients>1</allow_multiple_clients> (defaultně má hodnotu 0). Toto nastavení dovolí, aby běžel víc než jeden klient boinc.

2) V C:\ProgramData si vytvořit novou složku BOINC2. Složka se samozřejmě může jmenovat jinak, ale pak je třeba její jméno použít v dalších krocích tohoto návodu.

3) Ve složce BOINC2 si vytvořit bat soubor se dvěma níže uvedenými řádky.
"c:\Program Files\BOINC\boinc.exe" --allow_multiple_clients --redirectio --detach_console --gui_rpc_port 31418 --dir C:\ProgramData\BOINC2
exit

4) Spustit výše uvedený bat soubor.
Ten port v něm může být i jiný. Ve výchozím stavu by měl být boinc klient na portu 31416, pro běh dalšího klienta je tedy třeba použít odlišný port.
Spuštěním bat souboru se nastartuje (další) boinc klient (poběží na uvedeném portu) a zároveň to způsobí vznik několika dalších souborů a jedné složky pod složkou BOINC2.

5) Vytvořit zástupce pro spouštění druhého Boinc managera. V položce Cíl by mělo být uvedeno:
"C:\Program Files\BOINC\boincmgr.exe" /m /n 127.0.0.1 /g 31418 /p <heslo>
Místo <heslo> musí být uveden řetězec, který je obsahem souboru gui_rpc_auth.cfg ve vaší BOINC2 složce.

6) Spustit BM pomocí vytvořeného zástupce. Parametry ve spouštěcím řádku by měly zajistit, že se BM připojí k boinc klientovi běžícím na lokálním počítači na portu 31418.

7) Připojit v BM požadovaný projekt. Pokud má projekt používat k výpočtům všechna CPU jádra, pak je třeba v každém BM nastavit maximální počet použitých jader na 50%.
V případě projektu PrimeGrid je vlastní výkonná aplikace (pro LLR podprojekty je to v tuto chvíli llr2_1.3.0_win64_220821.exe) umístěna v C:\ProgramData\BOINC\projects\www.primegrid.com.
Tímto postupem jsem v praxi dosáhl toho, že mi běžely dva Boinc managery a každý z nich počítal jednu jednotku PrimeGrid SoB na šesti jádrech, přičemž jedna jednotka byla počítána LLR apkou ze složky ProgramData\BOINC\projects\www.primegrid.com a druhá jednotka LLR apkou ze složky ProgramData\BOINC2\projects\www.primegrid.com (rozdíl je v BOINC a BOINC2).

8 ) Když už výpočty běží ze dvou míst, je třeba v Process Lassu nastavit LLR apce z každé složky trvalou afinitu ke konkrétním jádrům procesoru. V současné verzi PL je to v menu Options/CPU/CPU Affinities.
Do položky Process match se uvede aplikace i s cestou (např. C:\ProgramData\BOINC\projects\www.primegrid.com\llr2_1.3.0_win64_220821.exe).
Do položky CPU affinity se uvedou požadovaná jádra (např. 0-5). Lze je i naklikat myší. Pravidlo se přidá tlačítkem Add Rule a pak se obdobně vloží druhé pravidlo, jen v cestě bude BOINC2 místo BOINC a budou uvedena jiná jádra (např. 6-11).
Jádra jsou číslována od nuly, pokud je zapnutý hyperthreading, pak sudá jsou fyzická jádra a lichá jsou hyperthread vlákna. První polovina jader jsou jádra prvního chipletu, druhá druhého. Takhle to aspoň je pro AMD Ryzen v okamžiku psaní tohoto návodu.

Podle bodu 8 je možné si nastavit afinitu i pro hrátky s PG testovacím balíčkem od Honzy, protože tam se pro každou ze souběžně spouštěných úloh vytváří vlastní složka s nakopírovanou výkonnou apkou.

[RoKro]

Mno, naštěstí PROCES LASSO používá "zdravý rozum" a vždy přiřadí po-sobě-jdoucí jádra, takže výsledkem je rozhození 8 + 8 threadů na dva čiplety / CCX.

Bylo by zajímavé znát chování balanceru v případě, že pc má dvě GPU a počítají se dvě CPU úlohy (7+7) a dvě GPU úlohy (1+1). Jestli to rozhodí 7+1+7+1 (nebo jinak rozumně), nebo 7+7+1+1 (nebo jinak nerozumně).

[Dadu from Silesia]

To mužeš nasimulovat pomocí integrované GPU co má AMD v CPU jen najít projekt, který podporuje Nvidii i AMD. A asi bude potřeba mít v té integrované zapojený kabel od monitoru teoreticky by stačil ten sekundární vstup třeba hdmi na monitoru.

[RoKro]

Já to nahodil spíš pro zajímavost, mne to netrápí, pomocí dvou BM si to můžu nastavit s jistotou. Jsem spíš zkoušel najít případ, kdy by mohl být můj komplikovaný postup lepší, než jednoduché použití load balanceru

[RoKro]

Kdyby někoho zajímalo, jestli má vůbec význam patlat se s nějakým nastavováním afinity, tak tady jsou tvrdá data z mých SoB jednotek spočítaných na AMD Ryzen7900 během turnaje:
Před nastavením afinity byla doba výpočtu jedné jednotky 25-26 hodin.
Po nastavení afinity je to 16-17 hodin na jednotku.
Počítány dvě jednotky souběžně, takže za uvedený čas se odevzdaly dvě jednotky.
Uvedené časy jsou jen z jednotek s FFT 3456, takže srovnávám hrušky a hrušky.
Jen pro srovnání, můj Intel 12700K počítal jednu FFT 3456 jednotku v průměru 14,6 hodiny, ale nepočítal dvě souběžně, počítal po jedné.

[Dadu from Silesia]

Gratuluji brutální rozdíl.

[forest]

Za necelé čtyři dny startuje předposlední turnajové kolo na podprojektu Extended Sierpinski Problem LLR (ESP). Zapojit půjde pouze CPU.

Pro testy Doporučuji kandidáta "238411*2^24216324+1"
FFT 2560K

Dejte prosím vědět, jak vám to nejlépe vychází s nastavením.

[forest]

Vychází mně v testech nejlépe využít pouze fyzická jádra (tedy u týmových strojů CPU AMD 5950X je to 16 z 32) na dvě jednotky počítané naráz. Tedy 2 WU, na každou nastavených 8 vláken.

[Dadu from Silesia]

U mě je to na 7800x3d na 8 jádrech
čas běhu 18,451 s

Jinak jsem koukal jak by se daly navýšit frekvence při AVX, ale vyšlo my, že to za těch 10 procent a 30Wh navíc nestojí dlouhodobě.
https://skatterbencher.com/2023/04/05/s ... -5400-mhz/

[forest]

Zítra ve 14h to startuje.

[technik007.cz]

Zdravim, prislo mi Raspberry Pi 5 a tak jsem udelal benchmarky s aplikaci pro nadchazejici turnaj na ruznem zeleze, ktere bylo po ruce a vse jelo na ubuntu/debian OS.

----------------------------------------------------------------------------------------------------------------------------------------
Raspberry Pi 5 4GB | oc to 2.8Ghz | 62.8°C active fan
Genefer 18 v4.02 7.16h
----------------------------------------------------------------------------------------------------------------------------------------
Radxa Zero 2GB | oc to 2Ghz | 81.6°C passive
Genefer 18 v4.02 22.8h
----------------------------------------------------------------------------------------------------------------------------------------
N4020 dualcore | throttling down from 2700 to ~2400Mhz | 80.0°C passive with light ambient airflow
Genefer 18 v4.02 15.1h
----------------------------------------------------------------------------------------------------------------------------------------
N3450 quadcore | 2089.314Mhz | 81.0°C passive with light ambient airflow
Genefer 18 v4.02 11.5h
----------------------------------------------------------------------------------------------------------------------------------------
5950x hexadecacore with HT on | PPT 160W, TDC 115A, EDC 160 A | 72C | mem 3600Mhz
Genefer 18 v4.02 2 * 16 threads 37m/task
----------------------------------------------------------------------------------------------------------------------------------------
Radeon VII 150W cap on
Genefer 18 v4.04 1 task 10m
----------------------------------------------------------------------------------------------------------------------------------------

Ukazalo se ze procesory bez podpory AVX/AVX2 nebo FMA3 hluboce zaostavaji a to dokonce i za SBC postavenem na arm64 SoC. Pak v turnaji zamestnam GPU asi 2-4 tasky soubezne se zvysenou prioritou pres Process Lasso, protoze vytizeni GPU v tomto testu kolisalo a pojedu pro zmenu na Windows 11. Tam mam vypnute aktualizace, takze by nemel byt problem.

[forest]

Těch 2x16 vláken ti vyšlo na AMD 5950X jako nejlepší nastavení? Testoval jsi i na vyšších aplikacích, než GFN18?

Je to velice zajímavé porovnání, moc díky za výsledky Hodilo by se k těm časům mít možnost přepočítat to i na poměr výkon/spotřeba, pokud by byla při jednotlivých testech změřená.

[technik007.cz]

Těch 2x16 vláken ti vyšlo na AMD 5950X jako nejlepší nastavení?

Po zkusenostech z predchozich testu jsem ani dalsi kombinace netestoval. Ten cpu ma 2 CCD a pri pocitani 1 appky na vsech vlaknech to prinaselo vzdycky v konecnem souctu horsi vysledky pri pocitani turnajuu Primegrid.
...Idkyz proc ne, muzu pridat cas pro 1*vsechny vlakna s HT a bez HT.

Testoval jsi i na vyšších aplikacích, než GFN18?

Netestoval, protoze by na tech slabsich stroji vychazely strasne dlouhe casy.

idea: Hodilo by se k těm časům mít možnost přepočítat to i na poměr výkon/spotřeba, pokud by byla při jednotlivých testech změřená.

Pravda, to je celkem podstatny udaj. Znovu jsem koupil Rasperry 4 nedavno, takze zkusim otestovat take toto SBC a pridat spotrebu pro toto i predchozi pc/sbc.

[technik007.cz]

Zatim posledni vydani se spotrebami. Pomer vykon/spotreba ale jsem nezapracoval. Nicmene navic jsem tam dal projekt Wanless s casy na jednotku a spotrebou, protoze ten se ukazuje celkem zajimave i na slabsich strojich s ARM SoC.
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Raspberry Pi 5 4GB | oc 2.8Ghz | 62.8°C active stock fan
Genefer 18 v4.02 7.16h 253 credits/h
-------------------------------------
oc 2.9Ghz, 0.9690V, over_voltage_delta=10000 | 64.5°C active stock fan + USB fan | 12W smart socket | wanless 11W 36min
Genefer 18 v4.02 7.19h 252 credits/h
---------------------------------------
stock clock 2.4Ghz, ( Voltage: 0.8882V ) | 58.4°C active stock fan | 10W smart socket | wanless 9W 43min
Genefer 18 v4.02 7.6h 238 credits/h
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Raspberry Pi 4 2GB | oc 2.3Ghz, 1.0850V, over_voltage=9 | 71°C active 120mm fan | 8.7W/6V USB power meter | wanless ~7.9W 46min
Genefer 18 v4.02 14.5h 125 credits/h
---------------------------------------
stock clock/Voltage 1.8hz/0.9100V | 52°C active 120mm fan | ~5.3W/6V USB power meter | wanless ~4.8W 59min
Genefer 18 v4.02 15.4h 118 credits/h
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Radxa Zero 2GB | oc 2Ghz | 81.6°C passive | 2.0W USB power meter | wanless 1.7W 89min
Genefer 18 v4.02 22.8h 79 credits/h
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
N4020 dualcore | throttling from 2700 to ~2400Mhz | 80.0°C passive | 13.3W smart socket | wanless 11.5W 60min
Genefer 18 v4.02 15.1h 120 credits/h
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
N3450 quadcore | 2089.314Mhz | 81.0°C passive | 11.5W smart socket | wanless 8.2W 79min
Genefer 18 v4.02 11.5h 158 credits/h
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
5950X hexadecacore with HT on | PPT 160W, TDC 115A, EDC 160A | 72C | mem 3600Mhz
Genefer 18 v4.02 2 * 16 threads 37min/task 98 credits/min/cpu

5950X hexadecacore with HT on | PPT 162W, TDC 120A, EDC 170A | 90C (2*gpu on) | mem 3400Mhz | smart socket 291W | wanless 276W
Genefer 18 2 * 16 threads | 37min/task 98 credits/min/cpu
Genefer 18 1 * 32 threads | 28min/task 65 credits/min/cpu
Genefer 18 1 * 16 t HT off| 29min/task 63 credits/min/cpu | 90C ! gpus on
---------------------------------------------------------------------------------------
Genefer 19 2 * 16 threads | 133min/task 100 credits/min/cpu
Genefer 19 1 * 16 t HT off| 88min/task 91 credits/min/cpu | avg 72.3C, only 90% PPT
---------------------------------------------------------------------------------------
Genefer 20 2 * 16 threads | 463min/task 146 credits/min/cpu

5950X hexadecacore with HT on | PPT 162W, TDC 150A, EDC 200A | 80C, GPU off| mem 3400Mhz | smart socket 304W | wanless 286W 32min
Genefer 20 1 * 32 threads | 298 min/task 114 credits/min/cpu
Genefer 20 2 * 16 threads | 460 min/task 147 credits/min/cpu | uses 162W/120A/195A peak 88C/avg 83C/amb 25C highest core 3863Mhz
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Radeon VII 150W cap on | real consumption 175W/GPU (+16%)
2 tasks / GPU
Genefer 18 32.8min/task 110 credits/min/gpu
Genefer 19 125.0min/task 127 credits/min/gpu
Genefer 20 266.6min/task 254 credits/min/gpu
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

[RoKro]

Myslím, že v testovacím balíčku je zastaralá GFN aplikace (nebo mám já zastaralý testovací balíček).
BM mi stáhnul apku genefer22g_windows64_23.07.00.exe z 11.11.2023. Nevím, jestli na tom záleží.
Jinak testy RTX 3080:
GFN 18 za 00:06:40
GFN 19 za 00:29:00
GFN 20 za 01:05:00
Ještě by to chtělo přiřadit bodové ohodnocení a dopočítat výnosnost v bodech za hodinu, to jsem zatím nestihl.