PG Turnaj 2021 - testy a nastavení

PrimeGrid Challenge
Odpovědět
Zpráva
Autor
Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 2905
Registrován: pát 03 lis, 2006 10:46

Re: Challenge Series - turnaj na Primegridu 2021

#181 Příspěvek od Honza »

S ohledem na GCW bych volil někde uprostřed kandidátů, tedy např. n*55^n+1.
Max in progress je teď u "pětapadesátky" z hodnotou 2753478, tedy 2753478*55^2753478+1.

Na svém 3950X bych pouštěl například Start_testu.bat 2 7 "2753478*55^2753478+1".
Tedy dva tasky každý po 7 threadech a zmíněný kandidát.

Na tomto procesoru a s tímto kandidátem vychází FFT velikosti 2240K.
Na jiném CPU to může vycházet jinak, což mi hned potvrdil další test na Xeonu kde je AVX-512 FFT 2100K.

A také se to může změnit během 26 dní, které zbývají do turnaje.
Ale díky balíčku lze snadno testovat na jakémkoli stroji s jakýmkoli kandidátem.

fobius
10.5263157895 %
10.5263157895 %
Příspěvky: 85
Registrován: ned 22 zář, 2019 22:04
ID CNT statistics: 13826
Bydliště: Praha - Kamenice

Re: PG Turnaj 2021 - testy a nastavení

#182 Příspěvek od fobius »

Tak jsem to teda spustil a co teď s tím? :) Pustil jsem téměř max threadů 24, 1 test a nechal jsem default to dlouhé číslo.
Teď to mám pustit ještě jednou 2 testy zároveň po 12 treadech a porovnat potom časy?
Jinými slovy jak zjistím to ideální nastavení pro můj cpu (v tomto přídě 14ti jádrový Xeon V4 s AVX2).
Budu rád pokud mi to hezky polopatě okomentujete, abych se vyhnul dalším otázkám a mohl xeonka pustit do boje :).
test.PNG
test.PNG (19.7 KiB) Zobrazeno 314 x

Uživatelský avatar
RoKro
47.3684210526 %
47.3684210526 %
Příspěvky: 1188
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: PG Turnaj 2021 - testy a nastavení

#183 Příspěvek od RoKro »

Ano, třeba tak. Pustit dvě úlohy po 12 vláknech, spočítají se za podobné časy, ty dva časy zprůměrovat a porovnat s dvojnásobkem času, cos počítal jednu úlohu na 24 vláknech.
Příklad - pokud se ti první úloha na 12 vláknech spočítá za 3900 sekund a druhá souběžně počítaná za 4100 sekund, tak průměrný čas je 4000 sekund a za ten spočítáš dvě úlohy najednou. Kdybys počítal jednu úlohu na 24 vláknech a po ní druhou úlohu na 24 vláknech, tak by to trvalo 2*2782.831 sekund, tzn znatelně déle, než je počítat souběžně. A pokud bude 2*12 lepší, než 1*24, můžeš ještě zkusit 3*8 vláken, kdyby to náhodou bylo ještě o chlup lepší. Nebo jiné kombinace, můžeš nechat i nějaké vlákno volné třeba pro obsluhu výpočtů na GPU nebo jinou práci, co na tom pc děláš.
Mimochodem, není úplně nutné nechat to dopočítat do konce, ono to průběžně ukazuje, kolik času trvá jedna iterace, jsou to nějaké malinké zlomky sekund, tak třeba po 5% nebo 10% výpočtu se ty časy na iteraci už moc nemění a můžeš pak porovnávat mezi sebou ty.
Obrázek

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 2905
Registrován: pát 03 lis, 2006 10:46

Re: PG Turnaj 2021 - testy a nastavení

#184 Příspěvek od Honza »

RoKro píše: ned 10 říj, 2021 19:08 Mimochodem, není úplně nutné nechat to dopočítat do konce, ono to průběžně ukazuje, kolik času trvá jedna iterace, jsou to nějaké malinké zlomky sekund, tak třeba po 5% nebo 10% výpočtu se ty časy na iteraci už moc nemění a můžeš pak porovnávat mezi sebou ty.
Přesně tak, jakmile se rozjede jednotka, jede lineární rychlostí - odchylky vznikají spíše okolním prostředím, co dalšího v rámci OS běží, zaplněností cache a podobně.
Myslím, že 2-3 minutky na ustálení stačí (dle délky jednotky).

Uživatelský avatar
RoKro
47.3684210526 %
47.3684210526 %
Příspěvky: 1188
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: PG Turnaj 2021 - testy a nastavení

#185 Příspěvek od RoKro »

A ještě koukám, na tvém printscreenu není GCW jednotka, má to FFT jen 240 a to testované číslo je mnohem nižší, než uváděl Honza v příspěvku nad tvým. Chce to poeditovat ten bat soubor, ideálně jeho kopii.
Obrázek

fobius
10.5263157895 %
10.5263157895 %
Příspěvky: 85
Registrován: ned 22 zář, 2019 22:04
ID CNT statistics: 13826
Bydliště: Praha - Kamenice

Re: PG Turnaj 2021 - testy a nastavení

#186 Příspěvek od fobius »

RoKro píše: ned 10 říj, 2021 19:13 A ještě koukám, na tvém printscreenu není GCW jednotka, má to FFT jen 240 a to testované číslo je mnohem nižší, než uváděl Honza v příspěvku nad tvým. Chce to poeditovat ten bat soubor, ideálně jeho kopii.
Pro amatéry by bylo super, udělat konkrétní bat soubor pro turnaj. Ale OK pochopil jsem a nacpal jsem tam to číslo z příspěvku:
Starting N-1 prime test of 2753478*55^2753478+1
Using zero-padded FMA3 FFT length 2304K, Pass1=384, Pass2=6K, clm=2, 7 threads, a = 3

Výsledky pro Xeon 2680 v4 14/28t:
1.200ms 24t
1.250ms 22t
3.245ms 2x12t
3.330ms 2x11t
8.673ms 3x8t
8.680ms 3x7t

Z toho mi pro tento cpu vyplývá, že nejlepší je pustit jednu úlohu na 22-24 vláken.

PS: a je tedy OK, že mi tam svítí instrukce FMA3, i když cpu má umět AVX2??

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 2905
Registrován: pát 03 lis, 2006 10:46

Re: PG Turnaj 2021 - testy a nastavení

#187 Příspěvek od Honza »

FMA, neboli fused multiply-accumulate, je řekněme podmnožina instrukcí, které AVX2 přineslo před cca 8 lety.
Takže je to ok.
Navíc, LLR si vybere, co je pro daný výpočet na daném CPU vhodné, ať z pohledu instrukcí, tak z pohledu velikosti FFT, kdy se stejný test na různých CPU/OS může lehce lišit, aby to bylo optimální.

Možná vylepšení pro testování:
1. Pokud někdo sepíše na pár řádků koncept toho testování, aby začátečník snadno pochopil a zbytečně netápal, rád to přidám do read.me

2. I ten baťák bych mohl před každým turnajem aktualizovat - dovolí-li čas a bude to dávat smysl, tj. soutěží se s LLR aplikací a ne GPU, ajko jsou poslední dva turnaje v roce.
Ale s ohledem na to, jak extrémně dlouho obvykle trvá update balíčku, by proběhli třeba 3 turnaje. (na úložiště nemám přístup, abych to udělal bez prodlení).

3. Psát doporučený parametr testu před turnajem na fórum. Občas i dělám, ale to v diskusi zapadne, takže to také nemusí mít valnou cenu.

4. Psát to do mailové upozornění na nadcházející turnaj, kde může být i link na testovací balíček, což je na zvážení těch, co to rozesílají.

Uživatelský avatar
RoKro
47.3684210526 %
47.3684210526 %
Příspěvky: 1188
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: PG Turnaj 2021 - testy a nastavení

#188 Příspěvek od RoKro »

Nejlepší mi přijde napsat před dalším kolem turnaje vhodného testovacího kandidáta sem do tohoto vlákna. Kdo chce testovat, ten sem chodí. A upravit si baťák je snad i jednodušší, než stahovat balíček.

***********
Trochu dopředu - před prosincovým kolem, kdy se bude počítat GFN (na GPU), by bylo fajn sem hodit ten příkaz, kterým se testuje na GPU. Aby si člověk mohl otestovat všechny tři GFN podprojekty a zvolit vhodnou strategii pro svoji GPU.
Obrázek

Uživatelský avatar
Honza1616
47.3684210526 %
47.3684210526 %
Příspěvky: 1002
Registrován: sob 09 kvě, 2015 13:05
rok narození: 22 lis 1991
ID CNT statistics: 18396
Bydliště: Lysice
Kontaktovat uživatele:

Re: PG Turnaj 2021 - testy a nastavení

#189 Příspěvek od Honza1616 »

RoKro píše: pon 11 říj, 2021 10:08 Trochu dopředu - před prosincovým kolem, kdy se bude počítat GFN (na GPU), by bylo fajn sem hodit ten příkaz, kterým se testuje na GPU. Aby si člověk mohl otestovat všechny tři GFN podprojekty a zvolit vhodnou strategii pro svoji GPU.
z loňska.... jen si upravte cestu k vašemu .EXE souboru GFN aplikace
GFN-21

Kód: Vybrat vše

C:\Users\Honza\Documents\boinctesty\GFN-21\GPU\geneferocl_windows_3.3.3-2.exe -q "707558^2097152+1" -d 0
GFN-22

Kód: Vybrat vše

C:\Users\Honza\Documents\boinctesty\GFN-22\geneferocl_windows_3.3.3-2.exe -q "208178^4194304+1" -d 0
GFN-DYFL

Kód: Vybrat vše

C:\Users\Honza\Documents\boinctesty\GFN-DYFL\geneferocl_windows_3.3.3-2.exe -q "941672^4194304+1"
EDIT: doplněni aktuální kandidáti ke všem GFN 33iii
.EXE aplikaci najdete po stažení úkolu v adresáři C:\ProgramData\BOINC\slots\******
Nová tabulka srovnání týmových počítačů https://docs.google.com/spreadsheets/d/ ... ge=116:116
testovací balíček https://drive.google.com/file/d/1G0cGDj ... nV30cqKxkz
video návod jak správně provést test https://youtu.be/ctxzxdsdVpI
výsledky posílejte zde viewtopic.php?f=24&t=4553 tabulku mohou editovat jen správci z důvodu ochrany vložených dat
- - - - - - - - - - - - - - - - - - - - - - - -
master - Online - i9-9900k, MSI MEG Z390 ACE, Gigabyte RTX2080ti, 32GB DDR4 3500MHz, M.2 Samsung EVO 960 + SSHD (2TB), zdroj Corsair RM850 (850W), Win10Pro 64bit
slave 1 Offline - AMD Ryzen 9 3900X, MSI X370 GAMING PRO CARBON, Asus GTX1080 + GTX1060(3GB), 16GB DDR4, SSD OCZ TRION 100 (250GB), Zalman ZM-1200, Win10Pro 64bit
slave 2 Offline - čeká na vylepšení :idea: Ryzen 9 49** :?: , AM4-B550 :?: , 16-32 GB DDR4 :?: RTX3080ti :?: , SSD Kingston240GB, zdroj Evolve 800W, Win10Pro 64bit

fobius
10.5263157895 %
10.5263157895 %
Příspěvky: 85
Registrován: ned 22 zář, 2019 22:04
ID CNT statistics: 13826
Bydliště: Praha - Kamenice

Re: PG Turnaj 2021 - testy a nastavení

#190 Příspěvek od fobius »

Výsledky pro netradiční dual-socket 2x Xeon 2680 v4:
HT ON:
3.079 52t
3.200 50t
1.824 2x25t (912 na jednu úlohu)
2.150 3x17t (717 na jednu úlohu)
3.750 4x12t (937 na jednu úlohu)
5.900 5x10t (1180 na jednu úlohu)

Zajímavé, že 1 úloha na 52 threadech na dual-socketu je vysoce nefektivní a rozdělení na 2-4 úlohy se chová 3x lépe.
Naposledy upravil(a) fobius dne pon 18 říj, 2021 10:35, celkem upraveno 1 x.

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 2905
Registrován: pát 03 lis, 2006 10:46

Re: PG Turnaj 2021 - testy a nastavení

#191 Příspěvek od Honza »

fobius píše: úte 12 říj, 2021 23:32 Výsledky pro netradiční dual-socket 2x Xeon 2680 v4:
Jaký OS?
Máš tam nastavenou affinitu? To dělá také hodně.

Zkusil bych i nějakou variantu typu 6x7t, tedy 3 tasky na fyzické CPU.

Jinak hezké testování...asi to na svém dual CPU také zkusím.

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 2905
Registrován: pát 03 lis, 2006 10:46

Re: PG Turnaj 2021 - testy a nastavení

#192 Příspěvek od Honza »

U mě, 2x16 fyzických jader, Win server 2016 ve virtuálu, AVX-512 inštrukce.

1,490 2x7t
2,080 4x7t
1,700 4x8t
8x4t lítá jak na houpačce, nejde pořádně změřit.
1,090 2x14t
1,060 2x16t

Jasný výtěž je 4x8t (pokud to nebude brzdit jiné procesy) a ke konci přejít třeba na 2x14t.

Nutno podotknout, že tomu výrazně sekunduje Process Lasso.

fobius
10.5263157895 %
10.5263157895 %
Příspěvky: 85
Registrován: ned 22 zář, 2019 22:04
ID CNT statistics: 13826
Bydliště: Praha - Kamenice

Re: PG Turnaj 2021 - testy a nastavení

#193 Příspěvek od fobius »

Honza píše: stř 13 říj, 2021 08:12
fobius píše: úte 12 říj, 2021 23:32 Výsledky pro netradiční dual-socket 2x Xeon 2680 v4:
Jaký OS?
Máš tam nastavenou affinitu? To dělá také hodně.

Zkusil bych i nějakou variantu typu 6x7t, tedy 3 tasky na fyzické CPU.

Jinak hezké testování...asi to na svém dual CPU také zkusím.
Je tam klasický Win10 Pro. S linuxem neumím a windows Server nevlastním.
Rád bych ti odpověděl i na tu affinitu, kdybych věděl co to je :) rád se poučím.

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 2905
Registrován: pát 03 lis, 2006 10:46

Re: PG Turnaj 2021 - testy a nastavení

#194 Příspěvek od Honza »

fobius píše: pát 15 říj, 2021 23:26 Rád bych ti odpověděl i na tu affinitu, kdybych věděl co to je :) rád se poučím.
Přiřazování threadů fyzickým jádrům. Takže necestují sem a tam, efektivněji se využívá CPU cache a obecně to vede k vyššímu výkonu.
https://en.wikipedia.org/wiki/Processor_affinity

Nemá to smysl např. u 4-6 core Intelu bez HT jedoucí jeden task, větší smysl to dává u vícejádrových (kdy běží více úloh), u AMD (protože slepenec) a je to v podstatě nutnost u dual-CPU.

fobius
10.5263157895 %
10.5263157895 %
Příspěvky: 85
Registrován: ned 22 zář, 2019 22:04
ID CNT statistics: 13826
Bydliště: Praha - Kamenice

Re: PG Turnaj 2021 - testy a nastavení

#195 Příspěvek od fobius »

Z testování Ryzen 3900x mi vychází nejlepší varianta 2x10t (dvě úlohy po 10ti vláknech):
SMT ON:
1.291 ms 1x20t (vytizeni cpu 86%)
2.071ms 2x10t (vytizeni cpu 87%) vítěz
4.468 ms 3x7t (vytizeni cpu 94%)
4.507 ms 3x6 (vytizeni cpu 81%)
9.141 ms 4x5 (vytizeni cpu 91%)
Naposledy upravil(a) fobius dne pon 18 říj, 2021 10:35, celkem upraveno 1 x.

fobius
10.5263157895 %
10.5263157895 %
Příspěvky: 85
Registrován: ned 22 zář, 2019 22:04
ID CNT statistics: 13826
Bydliště: Praha - Kamenice

Re: PG Turnaj 2021 - testy a nastavení

#196 Příspěvek od fobius »

Výsledek pro Xeon e5 2640 v4 10jader/20vláken:

HT OFF:
1.986ms 1x8t (cpu 91%)
4.370ms 2x4t (cpu 93%)

HT ON:
1.600ms 1x16t (cpu 83%)
3.664ms 2x8t (cpu86%)

V nastavení turnaje bylo doporučení vypnout HT, ale mě to vychází lépe s ním, můžu tomu testu věřit nebo něco opomíjím?

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 2905
Registrován: pát 03 lis, 2006 10:46

Re: PG Turnaj 2021 - testy a nastavení

#197 Příspěvek od Honza »

Pokud ti test ukazuje stabilně reportované hodnoty, můžeš tomu věřit.

Tento před 5 let starý Xeon nemá AVX-512, takže to může být jiná situace. A na něm lépe vychází více threadů, třeba i díky velké cache proti dekstopovým CPU.
Domnívám se, že kdyby měl AVX-512, tak bude polovina threadů pouze fyzických jádrech rychlejší (i přes pomalejší frekvenci) a efektivnější a použití HT by "zahltilo" AVX-512 jednotky.

Proto ty testy, protože záleží počtu kanálů a rychlosti RAM atd., které jsou individuální.

Odpovědět

Zpět na „Prime Grid“