PG Turnaj 2021 - testy a nastavení

PrimeGrid Challenge
Odpovědět
Zpráva
Autor
Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: Challenge Series - turnaj na Primegridu 2021

#181 Příspěvek od Honza »

S ohledem na GCW bych volil někde uprostřed kandidátů, tedy např. n*55^n+1.
Max in progress je teď u "pětapadesátky" z hodnotou 2753478, tedy 2753478*55^2753478+1.

Na svém 3950X bych pouštěl například Start_testu.bat 2 7 "2753478*55^2753478+1".
Tedy dva tasky každý po 7 threadech a zmíněný kandidát.

Na tomto procesoru a s tímto kandidátem vychází FFT velikosti 2240K.
Na jiném CPU to může vycházet jinak, což mi hned potvrdil další test na Xeonu kde je AVX-512 FFT 2100K.

A také se to může změnit během 26 dní, které zbývají do turnaje.
Ale díky balíčku lze snadno testovat na jakémkoli stroji s jakýmkoli kandidátem.

fobius
15.7894736842 %
15.7894736842 %
Příspěvky: 120
Registrován: ned 22 zář, 2019 22:04
ID CNT statistics: 13826
Bydliště: Praha - Kamenice

Re: PG Turnaj 2021 - testy a nastavení

#182 Příspěvek od fobius »

Tak jsem to teda spustil a co teď s tím? :) Pustil jsem téměř max threadů 24, 1 test a nechal jsem default to dlouhé číslo.
Teď to mám pustit ještě jednou 2 testy zároveň po 12 treadech a porovnat potom časy?
Jinými slovy jak zjistím to ideální nastavení pro můj cpu (v tomto přídě 14ti jádrový Xeon V4 s AVX2).
Budu rád pokud mi to hezky polopatě okomentujete, abych se vyhnul dalším otázkám a mohl xeonka pustit do boje :).
test.PNG
test.PNG (19.7 KiB) Zobrazeno 2616 x

Uživatelský avatar
RoKro
52.6315789474 %
52.6315789474 %
Příspěvky: 1438
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: PG Turnaj 2021 - testy a nastavení

#183 Příspěvek od RoKro »

Ano, třeba tak. Pustit dvě úlohy po 12 vláknech, spočítají se za podobné časy, ty dva časy zprůměrovat a porovnat s dvojnásobkem času, cos počítal jednu úlohu na 24 vláknech.
Příklad - pokud se ti první úloha na 12 vláknech spočítá za 3900 sekund a druhá souběžně počítaná za 4100 sekund, tak průměrný čas je 4000 sekund a za ten spočítáš dvě úlohy najednou. Kdybys počítal jednu úlohu na 24 vláknech a po ní druhou úlohu na 24 vláknech, tak by to trvalo 2*2782.831 sekund, tzn znatelně déle, než je počítat souběžně. A pokud bude 2*12 lepší, než 1*24, můžeš ještě zkusit 3*8 vláken, kdyby to náhodou bylo ještě o chlup lepší. Nebo jiné kombinace, můžeš nechat i nějaké vlákno volné třeba pro obsluhu výpočtů na GPU nebo jinou práci, co na tom pc děláš.
Mimochodem, není úplně nutné nechat to dopočítat do konce, ono to průběžně ukazuje, kolik času trvá jedna iterace, jsou to nějaké malinké zlomky sekund, tak třeba po 5% nebo 10% výpočtu se ty časy na iteraci už moc nemění a můžeš pak porovnávat mezi sebou ty.
Obrázek

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: PG Turnaj 2021 - testy a nastavení

#184 Příspěvek od Honza »

RoKro píše: ned 10 říj, 2021 19:08 Mimochodem, není úplně nutné nechat to dopočítat do konce, ono to průběžně ukazuje, kolik času trvá jedna iterace, jsou to nějaké malinké zlomky sekund, tak třeba po 5% nebo 10% výpočtu se ty časy na iteraci už moc nemění a můžeš pak porovnávat mezi sebou ty.
Přesně tak, jakmile se rozjede jednotka, jede lineární rychlostí - odchylky vznikají spíše okolním prostředím, co dalšího v rámci OS běží, zaplněností cache a podobně.
Myslím, že 2-3 minutky na ustálení stačí (dle délky jednotky).

Uživatelský avatar
RoKro
52.6315789474 %
52.6315789474 %
Příspěvky: 1438
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: PG Turnaj 2021 - testy a nastavení

#185 Příspěvek od RoKro »

A ještě koukám, na tvém printscreenu není GCW jednotka, má to FFT jen 240 a to testované číslo je mnohem nižší, než uváděl Honza v příspěvku nad tvým. Chce to poeditovat ten bat soubor, ideálně jeho kopii.
Obrázek

fobius
15.7894736842 %
15.7894736842 %
Příspěvky: 120
Registrován: ned 22 zář, 2019 22:04
ID CNT statistics: 13826
Bydliště: Praha - Kamenice

Re: PG Turnaj 2021 - testy a nastavení

#186 Příspěvek od fobius »

RoKro píše: ned 10 říj, 2021 19:13 A ještě koukám, na tvém printscreenu není GCW jednotka, má to FFT jen 240 a to testované číslo je mnohem nižší, než uváděl Honza v příspěvku nad tvým. Chce to poeditovat ten bat soubor, ideálně jeho kopii.
Pro amatéry by bylo super, udělat konkrétní bat soubor pro turnaj. Ale OK pochopil jsem a nacpal jsem tam to číslo z příspěvku:
Starting N-1 prime test of 2753478*55^2753478+1
Using zero-padded FMA3 FFT length 2304K, Pass1=384, Pass2=6K, clm=2, 7 threads, a = 3

Výsledky pro Xeon 2680 v4 14/28t:
1.200ms 24t
1.250ms 22t
3.245ms 2x12t
3.330ms 2x11t
8.673ms 3x8t
8.680ms 3x7t

Z toho mi pro tento cpu vyplývá, že nejlepší je pustit jednu úlohu na 22-24 vláken.

PS: a je tedy OK, že mi tam svítí instrukce FMA3, i když cpu má umět AVX2??

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: PG Turnaj 2021 - testy a nastavení

#187 Příspěvek od Honza »

FMA, neboli fused multiply-accumulate, je řekněme podmnožina instrukcí, které AVX2 přineslo před cca 8 lety.
Takže je to ok.
Navíc, LLR si vybere, co je pro daný výpočet na daném CPU vhodné, ať z pohledu instrukcí, tak z pohledu velikosti FFT, kdy se stejný test na různých CPU/OS může lehce lišit, aby to bylo optimální.

Možná vylepšení pro testování:
1. Pokud někdo sepíše na pár řádků koncept toho testování, aby začátečník snadno pochopil a zbytečně netápal, rád to přidám do read.me

2. I ten baťák bych mohl před každým turnajem aktualizovat - dovolí-li čas a bude to dávat smysl, tj. soutěží se s LLR aplikací a ne GPU, ajko jsou poslední dva turnaje v roce.
Ale s ohledem na to, jak extrémně dlouho obvykle trvá update balíčku, by proběhli třeba 3 turnaje. (na úložiště nemám přístup, abych to udělal bez prodlení).

3. Psát doporučený parametr testu před turnajem na fórum. Občas i dělám, ale to v diskusi zapadne, takže to také nemusí mít valnou cenu.

4. Psát to do mailové upozornění na nadcházející turnaj, kde může být i link na testovací balíček, což je na zvážení těch, co to rozesílají.

Uživatelský avatar
RoKro
52.6315789474 %
52.6315789474 %
Příspěvky: 1438
Registrován: pon 31 srp, 2009 08:57
rok narození: 29 črc 1970
ID CNT statistics: 10234
Bydliště: Beroun
Kontaktovat uživatele:

Re: PG Turnaj 2021 - testy a nastavení

#188 Příspěvek od RoKro »

Nejlepší mi přijde napsat před dalším kolem turnaje vhodného testovacího kandidáta sem do tohoto vlákna. Kdo chce testovat, ten sem chodí. A upravit si baťák je snad i jednodušší, než stahovat balíček.

***********
Trochu dopředu - před prosincovým kolem, kdy se bude počítat GFN (na GPU), by bylo fajn sem hodit ten příkaz, kterým se testuje na GPU. Aby si člověk mohl otestovat všechny tři GFN podprojekty a zvolit vhodnou strategii pro svoji GPU.
Obrázek

Uživatelský avatar
Honza1616
47.3684210526 %
47.3684210526 %
Příspěvky: 1058
Registrován: sob 09 kvě, 2015 13:05
rok narození: 22 lis 1991
ID CNT statistics: 18396
Bydliště: Lysice
Kontaktovat uživatele:

Re: PG Turnaj 2021 - testy a nastavení

#189 Příspěvek od Honza1616 »

RoKro píše: pon 11 říj, 2021 10:08 Trochu dopředu - před prosincovým kolem, kdy se bude počítat GFN (na GPU), by bylo fajn sem hodit ten příkaz, kterým se testuje na GPU. Aby si člověk mohl otestovat všechny tři GFN podprojekty a zvolit vhodnou strategii pro svoji GPU.
z loňska.... jen si upravte cestu k vašemu .EXE souboru GFN aplikace
GFN-21

Kód: Vybrat vše

C:\Users\Honza\Documents\boinctesty\GFN-21\GPU\geneferocl_windows_3.3.3-2.exe -q "707558^2097152+1" -d 0
GFN-22

Kód: Vybrat vše

C:\Users\Honza\Documents\boinctesty\GFN-22\geneferocl_windows_3.3.3-2.exe -q "208178^4194304+1" -d 0
GFN-DYFL

Kód: Vybrat vše

C:\Users\Honza\Documents\boinctesty\GFN-DYFL\geneferocl_windows_3.3.3-2.exe -q "941672^4194304+1"
EDIT: doplněni aktuální kandidáti ke všem GFN 33iii
.EXE aplikaci najdete po stažení úkolu v adresáři C:\ProgramData\BOINC\slots\******
Nová tabulka srovnání týmových počítačů https://docs.google.com/spreadsheets/d/ ... ge=116:116
testovací balíček https://drive.google.com/file/d/1G0cGDj ... nV30cqKxkz
video návod jak správně provést test https://youtu.be/ctxzxdsdVpI
výsledky posílejte zde viewtopic.php?f=24&t=4553 tabulku mohou editovat jen správci z důvodu ochrany vložených dat
- - - - - - - - - - - - - - - - - - - - - - - -
master - Offline předběžný prodej čehokoliv kromě disků- i9-9900k, Gigabyte Z390 AORUS MASTER -CF, Gigabyte RTX2080ti, 32GB DDR4 3500MHz, M.2 Samsung EVO 960 + SSHD (2TB), zdroj Zalman ZM-1200(1200W), Win10Pro 64bit
slave 1 Offline celá sestava na prodej- Ryzen 9 3900X, ASUS B550 F Gaming WIFI, Asus GTX1080, 16GB DDR4, SSD OCZ TRION 100 (250GB), zdroj Corsair RM850 (850W), Win10Pro 64bit
slave 2 Offline - čeká na vydání HW (podzim 2022) :idea: Ryzen 9 79** :?: , AM5 :?: , 32-64 GB DDR5 :?: RTX4080(ti) :?: , SSD WD_Black SN850 1TB

fobius
15.7894736842 %
15.7894736842 %
Příspěvky: 120
Registrován: ned 22 zář, 2019 22:04
ID CNT statistics: 13826
Bydliště: Praha - Kamenice

Re: PG Turnaj 2021 - testy a nastavení

#190 Příspěvek od fobius »

Výsledky pro netradiční dual-socket 2x Xeon 2680 v4:
HT ON:
3.079 52t
3.200 50t
1.824 2x25t (912 na jednu úlohu)
2.150 3x17t (717 na jednu úlohu)
3.750 4x12t (937 na jednu úlohu)
5.900 5x10t (1180 na jednu úlohu)

Zajímavé, že 1 úloha na 52 threadech na dual-socketu je vysoce nefektivní a rozdělení na 2-4 úlohy se chová 3x lépe.
Naposledy upravil(a) fobius dne pon 18 říj, 2021 10:35, celkem upraveno 1 x.

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: PG Turnaj 2021 - testy a nastavení

#191 Příspěvek od Honza »

fobius píše: úte 12 říj, 2021 23:32 Výsledky pro netradiční dual-socket 2x Xeon 2680 v4:
Jaký OS?
Máš tam nastavenou affinitu? To dělá také hodně.

Zkusil bych i nějakou variantu typu 6x7t, tedy 3 tasky na fyzické CPU.

Jinak hezké testování...asi to na svém dual CPU také zkusím.

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: PG Turnaj 2021 - testy a nastavení

#192 Příspěvek od Honza »

U mě, 2x16 fyzických jader, Win server 2016 ve virtuálu, AVX-512 inštrukce.

1,490 2x7t
2,080 4x7t
1,700 4x8t
8x4t lítá jak na houpačce, nejde pořádně změřit.
1,090 2x14t
1,060 2x16t

Jasný výtěž je 4x8t (pokud to nebude brzdit jiné procesy) a ke konci přejít třeba na 2x14t.

Nutno podotknout, že tomu výrazně sekunduje Process Lasso.

fobius
15.7894736842 %
15.7894736842 %
Příspěvky: 120
Registrován: ned 22 zář, 2019 22:04
ID CNT statistics: 13826
Bydliště: Praha - Kamenice

Re: PG Turnaj 2021 - testy a nastavení

#193 Příspěvek od fobius »

Honza píše: stř 13 říj, 2021 08:12
fobius píše: úte 12 říj, 2021 23:32 Výsledky pro netradiční dual-socket 2x Xeon 2680 v4:
Jaký OS?
Máš tam nastavenou affinitu? To dělá také hodně.

Zkusil bych i nějakou variantu typu 6x7t, tedy 3 tasky na fyzické CPU.

Jinak hezké testování...asi to na svém dual CPU také zkusím.
Je tam klasický Win10 Pro. S linuxem neumím a windows Server nevlastním.
Rád bych ti odpověděl i na tu affinitu, kdybych věděl co to je :) rád se poučím.

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: PG Turnaj 2021 - testy a nastavení

#194 Příspěvek od Honza »

fobius píše: pát 15 říj, 2021 23:26 Rád bych ti odpověděl i na tu affinitu, kdybych věděl co to je :) rád se poučím.
Přiřazování threadů fyzickým jádrům. Takže necestují sem a tam, efektivněji se využívá CPU cache a obecně to vede k vyššímu výkonu.
https://en.wikipedia.org/wiki/Processor_affinity

Nemá to smysl např. u 4-6 core Intelu bez HT jedoucí jeden task, větší smysl to dává u vícejádrových (kdy běží více úloh), u AMD (protože slepenec) a je to v podstatě nutnost u dual-CPU.

fobius
15.7894736842 %
15.7894736842 %
Příspěvky: 120
Registrován: ned 22 zář, 2019 22:04
ID CNT statistics: 13826
Bydliště: Praha - Kamenice

Re: PG Turnaj 2021 - testy a nastavení

#195 Příspěvek od fobius »

Z testování Ryzen 3900x mi vychází nejlepší varianta 2x10t (dvě úlohy po 10ti vláknech):
SMT ON:
1.291 ms 1x20t (vytizeni cpu 86%)
2.071ms 2x10t (vytizeni cpu 87%) vítěz
4.468 ms 3x7t (vytizeni cpu 94%)
4.507 ms 3x6 (vytizeni cpu 81%)
9.141 ms 4x5 (vytizeni cpu 91%)
Naposledy upravil(a) fobius dne pon 18 říj, 2021 10:35, celkem upraveno 1 x.

fobius
15.7894736842 %
15.7894736842 %
Příspěvky: 120
Registrován: ned 22 zář, 2019 22:04
ID CNT statistics: 13826
Bydliště: Praha - Kamenice

Re: PG Turnaj 2021 - testy a nastavení

#196 Příspěvek od fobius »

Výsledek pro Xeon e5 2640 v4 10jader/20vláken:

HT OFF:
1.986ms 1x8t (cpu 91%)
4.370ms 2x4t (cpu 93%)

HT ON:
1.600ms 1x16t (cpu 83%)
3.664ms 2x8t (cpu86%)

V nastavení turnaje bylo doporučení vypnout HT, ale mě to vychází lépe s ním, můžu tomu testu věřit nebo něco opomíjím?

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: PG Turnaj 2021 - testy a nastavení

#197 Příspěvek od Honza »

Pokud ti test ukazuje stabilně reportované hodnoty, můžeš tomu věřit.

Tento před 5 let starý Xeon nemá AVX-512, takže to může být jiná situace. A na něm lépe vychází více threadů, třeba i díky velké cache proti dekstopovým CPU.
Domnívám se, že kdyby měl AVX-512, tak bude polovina threadů pouze fyzických jádrech rychlejší (i přes pomalejší frekvenci) a efektivnější a použití HT by "zahltilo" AVX-512 jednotky.

Proto ty testy, protože záleží počtu kanálů a rychlosti RAM atd., které jsou individuální.

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 19635
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: PG Turnaj 2021 - testy a nastavení

#198 Příspěvek od forest »

Dotestoval jsem na všech sestavách, s referenčním číslem 2753478*55^2753478+1. Přikládám nejlepší nastavení pro konkrétní CPU, na kterých jsem mohl testovat:
- Intel i7 8700K - 1x6 2,553 bit/ms
- AMD Ryzen 9 5950X - 2x8 1,194 bit/ms tedy 0,597/1WU
- Intel i5 6600K - 1x4 3,09 bit/ms
- Intel i7 4790 - 1x4 4,545 bit/ms
- Intel i7 6950X - 1x10 1,249 bit/ms
- AMD Threadripper 2950X 2x15 2,68 bit/ms tedy 1,34/1WU
- 2x Intel Xeon Gold 6130 - 5x8 2,210 bit/ms tedy 0,44/1WU
- AMD Ryzen 9 3950X 2x11 1,939 bit/ms tedy 0,969/1WU

Vítězem je tedy stále ještě Bivoj, v těsném závěsu jsou nyní již tři provozované AMD 5950X. V porovnání s dvojkovým Threadripperem zvládne i PG jednotky za méně než poloviční časy 33iii Pravděpodobně by se nám vyplatilo výkonově i spotřebově ty slabší stroje nahradit v poměru jeden nový AMD 5950X za dva slabší stroje, které provozujeme. Po turnaji se zaměřím na aktuální proměření a porovnání takové varianty v rámci spotřeby a výkonu. Přijde mně to ale už takto dosti čitelné. Dosáhli bychom menšího počtu provozovaných strojů a zároveň i sjednocení pod většinovou platformu, tedy mnohem snadnější obsluha v rámci turnajů/testování/nastavení.

Kdo je ještě ze staré školy jako já a raději si vyladí poměr provozovaných jednotek a počet zapojených jader ručně prostřednictvím app_configu, tak zde je pro turnaj vzor:
<app_config>

<app>
<name>llrGCW</name>
<fraction_done_exact/>
<max_concurrent>1</max_concurrent>
</app>

<app_version>
<app_name>llrGCW</app_name>
<plan_class>mt</plan_class>
<cmdline>-t 6</cmdline>
<avg_ncpus>6</avg_ncpus>
</app_version>

</app_config>

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 19635
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: PG Turnaj 2021 - testy a nastavení

#199 Příspěvek od forest »

Do seznamu testovaných jsem doplnil i Oldjerryho Ryzena 3950X. Aktuálně je v nemocnici, ale má moc šikovnou manželku, díky které se mně podařilo nastavit turnaj vzdáleně a i ho ve 2 ráno odstartuji.

Snad se mu zdraví alespoň trochu zlepší a uvítáme ho mezi sebou opět na fóru.

Popřál nám po SMS sportu a BOINCu zdar :idea:

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: PG Turnaj 2021 - testy a nastavení

#200 Příspěvek od Honza »

Rozdíl 3950X a 5950X je dosti významný.
V práci mám jako stanici 3950X...třeba bude někdy příležitost na 5950X.

Když srovnám výkon mého domácího 8700K, tak působí jako staříček.
Ale je to snad poslední CPU od Intelu, který jde snadno uchladit a na to co na něm doma dělám, tak stačí.

Odpovědět

Zpět na „Prime Grid“