PG Turnaj 2018 - testy a nastavení

[RoKro]

takže i když ti OPTICKY polovina cpu s HT nebude nic dělat, udělá víc práce než když HT vypneš a pojedeš ho na 6 vláken na 100%.

Aha, tak to sorry, to mi přišlo tak sci-fi, že jsem to podvědomě vůbec nevzal na vědomí. Proto jsme si úplně nerozuměli.
Stále se mi to zdá neuvěřitelné, ale určitě vyzkouším.
Ještě jednou díky.

[Dzordzik]

Na tom není nic neuvěřitelného, je to o optimalizaci zatížení CPU a paměťového subsystému. Uvědom si, že každý systém má úzké hrdlo, které výkon omezuje a když CPU nebo paměťový řadič přetížíš, výkon bude klesat tím víc čím víc ho budeš přetěžovat.

Teď už to tedy chápeš jak ty výsledky číst nebo to mám zkusit napsat ještě jinak?

Ten tvůj test ti napovídá, že nejvyšší výkon ten tvůj systém odvede, když máš zapnut HT a v BOINCu ti každou jednu jednotku bude počítat celkem 6 threadů. Pokud máš tedy např. čtyřjádro a zapneš HT, bude se tvářit jako virtuální 8jádro. Nastavíš tedy pomocí app configu BOINC tak, aby počítal pouze jednu jednotku najednou a tu jednu jednotku bude počítat 6 threadů. I když to zní divně, jedno fyzické jádro, tedy 2 virtuální se ti budou "flákat", ale ve výsledku to odvede největší výkon. Kdybys tam nastavil cokoli jiného, bude to už jenom víc či míň horší. Pohňápala?

[RoKro]

No já mám šesti jádro, s HT tedy 12 vláken. Pochňápala jsem, že mi bude polovina vláken počítat a druhá se bude flákat a že tak je to prý nejlepší, lepší, než kdyby počítalo všech 12 vláken jednu jednotku a žádné se neflákalo nebo kdyby počítalo jednotku 6 vláken s vypnutým HT a tudíž se zase nic neflákalo.
Že může být výhodnější počítat na 6 vláknech z osmi dostupných mi připadá pochopitelné. Počítání jen na 6 vláknech z 12 dostupných je na první pohled težší uvěřit, ale proč ne. Už se mi takhle jedna jednotka počítá a podle dosavadního průběhu mě asi přesvědčí.
Já si to představuji tak, že každé to počítající vlákno bude strašně "tlusté" a zabere si skoro celé fyzické jádro a to flájakící vlákno zase bude "tenoučké" a skoro nic z potenciálního výkonu fyzického jádra neubere. Tudíž to 50% vytížení procesoru je 50% "na kusy", ale ne 50% na výkon. Když vidím čas výpočtu a čas do konce a taky teploty CPU, tak se teď rozhodně nikdo nefláká
Potřeboval jsem otevřít oči, snažil jsme se chápat teorii relativity pohledem newtonovské fyziky.
Díky

[LookAS]

Tudíž to 50% vytížení procesoru je 50% "na kusy", ale ne 50% na výkon.

ano, takhle to přesně je.

[forest]

Zkusil jsem v Prime95 otestovat svůj intel i7-8700K.

Kód: Vybrat vše

Timings for 1728K FFT length (6 cores, 1 worker):  1.29 ms.  Throughput: 773.52 iter/sec.
Timings for 1728K FFT length (6 cores hyperthreaded, 1 worker):  1.55 ms.  Throughput: 646.74 iter/sec.

Nejlíp mi tedy vychází mít zapnutý HT v BIOSu, ale pro výpočet HT nepoužívat.
Když jsem vypnul HT v BIOSu, tak vycházel throghput o trošku nižší (měřil jsem obě varianty víckrát).
Dokážu nastavit:

• počítání jedné jednotky na 12 vláknech se zapnutým HT,

• počítání 2 jednotek každé na 6 vláknech se zapnutým HT,

• počítání jedné jednotky na 6 vláknech se zapnutým HT, ale CPU jede na 50%,

• počítání jedné jednotky na 6 vláknech, CPU na 100%, ale bez HT v BIOSu

Ale jak u všech čertů nastavím v app_configu to, aby se při zapnutém HT počítala jedna jednotka na šesti vláknech (šesti fyzických jádrech), ale procesor byl vytížený na 100%?
Předem díky za tip.

Můžeš sem prosím postnout komplet ty výsledky z Prime95? Testoval jsi při vypnutém BM, tedy s minimálním zatížení CPU? Nějak se mně ty hodnoty zdají nízké na to, že jsou jak píšeš nejlepší. Musíš taky počítat s tím, že nejde jen o tu prostupnost, ale o co nejvíce zpracovaných jednotek za čas. Tedy jestli náhodou nevychází puštění se zapnutým HT při počítání dvou WU naráz (každá na šesti vláknech) hůře na propustnost, ale ve finále nezpracuješ za stejný čas třeba o 20% jednotek více díky tomu, že pojedeš dvě naráz, místo jen jedné.

[RoKro]

Celkový výpis z testu je:

Kód: Vybrat vše

Timings for 1728K FFT length (6 cores, 1 worker):  1.29 ms.  Throughput: 774.36 iter/sec.
Timings for 1728K FFT length (6 cores, 2 workers):  4.46,  4.44 ms.  Throughput: 449.73 iter/sec.
Timings for 1728K FFT length (6 cores, 3 workers):  7.13,  7.02,  6.97 ms.  Throughput: 426.31 iter/sec.
Timings for 1728K FFT length (6 cores, 4 workers): 14.87, 14.94,  7.18,  7.14 ms.  Throughput: 413.47 iter/sec.
Timings for 1728K FFT length (6 cores, 5 workers): 14.73, 14.82, 14.91, 14.61,  6.98 ms.  Throughput: 414.13 iter/sec.
Timings for 1728K FFT length (6 cores, 6 workers): 15.13, 15.00, 14.77, 15.00, 14.95, 14.95 ms.  Throughput: 400.89 iter/sec.
Timings for 1728K FFT length (6 cores hyperthreaded, 1 worker):  1.55 ms.  Throughput: 645.12 iter/sec.
Timings for 1728K FFT length (6 cores hyperthreaded, 2 workers):  4.84,  4.92 ms.  Throughput: 409.82 iter/sec.
Timings for 1728K FFT length (6 cores hyperthreaded, 3 workers):  7.77,  7.74,  7.73 ms.  Throughput: 387.31 iter/sec.
Timings for 1728K FFT length (6 cores hyperthreaded, 4 workers): 16.15, 15.81,  7.84,  8.01 ms.  Throughput: 377.57 iter/sec.
Timings for 1728K FFT length (6 cores hyperthreaded, 5 workers): 16.31, 15.80, 15.68, 15.67,  7.93 ms.  Throughput: 378.35 iter/sec.
Timings for 1728K FFT length (6 cores hyperthreaded, 6 workers): 16.21, 15.99, 16.07, 15.94, 16.41, 15.95 ms.  Throughput: 372.84 iter/sec.

Při nastavení, k němuž jsem došel po konzultacích v předchozích příspěvcích, tedy HT zapnuto, 6 vláken na jednotku a 50% procesorů v BM, se jednotka vypočetla za 21,851 sekund (čas výpočtu čerstvě stažené jednotky, která se hned začala počítat).
Teď mi jede výpočet, který zmiňuješ, tedy jako výše, ale 100% procesorů v BM, tj. dvě jednotky naráz. Po pěti a půl hodinách jsou obě jednotky ve čtvrtině, což je výrazně horší varianta, než těch trošku přes 6 hodin na plný výpočet jedné jednotky, jak uvádím výše.
Právě se chystám nastavit v BM zpět těch 50%, ať se po jedné dopočítají rychleji.

Co se týče toho času výpočtu, mám OC na 4,5 GHz, uvidím, jestli budou takto spočtené jednotky validní, nebo jestli se budu muset vrátit na ověřených 4,4 GHz.

EDIT: Jo, a při testování v Prime95 jsem výpočty BOINC samozřejmě neprovozoval a BM byl vypnutý. Měl jsem puštěnou Operu a Průzkumníka, zatížení CPU 0-1%.
Tobě vychází výrazně vyšší throughput? Při FFT=1728K?

[forest]

Ještě jsem se do testů nevrhnul, chystám se na ně příští týden. Jen mně to přišlo také zvláštní. Ještě bych být tebou vyzkoušel tedy variantu osmi a desíti vláken na jedné jednotce. On po hodině výpočtů už ten předpokládaný čas k dokončení zhruba sedí, takže nemusíš dělat celý test z daným nastavením.

[RoKro]

Něco ještě časem vyzkouším, uvidím, k jakým variantám se dostanu. Když zjistím něco zajímavého, určitě to sem dám vědět.

[Dzordzik]

Pošli ještě výsledky z Prime95 při vypnutém HT v BIOSU, pro porovnání.

[RoKro]

Bez HT (vypnuto v BIOSu) jsou čísla následující:

Kód: Vybrat vše

Timings for 1728K FFT length (6 cores, 1 worker):  1.32 ms.  Throughput: 755.38 iter/sec.
Timings for 1728K FFT length (6 cores, 2 workers):  4.74,  4.03 ms.  Throughput: 459.00 iter/sec.
Timings for 1728K FFT length (6 cores, 3 workers):  7.32,  6.88,  6.66 ms.  Throughput: 432.25 iter/sec.
Timings for 1728K FFT length (6 cores, 4 workers): 15.09, 13.76,  7.35,  6.82 ms.  Throughput: 421.49 iter/sec.
Timings for 1728K FFT length (6 cores, 5 workers): 15.36, 13.69, 13.53, 14.70,  6.03 ms.  Throughput: 445.96 iter/sec.
Timings for 1728K FFT length (6 cores, 6 workers): 15.49, 14.63, 14.66, 15.21, 14.55, 14.48 ms.  Throughput: 404.69 iter/sec.

Opět výrazně vede počítání jedné jednotky šesti vlákny.
Pustil jsem to několikrát a Throughput pro 6 cores, 1 worker se pohyboval od 732 do 755.
Je to tedy o chloupek horší výsledek, než se zapnutým HT. Obdoba toho, co jsi Dzordziku psal počátkem srpna v příspěvku s Blaženou a stehnem

Nechám v tomhle nastavení bez HT spočítat nějakou jednotku a dám vědět.

[Dzordzik]

Jj.Doporučím ti jednu věc, připrav si app config na počítání pouze 1 jednotky 6 thready. Ten otestuj reálně v BOINCu poprové bez HT v a podruhé s HT. Zapisuj si do excelu výsledky časů jednotek a to poak po nějaké době zprůměruj. Ono totiž zapnutí HT občas vede k nestabilitě časů výpočtů, podle toho jak se co v plánovači Win přiřadí, někdy se ti výpočet přiřadífyzickým jádrům, někdy se do toho zaplantá HT jádro a pak se to hádá. Ty to máš jednodušší v tom že máš jedno CPU v systému. U dvou je to ještě větší sranda. To co ti reálně bude vykazovat v průměru kratší čas výpočtu použij při turnaji. To je moje rada, možná ti někdo dá jinou.

[RoKro]

Jojo, zatím pro jednu jednotku na 6 vláknech najednou otestováno po jednom úkolu s HT a bez HT.
HT zapnuto: Času běhu: 21.851 Procesorový čas: 128.440
HT vypnuto: Času běhu: 21.717 Procesorový čas: 126.499
Na rozdíl od testu Prime95 je výsledek o ždibíček lepší s vypnutým HT, ale rozdíl půl procenta je hluboko pod možnými dalšími vlivy.
Ano, chtělo by to s oběma nastaveními víc testů a zprůměrovat, nevím, jestli se s tím chci ještě dál tak podrobně zaobírat, nevidím v tom už velký reálný přínos.

Místo toho testnu pro foresta ty varianty 8 vláken z 12 a 10 vláken z 12.

[Dzordzik]

Pokud je to šul nul, tak to jeď vždycky s vypnutým HT. Zapnuté HT do toho vnáší možnost špatného přiřazení úlohy vlánkům a může to hroně lítat. HT použij jenom tehdy, když je z toho stabilně větší výnos, jinak ne.

[forest]

Nezapomeňte při nastavování výpočtů pro turnaj také na to, že jednotky jsou opravdu hodně dlouhé. Při minimálním rozdílu mezi dvěmi nastaveními tedy preferujte výpočet menšího počtu jednotek. Tímto způsobem jich totiž pravděpodobně stihnete více odezdat do konce kola. Nebo ještě lépe, si na ten rychlejší doběh přepnout před koncem soutěžního kola.

[Honza1616]

tak mám problém, chtěl jsem začít taky testovat ale na tomto FFT mi test okamžitě skončí jen co odkliknu nastavení, test se tedy vlastně ani nespustí
čím to je ? na všech PC mi to jede normálně jen na Ryzenu se test nespustí

[LookAS]

jaký build v29,4?
se zaškrtnutím "benchmark all-complex FFTs" to taky nejede, případně jen 1 jádro 1 worker?
obsah results.txt nic nenapoví?

[Dzordzik]

U mě to vychází nejlíp takto:
Timings for 1728K FFT length (44 cores, 6 workers, hyperthreaded): 1.80, 1.81, 1.72, 2.00, 1.79, 1.67 ms. Throughput: 3390.46 iter/sec. Tj. jet 6 jednotek najednou, každou počítat 7 jádry a 2 jádra nechat volné. Pokud jsem v BOISu HT vypnul, výsledke byl 3349.46 iter/sec, což je minimální rozdíl a vzhledem k tomu že nemám dobré zkušenosti s rozdělováním threadů mezi oba CPU a mezi HT a neHT jádra, tak pojedu s vypnutým HT a bude klid.

[Dzordzik]

tak mám problém, chtěl jsem začít taky testovat ale na tomto FFT mi test okamžitě skončí jen co odkliknu nastavení, test se tedy vlastně ani nespustí
čím to je ? na všech PC mi to jede normálně jen na Ryzenu se test nespustí

Podle screenshotu máš zřejmě v BIOSu vypnutý HT, je to tak? Já to mám natavené stejně a chodí mi to a mám stejný build. Asi nějaká AMD specific chybka.

[Honza1616]

jaký build v29,4?
se zaškrtnutím "benchmark all-complex FFTs" to taky nejede, případně jen 1 jádro 1 worker?
obsah results.txt nic nenapoví?

jo jak zaškrtnu all-complex FFTs tak už to jede
ale "bez" ne-ééé, ani 1 jádro to nepustí

Podle screenshotu máš zřejmě v BIOSu vypnutý HT, je to tak? Já to mám natavené stejně a chodí mi to a mám stejný build. Asi nějaká AMD specific chybka.

ano HT je vypnuté, build jsem používal starší ale ani aktualizace na tento nejnovější nepomohl, chybou programu to tedy nebude, takže to bude chyba na mé straně, Win nebo BIOS??? ale kde, co...
no to je jedno jak povolím "benchmark all-complex FFTs" tak už to jede, sice nevím co to je ale to je jedno, snad to neovlivní výsledky

ovšem je zajímavé že to blokuje jen toto FFT, tedy "ASI" jen toto FFT

[RoKro]

Ještě bych být tebou vyzkoušel tedy variantu osmi a desíti vláken na jedné jednotce. On po hodině výpočtů už ten předpokládaný čas k dokončení zhruba sedí, takže nemusíš dělat celý test z daným nastavením.

Spočítal jsem jednu jednotku na osmi vláknech a jednu na 10, časy výpočtu níže. Překvapení se nekonalo, nejlíp stále vychází 6 vláken. Pojedu to s vypnutým HT.
8/12 HT 22,444
10/12 HT 23,047
6/12 HT 21,851
6/12 nonHT 21,717