Vizualizace souboru client_state.xml

Týmové statistiky, podpisy, atd.
Odpovědět

Mám zájem o vizualizaci dat ze souboru client_state.xml

Anketa končí za pon 28 zář, 2009 10:21

super, určitě to použiji i bez odstranění citlivých informací
1
9%
mám zájem, ale mám obavy ze zneužití citlivých informací proto je odstraním
8
73%
je mi to jedno
1
9%
nepoužiji to, pouze kdybych nemusel soubor nikam posílat (bylo by to součástí BM)
0
Žádná hlasování
v žádném případě, je to na nic
1
9%
 
Celkem hlasů: 11

Zpráva
Autor
Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Vizualizace souboru client_state.xml

#1 Příspěvek od vkliber »

EDIT : Nástroj Vizualizace souboru client_state.xml je již dostupný (zde). Upraveno 22.09.2009 13:38.

Mám v plánu vytvořit nástroj pro vizualizaci hlavního konfiguračního souboru client_state.xml. Tento soubor je umístěn v základním adresáři BOINC (adresář data) a obsahuje všechny aktuální informace které potřebuje BOINC pro svůj správný chod. Soubor je úzce spjat s BOINC Klientem, je načítán při spuštění BOINC a neustále je aktualizován. Ve stručnosti obsahuje tyto informace :
:arrow: informace o počítači
- časovou zónu
- IP adresu
- domain name
- počet CPU
- typ a model procesoru
- podporované instrukce (sse, sse2, ...)
- rychlost v celých číslech a v plovoucí čárce
- velikost paměti, swapu, disku, volného místa, ...
- typ a verzi operačního systému
:arrow: časové údaje
- kolik času v rámci dne je spuštěn počítač
- kolik času v rámci dne je připojen k síti
- kolik času v rámci dne je spuštěn BOINC
:arrow: síťové informace
- průměrná a maximální rychlost upload a download
- nastavení proxy
:arrow: projekty (informace o všech připojených projektech
- název a adresa projektu
- nastaveni projektu (pozastavení či puštění projektu, pozastavení či puštění práce, resource share)
- přihlašovací informace k projektu (email hash)
- statistiky uživatele a počítače na projektu (kredit, RAC)
- dluhy projektu (jak pro CPU tak pro CUDA a ATI, včetně duration correction factor)
- informace o aplikaci, jednotkých, stavech jednotek, ...
:arrow: ostatní
- aktuální verze klienta
- dostupná verze klienta

Mám to částečně zpracováno, nepředpokládám že bych zobrazoval informace o jednotkách projektů (to je podle mne zbytečné).
Mojí snahou je vytvořit nástroj pomocí kterého by i laik nebo nováček získal ucelený přehled o tom, jak BOINC vlastně funguje, nebo proč mu právě nefunguje jak předpokládá ... především se mi jedná o zobrazení dluhů projektů (s výhledem rozšířit nástroj o generování příkazu pro smazání dluhů konkrétních projektů).

A teď k tomu důležitému jak by to mělo fungovat :
:idea: uživatel si na svém disku najde soubor client_state.xml, vytvoří si jeho kopii kterou podle svého uvážení upraví a takto upravený soubor nahraje na server CNT který mu ihned zobrazí grafický výstup.

A teď to závažné :
:!: soubor client_state.xml obsahuje citlivé identifikační údaje jako je IP adresa a především email hash který slouží pro přihlášení na účet projektu bez znalosti hesla (je to vlastně zaheslovaný email). Soubory které budou nahrávány na server se samozřejmě nebudou nikde archivovat, ale přenos souboru mezi uživatelem a serverem není nijak chráněn. Proto jsem v předcházejícím odstavci zvýraznil : podle svého uvážení upraví. Bude na každém kdo by chtěl případně použít tento nástroj, aby ve svém vlastním zájmu odstranil ze souboru citlivé informace.

A teď hlavní otázka :
:?: bude o takový nástroj zájem, nebo si to mám udělat pouze pro sebe ;-) ?
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Uživatelský avatar
Zelvuska
Moderátor
Moderátor
Příspěvky: 563
Registrován: ned 25 bře, 2007 21:21

Re: Vizualizace souboru client_state.xml

#2 Příspěvek od Zelvuska »

Tak když uz ho vytvoříš, tak si ho neškudli :) Pokud bude uvedený na stránce, tak si ho lidi určitě alespoň vyzkouší a třeba ho budou používat. Já ho teda minimálně vyzkouším!

Uživatelský avatar
petnek
Moderátor
Moderátor
Příspěvky: 3669
Registrován: pon 28 led, 2008 12:44
rok narození: 16 kvě 1987
ID CNT statistics: 10883
Bydliště: Tábor
Kontaktovat uživatele:

Re: Vizualizace souboru client_state.xml

#3 Příspěvek od petnek »

Určitě bych to aspoň vyzkoušel. Na vygenerovaný přehled informací se moc rád podívám a prostuduji ho.
Obrázek

Uživatelský avatar
gigadisk
47.3684210526 %
47.3684210526 %
Příspěvky: 933
Registrován: ned 27 kvě, 2007 18:54
rok narození: 26 dub 1985
ID CNT statistics: 11430
Bydliště: Lanškroun

Re: Vizualizace souboru client_state.xml

#4 Příspěvek od gigadisk »

Taky na to docela rád kouknu :)
Mé největší nalezená prvočísla: 6863*2^1595297+1 (480,237 digits) 2983*2^1566580+1 (471592 digits), 4883907833457*2^1290000-1 (388,342 digits).

Uživatelský avatar
forest
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 19635
Registrován: pát 27 říj, 2006 10:19
rok narození: 03 bře 1977
ID CNT statistics: 71
Bydliště: Újezd u Brna

Re: Vizualizace souboru client_state.xml

#5 Příspěvek od forest »

Už se na to těším :smt045

Uživatelský avatar
Indy
52.6315789474 %
52.6315789474 %
Příspěvky: 1249
Registrován: úte 07 lis, 2006 16:13
rok narození: 0- 0-1969
ID CNT statistics: 288
Bydliště: Bučovice

Re: Vizualizace souboru client_state.xml

#6 Příspěvek od Indy »

Pro mě to asi moc nebude, mám těchto souborů několik, neustále je přehazuji a ještě opravuji i hodnoty přímo v něm. Vypovídací hodnota nebude pro mne moc velká.
CNT podpis | PrimeGrid Free-DC stats | WCG signature | User of the Day
Obrázek
Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek Obrázek a konečně taky Obrázek and Only For You - IQE Obrázek
a ještě GPUGrid: 4xObrázek 4xObrázek 2xObrázek 1xObrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: Vizualizace souboru client_state.xml

#7 Příspěvek od vkliber »

Tak jsem to zprovoznil, je to dostupné zde. V menu pod položkou "Nástroje".

Přiznám se, že né všem hodnotám plně rozumím, zvláště mám problém s CUDA a ATI, takže předpokládám, že legendu budu postupně upravovat.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: Vizualizace souboru client_state.xml

#8 Příspěvek od Honza »

vkliber píše:Přiznám se, že né všem hodnotám plně rozumím, zvláště mám problém s CUDA a ATI, takže předpokládám, že legendu budu postupně upravovat.
Něco konkrétního?
V poslední době se dost měnilo.
Pro CUDA a ATI se Debt se nerozuděluje na LTD či STD (jako u CPU) - myslím, že to nemá smysl (jakmile GPU výpočet začně, měl by ideálně dojet) a teoreticky by se jednotky v rámci projektu měli brát podle FIFO metody.
backoff_interval a backoff_time je obdobou pro CPU, pouze se jedná o jiné resources.
DCF zůstává společný.

Bylo by možné hodit screenshot co z toho vyleze jako ukázku?
Jestli správně rozumím, off-line to ukáže trochu víc než BM, bude to mít něco jako BOINC Debt Clearer, ale neplánuješ nic na management ve stylu BoincView nebo Boinc Studio. Prostě takové webové kukátko, ano?

nenym
78.9473684211 %
78.9473684211 %
Příspěvky: 7610
Registrován: úte 13 led, 2009 15:33
rok narození: 0- 0-1956
ID CNT statistics: 10124

Re: Vizualizace souboru client_state.xml

#9 Příspěvek od nenym »

Honza píše:DCF zůstává společný.
To je dost vážná potíž nejen na projektech, které posílají stejné jednotky pro CPU i GPU (Collatz, Seti), ale i na AQUA, která posílá rozdílné jednotky, ale stejně to lže jako když tiskne (pokud se mezi CPU jednotky vklíní GPU jednotka, tak DCF nabývá nesmyslných hodnot). DCF asi bude nutné perspektivně rozdělit.
Blíží se konsolidační balíček pětikolky; šetřím trojbojem - piji staré víno, jím plesnivé sýry a jezdím v autě bez střechy.
UotD 767x Obrázek
1xObrázek 3xObrázek 9xObrázek 12xObrázek Obrázek
Obrázek

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: Vizualizace souboru client_state.xml

#10 Příspěvek od vkliber »

Honza píše:
vkliber píše:Přiznám se, že né všem hodnotám plně rozumím, zvláště mám problém s CUDA a ATI, takže předpokládám, že legendu budu postupně upravovat.
Něco konkrétního?
V poslední době se dost měnilo.
Pro CUDA a ATI se Debt se nerozuděluje na LTD či STD (jako u CPU) - myslím, že to nemá smysl (jakmile GPU výpočet začně, měl by ideálně dojet) a teoreticky by se jednotky v rámci projektu měli brát podle FIFO metody.
backoff_interval a backoff_time je obdobou pro CPU, pouze se jedná o jiné resources.
DCF zůstává společný.

Bylo by možné hodit screenshot co z toho vyleze jako ukázku?
Jestli správně rozumím, off-line to ukáže trochu víc než BM, bude to mít něco jako BOINC Debt Clearer, ale neplánuješ nic na management ve stylu BoincView nebo Boinc Studio. Prostě takové webové kukátko, ano?
Na GPU zatím nepočítám, takže si to nemůžu tak říkajíc ošahat. Dluh u GPU je pouze jeden, jak je vidět i z výsledku.

Backoff_interval a backoff_time u grafik jsem přesně nevěděl co znamená, nazval jsem to "Interval detekce zařízení" a "Čas poslední detekce zařízení", ale obávám se, že se zde nejedná přesně o detekci. (sakra budu muset nějakou grafiku koupit, abych nebyl OT 45aa ).

Příklad výsledku je zde (můžeš zkusit i svůj vlastní, budeš vědět co máš očekávat).

Žádný management neplánuji, skutečně jde jen o to, zobrazit to ukecané xml v nějakém rozumném tvaru, vlastně to začalo tím, že jsem si dělal udělátko, které by mi z xml vyseklo na každém řádku pouze projekt a dluh.

Do budoucna počítám s vytvořením "BOINC Debt Clearer" (honosný název :lol: ), že si jen zaškrtneš projekty (nebo všechny), zmáčkneš tlačítko a vygeneruje se ti příkaz pro boinccmd.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Honza
63.1578947368 %
63.1578947368 %
Příspěvky: 3245
Registrován: pát 03 lis, 2006 10:46

Re: Vizualizace souboru client_state.xml

#11 Příspěvek od Honza »

vkliber píše:Backoff_interval a backoff_time u grafik jsem přesně nevěděl co znamená, nazval jsem to "Interval detekce zařízení" a "Čas poslední detekce zařízení", ale obávám se, že se zde nejedná přesně o detekci. (sakra budu muset nějakou grafiku koupit, abych nebyl OT 45aa ).
Na to nemusíš kupovat GPU, je to stejné jako u CPU.
Backof interval jsem vlastne doba odložení další komunikace (Deferring communication...) v případě, že se nezdaří Scheduler RPC.
Tedy typicky případ, kdy lehne SETI, nesnaží se každou další minutu, ale exponenciálně prodlužuje interval. Nebo když MW nemá práci, odloží další dotaz na práci, pak ještě...
Rozlišuje se to pro jednotlivé resource types kvůli tomu, že se server nezatěžoval dotazy na práci, kterou stejně nemá (například když není práce pro ATI, žádá pouze pro CPU).
Tak nějak zhruba řečeno, jak jsem pochopil.

Tabulka je fešná, to se musí nechat 22rrr

@ nenym - DCF z principu řeší důsledky, ne příčinu. Většinou je rezerva na straně projektu, kde nejsou schopni určit předpokládanou náročnost výpočtu.
BOINC (nevím v jaké verzi už to bylo) musel omezit hodnoty DCF mezi 0.01 a 99 - tedy aby to neulétlo víc jak o dva řády. Ale jestli projekt netrefí náročnost výpočtu o víc jak jeden řád, je něco divně (ignoruji nepřesnost benchmarků, které ale ulétnout max. o desítky procent, ne o 1-2 řády).

Uživatelský avatar
vkliber
Admin webu a fóra CNT
Admin webu a fóra CNT
Příspěvky: 10306
Registrován: čtv 29 bře, 2007 10:41
ID CNT statistics: 1
Bydliště: Brušperk, 48 let
Kontaktovat uživatele:

Re: Vizualizace souboru client_state.xml

#12 Příspěvek od vkliber »

Honza : Díky za info, popisy jsem upravil.
Statistiky CNT | Projekty CNT | Distribuované výpočty CNT | SETI CNT | Einstein CNT
.....::::: Proč se mít nejlépe, když se můžu mít čím dál tím stejně :::::.....
Moje skromná statistika tady , tady , tady nebo grafy.
˙ıɔıqɐɹʞ ʌ ǝןɐ 'ıןʇʎd ʌ ǝɔıɾɐz ǝʇɾndnʞǝu ʎpʞıu ˙˙˙

Odpovědět

Zpět na „statistiky.czechnationalteam.cz“