Ostatní diskuse týkající se projektu

[vkliber]

To vypadá na chybu na řádku :
./boinccmd --result http://escatter11.fullerton.edu/nfs/ $task suspend
zřejmě špatně vytáhl ze seznamu jednotek správný název.
Vyzkoušej před tím vypsat tu proměnou $task
nějak takto :
...
task=$(echo ${TASK:9})
echo $task
./boinccmd --result http://escatter11.fullerton.edu/nfs/ $task suspend
...
pokud to bude prázdné tak postupně vyzkoušej tyto příkazy přímo z příkazové řádky :
./boinccmd --get_results
./boinccmd --get_results | grep nfs -B 2 -A 10
./boinccmd --get_results | grep nfs -B 2 -A 10 | grep GUI..no -B 11
./boinccmd --get_results | grep nfs -B 2 -A 10 | grep GUI..no -B 11 | grep " name"
./boinccmd --get_results | grep nfs -B 2 -A 10 | grep GUI..no -B 11 | grep " name" | tail -n 1
první je jasný ... vypíše seznam WUs, další příkaz seznam prohledá a vypíše pouze řádky kde je text "nfs" a 2 řádky předtím a 10 zatím, další to opět prohledá a vypíše řádky kde je "GUI" a 11 předtím, další to vyfitruje na text " name" a poslední příkaz tail vypíše poslední řádek.

[nenym]

U mne funkční skript vypadá takto

Kód: Vybrat vše

#!/bin/sh
cd /home/hajek/BOINC
until [ $(./boinccmd --get_results | grep -c nfs) == 0 ] ; do
if [ !$(./boinccmd --get_results | grep nfs -A 10 | grep -c active.state..1) ] ; then
TASK=$(./boinccmd --get_results | grep nfs -B 2 -A 10 | grep GUI..yes -B 11 | grep "name" | head -n 1)
task=$(echo ${TASK#*:})
./boinccmd --result http://escatter11.fullerton.edu/nfs/ $task resume
fi
until [ $(./boinccmd --get_results | grep nfs -A 10 | grep report..no -A 7 | grep -c GUI..no) -lt 2 ] ; do
TASK=$(./boinccmd --get_results | grep nfs -B 2 -A 10 | grep GUI..no -B 11 | grep "  name" | tail -n 1)
task=$(echo ${TASK#*:})
./boinccmd --result http://escatter11.fullerton.edu/nfs/ $task suspend
done
sleep 60
done

Abych udržel pouze jeden aktivní task, musel jsem prohodit pořadí resume a suspend.
Nechápu, proč na trim řetězce nefunguje dvojtečková konvence a musel jsem použít obskurní # konvenci. Také mi z nějakých záhadných důvodů nefunguje v podmínce operátor "==", musel jsem použít negaci. Asi pořád problém kódování, nebo mám bádat jinde?

[vkliber]

paráda ... nikdy není pozdě podlehnout kouzlu skriptovacích jazyků na linuxu .

...
Nechápu, proč na trim řetězce nefunguje dvojtečková konvence a musel jsem použít obskurní # konvenci. Také mi z nějakých záhadných důvodů nefunguje v podmínce operátor "==", musel jsem použít negaci.
...

Na 99% to bude tím, že tobě se skriptík spouští v "sh" (/bin/sh), kdežto já (a zřejmě i původní autor) používáme novější "bash" (/bin/bash) - bash je více "user friendly" k programátorům než originální sh.

V čem se skript spustí je dáno direktivou na prvním řádku skriptu
#!/bin/sh

a příkaz
/bin/sh --version
ti prozradí více o interpretaci shelu - u mne to vrací

Kód: Vybrat vše

GNU bash, version 3.2.25(1)-release (x86_64-redhat-linux-gnu)
Copyright (C) 2005 Free Software Foundation, Inc.

[Frenk]

8.1.2011 zacina turnaj na projektu, slo by prihlasit? Rad bych se pridal

[vkliber]

Přepsání skriptu pro potlačení více běžících jednotek do Windows.
Původní skript pro Linux je zde.
Zároveň první skript který používá kostlivce.

Kód: Vybrat vše

/*!
    Autor : Vit Kliber, Czech National Team o.s.
Vytvoreno : 11.01.2012
    Nazev : boinc_manage_nfs_tasks.js
    Zdroj : boinc_framework.js
    Popis : Skript vychazi z Kostry skriptu pro budouci skripy pro manipulaci s jednotkami
            ( url=http://forum.czechnationalteam.cz/viewtopic.php?p=53537#p53537 )
            Tento provadi manipulaci s jednotkami projektu NFS ( http://escatter11.fullerton.edu/nfs/ )
            Pozadavek je nasledujici : nechat pocitat maximalne 2 <pocet_aktivnich_jednotek> jednotky
            a ostatni pozastavit
*/

// adresa projektu (nejpravdepodobneji bude skript manipulovat s jednotkami jednoho projektu)
var projekt = "http://escatter11.fullerton.edu/nfs/";

// pocet maximalne aktivnich jednotek
var pocet_aktivnich_jednotek = 2;

// verze boinc, je zjistena funkci verze(), pokud je prazdne nepodarilo se zjistit a skript se ukonci
var boinc_verze = "";

// prikaz pro zjisteni aktualnich jednotek v BOINC
var boinc_jednotky = "";

// prikaz pro manipulaci s jednotkou
var boinc_jednotka = "";

// 1 = Debug ON, 0 = Debug OFF ... jestli se maji vypisovat pri behu hlaseni
var debug_code = 1;

// pro vypsani ladiciho textu pri behu skriptu
function alert(text)
{
  if (debug_code != 0)
  {
    return (new ActiveXObject("WScript.Shell")).Popup(text, 0, WScript.ScriptName, 64);
  }
}

// zjisti verzi BOINC
function verze()
{
  // definice noveho objektu WScript.Shell (umozni mi spoustet externi prikazy)
  var objekt_shell = new ActiveXObject("WScript.Shell");
  // definice metody Exec, spusti prikaz a pointer uchova v promene <objekt_exec>
  var objekt_exec  = objekt_shell.Exec("boinccmd.exe --version");
  // textova promena do ktere se ulozi cely obsah standardniho vystupu predchazejiciho prikazu
  var verze_text   = objekt_exec.StdOut.ReadAll();
  alert(verze_text);
  // promena <verze_text> by mela nyni obsahovat jeden radek s timto obsahem (podle verze) : "boinccmd,  built from BOINC 6.12.33"
  // uchovam pozici textu BOINC z promene <verze_text>
  var pozice = verze_text.indexOf("BOINC");
  // jestlize je ruzne od -1 tak v obsahu <verze_text> je na pozici <pozice> text BOINC (podarilo se spustit prikaz "boinccmd.exe --version")
  if (pozice != -1)
  {
    // z <verze_text> vyriznu text od pozice <pozice> (prictu 6 ... delka textu BOINC a mezera)
    boinc_verze = verze_text.substr(6+pozice);
    // nyni je v <boinc_verze> hodnota 6.12.33
    alert(boinc_verze);
    return true;
  }
  else // verzi BOINC se nepodarilo zjistit, vracim FALSE
  {
    return false;
  }
}

// funkce pro porovnani dvou verzi ve tvaru X.X.X, ocekava promene ve tvaru pole
function porovnani_verzi(verze1, verze2)
{
  // promenne <verze1> a <verze2> jsou pole textovych retezcu, tak je prevedu na cisla
  verze1[0] = (parseInt(verze1[0]) || 0); 
  verze1[1] = (parseInt(verze1[1]) || 0); 
  verze1[2] = (parseInt(verze1[2]) || 0); 
  verze2[0] = (parseInt(verze2[0]) || 0); 
  verze2[1] = (parseInt(verze2[1]) || 0); 
  verze2[2] = (parseInt(verze2[2]) || 0); 
  if (verze2[0] != verze1[0])
    return (verze2[0] > verze1[0]);
  else
  {
    if (verze2[1] != verze1[1])
      return (verze2[1] > verze1[1]);
    else
    {
      if (verze2[2] != verze1[2])
        return (verze2[2] > verze1[2]);
      else
        return true;
    }
  }
}

// odstrani z retezce koncove mezery a znak konce radku
function trim(text)
{
  return text.replace(new RegExp("[" + "\\n\\s" + "]+$", "g"), "");
}

// provede nastaveni promenych podle verze BOINC
function init()
{
  // od verze BOINC 6.12 vcetne je jina syntaxe programu boinccmd
  var verze_pro_porovnani = "6.12.0";
  // zavolam funkci ktera zjisti verzi BOINC a pokud se to podari nastavim zakladni promenne
  if (verze())
  {
    alert("Porovnavam verzi " + boinc_verze + " s referencni verzi " + verze_pro_porovnani);
    if (porovnani_verzi(verze_pro_porovnani.split('.'),boinc_verze.split('.')))
    {
      // Verze BOINC >= 6.12
      boinc_jednotky = "boinccmd.exe --get_tasks";
      boinc_jednotka = "boinccmd.exe --task";
    }
    else
    {
      // Verze BOINC <  6.12
      boinc_jednotky = "boinccmd.exe --get_results";
      boinc_jednotka = "boinccmd.exe --result";
    }
    return true;
  }
  else // funkce pro zjisteni verze se nepodarila, vracim FALSE
  {
    return false;
  }
}

/* MAIN */
// zavolam funkci ktera nastavi zakladni promenne
if (init())
{
  // v tuto chvili je uspesne zjistena verze a
  // uspesne nastavene zakladni promenne <boinc_jednotky> a <boinc_jednotka>
  // definuji novy objekt WScript.Shell (umozni mi spoustet externi prikazy)
  var objekt_shell = new ActiveXObject("WScript.Shell");
  // definuji metodu Exec, spusti prikaz <boinc_jednotky> a pointer uchova v promene <objekt_exec>
  var objekt_exec  = objekt_shell.Exec(boinc_jednotky);
  // textova promena do ktere se ulozi cely obsah standardniho vystupu predchazejiciho prikazu
  var text_vystup  = objekt_exec.StdOut.ReadAll();
  // na konec <text_vystup> jeste pridam jednu prazdnou sekci abych pak nemusel resit konec  
  text_vystup = text_vystup + '\n' + "X) -----------" + '\n';
  // promena <text_vystup> by mela nyni obsahovat cely standardni vystup ktery vraci prikaz "boinccmd.exe --get_tasks"
  // definuji pole do ktereho prevedu obsah <text_vystup>
  var pole_vystup  = new Array();
  // oddelovacem bude znak EOL (EndOfLine) neboli \n
  // pole <pole_vystup> se naplni tak, ze kazdy dalsi radek bude v dalsim prvku
  // 1. radek v  pole_vystup[0], 2. radek v  pole_vystup[1], ...
  pole_vystup = text_vystup.split('\n');
  // nyni musime v cyklu projit vsechny radky (vyzaduje znalost vystupu "boinccmd.exe --get_tasks")
  // jednotlive jednotky jsou oddeleny v sekcich a o kterou jednotku se jedna zjistime az uvnitr sekce
  // takze si do nejakych promenych musime ukladat co budeme dale potrebovat a az sekce skonci
  // (zacne nova ... proto jsme si na konec pridali jednu prazdnou sekci pro ukonceni posledni sekce)
  // tak se rozhodneme podle obsahu ulozenych promenych co dal podnikneme
  // pripravim si promenne
  var b_name              = ""; // nazev jednotky (name)
  var b_state             = ""; // stav jednotky (state) 2 ... Pocita nebo Pripraven nebo Cekam na zpracovani, 4 ... Odesilam, 5 ... Odeslan. Pripraven k ohlaseni
  var b_scheduler_state   = ""; // stav scheduleru jednotky (scheduler state) 0 ... Pripraven, 1 ... Cekam na zpracovani, 2 ... Pocita
  var b_suspended_via_GUI = ""; // pozastaveno (suspended via GUI) no, yes
  var b_active_task_state = ""; // stav jednotky (active_task_state) 0 ... Pripraven, 1 ... Pocitam, 9 ... Cekam na zpracovani
  var ano                 = 0;  // 1 = ANO, 0 = NE ... jestli se jedna o projekt ktery nas zajima
  var ind                 = 0;  // index pro pole do ktereho budu ukladat hodnoty
  var jednotka = new Array();   // pole do ktereho se budou ukladat radky
                                // kazdy radek bude zase pole ve tvaru ([0] = name, [1] = state, [2] = scheduler_state, [3] = suspended_via_GUI, [4] = active_task_state)

  // a ted cyklus pres cele pole
  for(var i = 0; i < pole_vystup.length; i++)
  {
    // jestlize radek obsahuje text ") -----------" tak se jedna o zacatek nove sekce
    if (pole_vystup[i].indexOf(") -----------") != -1)
    {
      // jestlize je <ano> nastaveno (jedna se o projekt ktery nas zajima) je treba provest pozadovanou akci
      if (ano == 1) {
        alert("NACITANI JEDNOTEK (" + ind + ") :\nProjekt:" + projekt + "\nJednotka:" + b_name + "\nStav:" + b_state + "\nStav scheduleru:" + b_scheduler_state + "\nsuspended_via_GUI:" + b_suspended_via_GUI + "\nactive_task_state:" + b_active_task_state);
        // dale me budou zajimat pouze jednotky ktere maji stav jednotky = 2 (state), ty ktere jsou ve stavu Odesilam nebo Odeslany uz resit nebudu
        if (b_state == 2) {
          // ulozim hodnoty do pole
          jednotka[ind] = new Array(b_name, b_state, b_scheduler_state, b_suspended_via_GUI, b_active_task_state);
          // a zvednu index o 1
          ind = ind + 1;
        }
      }
      // a po akci si opet vynulujeme promenne
      b_name              = "";
      b_state             = "";
      b_scheduler_state   = "";
      b_suspended_via_GUI = "";
      b_active_task_state = "";
      ano                 = 0;
    }
    // jestlize radek obsahuje text "   name: " tak se jedna o radek kde je nazev jednotky
    else if (pole_vystup[i].indexOf("   name: ") != -1)
    {
      // a nazev jednotky si uchovam do <b_name>
      b_name = trim(pole_vystup[i].substr(9));
    }
    // jestlize radek obsahuje text "   state: " tak se jedna o radek kde je stav jednotky
    else if (pole_vystup[i].indexOf("   state: ") != -1)
    {
      // a stav jednotky si uchovam do <b_state>
      b_state = trim(pole_vystup[i].substr(10));
    }
    // jestlize radek obsahuje text "   scheduler state: " tak se jedna o radek kde je stav scheduleru jednotky
    else if (pole_vystup[i].indexOf("   scheduler state: ") != -1)
    {
      // a stav scheduleru jednotky si uchovam do <b_scheduler_state>
      b_scheduler_state = trim(pole_vystup[i].substr(20));
    }
    // jestlize radek obsahuje text "   suspended via GUI: " tak se jedna o radek kde je informace o pozastaveni jednotky
    else if (pole_vystup[i].indexOf("   suspended via GUI: ") != -1)
    {
      // a informaci o pozastaveni jednotky si uchovam do <b_suspended_via_GUI>
      b_suspended_via_GUI = trim(pole_vystup[i].substr(22));
    }
    // jestlize radek obsahuje text "   active_task_state: " tak se jedna o radek kde je informace o active_task_state
    else if (pole_vystup[i].indexOf("   active_task_state: ") != -1)
    {
      // a informaci o active_task_state si uchovam do <active_task_state>
      b_active_task_state = trim(pole_vystup[i].substr(22));
    }
    // jestlize radek obsahuje text "   project URL: " tak se jedna o radek kde je adresa projektu
    else if (pole_vystup[i].indexOf("   project URL: ") != -1)
    {
      // a jestli radek obsahuje i adresu projektu ktery me zajima, tak si nastavim <ano>
      if (pole_vystup[i].indexOf("   project URL: " + projekt) != -1)
      {
        ano = 1;
      }
      else
      {
        ano = 0;
      }
    }
  }
  // jestlize je pole naplnene, tak <ind> bude vetsi nez 0
  if (ind > 0)
  {
/*
    // cele pole projdeme radek po radku a vypiseme
    for(var i = 0; i < ind; i++)
    {
      alert("VYPIS JEDNOTEK (" + i + ") :\nProjekt:" + projekt + "\nJednotka:" + jednotka[i][0] + "\nStav:" + jednotka[i][1] + "\nStav scheduleru:" + jednotka[i][2] + "\nsuspended_via_GUI:" + jednotka[i][3] + "\nactive_task_state:" + jednotka[i][4]);
    }
*/
    // pro nas pozadavek je ale vhodne prochazet pole od konce, a jednotky postupne pozastavit (nebo nechat pozastavene)
    // a teprve az se dostaneme na zacatek pole, tak prvnich nekolik jednotek pustit (nebo nechat pustenych)
    for(var i = ind-1; i >= 0; i--)
    {
      alert("VYPIS JEDNOTEK OD KONCE (" + i + ") :\nProjekt:" + projekt + "\nJednotka:" + jednotka[i][0] + "\nStav:" + jednotka[i][1] + "\nStav scheduleru:" + jednotka[i][2] + "\nsuspended_via_GUI:" + jednotka[i][3] + "\nactive_task_state:" + jednotka[i][4]);
      // v promenne <pocet_aktivnich_jednotek> je pocet jednotek ktere se maji pocitat
      if (i < pocet_aktivnich_jednotek)
      // vsechny jednotky ktere maji index <i> mensi nez <pocet_aktivnich_jednotek> pustime
      {
        // zjistime jestli je jednotka pozastavena
        if (jednotka[i][3] == "yes")
        {
          // a jestli ano tak ji pustime
          alert("Spoustim jednotku " + jednotka[i][0]);
          var resume_exec = objekt_shell.Exec(boinc_jednotka + " " + projekt + " " + jednotka[i][0] + " resume");
        }
      }
      else
      // vsechny ostatni pozastavime
      {
        // zjistime jestli neni jednotka pozastavena
        if (jednotka[i][3] == "no")
        {
          // a jestli neni tak ji pozastavime
          alert("Zastavuji jednotku " + jednotka[i][0]);
          var suspend_exec = objekt_shell.Exec(boinc_jednotka + " " + projekt + " " + jednotka[i][0] + " suspend");
        }
      }
    }
  }
}
alert("Konec.");

Odzkoušeno na jiném projektu.
Neobsahuje nekonečnou smyčku a Sleep (můžu doplnit), je tedy určeno pro spouštění v určitých časových intervalech.

[nenym]

Super, díky moc.

[nenym]

Úžasně jednoduché k použití. Jak zatím používám
- Win 32bit 2GB RAM držím pouze jednu aktivní jednotku Cosmology
- Linux 64bit (velikost RAM je vedlejší) držím pouze jednu aktivní jednotku NFS, anžto jednotky se navzájem nechutně zdržují
- Win 64bit 4jádro Xeon 8 GB RAM, featura <ncpus>6</ncpus> k mt BURPU udržuji dvě aktivní jednotky Ibercivis, anžto BURP jede značnou část pouze na dvou jádrech, částečně i na jednom, ale 3 paralelní tasky Ibercivis BURPa moc zdržují. Jako souběh k BURPu doporučuji pouze low memory projekty s častými chceckpointy. Tímto dosahuji toho, že se pořád počítá BURP a core nepropadne kvůli nějakému Ibercivis tasku s krátkou DL panice. Funguje s core 6.10.x, na 6.12.y dělá <ncpus> neplechu (z hlediska počtu přijatých jednotek FreeHal však plechu).

[vkliber]

Na stránku Osobních statistik jsem přidal Badges na NFS.

[Murphy.cz]

@ vkliber: To je fajn a děkuji za dobrou práci. Osobně se těším na Milku

Trochu mi ale vadí ten velký prostor zabraný odznáčky na stránce nad statistikou, hlavně když používám něco s malým displejem - servisní laptop nebo mobil. Nebylo by možné přidat třeba do cookies volbu "skrýt badges" nebo něco na ten způsob? Ušetřilo by mi to i přenosovou kapacitu

[vinn]

Vitku, tak NFS badges jeste rozsirilo, ted je tam oceneni za kazdy jejich podprojekt

[vkliber]

Já vím, momentálně ale nevím jak ty data správně získat pro naše stránky.

U mě o teď vypadá takto :

nfs_vk_badges.png (7.59 KiB) Zobrazeno 7790 x

U týmu takto :

nfs_cnt_badges.png (11.71 KiB) Zobrazeno 7790 x

[Kyong]

Podle toho, jak se to zobrazuje, to vypadá, že použili tu novou funkci BOINC serveru, kterou tam nedávno DA přidal, pro přidání badges. Bohužel to není moc dobře zdokumentované a pro mě teda je mnohem jednodušší moje varianta, kdy mi stačil upravit jeden soubor a tam jenom přidat vlastní část php kódu pro zobrazení podle nějakých podmínek, a je to.

[bundaboy]

Snazim se ted v NFS pripojit k CNT, ale nikde tam nevidim ten odkaz "pripojit k tymu" - to je normalni?

Taky CPID tam mam uplne jiny nez na vsech ostatnich projektech...

To se mi zatim jeste nestalo.

[vkliber]

Pokud tam nevidíš připojení k týmu, tak buď už jsi připojen, nebo je někde chyba.
Připojit se můžeš i odkazem "Připojit se" na naší stránce projektu NFS.

[bundaboy]

Prihlaseny jsem byl, protoze u jinych tymu tam ten odkaz normalne byl, jen u CNT ne.

Jinak tvoje rada zabrala, uz jsem v CNT!

Diky.

[nenym]

nenym u mne 130 kredit za hodinku a málo cca 3800s

Nevím, jak widelní aplikace, ale linuxová běžela nejlépe - bez drhnutí, pokud jela na maximálně polovině jader, pak se začal projevovat jev, obdobný LLR. Zkus zkombinovat s jiným projektem pomocí max_concurrent v app_config.

[eisler jiri]

nenym u mne 130 kredit za hodinku a málo cca 3800s ale dost nevyrovnané 2400 až 4100 a to to kombinuji s POGS neb se bojím o paměť. přeci jen 1GB na WU by mohla přeťápnout mé možnosti (8GB paměti na 8 jader tedy s HT)

tak to dám půl na půl a hyn sa hukáže

[vkliber]

Nevím, jak widelní aplikace, ale linuxová běžela nejlépe - bez drhnutí, pokud jela na maximálně polovině jader, pak se začal projevovat jev, obdobný LLR. Zkus zkombinovat s jiným projektem pomocí max_concurrent v app_config.

Doplním pro ostatní :
soubor <BOINC_Data_Adresář>\projects\escatter11.fullerton.edu_nfs\app_config.xml

Kód: Vybrat vše

<app_config>
  <app>
    <name>lasievef</name>
    <max_concurrent>4</max_concurrent>
  </app>
  <app>
    <name>lasieve5f</name>
    <max_concurrent>4</max_concurrent>
  </app>
  <app>
    <name>lasievee</name>
    <max_concurrent>4</max_concurrent>
  </app>
  <app>
    <name>lasieved</name>
    <max_concurrent>4</max_concurrent>
  </app>
</app_config>

Hodnota X v sekci <max_concurrent>X</max_concurrent> udává kolik maximálně souběžných úkolů bude počítáno.
Více o app_config.xml zde.

[eisler jiri]

připomínám, že mám i7-4790
nenym já mám průměr furt kolem 3800s i gdyž jedu jen max 4WU (ofšem s HT) doplněných POGS
tvých 2000s na i7-4770 ne a né dosáhnout
může sem něgdo prdnot své časy na různých CPU?
můžu eště prubnout vypnout HT, ale celkový přínos ss POGS je vyšší než teoretický bez HT. a není to jen f souběhu s POGS, ale též s Rioja Science časy +- stejné
Úkoly podle aplikace
aplikační program neodesláno probíhá průměrná doba běhu posledních 100 výsledků v h (min-max) uživatelé během posledních 24 hodin
14e Lattice Sieve 21,141 1,438 1.53 (0.04 - 13.21) 231
15e Lattice Sieve 17,556 4,795 1.05 (0.06 - 11.06) 242
16e Lattice Sieve 0 0 0.00 (0.00 - 0.00) 0
16e Lattice Sieve V5 41,343 13,292 1.29 (0.36 - 19.46) 271

[nenym]

HT nech, asi to dělají výpočty na GPU - zkus na jeden den pozastavit.