Propunerile AdAstra pentru rezolvarea gravelor probleme semnalate, privind evaluarile facute de UEFISCDI

de     Contributors.ro
Luni, 26 februarie 2018, 11:11 Actualitate | Educatie


In ultimele saptamani, au aparut multe sesizari privind nereguli si disfunctionalitati grave in derularea competițiilor naționale organizate de către UEFISCDI. Printre acestea se numara: "evaluările denotă o lipsă de familiaritate elementară cu domeniul propunerii de proiect", exista suspiciuni de conflict de interese in cazul evaluatorilor, evaluarea ex-post a proeictelor este deseori "obscura", lipsita de transparenta. ​Asociatia AdAstra, asociatie importanta a cercetatorilor romani, vine cu o serie de propuneri care ar rezolva aceste probleme.

Comunicat „Ad Astra” referitor la evaluarea proiectelor naționale de cercetare

În urma ultimelor competiții naționale majore organizate de către UEFISCDI (PCE 2015, TE 2016, PD 2016, PCCDI 2017), în spațiul public au fost formulate o serie de neajunsuri grave în procesul de evaluare a proiectelor de cercetare.

(I.) În primul rând, a fost semnalat în multiple cazuri faptul că evaluările denotă o lipsă de familiaritate elementară cu domeniul propunerii de proiect, de unde deducem că au existat situații în care evaluatori au evaluat proiecte din afara ariei lor de competență, deși în pachetul de informații este indicat explicit că publicațiile evaluatorului trebuie să fie „în domeniul propunerii de proiect“. Prin urmare, considerăm că declarația pe proprie răspundere a evaluatorilor nu constituie o garanție suficientă nici pentru candidat, nici pentru comunitatea științifică în întregul ei, cu privire la corectitudinea procesului de evaluare. În consecință, considerăm că se impun măsuri suplimentare pentru a garanta corespondența dintre domeniul de expertiză al evaluatorului și domeniul propunerii de proiect.

PROPUNERI:

(I-A) Pentru a preveni astfel de situații, propunem ca UEFISCDI (alături de ceilalți doi coordonatori de programe din cadrul PNCDI 3, ROSA și IFA) să includă în aplicație un câmp în care candidatul să introducă numele domeniului (domeniilor) și al subdomeniului (subdomeniilor) în care se înscrie propunerea de proiect. Totodată, evaluatorul trebuie, la rândul său, să indice domeniul (domeniile) și subdomeniul (subdomeniile) în care este expert, fapt dovedit prin publicații apărute în fluxul internațional principal. Baza de date cu evaluatori trebuie să fie comună tuturor coordonatorilor de programe din subordinea MCI, iar validarea acestora pe domenii și subdomenii trebuie să ia în calcul publicațiile listate în fluxul internațional principal (așa cum este el definit în actualele pachete de informații pentru competițiile PCE, PD și TE). Corespondența dintre domeniul evaluatorului și domeniul proiectului ar trebui să fie reglementată tehnic prin platforma UEFISCDI și validată de personalul administrativ al coordonatorului de program. Cu alte cuvinte, ar trebui să fie tehnic imposibil ca un proiect dintr-un anumit domeniu să fie atribuit spre evaluare unei persoane din afara acelui domeniu. În cazul în care evaluatorii constată că propunerea de proiect care le-a fost alocată nu se încadrează în domeniul/domeniile declarat(e) de aplicant, proiectul va fi trimis panelurilor tematice pentru redistribuire. Vezi mai jos detalii despre panelurile tematice (alcătuite după modelul granturilor ERC). Utilizarea cuvintelor cheie este redundantă în raport cu încadrarea pe domenii și subdomenii și ar trebui să servească doar pentru rafinarea procesului de alocare al evaluatorilor, în cazul în care numărul disponibil per domeniu este mare. Domeniile și subdomeniile (atât cele alese de aplicant, cât și cele alese de evaluatori) vor fi făcute publice odată cu afișarea rezultatelor preliminare.

(I-B) Propunem, de asemenea, refacerea Anexei 3 (domenii științifice), care este imprecisă și lasă loc unor situații ambigue. Bunăoară, la categoria SH / subcategoria SH5, sunt puse laolaltă o multitudine de domenii net distincte tematic și metodologic, fără a permite diferențieri absolut necesare pe subdomenii. Cu atât mai mult cu cât alte domenii sunt, în contrast, bine diferențiate pe subdomenii. Această aglomerare de domenii net distincte se reflectă și în constituirea panelului „Științe umaniste”, care ar trebui diferențiat în paneluri mai atent delimitate, spre exemplu: (i) Filologie, Lingvistică, Studii literare, Studii culturale; (ii) Istorie și Arheologie; (iii) Filozofie, Teologie, Studii Religioase; (iv) Arhitectură, Urbanism, Arte.

(II) În al doilea rând, a fost semnalat faptul că, în condițiile în care comunitatea științifică autohtonă este destul de redusă în fiecare domeniu, suspiciunile de conflict de interese nu pot fi în nici un fel risipite. Nici în această privință declarația pe proprie răspundere pe care o semnează evaluatorii nu reprezintă o garanție suficientă, cu atât mai mult cu cât pentru unele competiții (vezi PCCDI) criteriile sunt foarte laxe în privința conflictului de interes. În orice comunitate mică, avem nu doar o concurență inevitabilă între centrele universitare, dar și multiple complicități difuze sau adversități mocnite. O astfel de situație nu garantează o evaluare neutră și profesionistă.

PROPUNERI:

(II-A) Propunem ca evaluarea să fie făcută exclusiv cu experți internaționali, aceasta ducând implicit la folosirea limbii engleze la redactarea propunerilor de proiecte. Raționamentul conform căruia cheltuim mai mulți bani folosind evaluatori internaționali nu este valid, remunerația fiind aceeași atât pentru evaluatorii naționali cât și pentru cei internaționali. Invocarea motivului că limba română simplifică procesul de aplicare arată doar o atitudine cinică și insultătoare la adresa cercetătorilor români.

Așa cum subliniam în comunicatul din 01.05.2017, introducerea în mod explicit și deliberat a unei preferințe naționale în privința evaluatorilor, precum și criterii ierarhice de selecție, este în contradicție cu Strategia Națională de Cercetare-Dezvoltare-Inovare 2014-2020. Aceste prevederi noi (art. 4(3) al Actului adițional nr. 10/2017, încheiat între MCI și UEFISCDI) sunt perfect anti-științifice și, după știința noastră, nu își găsesc echivalent niciunde în țările dezvoltate științific.

(II-B) Propunem ca evaluarea secțiunii care conține efectiv proiectul de cercetare să se facă conform sistemului „blind review“, cu alte cuvinte evaluatorii să nu cunoască identitatea candidatului. În consecință, lista proiectelor depuse trebuie să fie făcută publică doar după afișarea rezultatelor preliminare.

(II-C) Propunem ca evaluarea secțiunii care conține informații despre profilul candidatului și despre rezultatele cercetărilor sale anterioare să se facă separat, în paneluri tematice (după modelul procedurii de evaluare a granturilor ERC), comparând profilurile științifice ale candidaților, în funcție de criteriile de performanță specifice domeniilor. Președintele fiecărui panel tematic trebuie desemnat și cunoscut public înainte de depunerea aplicațiilor, iar componența întregului panel trebuie să devină publică după evaluare. În situația actuală, candidați cu rezultate foarte diferite pot primi punctaje egale; sau, mai grav, candidați cu rezultate mai bune pot să primească, la această secțiune, punctaj mai mic decât candidați cu rezultate mai slabe. Lipsa unei metodologii clare și obiective de ierarhizare lasă inevitabil loc subiectivismului fiecărui evaluator.

(II-D) Propunem ca panelurile tematice (distincte pentru fiecare domeniu major în parte) să fie compuse din 5-7 personalități cu rezultate internaționale recunoscute în acel domeniu (probate prin satisfacerea de două ori a criteriilor de performanță științifică cerute evaluatorilor). Membrii panelurilor tematice nu trebuie să aibă dreptul de a modifica punctajul acordat de către cei trei evaluatori independenți secțiunii care conține efectiv proiectul de cercetare. Motivația acestei prevederi rezidă în faptul că cei 5-7 membri ai panelurilor nu vor avea o expertiză atât de vastă încât să acopere toate aspectele științifice de nișă din proiectele evaluate.

(II-E) Propunem actualizarea de urgență a modelului cadru de contract pentru evaluatori, care trebuie să fie făcut public și în care să fie detaliate cazurile de conflict de interes. Este inadmisibil ca unui evaluator să i se permită să participe la competiția în care evaluează, chiar dacă într-un alt domeniu. Regulamentul cadru ar urma să guverneze toate competițiile finanțate din bani publici, fără posibilitatea de fi modificat de la o competiție la alta (a se vedea contrastul dintre modul de definire a conflictului de interes la competiția PCCDI versus PD/TE, sau cele trei la un loc versus Programul Nucleu). Modelul utilizat în competițiile PD și TE poate sta la baza noului document.

(III) În al treilea rând, este cunoscut faptul că anumiți evaluatori au evaluat un număr foarte mare de proiecte. Acest lucru nu garantează calitatea evaluării, ci dimpotrivă invită la o evaluare superficială și pur formală.

PROPUNERE:

(III-A) Propunem ca un evaluator să poată evalua un număr de maxim 5 proiecte per competiție.

(IV) Așa cum arătam în comunicatul din 27.01.2018, comisia de soluționare a contestațiilor pe domeniul Chimie din cadrul competiției TE 2016 și-a încălcat atribuțiile, modificând notele finale acordate în panelurile tematice, chiar în lipsa unei contestații venite de la respectivii directori de proiect. Am solicitat în acest sens explicații de la MCI/UEFISCDI pe care încă le așteptăm.

PROPUNERE:

(IV-A) Comisiile de soluționare a contestațiilor sunt numite de membrii panelurilor tematice, atribuțiile acestora fiind făcute publice odată cu numirea lor, iar componența nominală după soluționarea contestațiilor. Membrii comisiilor de soluționare a contestațiilor trebuie să îndeplinească cel puțin criteriile de performanță impuse evaluatorilor. Printre atribuțiile acestei comisii trebuie să se numere, în primul rând, asigurarea corectitudinii desemnării referenților, adică corespondența domeniilor de expertiză ale acestora (dovedite prin publicații) cu cele ale aplicantului. În cazul în care această cerință nu a fost îndeplinită, comisia retrimite proiectul panelului tematic, care va dispune reevaluarea acestuia.

(V) Evaluarea ex-post a proiectelor declarate câștigătoare în cadrul competițiilor naționale este în prezent o formalitate, care de multe ori este îndeplinită de funcționari din aparatul administrativ al coordonatorilor de program, acestora lipsindu-le expertiza științifică necesară. În cazul în care evaluarea este făcută totuși de experți în domeniu, întreg procesul este unul obscur, rezultatele precum și lista experților nefiind făcute publice.

PROPUNERE:

(V-A) Evaluarea ex-post se realizează de către unul din cei trei evaluatori care au evaluat propunerea inițială. În cazul în care niciunul din cei trei nu este disponibil, membrii panelurilor utilizate în respectiva competiție vor desemna un al patrulea expert, care va avea acces la propunerea inițială.

(VI) Cazurile deja semnalate de plagiat în cadrul competițiilor naționale de proiecte subliniază necesitatea ca toate documentele cu conținut științific pe care le implică competiția (de la propuneri de proiecte, la referate de evaluare sau rapoarte de cercetare) să fie verificate de coordonatorul de program cu un soft antiplagiat.

Membrii Asociației Ad Astra

26 februarie 2018




















639 vizualizari

  • 0 (0 voturi)    
    Date concrete vs. ce poti astepta de la UEFISCDI (Duminică, 4 martie 2018, 22:24)

    VladAvrigeanu [utilizator]

    Este laudabila asteptarea AdAstra pentru o activitate corecta si onesta a personalului UEFISCDI implicat in organizarea competitiilor de proiecte PN-III. Personal, pe baza experientei PCE-2016 si documentelor disponibile public pe pagina unui proiect anterior - http://tandem.nipne.ro/~dante/projects/PN2P3_43/ - precum si comentate deja pe acest site (v. http://www.contributors.ro/editorial/uefiscdi-catre-un-sindicat-al-plagiatorilor/#comment-334884 ), pot trage numai concluzii opuse. Mai mult, prin implicarea DNA (v. Refs. de mai sus) a rezultat ca decizii ale CCR-2016 asigura si absenta sanselor unui demers in justitie contra arbitrarului si abuzului in serviciu ale personalului UEFISCDI, in timp ce sefii lor si ai MCI nu taxeaza administrativ aceasta politica (de cercetare!).

    De dragul demonstratiei voi face apel la cifre pentru a sustine afirmatiile de mai sus, cu referinta la obiectul propunerii I-A a AdAstra: corespondenta dintre domeniul evaluatorului si domeniul proiectului. In cazul PCE-2016 se pot remarca urmatoarele.

    1. Au existat 3 "domenii stiintifice", insumand 25 de "subdomenii" si, in final, 345 de "Arii de Cercetare" (AC), cf. Anexa 4 a Pachetului de Informatii, cu proiecte evaluate de 11 paneluri "acoperind un domeniu principal de cercetare" (Sec. 10 a aceluiasi pachet) care insa este denumit "subdomeniu" in ultima lista a Anexei 4 mentionate mai sus. Aceasta lista indica insa exact repartitia celor 345 AC pe cele 11 paneluri. Pentru claritate, axata intr-adevar pe cazul personal, poate fi mentionata fizica nucleara ca fiind una din cele 54 AC alocate panelului "Fizica".

    2. PCE-2016 a implicat 498 de evaluatori (495 straini). Rezulta in medie 1.43 evaluatori per AC, fiind evident ca nu poate exista un expert in e.g. intreaga fizica nucleara. Mai mult insa, proiectul meu a fost evaluat - cf. unui raspuns MCI catre DNA - de 3 experti in alte AC, inclusiv cosmologie si biochimie! Ce sa mai asteptam atunci de la joaca de-a evaluatorii MCI/UEFISCDI?
  • 0 (0 voturi)    
    Ref. "Evaluare ex-post" (Propunerea V-A) (Miercuri, 7 martie 2018, 13:07)

    VladAvrigeanu [utilizator]

    Recunosc ca nu-mi este clar ce se intelege prin "evaluarea ex-post" ce formeaza obiectul propunerii V-A (in fapt acest termen nu apare in Pachetul de Informatii al PCE-2016 sau in Raportul PNCDI III_2016, raport ce include si rezultatele competitiei PCE-2016). Fata de "Propunerea V-A" avansata de AsAstra imi permit insa urmatoarele comentarii.

    1. Daca prin "evaluarea ex-post a proiectelor declarate câștigătoare în cadrul competițiilor naționale" se intelege numai 'evaluarea evaluarii' proiectelor in cadrul competitiilor respective, nu e clar ce se poate astepta de la o 'evaluare' a unei 'perdele de fum'.
    Mai utila si chiar mai mult decat necesara ar fi transparenta evaluarii REZULTATELOR efective ale proiectelor finantate printr-o astfel de competitie, la finalul perioadei de finantare. O astfel de evaluare s-a realizat individual, cu transmiterea unei fise de evaluare directorului de proiect, dar fara a exista un acces public la aceste fise de evaluare (in afara cazului in care aceasta fisa a fost postata pe pagina de proiect care trebuie mentinuta 5 ani dupa finalizarea proiectului). Transparenta respectiva a existat in cazul competitiilor PCE-2007 si PCE-2008, dar probabil s-a dovedit prea incomoda si ulterior a fost sistata. De altfel se pare ca pentru PN-III nici nu mai sunt accesibile, pe noua pagina web a UEFISCDI, liste de "Pagini-web-pentru-proiectele-in-derulare-finalizate" ('ascunse' de acum pentru PN-II pe http://old.uefiscdi.ro).

    2. Competitia PCE-2016 a facut posibila insa, indirect, si o astfel de evaluare deoarece listele de rezultate ale proiectelor depuse au inclus si numerosi directori de proiecte PCE (2007-2012). Si a devenit astfel vizibil ca, in cazul domeniului "Fizica', 45% din aplicanti au fost directorii de astfel de proiecte avand mai puțin de 6 din 10 lucrari ca autor principal în top 50% ISI (neîndeplinirea astfel cerinta majora a PCE, de cel puțin 1 lucrare ISI pe an și normă 100%), cf. paginii web indicata in primul comentariu.


Abonare la comentarii cu RSS

Buchete.ro de 12 Ani: Florarie Online cu Livrare Flori la Domiciliu in Bucuresti

ESRI

Top 5 articole cele mai ...



Hotnews
Agenţii de ştiri

Siteul Hotnews.ro foloseste cookie-uri. Cookie-urile ne ajută să imbunatatim serviciile noastre. Mai multe detalii, aici.
hosted by
powered by
developed by
mobile version
Duminică