Evaluarea cercetării este un subiect sensibil peste tot în lume. Întrebarea majoră rămâne cum să evaluăm rezultatele activităţii de cercetare astfel încât să surprindem proiectele originale şi să reţinem oamenii cu potenţialul de a face descoperiri.

Thea IonescuFoto: Arhiva personala

În urmă cu câţiva ani am citit un articol foarte interesant, în care doi matematicieni spuneau că, dacă nu vom modifica traseul pe care a luat-o ştiinţa de astăzi, şi în anul 2065 ne vom afla cu descoperirile unde suntem şi acum, fără efervescenţa care a existat la începutul secolului 20 (Geman & Geman, 2016). Tot cam pe atunci am aflat de iniţiativa DORA (The San Francisco Declaration on Research Assessment) şi mi s-a părut că este o mişcare necesară pentru a modifica felul în care se face şi se evaluează cercetarea pentru a promova apariţia marilor descoperiri.

Am tradus în acest an această declaraţie (https://sfdora.org/read/read-the-declaration-romana/) în speranţa că ne-am putea racorda la noile sugestii internaţionale, evitând reluarea greşelilor altor sisteme care acum observă efectele negative ale centrării excesive pe anumiţi indicatori în evaluarea cercetării, care setează fireşte şi felul în care se realizează cercetarea.

În speranţa că ea poate fi utilă mai multor categorii de actori implicaţi în actul cercetării, cred că iniţierea unor dezbateri de profunzime ar fi cea mai bună consecinţă imediată.

* Geman, D., & Geman, S. (2016). Opinion: Science in the age of selfies. Proceedings of the National Academy of Sciences, 113(34), 9384-9387.

Declaraţia de la San Francisco despre evaluarea cercetării

Există o nevoie urgentă de a îmbunătăţi modalităţile în care este evaluat rezultatul cercetării de către agenţiile de finanţare, instituţiile academice şi alte părţi. Pentru a aborda această problemă, un grup de editori şi edituri de reviste ştiinţifice s-au reunit la Întâlnirea Anuală a Societăţii Americane de Biologie Celulară (Annual Meeting of The American Society for Cell Biology – ASCB) în San Francisco, California, în 16 decembrie 2012. Invităm părţile interesate din cadrul tuturor disciplinelor ştiinţifice să îşi ofere sprijinul prin adăugarea numelui lor la această declaraţie.

Rezultatele cercetării ştiinţifice sunt multe şi variate, incluzând: articole ştiinţifice care raportează cunoştinţe noi, date, reactanţi şi programe software; proprietate intelectuală; cercetători tineri înalt specializaţi. Agenţiile de finanţare, instituţiile care angajează oameni de ştiinţă şi oamenii de ştiinţă înşişi îşi doresc cu toţii, dar au şi nevoia, să evalueze calitatea şi impactul rezultatelor ştiinţifice. De aceea este imperativ ca rezultatul ştiinţific să fie măsurat cu acurateţe şi evaluat cu înţelepciune.

Factorul de impact al revistelor este utilizat frecvent drept parametrul principal cu care se compară rezultatul ştiinţific al indivizilor şi al instituţiilor. Factorul de impact al revistelor, aşa cum este calculat de către Thompson Reuters,^* a fost creat iniţial ca instrument care să îi ajute pe bibliotecari să identifice revistele pe care să le achiziţioneze şi nu ca o măsură a calităţii ştiinţifice a unei cercetări dintr-un articol. Ţinând cont de acest aspect, este esenţial să înţelegem faptul că factorul de impact are un număr bine documentat de deficite ca instrument de evaluare a cercetării. Aceste limitări includ: a) distribuţia citărilor în interiorul revistelor este foarte asimetrică [1-3]; b) proprietăţile factorului de impact sunt specifice domeniilor: reprezintă o combinaţie de multiple tipuri foarte diferite de articole, incluzând articole primare şi review-uri [1, 4]; c) factorii de impact pot fi manipulaţi (sau “fabricaţi”) de către o politică editorială [5]; d) datele utilizate pentru a calcula factorii de impact nu sunt nici transparente, nici accesibile în mod liber publicului [4, 6, 7].

Oferim mai jos o serie de recomandări pentru a îmbunătăţi felul în care este evaluată calitatea rezultatelor cercetării. În viitor va creşte importanţa altor tipuri de rezultate decât articolele ştiinţifice pentru evaluarea succesului cercetării, însă articolele ştiinţifice de tip peer-review vor rămâne un rezultat central care să conteze în evaluarea cercetării. De aceea, recomandările noastre se centrează în primul rând pe practicile relaţionate cu articolele ştiinţifice publicate în reviste peer-reviewed, însă ele pot şi ar trebui să fie extinse prin recunoaşterea şi altor produse, precum seturi de date, ca şi rezultate importante. Aceste recomandări se adresează agenţiilor de finanţare, instituţiilor academice, revistelor, organizaţiilor care construiesc metricile şi cercetătorilor.

Aceste recomandări au o serie de teme comune:

• nevoia de a elimina utilizarea metricilor bazate pe indicatorii revistei, precum factorul de impact, din analizele privind finanţarea, angajarea şi promovarea;
• nevoia de a evalua cercetarea în funcţie de meritele ei particulare şi nu în funcţie de revista în care este publicată;
• nevoia de a valorifica oportunităţile oferite de publicarea online (cum ar fi renunţarea la limita de cuvinte, figuri şi referinţe bibliografice în articole, precum şi explorarea unor noi indicatori de semnificaţie şi impact).

Recunoaştem faptul că multe agenţii de finanţare, instituţii, edituri şi cercetători încurajează deja practici îmbunătăţite în evaluarea cercetării. Astfel de acţiuni apropie momentul creării de modalităţi mai sofisticate şi relevante pentru evaluarea cercetării care se pot construi pe cele existente şi pot fi adoptate de toţi factorii cheie implicaţi.

Semnatarii Declaraţiei de la San Francisco despre evaluarea cercetării susţin adoptarea următoarelor practici în evaluarea cercetării.

Recomandări generale

1. Nu utilizaţi metrici bazate pe indicatorii revistelor, cum e factorul de impact, ca şi măsură surogat pentru calitatea articolelor ştiinţifice individuale, pentru a evalua contribuţiile unui om de ştiinţă sau pentru angajare, promovare sau decizii legate de finanţare.

Pentru agenţiile de finanţare

2. Menţionaţi cu claritate criteriile utilizate pentru evaluarea productivităţii ştiinţifice ale celor care trimit propuneri de granturi şi subliniaţi, mai ales pentru cercetătorii aflaţi la începutul carierei, faptul că este mai important conţinutul ştiinţific al unei lucrări decât indicatorii publicaţiei sau identitatea revistei în care a fost publicată.
3. Pentru a evalua cercetarea, luaţi în considerare pe lângă publicaţiile ştiinţifice şi valoarea şi impactul tuturor rezultatelor cercetării (inclusiv ale seturilor de date şi programelor software) şi, de asemenea, o gamă largă de măsurători ale impactului incluzând indicatori calitativi ai impactului cercetării, precum influenţa asupra politicilor şi asupra practicii.

Pentru instituţii

4. Menţionaţi cu claritate criteriile utilizate pentru deciziile cu privire la angajare, titularizare şi promovare, subliniind, mai ales pentru cercetătorii aflaţi la începutul carierei, faptul că este mai important conţinutul ştiinţific al unei lucrări decât indicatorii publicaţiei sau identitatea revistei în care a fost publicată.
5. Pentru a evalua cercetarea, luaţi în considerare pe lângă publicaţiile ştiinţifice şi valoarea şi impactul tuturor rezultatelor cercetării (inclusiv ale seturilor de date şi programelor software) şi, de asemenea, o gamă largă de măsurători ale impactului incluzând indicatori calitativi ai impactului cercetării, precum influenţa asupra politicilor şi asupra practicii.

Pentru case de editură

6. Reduceţi în mod semnificativ accentul pus pe factorul de impact ca mijloc de promovare, prin încetarea, în mod ideal, a promovării lui sau prin prezentarea metricii în contextul unei varietăţi de indicatori ai revistei (de exemplu, factorul de impact pe 5 ani, EigenFactor [8], SCImago [9], h-index, timpul de evaluare şi publicare, etc.), care oferă o imagine mai completă despre performanţa revistei.
7. Oferiţi o serie de metrici referitoare la articole pentru a încuraja trecerea spre evaluarea bazată pe conţinutul ştiinţific al unui articol şi nu pe indicatorii revistei în care a fost publicat.
8. Încurajaţi practicile oneste cu privire la cine sunt autorii şi oferirea de informaţii despre contribuţia specifică a fiecărui autor.
9. Fie că revista este cu acces liber, fie că este pe bază de abonament, îndepărtaţi orice limitări de reutilizare din listele bibliografice şi faceţi-le accesibile conform Creative Commons Public Domain Dedication [10].
10. Îndepărtaţi sau reduceţi constrângerile cu privire la numărul de referinţe bibliografice din articolele ştiinţifice şi, acolo unde este adecvat, solicitaţi citarea literaturii primare şi nu a review-urilor, pentru a acorda credit grupului sau grupurilor care au raportat datele prima oară.

Pentru organizaţiile care furnizează metrici

11. Fiţi deschişi şi transparenţi prin punerea la dispoziţie a datelor şi a metodelor care au fost utilizate pentru calcularea indicatorilor.
12. Oferiţi datele sub o licenţă care să permită reutilizarea nerestricţionată şi oferiţi acces computaţional la date, dacă este posibil.
13. Menţionaţi cu claritate faptul că manipularea inadecvată a metricilor nu va fi tolerată; explicaţi la ce se referă manipularea inadecvată şi ce măsuri vor fi luate pentru a combate acest lucru.
14. Luaţi în considerare varietatea tipurilor de articole (de exemplu, review versus studiu experimental) şi a diferitelor arii în care sunt utilizaţi, agregaţi sau comparaţi indicatorii.

Pentru cercetători

15. Atunci când faceţi parte din comisii care iau decizii despre finanţare, angajare, titularizare sau promovare, realizaţi evaluarea pe baza conţinutului ştiinţific mai degrabă decât pe baza indicatorilor publicaţiilor
16. Ori de câte ori este potrivit, citaţi literatura primară în care sunt raportate pentru prima dată observaţiile mai degrabă decât review-urile, pentru a oferi creditul acolo unde se cuvine.
17. Utilizaţi o gamă de metrici şi indicatori referitori la articole pe declaraţiile personale sau de suport, drept dovadă a impactului articolelor individuale şi ale altor rezultate ale cercetării [11].
18. Chestionaţi practicile de evaluare care se bazează în mod inadecvat pe factorul de impact şi promovaţi şi predaţi bune practici care se centrează pe valoarea şi influenţa rezultatelor specifice ale cercetării. Citeste intreg articolul si comenteaza pe Contributors.ro