VU Matematikos ir informatikos institutas Vilniaus Universitetas Matematikos ir informatikos institutas
VU Matematikos ir informatikos institutas
APIE MII
MOKSLAS
DOKTORANTŪRA IR ŠVIETIMAS
LEIDYBA
BIBLIOTEKA
DARBUOTOJAI
PROJEKTAI
DISKUSIJOS
NAUJIENOS/SKELBIMAI
APIE MII SVETAINĘ
NUORODOS
 ENGLISH


Mokslo institucijų mokslinės produkcijos ir MTEP lėšų formaliojo vertinimo metodikų projektai

Iš viso žinučių: 7
1.   S. Maskeliūnas 2007.08.29 19:36
  Prašome iki rugsėjo 7 d. teikti pasiūlymus dėl
(1) Mokslo ir studijų institucijų mokslinės produkcijos formaliojo vertinimo metodikos  bei
(2) Duomenų apie MTEP lėšų, gautų dalyvaujant tarptautinių mokslo programų projektuose bei vykdant ūkio subjektų užsakymus, formaliojo vertinimo metodikos
projektų tobulinimo.
2.   Julius Žilinskas 2007.08.31 13:15
  Šiame projekte yra siūloma medicinos taškų skaičių papildomai dauginti iš 1,1. Dėl reikalingų priemonių gal galima apeliuoti, kad daug skaičiavimų reikalaujantiems informatikams reikalingi galingi kompiuteriai (kai kuriems net ir superkompiuteriai) ir brangi programinė įranga, tuo tarpu daugumai medikų užtenka su Excel'iu paskaičiuoti.
O jei bandyti gilintis, tai reikėtų kiekvieną publikaciją analizuoti, kokiomis priemonėmis joje publikuojami rezultatai yra gauti, ar naudojant reagentus ir specialią irangą, ar tik popieriaus lapą.

Humanitarinių ir socialinių mokslo sričių produkcijos vertinime užskaitomas sudarytas mokslo darbas - originalių mokslo darbų rinkinys arba kolektyvinis mokslo darbas; įskaitomas sudarytojui, nurodytam leidinio tituliniame puslapyje ir (arba) metrikoje; neįskaitomas periodinio arba tęstinio mokslo leidinio nuolatinio redaktoriaus darbas.
Siūlyčiau panašiai užskaityti ir kitose srityse, nes manau, kad leisti tokius leidinius yra aktualu visoms sritims.

Dėl kategorijos svorio koeficientų. Yra "median impact factor" ir "aggregate impact factor".
Pirmasis yra kategorijos žurnalų vidurinis svorio koeficientas, o antrasis yra jungtinis kategorijos žurnalų svorio koeficientas, kuris skaičiuojamas įvertinant visų kategorijos žurnalų straipsnių skaičių ir citavimą.
Metodikoje lietuviškas pavadinimas panašesnis į pirmąjį, bet iš tikrųjų naudojamas antrasis (angl. "aggregate"), kuris nevisai teisingai išverstas.
"aggregate" koeficientui didesnę įtaką daro dideli žurnalai su daug numerių per metus ir daug straipsnių numeriuose.
Kai kurioms mūsų kategorijoms "aggregate" koeficientui didelę įtaka daro ne visai mūsų srities "Bioinformatics" su aukštu svorio koeficientu, nes spausdina 24 numerius per metus po virš 20 straipsnių, o mažesnę įtaką mažo svorio koeficiento žurnalai spausdinantis tik po kokius 4 numerius po 10 straipsnių.
Dėl to šių kategorijų jungtinis koeficientas yra užkeltas.
Be to "median" gali būti mažiau jautrus tokiems išsišokėliams kaip "Bioinformatics", kurių koeficientas gerokai skiriasi nuo kitų.
Reikėtų pasidomėti ir pasverti, ar mums nebūtų tikslingesnis "median" naudojimas.
Jeigu ir ne, vistiek būtų galima siūlyti tikslinti lietuvišką pavadinimą.
3.   Julius Žilinskas 2007.08.31 13:29
  Dar papildymą sugalvojau. Gal būtų galima matematiškai pagrįsti, kodėl naudoti "median impact factor", o ne "aggregate impact factor". Kadangi esame Matematikos ir informatikos institutas, tokius argumentus būtų sunkiau atmesti. Galima remtis idėja, aiškinant ką reiškia pasakymai, kad žurnalo svorio koeficientas didesnis už kategorijos koeficientą? Kaip minėjau praeitame laiške, didelių žurnalų įtaka "aggregate" koeficientui yra didesnė negu mažų. Pavyzdžiui, gali būti keli panašaus svorio maži žurnalai ir vienas didelis. Jei didelio žurnalo koeficientas aukštas, jis užkels kategorijos koeficientą ir bus vienintelis viršijantis kategorijos. Jei jo koeficientas žemas, jis nuleis kategorijos koeficientą ir bus vienintelis su koeficientu mažesniu už kategorijos. Taigi nulemia, ne atskiri žurnalai, o vienas didelis, panašiai gali nulemti vienas gerokai išsiskiriantis iš kitų. Taigi pasakymas, kad žurnalo svorio koeficientas viršija "aggregate" kategorijos koeficientą nepasako nieko, nes neanalizuojami koeficientų pasiskirstymai ir dėl to skiriasi žurnalų kiekiai viršijantys kriterijų skirtingose kategorijose. Būtent dėl to kai kuriose mūsų kategorijose mažai žurnalų su aukštesniu už "aggregate", nes jis yra užkeltas didelio "Bioinformatics", kurio priklausymas kategorijai yra abejotinas dėl kitokio citavimo papročio (daug citatų) negu matematikos žurnaluose (mažai citatų). Ką reiškia, kad žurnalo koeficientas yra didesnis už "median" kategorijos koeficientą labai aišku: jis yra tarp pusės žurnalų su aukštesniais svorio koeficientais.

Kartais norima naudoti dvigubą kategorijos koeficientą. Vienas iš argumentų tokio nenaudojimui yra tai, kad priklausomai nuo žurnalų koeficientų pasiskirstymo kategorijose, gali nebūti nė vieno didesnio už dvigubą, jei visų kategorijos žurnalų koeficientai panašūs, arba gali būti daug, jei koeficientai labai skirtingi. Taigi vėl skirtingose kategorijose įvertinimai gali labai skirtis.
4.   Šarūnas Raudys 2007.08.31 15:34
  > 17. Medicinos mokslinės produkcijos taškų skaičius padauginamas iš koeficiento 1,1.

Žiūrėjau dabartinio Santariškių vadovo cituojamumą. Straipsnis vadinas x ligos paplitimas Europoje, 40 autorių iš 40 šalių, nes kiekvienos šalies duomenys jame yra (po vieną skaičiuką).
Pagal skaičiavimą - būtų daug, nors iš esmės  mokslo ten nėra, tik statistiniai duomenys ir komentarai: sportuokim, nerūkykim, gerkim raudoną vyną.
O šį straipsnį cituoja daug rimtų mokslininkų, norėdami pasiremti, kad liga-tyrimo problema rimta.
Tokie samprotavimai. Nors pas medikus problemų daug, ypač ligonių parinkimui tyrimui - ne kiekvieną galim tirti (jie nevienodi), ir ne kiekvienam tą pačią gydymo/diagnozavimo metodiką galima taikyti.
5.   Donatas Surgailis 2007.09.03 13:12
  Reiktų atsižvelgti į tai, kad matematiniai straipsniai yra žymiai ilgesni (vidutiniškai 15-30 psl.) nei daugumos kitų sričių. Todėl jų kiekis, telpantis į žurnalo numerį, yra žymiai mažesnis.
Nėra teisinga, kad vertinant publikacijas visiškai neatsižvelgiama į puslapių skaičių.

Gal būt, galima paimti konkrečius žurnalus ir šią pastabą pailiustruoti konkrečiais skaičiais.
6.   Julius Žilinskas 2007.09.03 15:33
  Manau, kad iš tiesų galėtų į tai atsižvelgti, įvesdami autorinių lankų ar puslapių skaičiaus mato vienetus straipsniams ir pranešimų medžiagoms
(C02, C03, C04, D08, D09, A02, A03, A04, B10).
7.   Rimas Norvaiša 2007.09.04 14:15
  Mano nuomone, siūlomose metodikose yra bent dvi problemos: naudojama mokslų klasifikacija (dvi grupės humanitariniai ir socialiniai mokslai, toliau HSM, bei fiziniai, biomedicinos ir technologijos, toliau FBMT), bei žurnalo svorio koeficiento (impact factor) naudojimo būdas.

,,Duomenų apie lėšų,..." projekto 6 punkte (einančiu po dviejų skirtingų 5-u numeriu pažymėtų punktų) teigiama, kad formalusis vertinimas atliekamas vadovaujantis MTEP tyrinėjimo standarto Frascati vadovu (OECD, 2002 m. redakcija). Šiame dokumente neradau rekomendacijos apie žurnalo svorio koeficiento naudojimą, tuo labiau apie jo naudojimo būdus. Frascati vadove naudojama mokslų klasifikacija į 6 grupes. Antra vertus vadove rašoma ir apie kitas MTEP klasifikavimo sistemas; pavyzdžiui pagal tyrimų tipus (fundamentiniai, taikomieji, eksperimentiniai). Kadangi jokių kitų argumentų ar pagrindimų siūlomai metodikai nenurodoma, man atrodo, kad siūlomos metodikos nėra pagrįstos argumentais, o tuo labiau Lietuvos mokslų sistemos tyrimais.

Problemos dėl mokslų klasifikacijos.  Projekto 16 punkte siūlomas FBMT sričių mokslinės produkcijos vieneto vertinimas taškais. Problema ta, kad FBMT mokslų grupei priklausantys mokslai įgyja skirtingas galimybes rinkti taškus. Pavyzdžiui, matematikai (priskiriami fizinių mokslų atstovams) iš principo negali įgyti aukščiausio vertinimo - 100, nes už matematikų rezultatus patentai nesuteikiami ir sunku tikėtis iš matematikų, kad jie sukurtų naują augalų ar gyvūnų veislę. Manau nepagrįsta būtų teigti, kad galimybė matematikui publikuoti dvi monografijas sulygina juos su kitais mokslais, nes galimybės publikuoti tokias monografijas FBMT mokslų atstovams lyg ir vienodos.

Mano nuomone kitą problemą sudaro socialinių ir humanitarinių mokslų skyrimas į vieną grupę, ir tuo būdu sulyginant tarptautinio lygio reikalavimus abiems grupėms. Pavyzdžiui, ekonomikai, priklausančiai socialiniams mokslams, savo ruožtu  priskiriamos matematinė ekonomika ir ekonometrija (pastaroji įtraukta į patikslintą Frascati mokslų klasifikavimo sistemą). Lietuvoje, kaip ir likusiame pasaulyje, yra tokia padėtis, kad ekonometrijoje dirba ir matematikai. Tokiu atveju priklausomybė skirtingoms mokslo sritims už tos pačios srities darbus vertinama labai skirtingai. Dar svarbiau yra tai, kad siūloma produkcijos vertinimo sistema užšaldo egzistuojančią padėtį. Panašios problemos yra ir su kitais socialiniais mokslais (matematinė sociologija, matematinė psichologija ir t.t.).

Mano nuomone minimalus šios problemos sprendimo variantas būtų visų mokslų skirstymas į 7 grupes: humanitariniai mokslai, socialiniai mokslai, gamtos mokslai, technologijos, medicinos, žemės ūkio ir formalūs mokslai. Šiame siūlyme nauja yra formalių mokslų (angl. formal sciences) atskyrimas. Jiems priklauso matematika, statistika, logika, informatika ir kai kurie kiti mokslai. Šis skyrimas grindžiamas tų mokslų objektų (abstrakčios struktūros) ir metodų (dedukcija) specifika. Žemės ūkio mokslai išskirti pagal Frascati vadovą.

Žurnalo svorio koeficientas. Šis koeficientas yra siūlomas 9 projekto punkte vertinant autorių indėlį, kurie savo ruožtu bus naudojami vertinti mokslinius tyrimus. Kaip rodo tyrimai * #, žurnalo svorio koeficiento naudojimas vertinti mokslinius tyrimus yra mažiausiai kotraversinis. Tarp daugelio problemų, čia svarbios yra šios: ar iš tikro žurnalo svorio koeficientas atspindi straipsnio cituojamumą; naudojamų duomenų bazių trūkumai; žurnalo svorio koeficientas priklauso nuo tyrimo srities. Kitos problemos aptariamos žemiau nurodytuose straipsniuose, nuorodose prie Wikipedia straipsnio Impact Factor internete ir nemažai internete paskelbtų kitų tyrimų. Mažiausiai ko galima būtų tikėtis iš metodikų projekto autorių, tai pagrindimo, kodėl mes galime ignoruoti šias problemas, arba pagrįsti, kad tokių problemų nėra.

*P.E.Seglen. Why the impact factor of journals should not be used for evaluating research. BMJ, 1997 (15 February). Internete http://www.bmj.com/cgi/content/full/314/7079/497

#R.Monasterski. The Number That´s Devouring Science. The Chronicle of Higher Education, 2005, October 14. Internete http://chronicle.com/free/v52/i08/08a01201.htm

Atsakyti:
vardas:
el. paštas:
tekstas:



Valid CSS! Valid HTML 4.01!
Svetainės struktūra  © VU Matematikos ir informatikos institutas, 2003–2018