Er medisinerne de eneste som kan forske?

?Medisinarane ved Universitetet i Oslo mest siterte? kan en lese i Apollon nr. 6/96. Det refereres til en ?ti-p?-topp?-liste fra det amerikanske Institute for Scientific Information (ISI),som viser hvilke norske forskere som ble mest sitert i tidsrommet 1981-1995 (gjengitt i anonymisert og utvidet form som tabellen). ?Siteringar av vitskaplege arbeid gjev eit haldepunkt for forskingskvaliteten?, skriver Apollon og konkluderer med at ?dette (...) viser at medisinsk forsking ved Universitetet i Oslo held h?g kvalitet?. Alle ti p? ISI-listen arbeider innen medisinsk forskning (og det gj?r antakelig de neste ti ogs?), men er det virkelig bare medisinere som driver forskning av h?y kvalitet? Hvor er matematikerne, fysikerne, samfunnsviterne og filologene? En kan f? en snikende mistanke om at noe ikke stemmer, og det gj?r det da heller ikke.

Enorme forskjeller mellom fag

Filologene vil aldri kunne komme med p? en slik liste, for her er det ikke bare, som Apollon skriver, ?til ein viss grad den ulike publikasjonskulturen? som gjenspeiles, men enorme forskjeller b?de med hensyn til fagomr?denes siteringspraksis og i hvilken grad forskjellige fag dekkes av databasen. ISI-databasen registrerer bare siteringer (dvs. referanser) i tidsskriftartikler, ikke i b?ker (som filologene benytter seg mye av) og er i hovedsak en database for naturvitenskapene. Databasen er sterkt dominert av amerikansk forskning (som fortrinnsvis siterer amerikanske forskere og deres 澳门葡京手机版app下载spartnere) og av engelskspr?klige tidsskrifter, dvs. det er nesten bare s?kalt internasjonal publisering som teller med. Et sterkt internasjonalisert fagfelt som biokjemi vil derfor v?re godt dekket i databasen, mens for eksempel biologisk systematikk og faunistikk, som ofte har nasjonalt preg, vil ha en lav dekningsgrad.

Fag som bruker mange referanser i artiklene, vil f? h?y siteringshyppighet, noe som gj?r at biokjemikere i gjennomsnitt siteres dobbelt s? mye som matematikere. I raskt ekspanderende fag vil det v?re forholdsvis mange siterende forfattere i forhold til mengden siterbart materiale og derved oppst?r en pyramidespilleffekt som gir h?y siteringshyppighet. Grunnleggende fag med store nedslagsfelter f?r ogs? h?y siteringshyppighet: medisinsk grunnforskning siteres for eksempel mange ganger s? hyppig som praktisk medisinsk forskning, fordi den praktiske forskningen benytter grunnforskningens resultater og metoder, men ikke omvendt. Det er derfor ingen tilfeldighet at det er medisinsk grunnforskning med praktisk relevans som dominerer ?ti-p?-topp?-lista. Valget av faglig spesialitet vil alts? p? forh?nd bestemme om en forsker vil ha mulighet til ? bli hyppig sitert eller ikke.

Ikke m?l p? forskningskvalitet

Forholdet mellom grunnleggende og praktisk medisin forteller oss noe om hva siteringer egentlig representerer: de er ikke noe kvalitetsm?l, men prim?rt et m?l for nytteverdi innen forskning (vi refererer til bakgrunnsstoff vi bruker i v?r egen forskningsvirksomhet). 澳门葡京手机版app下载 som (enn?) ikke er til nytte for andre forskere, kommer derfor i liten grad med p? siteringsstatistikken, uansett hvor kvalitetspreget og nyskapende den m?tte v?re. Siteringer kan ogs? brukes til ? smigre andre, innflytelsesrike forskere - spesielt dem som kan tenkes ? avgj?re om artikkelen skal godtas for publisering eller ikke! En forbausende stor andel av siteringene (i gjennomsnitt ca. 30 %, men ofte mer) er selvsiteringer, som naturligvis har liten verdi som kvalitetsm?l.

Er sammenlagte siteringer et m?l for produksjon?

Et spesielt trekk ved den aktuelle ISI-listen er at den legger sammen alle siteringene gjennom et s? langt tidsrom som 15 ?r, noe som gj?r at den domineres av store, veletablerte forskningsgrupper som har v?rt publikasjonsaktive gjennom hele perioden. Hvis vi, istedenfor ? legge sammen siteringene, beregner siteringshyppigheten som siteringer pr. artikkel (se tabell), blir det imidlertid straks forandringer p? listen: f?rstemann rykker ned til 7. plass, mens tredjemann inntar f?rsteplassen, og hadde vi hatt med flere enn disse ti, ville det blitt virkelig store omkalfatringer. Med et gjennomsnitt p? 1.4 siteringer pr. artikkel pr. ?r, er de ti p? lista faktisk ikke spesielt hyppig sitert: dette er den samme siteringshyppigheten som fagfeltene biokjemi og immunologi (hvor fem av de ti arbeider) har p? verdensbasis (beregnet p? grunnlag av alle artiklene i de hundre fremste tidsskriftene innen fagfeltene).

Det er alts? ikke f?rst og fremst h?y siteringsrate, men h?y produksjon som kjennetegner forskerne p? lista. Med et gjennomsnitt p? ¨¦n artikkel pr. m?ned er det nok noen av Norges mest produktive forskere vi ser i aksjon - eller kanskje vi skulle si noen av de st?rste forskningsgruppene? Det er naturligvis imponerende ? opprettholde internasjonalt siteringsgjennomsnitt med en vitenskapelig produksjon av dette omfanget, og de ti p? lista driver utvilsomt forskning p? et h?yt niv?. Problemet er bare at sammenlagtlista ikke s? lett fanger opp enkeltforskere, sm? grupper eller grupper som har holdt p? i vesentlig kortere tid enn 15 ?r, selv om disse har en like h?y produktivitet pr. hode og en relativt sett like h?yt sitert forskning innen sitt fagfelt.

Urettferdig kreditering

Flere av de ti forskerne p? lista har utstrakt samforfatterskap med en annen p? samme liste, med opptil to tredeler felles artikler, men begge f?r hele ?ren for b?de artikler og siteringer. For ? kunne forsvare et slikt regnestykke, m? en g? ut fra at de ?vrige medforfatterne bidrar negativt, for eksempel ved ? forkludre eksperimentene. En slik overkreditering av flerforfatterartikler er likevel sv?rt vanlig, men noks? vilk?rlig: ?n forsker kan f? full kreditt for et arbeid utg?tt fra en stor utenlandsk gruppe med mange medforfattere, og kan endatil f? ekstra bonus for dokumentert 澳门葡京手机版app下载sevne; en annen kan bli fraskrevet kreditt fordi en eldre, mer erfaren kollega er med som medforfatter. S? lenge det ikke finnes etablerte regler for kredittfordeling, blir det vanskelig ? oppn? en rettferdig forskningsevaluering, uansett hva slags m?lestokk en benytter.

Tidsskriftene heller ikke noe kvalitetsm?l

Alle de nevnte begrensningene inneb?rer at siteringsstatistikk dessverre ikke kan brukes til evaluering av forskningskvalitet. Hva er s? alternativene? Mange mener at kvaliteten p? de tidsskriftene det publiseres i, forteller noe om forskningskvaliteten, og at for eksempel et tidsskrifts gjennomsnittlige siteringshyppighet (impaktfaktor), et veletablert uttrykk for tidsskriftets status, kan brukes som kvalitetsm?l for enkeltartiklene i tidsskriftet. Unders?kelser har imidlertid vist at siteringshyppigheten for enkeltartiklene varierer s? kolossalt - halvparten av artiklene st?r for 90 % av siteringene - at tidsskriftets impaktfaktor ikke p? noen m?te er representativ (den er dessuten beheftet med de samme svakhetene som siteringsm?linger, pluss en rekke nye systematiske feil). En slik variabilitet er typisk for kompliserte fenomener, og det er ingen grunn til ? tro at forskningskvalitet er mindre komplisert enn siteringshyppighet. Tidsskriftstatus kan derfor ikke brukes som noe representativt m?l for forskningskvalitet.

Hvordan m?le kvalitet?

Den tradisjonelle m?ten ? evaluere forskningskvalitet p?, er gjennom s?kalt fagfellevurdering, ?peer review?. Dette er en evalueringsform som dessverre er kommet i miskreditt, fordi den altfor ofte utf?res av komiteer med generell kompetanse istedenfor den n?dvendige spesialkunnskap, og uten faste regler. Resultatet er gjerne en faglig oppsummering istedenfor en faglig evaluering, med en lotteripreget konklusjon p? grunnlag av overflatiske og tilfeldige, indirekte kriterier (komit¨¦medlemmenes s?rinteresser, tidsskriftstatus, gruppetilh?righet, antatt relevans, honor?re verv, anseelse osv.). Bruken av indirekte kriterier kan sammenliknes med ? dele ut medaljer i langrenn p? grunnlag av klubb- og nasjonstilh?righet, utseende, kl?r, skiutstyr, l?psstil og distanse - uten at noen tar tiden!

Skal en m?le forskningskvalitet, er det ingen vei utenom et direkte studium av publiserte forskningsresultater, foretatt av personer med faglig innsikt i den spesielle typen forskning som skal vurderes. Til bruk i vurderingen m? de forskjellige aspektene av forskningskvalitet defineres, og det m? utarbeides allment aksepterte regler for hvordan disse aspektene skal vektlegges innen forskjellige fagomr?der. Siden kunstl?p og sjakk kan bed?mmes reproduserbart og kvantitativt, m? det vel g? an ? f? det til i forskning ogs?. Ved siden av den rene forskningskvaliteten m? naturligvis produktiviteten vurderes og eventuelle andre faktorer som er relevante i den aktuelle evalueringssammenhengen. Komiteene kan med hell sl?yfes eller gis en administrativ funksjon, nemlig ? finne fram til de virkelige ekspertene og f? dem til ? avgi en kvalitetsevaluering i henhold til de vedtatte retningslinjene.

Det blir ofte framholdt at det tar for lang tid ? lese artikler. En vanlig tidsskriftartikkel representerer omtrent ett ?rsverk, og da burde det vel ikke v?re for mye forlangt ? spandere noen minutter p? ? finne ut hva som faktisk er gjort. Kanskje det vil vise seg at det er flere enn medisinerne ved Universitetet i Oslo som driver forskning av h?y kvalitet.