Blogissa: Johtaako tutkimuksen arviointia data vai arvostelukyky?

Bibliometriset menetelmät ovat tulleet jäädäkseen tutkimuksen arviointiin ja osittain myös yksittäisten tutkijoiden arviointiin. Viittausmääriä, h-indeksejä ja lehtien JUFO-lukuja käytetään mittareina esimerkiksi rekrytoinneissa Suomessakin. Oikein käytettynä määrällinen arviointi lisää arvioinnin objektiivisuutta ja puolueettomuutta.

Bibliometriikan hyvistä käytänteistä muistuttaa ns. Leidenin manifesti. Vuonna 2015 muutamat johtavat bibliometriikan tutkijat ilmaisivat huolensa siitä, että bibliometriikkaa käytetään ilman tarkkaa harkintaa ja ottamatta huomioon esimerkiksi tieteenalojen eroavaisuuksia viittauskäytännöissä. Professori Diana Hicks ja kumppanit kirjoittivat Leidenin manifestin, joka sisältää kymmenen periaatetta bibliometriikan käyttämiseen.

Leidenin tutkimusmetriikkamanifesti on nyt käännetty myös suomeksi ja ruotsiksi, ja se löytyy Suomen Yliopistokirjastojen Neuvoston (SYN) kotisivulta.

Leidenin manifestin teesit lyhyesti:

  1. Määrällisen arvioinnin pitäisi tukea laadullista asiantuntija-arviointia.
  2. Tarkastele suoritusta suhteessa instituution, ryhmän tai tutkijan omaan tutkimusmissioon.
  3. Ota huomioon, että paikallisesti merkittävä tutkimus voi olla huippututkimusta.
  4. Huolehdi, että aineiston kerääminen ja analyysiprosessit ovat avoimia, läpinäkyviä ja yksinkertaisia.
  5. Anna arvioitaville mahdollisuus tarkistaa data ja analyysit.
  6. Ota huomioon tieteenalojen erot julkaisemisessa ja viittauskäytännöissä.
  7. Perusta yksittäisten tutkijoiden arviointi heidän portfolionsa laadulliseen tarkasteluun.
  8. Vältä väärin kohdistettua konkretiaa ja epäluotettavaa tarkkuutta.
  9. Myönnä järjestelmään kuuluvat arvioinnin ja mittarien seuraukset.
  10. Tutki ja päivitä mittareita säännöllisesti.

Leidenin manifesti pyrkii torjumaan liiallista hypetystä bibliometriikan ympärillä. Hyvä tutkimus on hyvää tutkimusta, vaikka viittausluvut eivät olisikaan huippulukuja. Bibliometriikkaa ei myöskään pidä tehdä vasemmalla kädellä vaan se kannattaa jättää ammattilaisten tehtäväksi.

Leidenin manifesti suomeksi
Alkuperäinen manifesti: Leiden manifesto for research metrics
Kirjaston bibliometriset palvelut

Teksti: Tietoasiantuntijat Raija Aaltonen ja Eija Poteri

    Vastaa

    Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *