Teksti: Jani Kaaro, 28.6.2018
Biolääketieteellisessä tutkimuksessa paljastuu aika ajoin ongelmia, jotka huomataan myös mediassa. Paljastuneet ongelmat ovat vain jäävuoren huippu, uskoo lääketieteen professori Paul Glasziou. Kyse vain on kokonaan eri jäävuoresta kuin voisi luulla.
Kun tutkija jää kiinni tiedevilpistä, media käsittelee sitä usein sensaatiohakuisesti. Saatetaan kirjoittaa tiedevilpin yleistymisestä ja siitä, että se rapauttaa uskoa tieteen uskottavuuteen. Paljastuneet tapaukset ovat vain jäävuoren huippu, sanotaan.
Varmasti onkin totta, että kaikkea tiedevilppiä ei huomata. Voidaanko kuitenkaan puhua jäävuoresta, kun parhaissakin selvityksissä vain noin kaksi prosenttia tutkijoista on syyllistynyt tiedevilppiin? Australialaisen Bond-yliopiston professorin Paul Glaszioun mukaan onkin olemassa toinen jäävuori – johon paitsi kielikuva todella sopii – josta on syytä olla paljon enemmän huolissaan. Glasziou tarkoittaa huonosti ja huolimattomasti tehtyjä tutkimuksia, joista on hänen mukaansa tullut epidemian kaltainen ongelma lääketieteellisessä tutkimuksessa. Glaszioun mukaan valtaosa lääketieteellisestä tutkimuksesta on käytännössä hyödytöntä. Ongelma ei siis ole jäävuoren huippu, vaan se, että itse perusta on heikentynyt huolestuttavalla tavalla.
Glaszioun väitteet perustuvat tutkimusnäyttöön. Hän työskentelee näyttöön perustuvan lääketieteen professorina Bondin yliopistossa, ja hän on aiemmin toiminut Oxfordin yliopistossa näyttöön perustuvan lääketieteen keskuksen johtajana. Yksi hänen tutkimuskysymyksiään on ollut selvittää, mitkä tekijät estävät näyttöön perustuvan lääketieteen toteutumista terveydenhuollossa. Glaszioun mukaan tärkeä osa ongelmaa ovat juuri huonot tutkimukset, jotka eivät todista mitään.
Glaszioun tutkimus tulee lähelle tutkimusten toistettavuuden ongelmaa, josta on puhuttu tiedemaailmassa viime vuosina valtavasti. Vaikka keskustelu on käyty pääasiassa akateemisessa yhteisössä, kyse on ollut myös tieteen uskottavuudesta. Empiirisissä tieteissä lähtökohtana on, että yksikään tutkimus ei ole uskottava ennen kuin se on toistettu; muiden tutkijoiden tulee toisin sanoen päätyä samoin menetelmin ja samoin materiaalein samoihin tuloksiin. Kun tutkimus on toistettu onnistuneesti – mieluusti useammin kuin kerran – sen pohjalta voidaan suunnitella jatkotutkimuksia. ”Ei toistoa, ei tiedettä”, onkin usein kuultu motto akatemiassa.
Tiedeyhteisö on kuitenkin tutkimusten toistettavuuden vuoksi kriisissä – ja on ollut jo useita vuosia. Yhä useampi tutkimus jää toistamatta, mikä tarkoittaa käytännössä valtavaa materiaalien, työn ja rahan tuhlausta. Vuonna 2015 PLoS Biology -sarjassa julkaistussa tutkimusraportissa arvioitiin, että pelkästään Yhdysvalloissa tuotetaan vuodessa 28 miljardin arvosta tutkimusta, jota ei kyetä toistamaan. Se on valtava rahasumma kankkulan kaivoon. Globaalisti summa on luonnollisesti vielä huomattavasti suurempi.
Mitä tämä tarkoittaa käytännössä? Lääkeyhtiö Amgenin sadan tutkijan tiimi koetti vahvistaa 53:n tuoreen syöpää koskevan keskeisen tutkimuksen tulokset. He onnistuivat vain kuudessa tapauksessa 53:sta. Näin alhainen onnistumisprosentti – 11% – oli shokeeraava. Toisessa tutkimuksessa lääkeyhtiö Bayerin tutkijat koettivat toistaa 67 keskeisen tutkimuksen tulokset syöpätutkimuksen, naistentautien ja sydän- ja verisuonitautien aloilta. He onnistuivat vain 14:ssa tapauksessa 67:stä, eli onnistumisprosentti oli 21.
Lääketieteellinen tutkimusjäte
Nämä tulokset ovat jo sinällään huono lähtökohta lääkekehitykselle – jos tulokset eivät ole toistettavissa, ne eivät todennäköisesti pidä paikkaansa – mutta asialla on myös kerrannaisvaikutuksia. Monet tutkijat eivät nimittäin jää odottamaan tuloksen toistamista (tai sen epäonnistumista), vaan jatkavat harhaanjohtavan tutkimuksen pohjalta omaa työtään. Nämä tutkimuslinjat voivat edetä hyvinkin pitkälle ennen kuin alkuperäinen tutkimus poksahtaa kuin saippuakupla – ja samoin käy silloin todennäköisesti monille jatkotutkimuslinjoillekin.
Glaszioun näkökulma on toistettavuuden ongelmaa hieman laajempi. Hän arvioi, että noin 85 prosenttia lääketieteellisestä tutkimuksesta on käytännössä jätettä. Glaszioun väite perustuu arvostetussa The Lancet -lehdessä vuonna 2014 julkaistuun viiden artikkelin sarjaan. Kelvottoman tutkimuksen osuus nousee huolestuttavan korkeaksi seuraavista syistä:
• Noin 50 prosenttia kliinisistä tutkimuksista jätetään yksinkertaisesti julkaisematta. Tämä on helppo selvittää, koska suuri osa kliinisistä kokeista rekisteröidään johonkin tietokantaan. Kun aloitettuja/rekisteröityjä tutkimuksia verrattiin julkaistuihin, havaittiin, että noin joka toinen jää julkaisematta.
• Noin 50 prosenttia julkaistuista tutkimuksista sisältää niin merkittäviä raportointiin liittyviä ongelmia, että ne eivät ole toistettavissa. Toistettavuuden kannalta tutkijoiden on erittäin tärkeää kuvata menetelmät ja hoidot mahdollisimman tarkasti, koska vain siten toiset ryhmät voivat toistaa tulokset. Jos kuvaus on puutteellinen, tutkimuksen toistaminen on mahdotonta.
• Niistä tutkimuksista, joissa menetelmät oli kuvattu riittävän tarkasti, noin 50 prosentissa oli ongelmia tutkimuksen suunnittelussa, käytännön toteutuksessa tai tulosten analysoinnissa. Esimerkiksi suunnitteluvaiheessa ei ollut johdonmukaisesti käyty läpi kirjallisuutta, jonka perusteella tutkimuksen laatua olisi voitu parantaa tai tutkimuksen tarpeellisuus kyseenalaistaa.
Glasziou vertaa tilannetta postinjakeluun. Mitä ajattelisimme, jos posti hukkaisi puolet paketeista, puolet jaetuista paketeista olisi suunniteltu niin huonosti, että ne olisivat käyttökelvottomia, ja puolet jäljelle jäävistä olisi rikki? Glaszioun mukaan tämä kuvaa lääketieteellisen tutkimuksen nykytilannetta.
Mistä ongelma johtuu?
Millaisia syitä tähän tutkimuksen alennustilaan sitten on? Ensinnäkin tutkimusten julkaisematta jäämiselle on useita syitä. Jos kyseessä on kaupallisen toimijan kuten lääkeyhtiön rahoittama tutkimus, ko. yritys voi olla haluton julkaisemaan negatiivisia tuloksia, koska ei halua lääkkeensä tai lääkekandidaattinsa joutuvan huonoon valoon. Esimerkiksi lääkeyhtiö Roche viivytteli influenssalääke oseltamiviiria (Tamiflu) koskevan tutkimusaineiston luovuttamista muiden tutkijoiden analysoitavaksi, lopulta laajassa analyysissa lääkkeen tehottomuus tulikin esiin.
Toinen merkittävä syy tutkimusten julkaisematta jäämiseen liittyy tutkijoiden uraan. Jos tutkimuksen tulokset ovat negatiiviset – kuten esimerkiksi silloin, jos tutkittu hoito ei näytäkään auttavan – on suuri riski, että tulosten julkaiseminen ei edistä kenenkään uraa. Tilanne vertautuu mielenkiintoisella tavalla tiedevilppiin. Vilppiä tehdään yleensä siksi, että halutaan edistää omaa uraa; negatiiviset tutkimukset voivat jäädä julkaisematta samasta syystä. Tieteen näkökulmasta negatiivinen tulos on kuitenkin yhtä arvokas kuin positiivinenkin. Tutkijat voivat myös vaihtaa tutkimuksen alaa tai suuntaa, jos näyttää siltä, että valittu tie ei tuo palkintoja. Näin aiemmin aloitetut tutkimusprojektit jäävät helposti julkaisematta.
Kolmas syy taas on tutkijoista itsestään riippumaton. Monet tieteelliset julkaisusarjat ja niiden vertaisarvioijat odottavat, että julkaistaviksi tarjottavat tulokset ovat tilastollisesti merkitseviä. Jos tulokset ovat sekavat tai eivät anna riittävän yksiselitteisiä vastauksia, niitä ei välttämättä pidetä julkaisemisen arvoisena. Julkaisusarja voi myös edellyttää, että tulokset esitetään mahdollisimman selkeästi ja suoraviiivaisesti, vaikka tutkija itse olisikin halukas esittelemään epävarmuustekijöitä ja virhemarginaaleja. Tiedejulkaisemisen käytännöissä on siis useita sisäänrakennettuja odotuksia kauniista ja selkeistä tuloksista, jotka herättävät kollegoiden huomion tai rikkovat median uutiskynnyksen, ja siksikin ongelmaa on vaikea ratkaista.
Entä huolimattomuus menetelmissä, analyyseissa, toteutuksessa ja raportoinnissa? Usein esitetty syy – ja varmasti tärkeä tekijä – on julkaisupaine. Sen jälkeen kun yliopistot omaksuivat yritysmaailmasta ajatuksen tuottavuudesta ja kun julkaisujen määrästä tuli tämän ajattelutavan keskeinen mittari, tutkijoilla on ollut jatkuva paine julkaista mahdollisimman paljon ja usein. Akateemisen maailman yleinen sanonta onkin: julkaise tai tuhoudu. Koska tiheästä julkaisemisesta on tullut imperatiivi, tämän pelätään vaikuttaneen julkaisujen laatuun.
Kaupalliset intressit ja tutkimusmaailman kilpailullisuus voivat tuoda myös omat ongelmansa. Jos kyse on keksinnöstä, joka on patentoitavissa tai eri ryhmien kilpajuoksun kohteesta, tutkijoilla voi olla kiusaus jättää menetelmiin liittyviä yksityiskohtia pois tai esittää ne tarkoituksellisen epäselvästi, jotta säilyttäisivät oman etulyöntiasemansa kilpailussa.
Glaszioun mukaan hyvä uutinen kaiken tämän tieteellisen jätteen keskellä on se, että suurin osa jätteestä on vältettävissä. Kaikki kliiniset tutkimukset pitäisi rekisteröidä, ja kaikki rekisteröidyt tutkimukset pitäisi julkaista. Tutkijoiden on kiinnitettävä tarkempaa huomiota tekijöihin, joita tarvitaan tulosten toistamiseen. Näyttöön perustuva lääketiede tarvitsee empiirisiä tutkimustuloksia; siksi kysymys tutkimusten laadusta ja todistusvoimasta on olennainen. Siksi Glasziou työskenteleekin niiden periaatteiden puolesta, joilla koko lääketieteellisen tutkimuksen jäävuori saataisiin vakaammalle perustalle.
Paul Glasziou:
• Näyttöön perustuvan lääketieteen professori, Bondin yliopisto, Australia
• Toiminut Oxfordin yliopistossa näyttöön perustuvan lääketieteen keskuksen johtajana.
• Kirjoittanut seitsemän oppikirjaa näyttöön perustuvasta lääketieteestä.
• Vetänyt yli sata näyttöön perustuvan lääketieteen työpajaa kymmenissä maissa.
• Julkaissut yli 300 vertaisarvioitua artikkelia
