Sukar untuk membantah kuasa sains. Dari kajian-kajian yang menilai tren pemakanan terkini kepada eksperimen yang menerangkan peramal kebahagiaan, orang telah semakin melihat hasil saintifik sebagai fakta konkrit, dipercayai yang boleh mengawal bagaimana kita berfikir dan bertindak.
Kandungan Terkait
- Para saintis Meniru 100 Pengajian Psikologi, dan Sedikit Kurang Daripada Separuh Ini
Tetapi sejak beberapa tahun kebelakangan ini, kontinjen saintis yang semakin meningkat telah mula mempersoalkan kebolehpercayaan penyelidikan yang diterbitkan walaupun selepas ia dibersihkan halangan peer review dan muncul dalam jurnal yang dihormati. Masalahnya adalah ketidakupayaan yang meluas untuk mereplikasi sebahagian besar hasil dalam pelbagai disiplin.
Sebagai contoh, pada tahun 2005, John Ioannidis, seorang profesor perubatan di Stanford University, menggunakan beberapa simulasi untuk menunjukkan bahawa tuntutan saintifik lebih cenderung palsu daripada benar. Dan musim panas ini, Brian Nosek, seorang profesor psikologi di University of Virginia, cuba meniru penemuan 100 kajian psikologi dan mendapati hanya 39 peratus daripada keputusan yang diadakan di bawah ujian semula yang ketat.
"Terdapat banyak bukti, kedua-dua teori dan empirikal, yang telah mula membiakkan reproduktibiliti segmen literatur saintifik yang penting, " kata Ioannidis. "Kami mendapat jutaan kertas yang tidak pergi ke mana-mana."
Penemuan awal ini telah mencipta penciptaan medan baru yang dipanggil penyelidikan meta-kajian ilmiah sains.
Minggu ini, cabang Biologi Perpustakaan Awam (PLOS), organisasi penerbit dan pertubuhan bukan keuntungan, melancarkan seksyen baru yang sememangnya khusus untuk penyelidikan meta. Seksyen ini akan meneroka isu-isu seperti ketelusan dalam penyelidikan, standard metodologi, sumber bias, perkongsian data, pembiayaan dan struktur insentif.
Untuk menimbulkan masalah, Ioannidis dan rakan-rakannya menilai sampel rawak 441 artikel bioperubatan yang diterbitkan antara tahun 2000 dan 2014. Mereka memeriksa sama ada kertas-kertas ini menyediakan akses awam kepada data mentah dan protokol eksperimen, direplikasi dalam kajian-kajian seterusnya, mempunyai keputusan mereka diintegrasikan ke dalam sistematik ulasan mengenai bidang subjek dan termasuk dokumentasi sumber pembiayaan dan potensi konflik kepentingan yang lain.
Hasilnya amat menyusahkan sekurang-kurangnya. Sebagai contoh, hanya satu kajian yang menyediakan protokol eksperimen penuh, dan sifar kajian yang disediakan secara langsung data mentah.
"Ini adalah dua tiang asas penambahbaikan, " kata Ioannidis. "Kecuali jika data dan protokol penuh tersedia, seseorang tidak boleh benar-benar menghasilkan apa-apa." Lagipula, tanpa maklumat penting itu, bagaimanakah pasukan lain mengetahui dengan tepat apa yang harus dilakukan dan bagaimana keputusan mereka berbeza daripada mereka dalam percubaan asal?
Pasukan itu juga mendapati bahawa tuntutan hanya lapan artikel yang dikaji kemudiannya disahkan oleh kajian seterusnya. Dan walaupun banyak kajian mendakwa mempunyai penemuan baru, hasil hanya 16 artikel dimasukkan ke dalam artikel kajian kemudian, yang berfungsi sebagai ujian litmus untuk kesan sebenar kajian mengenai subjek tertentu.
"Angka-angka yang kami peroleh agak menakutkan, " kata Ioannidis. "Tetapi anda dapat melihatnya sebagai asas di mana kita sekarang, dan terdapat banyak ruang untuk penambahbaikan."
Walau bagaimanapun, tidak semua hasilnya tidak menggalakkan. Peratusan artikel tanpa penyataan konflik kepentingan menurun dari 94.4 peratus pada tahun 2000 kepada 34.6 peratus pada tahun 2014-mungkin disebabkan oleh kesedaran yang semakin meningkat tentang kesan bias yang merosakkan terhadap hasil penyelidikan.
Dalam kajian meta-penyelidikan kedua, pasukan Jerman menganalisis bagaimana kehilangan subjek haiwan semasa ujian pra-klinikal mungkin menyumbang kepada ketidakupayaan yang meluas untuk menterjemahkan hasil makmal ke dalam ubat klinikal yang berguna.
Haiwan penyelidikan mungkin hilang dari kajian secara rawak-contohnya, kerana haiwan itu mati atau melalui tindakan yang berat sebelah, seperti dikeluarkan dari percubaan untuk menghapuskan data yang menjejaskan hasil yang diharapkan. Pasukan menunjukkan bahawa penyingkiran berat sebelah subjek haiwan boleh menyebabkan keputusan dan meningkatkan kemungkinan positif positif apabila ubat baru dianggap berfungsi tetapi sebenarnya tidak.
Dalam analisis yang berasingan mengenai kajian pra-klinikal mengenai strok dan kanser, penyelidik yang sama mendapati bahawa kebanyakan kertas tidak mencukupi melaporkan kehilangan subjek haiwan, dan kesan positif dari banyak ubat yang diuji mungkin terlalu besar.
Jadi mengapa krisis ini dalam ketelusan dan penambahbaikan berlaku di tempat pertama?
Walaupun sesetengah isu mungkin terletak pada kesilapan penyelidikan yang sedar atau tidak sedar, kemungkinan besar kebanyakan kajian yang mencapai penerbitan adalah salah satu jenis kerana struktur insentif semasa dalam sains.
Dalam dunia akademik akademik, langkah utama kejayaan adalah bilangan kajian seorang penyelidik yang mendapat jurnal berprestij. Hasilnya, saintis berada di bawah tekanan untuk menghabiskan sebahagian besar masa mereka mendapatkan jenis hasil terobosan yang kemungkinan besar akan diterbitkan.
"Walaupun kami menghargai kebolehpasaran dalam konsep, kami tidak menganggapnya sebagai amalan, " kata Nosek, yang juga pengarah bersama Pusat Sains Terbuka, sebuah permulaan teknologi bukan keuntungan yang berfungsi untuk memupuk ketelusan dan kebolehulangan dalam penyelidikan saintifik.
"Insentif sebenar yang mendorong kelakuan saya sebagai saintis adalah untuk membuat pembaharuan, membuat penemuan baru dan memecahkan tempat baru-bukan untuk mengulangi apa yang dilakukan oleh orang lain. Itulah bahagian yang membosankan sains. "
Para saintis juga melihat beberapa insentif untuk memberikan maklumat yang diperlukan untuk orang lain untuk meniru karya mereka, yang merupakan salah satu sebab utama mengapa tuntutan banyak kajian kekal tidak disahkan.
"Saya tidak diberi ganjaran kerana membuat data saya tersedia atau menguraikan metodologi saya dalam apa-apa yang lebih mendalam daripada apa yang diperlukan untuk mendapatkan penerbitan, " kata Nosek.
Banyak jurnal meminta para saintis untuk memberikan penjelasan terperinci tentang kaedah mereka dan untuk berkongsi data, tetapi dasar-dasar ini jarang dikuatkuasakan dan tidak ada piawaian penerbitan universal.
"Jika saya tahu tidak akan ada polis di jalan raya, adakah saya sentiasa berpegang pada had laju? Tidak-sifat manusia itu, "kata Ivan Oransky, pengasas bersama Retraction Watch, sebuah organisasi yang menggalakkan akauntabiliti dan ketelusan dengan mengulangi pengulangan dalam kesusasteraan saintifik. "Jika anda tahu tiada sesiapa akan mengharuskan anda, maka anda tidak akan berkongsi data."
Para saintis yang ingin melakukan kerja-kerja replikasi dan dapat memperoleh butiran eksperimen kemudiannya tidak dapat mencari pembiayaan dari agensi awam seperti NIH, yang terutama menilai aplikasi geran berdasarkan kebaruan dan inovasi.
"Rintangan jelas menentang replikasi, " kata Ioannidis.
Di situlah bidang penyelidikan meta yang baru muncul dapat diikuti. Organisasi seperti Pusat Sains Terbuka dan Pusat Inovasi Meta-Research di Stanford (METRICS) sedang berusaha untuk menyusun semula sistem ganjaran dan menetapkan piawaian sejajar yang ketat yang akan menggalakkan lebih banyak meluas ketelusan dan amalan reproduktif.
"Sekiranya tahap pendanaan atau kenaikan pangkat bergantung kepada apa yang terjadi pada penyelidikan terdahulu anda-jika ia dapat ditiru, jika orang dapat memahaminya, jika orang dapat menerjemahkannya kepada sesuatu yang berguna dan bukannya hanya berapa banyak karya yang anda siarkan-itu insentif yang sangat kuat ke arah menukar penyelidikan untuk menjadi lebih boleh dihasilkan, "kata Ioannidis, yang merupakan pengarah bersama METRICS.
"Saya berharap penunjuk ini akan bertambah baik, " tambahnya. "Dan bagi sebahagian daripada mereka, tidak ada kemungkinan lain tetapi untuk naik, kerana kita bermula dari sifar."
