2017 yılında tekrarlanabilir bilim için yayınlanan manifestoda [1] araştırmaları yaygınlaştırırken uygulanabilecek çeşitli örnekler listelenmiştir. Bu örnekler raporlama standartlarını, ön kayıtları ve çıkar çatışmalarının açıklanması gibi unsurları içermektedir. 

Çalışma ön kayıtlarının (pre-registration) teşvik edilmesi): Klinik tıpta randomize kontrollü araştırmalar için çalışma protokollerinin ön kaydı standart uygulama haline gelmiştir [2]. En basit haliyle, temel çalışma tasarımının kaydını içerebilir, ancak aynı zamanda çalışma prosedürlerinin, sonuçların ve istatistiksel analiz planının ayrıntılı bir ön tanımını da içerebilir. Ön kayıtlar iki temel sorunu ele almak üzere ortaya çıktı: Yayın yanlılığı ve analitik esneklik. Dosya çekmecesi sorunu [3] olarak da bilinen yayın yanlılığı [4], yayınlanandan çok daha fazla çalışma yapıldığı gerçeğine atıfta bulunur. Olumlu ve yeni sonuçlar elde eden çalışmaların yayınlanması, olumsuz sonuçlar elde eden veya önceki sonuçların tekrarını bildiren çalışmalara göre daha olasıdır [4, 5, 6]. Sonuç, yayınlanan literatürün bulgular için gerçekte var olandan daha güçlü kanıtlar göstermesidir. Sonuç değiştirme, gözlemlenen sonuçlara bağlı olarak çalışmada ilgilenilen sonuçların değiştirilme olasılığını ifade eder. Bir araştırmacı, araştırmanın sonuçları olarak kabul edilebilecek on değişken içerebilir ve sonuçlar bilindiğinde kasıtlı veya kasıtsız olarak, ilgilenilen sonuçlardan istatistiksel olarak anlamlı sonuçlar gösteren sonuçların alt kümesini seçebilir. Sonuç, olumsuz kanıtlar gözardı edilirken, bildirilen sonuçların şanstan yararlanarak sahte olma olasılığının artmasıdır. Bu durum birkaç araştırma uygulamasından biridir. Bu tür veri koşullu analiz kararları p-hacking [7] olarak bilinen kavramı yaratır ve ön kayıtlar p-hacking'e karşı koruma sağlayabilir. 

En güçlü ön kayıt şekli, hem çalışmanın kaydedilmesini (sonuçları kamuya açık hale getirme taahhüdü ile) hem de çalışmayı yürütmeden veya araştırma sonuçlarını bilmeden önce çalışma tasarımını, birincil sonucu ve analiz planını yakından belirlemeyi içerir. Prensip olarak bu, nihai olarak yayınlanmış olsun veya olmasın, tüm araştırmaları keşfedilebilir hale getirereki bir bulguyla ilgili tüm kanıtların elde edilmesini ve değerlendirilmesini sağlayarak yayın yanlılığını ele alır. Ayrıca, araştırmacının verileri gözlemlemeden önce analitik kararlar vermesini gerektirerek sonuç değiştirmeyi ve daha genel olarak p-hacking'i ele alır. Böylece kararlar veriden bağımsız kalır. Kritik olarak, veriden bağımsız doğrulayıcı araştırma ile veriye bağlı keşif araştırması arasındaki ayrımı da netleştirir. 

Klinik tıbbın bazı alanlarında ön kayıtlar artık yaygın olmakla birlikte sosyal bilimler ve davranış bilimlerinde bu denli yaygın değildir. Ancak, Open Science Framework ve AsPredicted gibi ön kayıt çalışmaları için hizmet sunan web siteleri, ön kayıt yarışmaları, ve ön kaydı teşvik eden dergilerin varlığı gibi unsurlar sayesinde bu alanlarda da destekler artmaya başlamıştır. 

Raporlama kalitesinin iyileştirilmesi: Ön kayıt, araştırmanın keşfedilebilirliğini artıracaktır. Ancak keşfedilebilirlik, kullanılabilirliği garanti etmez. Kötü kullanılabilirlik; yapılanları değerlendirmede, metodolojiyi tekrarlanabilirliği değerlendirmek için yeniden kullanmada ve kanıtları sistematik incelemere ve meta analizlere dahil etmedeki zorluğu yansıtır. Bunu ele almak için araştırmaların raporlanmasında kalitenin sağlanması ve şeffaflığın iyileştirilmesi gerekmektedir. Şeffaflık ve açıklığı geliştirme yönergeleri, dergilerin ve fon sağlayıcıların araştırmaların planlanması ve raporlanmasında daha fazla şeffaflığı teşvik etmeleri veya talep etmeleri için temel olarak standartlar sunar [8]. Bu yönergeler, şeffaflığın ve kullanılabilirliğin nasıl artırılabileceğine ilişkin ilkeler sağlarken, diğer yönergeler belirli alanlarda raporlama kalitesinin nasıl en üst düzeye çıkarılacağına ilişkin somut adımlar sağlar. Örneğin, konsolide raporlama çalışmaları standartları CONSORT beyanı, randomize kontrollü çalışmaların açık, eksiksiz ve doğru bir şekilde raporlanması için rehberlik sağlar [9-11]. İnsanlarda gözlemsel çalışmalar, prognostik çalışmalar, öngörücü modeller, tanı testleri, sistematik incelemeler ve meta analizler, farklı laboratuvar yöntemlerini kullanan çok çeşitli çalışmalar ve hayvan çalışmaları için 300'den fazla raporlama kılavuzu bulunmaktadır. Equator ağı keşfedilebilirliği artırmak için bu yönergeleri bir araya getirir [12]. 

Raporlama kılavuzlarının başarısı bunların benimsenmesine ve etkin kullanımına bağlıdır. Sosyal ve davranış bilimleri, araştırma için raporlama yönergelerini benimsemede biyomedikal biliminin gerisindedir. Ancak şeffaflık ve açıklığı geliştirme yönergelerinin hızlı bir şekilde benimsenmesi ve dergiler ile fon sağlayıcılar tarafında yaşanan gelişmeler sayesinde bu boşluk yavaş yavaş kapanıyor olabilir. Ancak, geliştirilmiş raporlama, araştırma kalitesini en üst düzeye çıkarmak için tek başına yetersiz olabilir. Raporlama yönergeleri, araştırmacılar tarafından araştırma ve raporlamayı iyileştirme araçlarından ziyade bürokratik alıştırmalar olarak kolaylıkla algılanabilir. Bir çalışmada klinik araştırmaların ön kaydıyla bile araştırmaların sadece %13'ünün önceden kayıtlı taahhütlerle tamamen tutarlı sonuçlar yayınladığını gözlemlemiştir. Deneme yayınlarının çoğu önceden kayıtlı sonuçları bildirmemiştir ve kayıtlı tasarımın bir parçası olmayan sonuçlar eklemiştir (bkz. http://www.COMPare-trials.org). Franco ve meslektaşları da psikoloji alanında benzer bulgular gözlemiş [13] ve yayınlanan raporların %40'ının bir veya daha fazla deney koşulundan bahsetmediğini saptamıştır. Ayrıca yayınlanmış raporlarnı %70'i çalışmaya dahil edilen bir veya birden fazla ölçütten bahsetmemiştir. Dahil edilmeyen bu ölçütlerin olumsuz sonuçlar olma ve daha küçük etki büyüklükleriyle ilişkili olma olasılığından da yine bu çalışmada bahsedilmektedir. 

Raporlama kılavuzlarının olumlu sonucu, bu davranışları ve etkilerini tespit etmeyi ve incelemeyi mümkün kılmasıdır. Aksi takdirde bu davranışlar herhangi bir sistematik şekilde basitçe bilinemez. Olumsuz sonuç, raporlama kılavuzlarının gerekli olabileceğine, ancak raporlama yanlılıklarını ele almak için tek başına yeterli olmayacağına dair ampirik bir kanıttır. Kılavuzların etkisi ve kullanımının en iyi nasıl optimize edilebileceği randomize çalışmalarla değerlendirilebilecektir. 

Kaynakça

[1] Bu bölüm manifestodan doğrudan çevrilmiştir. Manifesto CC BY 4.0 Lisansı ile korunmaktadır. 

Munafò, M. R., Nosek, B. A., Bishop, D. V. M., Button, K. S., Chambers, C. D., Percie du Sert, N., Simonsohn, U., Wagenmakers, E.-J., Ware, J. J., & Ioannidis, J. P. A. (2017). A manifesto for reproducible science. Nature Human Behaviour, 1(1), Article 1. https://doi.org/10.1038/s41562-016-0021

[2] Lenzer, J., Hoffman, J. R., Furberg, C. D. & Ioannidis, J. P. A. Ensuring the integrity of clinical practice guidelines: a tool for protecting patients. BMJ 347, f5535 (2013).

[3] Rosenthal, R. File drawer problem and tolerance for null results. Psychol. Bull. 86, 638–641 (1979). https://doi.org/10.1037%2F0033-2909.86.3.638

[4] Sterling, T. D. Publication decisions and their possible effects on inferences drawn from tests of significance—or vice versa. J. Am. Stat. Assoc. 54, 30–34 (1959). 

[5] Sterling, T. D. Consequence of prejudice against the null hypothesis. Psychol. Bull. 82, 1–20 (1975). https://doi.org/10.1037%2Fh0076157

[6] Franco, A., Malhotra, N. & Simonovits, G. Publication bias in the social sciences: unlocking the file drawer. Science 345, 1502–1505 (2014). https://doi.org/10.1126%2Fscience.1255484

[7] Simmons, J. P., Nelson, L. D. & Simonsohn, U. False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychol. Sci. 22, 1359–1366 (2011). https://doi.org/10.1177%2F0956797611417632

[8] Nosek, B. A. et al. Promoting an open research culture. Science 348, 1422–1425 (2015). https://doi.org/10.1126%2Fscience.aab2374

[9] Begg, C. et al. Improving the quality of reporting of randomized controlled trials: the CONSORT statement. JAMA 276, 637–639 (1996). https://doi.org/10.1001%2Fjama.1996.03540080059030

[10] Moher, D., Dulberg, C. S. & Wells, G. A. Statistical power, sample size, and their reporting in randomized controlled trials. JAMA 272, 122–124 (1994). https://doi.org/10.1001%2Fjama.1994.03520020048013

[11] Schulz, K. F., Altman, D. G., Moher, D. & Group, C. CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ 340, c332 (2010). 

[12] Grant, S. et al. Developing a reporting guideline for social and psychological intervention trials. Res. Social Work Prac. 23, 595–602 (2013). https://doi.org/10.1177%2F1049731513498118

[13] van ‘t Veer, A. & Giner-Sorolla, R. Pre-registration in social psychology: a discussion and suggested template. J. Exp. Soc. Psychol. 67, 2–12 (2016). https://doi.org/10.1016%2Fj.jesp.2016.03.004

En son değiştirme: Çarşamba, 2 Kasım 2022, 11:47 PM