En yaygın şüpheli araştırma uygulamaları

Tekrarlanabilirlik sorunlarını beraberinde getiren şaibeli yayıncılık uygulamaları aşağıdaki gibi sınıflandırılabilir [1, 2]:

• Bağımlı değişkenlerin seçici raporlanması: Örneğin bir araştırmacı depresyonu ölçmek için 10 madde kullanıyor olsun. Tipik olarak en iyi depresyon ölçüsünü elde etmek için 10 maddenin ortalaması alınır. Ancak, bu analiz anlamlı bir sonuç üretmezse, araştırmacı doğru yönde eğilim gösteren her bir öğenin veya ortalama öğelerin analizini yapabilir. Araştırmacı, çalışma tamamlandıktan sonra farklı bağımlı değişkenler oluşturarak, aynı bağımlı değişkenle bir tekrarlama çalışmasında tekrarlanamayacak anlamlı bir sonuç elde etme şansını artırır. 
• Bu sorunun çözümü için yazarlardan iyi yapılandırılmış ölçümleri bağımlı değişkenler olarak kullanmaları talep edilebilir ve/veya teorik bir hipotezin test edilmesiyle ilgili tüm ölçümlerin ön kaydı istenebilir. 
• Sonuçların önemli olup olmayacağına baktıktan sonra daha fazla veri toplanıp toplanmayacağına karar vermek: Küçük örneklerde rastgele değişimi gerçek bir etkiden ayırt etmek zordur. Aynı zamanda etki daha küçük bir örneklemde tespit edilebildiğinde, büyük örneklerle çalışmalar yürütmek maliyetli bir kaynak israfı olabilir. Önemli bir sonuç elde edebilmek için örneğin ne kadar büyük olması gerektiğini önceden bilmek zordur. Bu nedenle, veriler toplanırken önem açısından kontrol edilmesi makuldür. Oldukça büyük bir örneklem boyutunda bir etki görünmüyorsa, bir çalışmayı bırakmak daha iyi olabilir. Bu uygulamaların hiçbiri, bir araştırmacı sürekli olarak anlamlı sonuçlara ulaşıp ulaşmadığını kontrol etmedikçe ve veriler anlamlı bir sonuç gösterdikten hemen sonra veri toplamayı durdurmadıkça sorun yaratmaz. 
• Bu soruna çözüm için veri toplama kuralları belirlenmelidir. Çalışmaya başlamadan önce örneklem büyüklüğünün belirlenmesi sorunu en aza indirir. 
• Deney koşullarını açıklamakta başarısızlık: Çeşitli deney koşullarının çalışma dışında bırakılması için için hiçbir haklı neden olamaz. Bununla birlikte yalnızca teorik tahminlerle tutarlı koşulların araştırma dışında bırakılması/dahil edilmesi de kabul edilemez. Eğer bir koşul hakkında makul şüphe varsa, koşul araştırmaya dahil edilmeli ve sonuçların tahminlere neden uymadığı açıklanmalıdır. 
• Bu sorunun çözümü için araştırma tasarımlarına daha fazla koşul dahil edilebilir veya düşük güçlü istatistiksel yöntemlerin kullanımından kaçınılabilir. 
• Yalnızca işe yarayan sonuçları raporlamak: Araştırmada işe yaramayan uygulamaları raporlamamak için herhangi bir neden yoktur. Raporlanmadığı takdirde, yayınlanan kanıtlar, bir olgunun sağlamlığının aşırı olumlu bir resmini sunar ve etki boyutları şişirilir. Bu sebeple başarısız koşulların raporlanması gibi başarısız sonuçların da tüm detaylarıyla raporlanması önemlidir. 
• Bu sorunun çözümü için istatistiksel gücü yüksek çalışmalar yapılmalıdır. Güçlü analizler güçlü sonuçlar doğuracaktır. 
• p değerini hatalı yorumlama/yuvarlama (p-Hacking): Bazı araştırmacılar çalışmalarında .054 olarak elde ettikleri p değerlerini yuvarlayarak .05'in altında raporlayabilmektedirler. Etki büyüklüklerinin de yeterinde sunulmadığı çalışmalarda bu gibi küçük yorumlama/yuvarlama hataları veya sonucu manipüle etmeye yönelik çıkarımlar araştırmaların tekrarlanabilirliğini düşürmektedir. 
• Bu sorunun çözümü için düşük p değerine ulaşılan araştırmalarda daha fazla veri toplamak ve daha büyük bir örneklemle tekrar test uygulamak p değerinin doğru yorumlanmasına/sunulmasına yardımcı olabilecektir. 
• Beklenmedik bir bulguyu baştan tahmin edilmiş olarak rapor etmek veya değişkenlerin etkisinden/etkisizliğinden emin olmadan yorum yapmak: Negatif sonuçlar üreten araştırmalar konusunda çeşitli tartışmalar uzun yıllardır devam ettiğinden araştırmacılar elde ettikleri sonuca göre hipotezlerini yeniden yapılandırma yoluna gidebilmektedirler. Ayrıca araştırma kapsamına dahil edilmemiş bir değişkenle ilgili (örneğin cinsiyete göre analiz gibi) çeşitli iddialarda bulunulması da tekrarlanabilirlik sorunlarını doğurabilmektedir. 
• Bu sorunun çözümü için araştırma tasarımının baştan çok yönlü olarak yapılması önemlidir. 
• Sahte/fabrikasyon veriler: Verilerin tahrif edilmesi veya fabrikasyon veri üretimi şüpheli araştırma uygulamalarından biri olarak kabul edilemez. Çünkü bir araştırma uygulaması değil, açıkça dolandırıcılıktır. Tekrarlanabilirlik krizine büyük katkı sunan bu fabrikasyon/sahte veri konusunun çözümü için net bir kılavuz olmaması veya yaptırım eksiklikleri sorunun çözülmesine engel olmaktadır. 

Kaynakça

[1] John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling. Psychological Science, 23(5), 524–532. https://doi.org/10.1177/0956797611430953

[2] ReplicationIndex. (2015). Questionable Research Practices: Definition, Detection, and Recommendations for Better Practices. Erişim adresi: https://replicationindex.com/2015/01/24/qrps/