Açık hakemliğe geçiş
Tamamlama Gereklilikleri
Bilimsel araştırma projelerini fonlamak veya bilimsel çalışmaları yayınlamak için kalite kontrol mekanizması sunan hakemlik mekanizması açık hakemlik kavramı ile boyut değiştirmiştir. Pek çok dergi ve fonlayıcı değerlendirme sistemini değiştirmek için çeşitli girişimlerde bulunmaktadır. Eğitim portalının bu bölümünde değerlendirme sistemini değiştirmek isteyen yayıncılar ve dergi editörleri için aşamaların adım adım anlatıldığı bir rehber sunulmaktadır. Rehber temel olarak Guidelines of open peer-review implementation başlıklı esere dayanmaktadır [1].
1. Açık hakemlik hedeflerinizi belirleyin
1.1. Açık hakemlikle neyi başarmak istediğinize karar verin.
Bir dergi editörü veya yayıncısı açık hakemlik sürecine geçiş kararı vermeden önce neden açık hakemlik uygulamasına geçiş yapacağını, nasıl uygulayacağını, dergi kitlesinin bu değişikliğe hazır olup olmadığını, sonuçta ne elde etmenin hedeflendiğini planlamalıdır. Dergi kitlesinin kabul etmediği ve plansız başlanmış bir süreç yarardan çok zarar getirecektir. Bu bağlamda değerlendirme süreçlerinin hangi aşamalarının iyileştirilmesinin hedeflendiği belirlenmelidir.
1.2. Açık hakemliğin bileşenlerini öğrenin
Açık hakemlik bilimsel iletişim sürecinin farklı grupları için farklı anlamlara gelebilir. Bu sebeble ilk aşamada açık hakemliğin bileşenleri konusunda bilgi sahibi olmak ve aralarındaki farkları öğrenmek önemlidir. Temel kavramlar konusunda bilinç sahibi olunmadan başlanmış süreçlerde sorun yaşanabilir. Özellikle aşağıdaki kavramlar konusunda farkındalık geliştirilmelidir:
1.3. Hangi açık hakemlik unsurlarını uygulamak istediğinizi belirleyin
Birincil hedefleriniz konusunda net olmak ve bunları açık hakemliğin belirli unsurlarıyla ilişkilendirmek geçici bir stratejik plan oluşturmaya yardımcı olur. Yayıncı web siteleri, yayımlanmış literatür, sunumlar ve çevrimiçi kaynaklar aracılığıyla mevcut modelleri ve diğer dergilerin açık hakemlik uygulamalarını inceleyerek bunu daha da hassaslaştırın. Açık hakemlik modelini uygulayan diğer dergilerle iletişim kurun. Hakem kimliklerini açıklamak gibi bazı unsurlar hızlıca adapte edilebilir, platform hazırlamak gibi süreçler daha fazla emek ve yatırım gerektirir. Planlama açısından seçilen unsurların gerekliliklerini öğrenmek süreci hızlandırır.
2. Araştırma topluluğunuzu dinleyin
2.1. Topluluktaki farklılıkların bilincinde ve duyarlı olun
Farklı araştırma topluluklarının algı ve isteklerinde farklılıklar olabileceğinin bilincinde olun. Örneğin, bazı disiplinlerde çift veya hatta üçlü körleme (editör-hakem-yazar) geleneği yaygındır ve bu hakem değerlendirmesi süreçlerine karşı dirence sebebiyet verebilir. Pek çok farklı disiplinden dergide akran değerlendirmesini denetleyen bir yayıncıysanız açık hakemliğe daha yatkın olan disiplinlerin dergileriyle işe başlayın.
2.2. Topluluğun görüşlerini alın
Topluluk tutumlarını ölçmek için anketler yoluyla hitap ettiğiniz kitlenin açık hakemlik ile ilgili görüşlerini alın. Daha detaylı bilgi toplayabilmek için nitel görüşmeler gerçekleştirin.
2.3. Hedeflerinizle ilgili olarak paydaşlarınız ve araştırma topluluğu ile iletişim kurun
Derginizdeki tüm paydaşlara (yazar, hakem, editör, okuyucu) danışın ve açık hakem değerlendirmelerine geçişin yararlarını anlatın. Tartışmalar başlatın. Tüm paydaşların katılacağı etkinliklerle geri bildirim toplayın.
3. Kullanılacak teknolojileri ve giderleri planlayın
3.1. Çeşitli seçeneklerin teknolojik fizibilitesini değerlendirin
Sisteminizin sahip olduğu teknik olanaklar açıklık unsurlarına öncelik vermenizde belirleyici bir faktör olacaktır. İster açık kaynak kodlu yazılım kullanan küçük bir yayıncı olun, ister profesyonel hizmet alan büyük bir yayıncı olun dergi yayın sistemleriniz ve iş akışlarınız halihazırda açık hakemliği destekleyecek düzeyde değilse veya kolayca yapılandırılamıyorsa uygulama beklenenden daha masraflı hale gelebilir.
3.2. Çeşitli seçeneklerin maliyetlerini belirleyin
Potansiyel maliyetleri önceden tanımlamak önemlidir. Bu sebeple sisteminizin halihazırda hangi seçenekleri desteklediğinin anlaşılması, sistem geliştirme için gerekli personele sahip olunup olunmadığının ortaya çıkarılması ve finans kaynaklarının araştırılması önemlidir. Yalnızca ilk uygulamada (sistem geliştirme gibi) değil, devam eden destek maliyetlerinin (personel giderleri gibi) olabileceği unutulmamalıdır. Açık hakemlik için hazırlanan platformların giderleri ve getireceği iş yükleri değerlendirilmeli ve dergi için en uygun olanı tercih edilmelidir.
3.3. Pilot uygulama yaparak geçici çözüm seçeneklerini değerlendirin
Derginiz için açık hakemlik denemesi yapıyorsanız tüm sistemi adapte etmek yerine geçici çözümlerle başlamak daha iyi sonuçlar sunabilir. Ancak geçici çözümlerin daha az sorunsuz bir kullanıcı deneyimi üretebileceğinin farkında olun. Gerekirse üçüncü taraf sağlayıcılardan deneme sürümü edinmeyi tercih edin.
4. Yaklaşımlarınızda yararcı olun
4.1. Öncelikleri belirleyin ve aşamalı bir yaklaşım düşünün
Esnek ve dikkatli olun. Değişim zordur ve aynı anda çok fazla şey denerseniz sorunlarla karşılaşabilirsiniz. Topluluklarınız bazı unsurlara diğerlerinden daha açık olabilir. Bu nedenle değiştirmek istediğiniz alanlara öncelik vermek ve ideal durumdan ödün vermeye hazır olmak topluluk katılımını korumanıza yardımcı olabilir. Ayrıca bu adım adım ilerleme yeniliğin başarısını veya başarısızlığını sistematik olarak değerlendirmeyi de kolaylaştırır.
4.2. Seçenekleri isteğe bağlı hale getirmeyi veya önce bunları denemeyi düşünün
Uygulamak istediğiniz ancak tartışmalı olabileceğini düşündüğünüz öğeleri isteğe bağlı yapın. Böylece hakemlerin veya yazarların vazgeçebilmesine izin verirken bu yeniliğe desteğinizi gösterebilirsiniz. Bu, araştırma toplulukları arasında tepkilerin belirsiz olduğu durumlarda nihai kararların gerçek deneyimlere dayalı olarak verilmesine olanak sağlar.
5. Kavramla ve toplulukla iletişimde kalın
5.1. "Açık şampiyonlar"ı belirleyerek toplulukla etkileşim kurun
Genel bir strateji olarak, açık hakemlik konusunda hevesli araştırmacıları akranlarına karşı savunmada 'açık şampiyonu' ilan edebilirsiniz. Ayrıca, şeffaflığın arttırılması veya değerlendirme faaliyetlerine verilen kredinin arttırılması gibi uygulamalar kavramın yaygınlaştırılmasına ve içselleştirilmesine yardımcı olacaktır.
5.2. İletişimin anahtar, terminolojinin önemli olduğunun farkında olun
Yanlış anlamalar süreçleri kötü etkileyebilir. Hakem değerlendirmesi sürecinin görevlileri olarak yayıncılar ve editörler, hakemlerin ve yazarların katıldıkları akran değerlendirmesi sistemlerini ve olası avantajlarını ve dezavantajlarını tam olarak anlamalarını sağlamakla yükümlüdür. Kararları ifade etmek ve bu kararların neden alındığını doğrulamak için başyazıları, seminerleri, infografikleri ve/veya blog yazılarını kullanın. Yazarlar ve hakemler için dergi web sayfalarında kolayca bulunabilecek net politikalar formüle edin.
6. Performansı değerlendirin
6.1. Başarıyı değerlendirmek için net bir çerçeve belirleyin
OPR'nin süreçleri nasıl etkilediğini izlemek için değerlendirme kalitesini ve kabul oranlarını izlemek gerekir. İstediğiniz türde bir hakem değerlendirmesi için bir vizyon belirlemek ve ardından bu vizyona ulaşmak için hedeflere öncelik vermek iyidir. Bu planlamanın önemli bir parçası, başarıyı nasıl tanımlayacağınıza ve değerlendireceğinize karar vermek olmalıdır. Bu sebeple başarıyı değerlendirmek için net bir çerçeveye sahip olun. Sistematik olarak veri toplayın ve uygulamanın dergi performansı üzerindeki etkisini inceleyin. Anahtar sorular şunlar olabilir: Değerlendirme kalitesi iyileştirildi mi? Hakem bulmak daha mı zor? Değerlendirme süreleri etkilendi mi? Açık raporlar yeniden kullanılıyor mu? Değişimin zaman alacağı unutulmadan ölçülebilir unsurlar yaratarak başarımın değerlendirilmesi oldukça önemlidir.
6.2. Değişimin zaman aldığını kabul edin, ancak gerekirse adapte edin
Kültürel değişimin zaman aldığını unutmayın. Bu sebeple hızlı bir değişim beklentisine girmeyin. Ancak, bilimsel yayıncılıkta şeffaflık ve hesap verebilirlik gibi daha geniş etik amaçların, düşük kabule rağmen arzu edilebilir hale getirilebileceğini unutmayın.
6.3. Sonuçlarınızı toplulukla paylaşın
İlerleme ile ilgili güncellemeler vermek, topluluk katılımını sağlayarak yazarları, hakemleri, editörleri ve yayın personelini değişimin ilerleyişi hakkında güncel tutar. Bu güncellemeler, diğerlerinin de benzer yaklaşımların uygulanıp uygulanmamasına ve nasıl uygulanacağına karar vermelerine yardımcı olacaktır.
Her bir unsur için genel tavsiyeler:
1. Açık hakemlik hedeflerinizi belirleyin
1.1. Açık hakemlikle neyi başarmak istediğinize karar verin.
Bir dergi editörü veya yayıncısı açık hakemlik sürecine geçiş kararı vermeden önce neden açık hakemlik uygulamasına geçiş yapacağını, nasıl uygulayacağını, dergi kitlesinin bu değişikliğe hazır olup olmadığını, sonuçta ne elde etmenin hedeflendiğini planlamalıdır. Dergi kitlesinin kabul etmediği ve plansız başlanmış bir süreç yarardan çok zarar getirecektir. Bu bağlamda değerlendirme süreçlerinin hangi aşamalarının iyileştirilmesinin hedeflendiği belirlenmelidir.
1.2. Açık hakemliğin bileşenlerini öğrenin
Açık hakemlik bilimsel iletişim sürecinin farklı grupları için farklı anlamlara gelebilir. Bu sebeble ilk aşamada açık hakemliğin bileşenleri konusunda bilgi sahibi olmak ve aralarındaki farkları öğrenmek önemlidir. Temel kavramlar konusunda bilinç sahibi olunmadan başlanmış süreçlerde sorun yaşanabilir. Özellikle aşağıdaki kavramlar konusunda farkındalık geliştirilmelidir:
- Açık kimlikler: Yazar ve hakemler birbirlerinin kimliğinin farkındadır.
- Açık raporlar: İnceleme raporları ilgili makalenin yanında yayınlanır.
- Açık katılım: Daha geniş bir topluluk inceleme sürecine katkıda bulunabilir.
- Açık etkileşim: Yazarlar ve hakemler arasında ve/veya hakemler arasında doğrudan karşılıklı tartışmaya izin verilir ve teşvik edilir.
- Açık önbası makale: Makaleler, resmi hakem değerlendirme süreçlerinden önce arXiv gibi önbası sunucuları aracılığıyla hemen erişilebilir hale getirilir.
- Açık nihai version yorumlama: Makalelerin yayınlanmış son kopyaları yoruma açık hale getirilir.
- Açık platformlar: Yayın ortamının yanında açık değerlendirmeyi olanaklı hale getiren platformlar aracılığıyla değerlendirmeler kolaylaştırılır.
1.3. Hangi açık hakemlik unsurlarını uygulamak istediğinizi belirleyin
Birincil hedefleriniz konusunda net olmak ve bunları açık hakemliğin belirli unsurlarıyla ilişkilendirmek geçici bir stratejik plan oluşturmaya yardımcı olur. Yayıncı web siteleri, yayımlanmış literatür, sunumlar ve çevrimiçi kaynaklar aracılığıyla mevcut modelleri ve diğer dergilerin açık hakemlik uygulamalarını inceleyerek bunu daha da hassaslaştırın. Açık hakemlik modelini uygulayan diğer dergilerle iletişim kurun. Hakem kimliklerini açıklamak gibi bazı unsurlar hızlıca adapte edilebilir, platform hazırlamak gibi süreçler daha fazla emek ve yatırım gerektirir. Planlama açısından seçilen unsurların gerekliliklerini öğrenmek süreci hızlandırır.
2. Araştırma topluluğunuzu dinleyin
2.1. Topluluktaki farklılıkların bilincinde ve duyarlı olun
Farklı araştırma topluluklarının algı ve isteklerinde farklılıklar olabileceğinin bilincinde olun. Örneğin, bazı disiplinlerde çift veya hatta üçlü körleme (editör-hakem-yazar) geleneği yaygındır ve bu hakem değerlendirmesi süreçlerine karşı dirence sebebiyet verebilir. Pek çok farklı disiplinden dergide akran değerlendirmesini denetleyen bir yayıncıysanız açık hakemliğe daha yatkın olan disiplinlerin dergileriyle işe başlayın.
2.2. Topluluğun görüşlerini alın
Topluluk tutumlarını ölçmek için anketler yoluyla hitap ettiğiniz kitlenin açık hakemlik ile ilgili görüşlerini alın. Daha detaylı bilgi toplayabilmek için nitel görüşmeler gerçekleştirin.
2.3. Hedeflerinizle ilgili olarak paydaşlarınız ve araştırma topluluğu ile iletişim kurun
Derginizdeki tüm paydaşlara (yazar, hakem, editör, okuyucu) danışın ve açık hakem değerlendirmelerine geçişin yararlarını anlatın. Tartışmalar başlatın. Tüm paydaşların katılacağı etkinliklerle geri bildirim toplayın.
3. Kullanılacak teknolojileri ve giderleri planlayın
3.1. Çeşitli seçeneklerin teknolojik fizibilitesini değerlendirin
Sisteminizin sahip olduğu teknik olanaklar açıklık unsurlarına öncelik vermenizde belirleyici bir faktör olacaktır. İster açık kaynak kodlu yazılım kullanan küçük bir yayıncı olun, ister profesyonel hizmet alan büyük bir yayıncı olun dergi yayın sistemleriniz ve iş akışlarınız halihazırda açık hakemliği destekleyecek düzeyde değilse veya kolayca yapılandırılamıyorsa uygulama beklenenden daha masraflı hale gelebilir.
3.2. Çeşitli seçeneklerin maliyetlerini belirleyin
Potansiyel maliyetleri önceden tanımlamak önemlidir. Bu sebeple sisteminizin halihazırda hangi seçenekleri desteklediğinin anlaşılması, sistem geliştirme için gerekli personele sahip olunup olunmadığının ortaya çıkarılması ve finans kaynaklarının araştırılması önemlidir. Yalnızca ilk uygulamada (sistem geliştirme gibi) değil, devam eden destek maliyetlerinin (personel giderleri gibi) olabileceği unutulmamalıdır. Açık hakemlik için hazırlanan platformların giderleri ve getireceği iş yükleri değerlendirilmeli ve dergi için en uygun olanı tercih edilmelidir.
3.3. Pilot uygulama yaparak geçici çözüm seçeneklerini değerlendirin
Derginiz için açık hakemlik denemesi yapıyorsanız tüm sistemi adapte etmek yerine geçici çözümlerle başlamak daha iyi sonuçlar sunabilir. Ancak geçici çözümlerin daha az sorunsuz bir kullanıcı deneyimi üretebileceğinin farkında olun. Gerekirse üçüncü taraf sağlayıcılardan deneme sürümü edinmeyi tercih edin.
4. Yaklaşımlarınızda yararcı olun
4.1. Öncelikleri belirleyin ve aşamalı bir yaklaşım düşünün
Esnek ve dikkatli olun. Değişim zordur ve aynı anda çok fazla şey denerseniz sorunlarla karşılaşabilirsiniz. Topluluklarınız bazı unsurlara diğerlerinden daha açık olabilir. Bu nedenle değiştirmek istediğiniz alanlara öncelik vermek ve ideal durumdan ödün vermeye hazır olmak topluluk katılımını korumanıza yardımcı olabilir. Ayrıca bu adım adım ilerleme yeniliğin başarısını veya başarısızlığını sistematik olarak değerlendirmeyi de kolaylaştırır.
4.2. Seçenekleri isteğe bağlı hale getirmeyi veya önce bunları denemeyi düşünün
Uygulamak istediğiniz ancak tartışmalı olabileceğini düşündüğünüz öğeleri isteğe bağlı yapın. Böylece hakemlerin veya yazarların vazgeçebilmesine izin verirken bu yeniliğe desteğinizi gösterebilirsiniz. Bu, araştırma toplulukları arasında tepkilerin belirsiz olduğu durumlarda nihai kararların gerçek deneyimlere dayalı olarak verilmesine olanak sağlar.
5. Kavramla ve toplulukla iletişimde kalın
5.1. "Açık şampiyonlar"ı belirleyerek toplulukla etkileşim kurun
Genel bir strateji olarak, açık hakemlik konusunda hevesli araştırmacıları akranlarına karşı savunmada 'açık şampiyonu' ilan edebilirsiniz. Ayrıca, şeffaflığın arttırılması veya değerlendirme faaliyetlerine verilen kredinin arttırılması gibi uygulamalar kavramın yaygınlaştırılmasına ve içselleştirilmesine yardımcı olacaktır.
5.2. İletişimin anahtar, terminolojinin önemli olduğunun farkında olun
Yanlış anlamalar süreçleri kötü etkileyebilir. Hakem değerlendirmesi sürecinin görevlileri olarak yayıncılar ve editörler, hakemlerin ve yazarların katıldıkları akran değerlendirmesi sistemlerini ve olası avantajlarını ve dezavantajlarını tam olarak anlamalarını sağlamakla yükümlüdür. Kararları ifade etmek ve bu kararların neden alındığını doğrulamak için başyazıları, seminerleri, infografikleri ve/veya blog yazılarını kullanın. Yazarlar ve hakemler için dergi web sayfalarında kolayca bulunabilecek net politikalar formüle edin.
6. Performansı değerlendirin
6.1. Başarıyı değerlendirmek için net bir çerçeve belirleyin
OPR'nin süreçleri nasıl etkilediğini izlemek için değerlendirme kalitesini ve kabul oranlarını izlemek gerekir. İstediğiniz türde bir hakem değerlendirmesi için bir vizyon belirlemek ve ardından bu vizyona ulaşmak için hedeflere öncelik vermek iyidir. Bu planlamanın önemli bir parçası, başarıyı nasıl tanımlayacağınıza ve değerlendireceğinize karar vermek olmalıdır. Bu sebeple başarıyı değerlendirmek için net bir çerçeveye sahip olun. Sistematik olarak veri toplayın ve uygulamanın dergi performansı üzerindeki etkisini inceleyin. Anahtar sorular şunlar olabilir: Değerlendirme kalitesi iyileştirildi mi? Hakem bulmak daha mı zor? Değerlendirme süreleri etkilendi mi? Açık raporlar yeniden kullanılıyor mu? Değişimin zaman alacağı unutulmadan ölçülebilir unsurlar yaratarak başarımın değerlendirilmesi oldukça önemlidir.
6.2. Değişimin zaman aldığını kabul edin, ancak gerekirse adapte edin
Kültürel değişimin zaman aldığını unutmayın. Bu sebeple hızlı bir değişim beklentisine girmeyin. Ancak, bilimsel yayıncılıkta şeffaflık ve hesap verebilirlik gibi daha geniş etik amaçların, düşük kabule rağmen arzu edilebilir hale getirilebileceğini unutmayın.
6.3. Sonuçlarınızı toplulukla paylaşın
İlerleme ile ilgili güncellemeler vermek, topluluk katılımını sağlayarak yazarları, hakemleri, editörleri ve yayın personelini değişimin ilerleyişi hakkında güncel tutar. Bu güncellemeler, diğerlerinin de benzer yaklaşımların uygulanıp uygulanmamasına ve nasıl uygulanacağına karar vermelerine yardımcı olacaktır.
Her bir unsur için genel tavsiyeler:
- Açık kimlikler: Açık kimlikli hakem değerlendirmesi yazarların ve hakemlerin birbirlerinin kimliklerinden haberdar olduğu bir inceleme türüdür. Açık kimliklere sahip değerlendirmeler daha yapıcı olabilir. Ancak hakem bulmakta veya olumsuz yorumlarla baş etmekte sorunlar yaratabilir. Çözüm için:
- Açık kimliklerin hakem bulmayı zorlaştırması ihtimaline karşı stratejiler geliştirin.
- Olası olumsuz etkileşim veya tartışmalara karşı uyanık olun. Bunlarla başa çıkmak için iş akışı yaratın.
- Hakemlere kredi verin (tanımlama, ödül, teşvik).
- Pilot uygulama yapmayı veya açık kimliği isteye bağlı hale getirmeyi düşünün.
- Açık raporlar: Açık rapor değerlendirme raporlarının (tam raporlar veya özetler) ilgili makalenin yanında yayınlanmasıdır. Çoğu durumda hakem isimleri raporların yanında yayınlanır. Açık raporlar sunulurken:
- Sektördeki en iyi uygulamaları takip edin.
- Rapor yayınlamadaki olası zorlukların farkında olun.
- Açık katılım, önbası makale ve yayın sonrası hakemlikte;
- Kimlerin yorum yapabileceğini belirleyin.
- Yorum yapmayı nasıl teşvik edebileceğinizi planlayın ve uygulayın.
- Açık etkileşim: Geleneksel hakem değerlendirmesinde hakemler ve yazarlar yalnızca editörlerle iletişim kurar. Hakemlerin diğer hakemlerle hiçbir teması yoktur ve yazarların genellikle hakemleri doğrudan sorgulama veya yanıtlama fırsatı bulunmaz. Açık etkileşimli hakem değerlendirmesi, hakemler arasında ve/veya yazar(lar) ve hakemler arasında doğrudan karşılıklı tartışmaya izin verir ve bunu teşvik eder. Bunu sağlamak için:
- Hangi iş akışını etkinleştireceğinize karar verin.
- Bu iş akışının editoryal iş yüklerini nasıl etkileyebileceği konusunda dikkatli olun.
Kaynakça
[1] Ross-Hellauer, T., Görögh, E. (2019). Guidelines for open peer review implementation. Res Integr Peer Rev 4, 4. https://doi.org/10.1186/s41073-019-0063-9
En son değiştirme: Perşembe, 16 Aralık 2021, 11:50 AM