Titizlik

1. Özenli/titiz yöntem kullanma. Örneklem büyüklüğü ve temsili, normalizasyon, aykırı değerlerin işlenmesi gibi veri toplama ve analiz yöntemleri bilimsel titizlik testlerini geçmelidir.

• Sıralamada ölçütler, alana göre sağlıklı bir şekilde ve şeffafça normalize ediliyor mu?
• Sıralamada aykırı değerlerin nasıl ele alındığı açık olarak belirtiyor mu ve bu yaklaşım adil mi?

2. Özensiz anketler kullanmama. Doğrulanamayan anket bilgilerinin kullanımını sınırlar ve kullanıldığında yöntemin geçerli ve yansız olmasını sağlar. Örneğin, örneklemlerin büyük, temsil gücü yüksek ve rastgele seçilmiş olması, soruların güvenilirlik açısından test edilmiş ve ölçmek istediği şeyi ölçer nitelikte olması.

• Sıralama, itibar verilerini ortaya çıkarmak için kamuoyu anketlerini kullanmaktan kaçınıyor mu?
• Sıralamada anketlerin kullanımı söz konusuysa büyük örneklemler kullanılıyor mu?
• Sıralamada anketlerin kullanımı söz konusuysa rastgele örneklemler kullanılıyor mu?
• Sıralamada anketlerin kullanımı söz konusuysa temsili örneklemler kullanılıyor mu?
• Sıralamada anketlerin kullanıldığı durumlarda soruların güvenilirliği test ediliyor mu?
• Sıralamada anketler kullanılıyorsa anketlerdeki sorular geçerli mi?

3. Geçerli olma. Ölçütlerin ölçtüğünü iddia ettiği özellik ile açık bir ilişkisi vardır. Örneğin, eğitim kalitesi yalnızca personel-öğrenci oranlarıyla gösterilmemelidir.

• Göstergelerin ölçtüklerini iddia ettikleri özellik ile net bir ilişkisi var mı?

4. Duyarlı olma. Göstergeler ölçmeyi iddia ettikleri özelliğin doğasına duyarlıdır.

• Sıralama, iyi bir değerin üniversitenin misyonuna bağlı olacağı, personel-öğrenci oranı; uluslararası-uluslararası olmayan personel oranı gibi monoton göstergeleri içermekten kaçınıyor mu?
• Sıralama sonuçları zaman içinde nispeten istikrarlı mı? Örneğin, sıralamadaki iyileşmelerin Üniversite performansındaki gerçek iyileşmeleri yansıtması muhtemel mi?

5. Belirsizlik konusunda dürüst olma. Kullanılan metodolojilerin ve sunulan verilerin doğasında olan belirsizlik türleri tanımlanmalı ve mümkün olduğunda, yanlış bir kesinlik hissi vermeden hata çubukları, güven aralıkları veya diğer teknikler kullanılarak açıkça belirtilmelidir.

• Sıralama web sitesi, metodolojilerinin doğasında bulunan sınırlamalar ve belirsizlikler hakkında herhangi bir yorum sunuyor mu?
• Sıralama, sağlanan göstergeler etrafında hata çubukları veya güven aralıkları sağlıyor mu?