Ölçütlerin Tasarımı ve Ağırlıklandırılması

Sıralamalar;

• Sıralamaları oluşturmak için kullanılan metodoloji konusunda şeffaf olmalıdır. Sıralamaları hazırlamak için kullanılan yöntemlerin seçimi açık ve net olmalıdır. Bu şeffaflık, verilerin kaynağının yanı sıra göstergelerin hesaplanmasını da içermelidir.
• Ölçütleri, ilgililiğine ve geçerliliğine göre seçmelidir. Verilerin seçimi, verilerin mevcudiyetine değil, her bir ölçümün kaliteyi, akademik ve kurumsal güçlü yönleri temsil etme yeteneğinin tanınmasına dayandırılmalıdır. Ölçütlerin neden dahil edildiği ve neyi temsil etmeleri gerektiği konusunda net olunmalıdır.
• Mümkün mertebe girdiler yerine çıktıları ölçmelidir. Girdilere dair veriler, belirli bir kurumun genel durumunu yansıttığı ve daha sık bulunabilir oldukları için ilgili olabilirler. Çıktı ölçümleri, belirli bir kurumun veya programın konumunun veya kalitesinin daha doğru bir değerlendirmesini sağlar ve sıralamaları derleyenler uygun bir dengenin sağlandığından emin olmalıdır.
• Farklı göstergelere atanmış olan ağırlıkları (eğer kullanılıyorsa) belirgin/görünür hale getirmeli ve bu ağırlıklarda değişiklikleri sınırlamalıdır. Ağırlıklarda yapılan değişiklikler, son kullanıcıların kurumun veya programın sıralamadaki konumunun doğal bir farklılıktan mı yoksa metodolojik bir değişiklikten mi kaynaklandığını ayırt etmelerini zorlaştırır.