Üniversite Sıralamalarının Yorumlanması ile İlgili İlkeler
Üniversiteler birbirleri ile karşılaştırılırken aralarındaki farklılıklar dikkate alınmalıdır.
Her üniversite kendine göre benzersizdir. Üniversitelerin farklı misyonları ve her üniversitenin kendine özgü bir kurumsal bağlamı vardır. Üniversiteler arasındaki bu tür farklılıklar üniversite sıralamalarına da yansımakta olup, sıralamaların yorumlanmasında dikkate alınması gerekir. Örneğin Hollanda'daki bir üniversitenin ABD'deki bir üniversiteden daha uluslararası odaklı olması beklenebilir. Benzer şekilde, mühendislik araştırmalarına odaklanan bir üniversitenin, ağırlıklı olarak sosyal bilimler alanında faaliyet gösteren bir üniversiteye göre endüstriyle daha güçlü bağlara sahip olması normaldir. Üniversite sıralamaları, üniversitelerin odaklandıkları disiplinlere göre aralarında oluşan farklılıklar için bir dereceye kadar düzeltme yapmaktadır. Bu amaçla alana göre normalize edilmiş ölçütler kullanılır, ancak bu ölçütler üniversite performansının yalnızca belirli yönleri için, örneğin atıf istatistiklerine dayalı bilimsel etkiyi ölçmek için kullanılır. Üniversite performansının diğer yönleri için, üniversitenin disiplin profiline yönelik herhangi bir düzeltme yapılmamaktadır. Örneğin, Leiden Sıralamasındaki işbirliği ölçütlerinde bu düzeltme yapılmamaktadır. Üniversite sıralamasında sunulan ölçütler yorumlanırken, üniversitenin disiplin profiline yönelik düzeltme yapılıp yapılmadığı dikkatle değerlendirilmelidir.
Üniversite sıralamalarındaki belirsizlik kabul edilmelidir.
Üniversite sıralamalarının çeşitli türde belirsizliklere tabii olacağı düşünülebilir. Birincisi, bir üniversite sıralamasında kullanılan ölçütler genellikle ilgilenilen kavramı tam olarak temsil etmez. Örneğin, atıf istatistikleri bir üniversitede yapılan araştırmaların bilimsel etkisine dair bir fikir verir, ancak bu etkiyi sadece yaklaşık bir şekilde yansıtırlar. İkinci olarak, bir üniversite sıralaması, temel verilerdeki yanlışlıklardan veya göstergelerin hesaplanmasındaki (görünüşte önemsiz) teknik seçimlerden etkilenmiş olabilir. Üçüncü olarak, bir üniversite sıralamasındaki belirsizlik, üniversitenin belirli bir zaman dilimindeki performansının tesadüfi olaylardan etkilenmiş olmasından kaynaklanabilir ve bu nedenle üniversitenin daha genel anlamda performansını tam olarak temsil etmeyebilir. Üçüncüsü, bir üniversitenin belirli bir zaman dilimindeki performansı tesadüfi olaylardan etkilenmiş olabileceğinden ve dolayısıyla daha genel anlamda üniversitenin performansını tam olarak temsil etmeyebileceğinden, üniversite sıralamasında belirsizlik olabilir. Üniversite sıralamalarındaki belirsizliği ölçmek bir dereceye kadar mümkün olabilir (örneğin, Leiden Sıralamasındaki durağanlık (stability) aralıklarını kullanmak), ancak büyük ölçüde bu belirsizliğin sezgisel bir değerlendirmesini yapmak gerekir. Pratikte, bu, üniversiteler arasındaki küçük performans farklarına dikkat etmemenin en iyisi olduğu anlamına gelir. Benzer şekilde, bir üniversitenin performansında zaman içinde meydana gelen küçük dalgalanmaları göz ardı etmek en iyisidir. Bunun yerine odak noktası, zaman serilerinden ortaya çıkan yapısal modeller/örüntüler olmalıdır.
Bir üniversite sıralamasında üniversitelerin sıralarına özel olarak odaklanmaktan kaçınılmalı; sıralamanın dayandığı ölçütlere karşılık gelen değerler dikkate alınmalıdır.
“Üniversite sıralaması” terimi biraz talihsiz bir terimdir, çünkü üniversitelerin sıralarına odaklanmayı ima eder ve bu da sıralara temel oluşturan ölçüt değerlerini göz ardı etme riskini yaratır. Üniversitelerin sıralarına odaklanmak yanıltıcı olabilir çünkü belirli bir ölçüt bazında oldukça benzer değerlere sahip üniversiteler çok farklı sıralarda yer alıyor sahip olabilir. Örneğin, Leiden Sıralamasında yer alan üniversiteler, en çok atıf yapılan yayın oranına göre sıralandığında, 300. sırada yer alan üniversitenin, 200. sırada yer alan üniversiteye kıyasla yalnızca %10 daha az çok atıf yapılan yayına sahip olduğu ortaya çıkmaktadır. Üniversitelerin sıralarına odaklanıldığında bir üniversite diğerine göre çok daha iyi performans gösteriyor gibi görünse de performans farkı aslında nispeten küçük olabilir.
Üniversite sıralamalarını kullananlar, bir üniversite sıralamasında yer alan üniversite sayısı arttığında üniversite sırasının düşebileceğinin de farkında olmalıdır. Üniversite sırasında bundan kaynaklı bir düşüş, üniversite performansının düştüğü şeklinde yanlış yorumlanabilir. Altta yatan ölçüt değerleri aslında performansta bir düşüş olmadığını ve sıradaki düşüşün tamamen sıralamaya giren üniversite sayısının artmasından kaynaklandığını gösterebilir.