20 de maio de 2011

Por que não confiar em rankings de universidades?

Massachusetts Institute of Technology - MIT (fonte)
Rankings que comparam universidades pelo mundo inteiro são muito comuns, mas será que são confiáveis? Inúmeros motivos podem ser considerados para tirar grande parte de seu mérito. Primeiramente devemos considerar que cada Universidade pode ter um propósito diferente, assim compará-las perde grande parte do sentido. Por exemplo, a Universidade de Harvard e o MIT (Massachusetts Institute of Technology), enquanto a primeira tem grande tradição em ciências biológicas e humanas a segunda é considerada a melhor em engenharia, não faz sentido dizer que uma é melhor que outra, já que ninguém deixaria de fazer uma engenharia no MIT para ir para Harvard, o contrário, nas que Harvard é "melhor", também é valido.

Instituto Tecnológico de Aeronáutica - ITA (foto minha)
Os critério são primordiais para o funcionamento de tais rankings, mas a mudança deles e de seus pesos pode mudar totalmente as colocações. Um exemplo é ranking de melhores universidade públicas do país da Abril, o ITA (Instituto Tecnológico de Aeronáutica) foi considerado a pior instituição e a Unicamp ficou em uma posição ruim. Nesse ranking a quantidade de alunos das instituições tem um peso enorme, como o ITA tem apenas, aproximadamente, 600 alunos de graduação e a Unicamp por volta de 16.000 alunos, as que tem mais alunos ficaram na frente, apesar de proporcionalmente as duas terem a maior quantidade de cursos considerados excelentes (5 estrelas). Sim, proporcionalmente a Unicamp tem mais cursos "5 estrelas" que a USP.

Torre do Relógio da Universidade de São Paulo - USP (fonte)
É irônico pensar que se alguma Universidade particular com alguns poucos cursos com 3 estrelas e com muitos alunos entrassem nesse ranking seriam consideradas as melhores, devido ao número de alunos. Com isso fica evidente que critérios são fundamentais e podem distorcer totalmente um ranking. Outra inconsistência é o fato do curso de Engenharia Aeronáutica do ITA ser considerado um curso "4 estrelas", mas ora, se um curso considerado de referência internacional e responsável pela fundação da Embraer (com quem atualmente tem estreitos laços), a terceira maior fabricante de aviões do mundo, não é um curso de excelência, qual outro seria?

Outro exemplo é o ranking da Revista Info de 2008 que lista os 30 melhores cursos de computação do país. A Unicamp tem as duas primeiras colocações (com Engenharia de Computação e Ciência da Computação). Faz bastante sentido, já que Campinas fica numa região conhecida como "Vale do Silício Brasileiro", em grande parte impulsionado pela Unicamp. Assim, devido aos critérios, o curso de Tecnologia em informática pegou carona nos indicadores dos outros dois cursos e ficou a frente da Engenharia de Computação da Escola Politécnica da USP, o que eu discordo.

Universidade Estadual de Campinas - Unicamp (fonte)
Agora saindo nos rankings nacionais e entrando nos internacionais. Existem dezenas de rankings internacionais que invariavelmente colocam a USP e a Unicamp como as duas melhores universidades brasileiras e federais como a UFRJ, UFRGS, UFMG, UFSC, UFSCar, Unifesp entre outras também em posições relativamente boas. Assim como os rankings já citados, esses também levam em conta fatores que podem distorcer os resultados.

Querendo ou não, as universidades tem focos distintos, e até países podem querer resultados distintos de suas universidades, assim compará-las todas com os mesmos critérios pode criar inúmeras injustiças.

Vista aérea da Cidade Universitária da Unicamp (fonte)
Universidades famosas internacionamente como Harvard, Yale, MIT, Stanford, Oxford, Cambridge... são particulares e suas mensalidades são incrivelmente caras, mas com sua fama atraem milhares de estrangeiros ricos. Um dos critérios de alguns rankings é a proporção de estudantes estrangeiros. Que em muitos casos, inclusive o do Brasil, não faz sentido algum. Qual a utilidade de manter estudantes de outros países estudando em nossas universidades mantidas com dinheiro público?

Pelo que sei, entre as públicas brasileiras a Unicamp é a que proporcionalmente tem mais estrangeiros com 6% e a USP com 3%. Esses 6% vem de acordos internacionais que visam permitir que alunos e pesquisadores possam ir para universidades no exterior e em contrapartida abre as nossas para alunos de outros países.

Universidade de Stanford (fonte)
Outro quesito que em muitos casos não faz sentido é a quantidade de prêmios nobeis que cada universidade ganhou. Mesmo sem levar em conta as dezenas de incoerências e injustiças deste, ainda assim existem fatores que desqualificam este critério, como: não ter nobeis para todas as áreas da ciência (matemática e ciências humanas?), ter apenas no máximo 3 ganhadores por ano na mesma categoria, quando, talvez, mais mereciam, entre outros motivos. Claro, existem outros prêmios como a Medalha Fields que é considerado o nobel da matemática, mas carece dos mesmos problemas. Além disso, como seria a escolha dos prêmios considerados relevantes para esses rankings?

Biblioteca da Universidade Nacional Autônoma do México (fonte)
Também é considerado o impacto da pesquisa desenvolvida pela universidade. Esse impacto é medido pelo número de citações que as pesquisas tiveram por outros cientistas. Como o idioma da maioria das publicações internacionais é o inglês, universidades de países que falam esse língua tem vantagem natural. Além de que algumas áreas podem ser de interesse restrito a alguma localidade, como estudos de literatura brasileira ou portuguesa. Apesar dessas incoerências é um bom critério, já que artigos importantes tendem a ser comentados, lidos e consequentemente citados.

Agora a última consideração é que o tamanho da instituição pode influenciar e muito nos rankings. Como muitos critérios são medidos em números brutos e não em porcentagem, um grande número de professores com baixa taxa de publicação, pode ser comparado com um pequeno número com alta taxa, isso pode ser extrapolado para outros critérios.

Diante dos fatores mostrados acima, é possível concluir que as posições das universidades nos rankings está intimamente ligada aos critérios que ora podem favorecer uma ou outra universidade. Encontrar os melhores critérios é um trabalho difícil e apesar dos esforços ainda podem existir injustiças, e provavelmente existirão. Então tome muito, mas muito cuidado na hora de escolher sua universidade por rankings.

2 comentários:

Tiago disse...

Tbm concordo com o post, mas acho que se olharmos os rankings individualmente de cada curso seria uma classificação mais justa.

RicardoZ disse...

Em certos pontos sim, mas se vc levar em consideração o ranking da Info dos cursos de computação vc vai achar inconsistência, mas que é mais justo isto é.