"Rankings" mal feitos e sem sentido - perigo para a Ciência!

Acordo hoje com um novo "Ranking" sendo propalado nas redes sociais e muita gente, de boa fé, comemorando.

No entanto, são tantos os rankings hoje em dia que temos que ficar muito espertos. Há rankings honestos, bem feitos e há muita coisa mal feita por aí!

Você sabia que muitos desses sistemas de classificação e promoção são pagos? Muitos tem fins lucrativos, sim! Muitos desses rankings cobram das universidades para que participem do ranking uma taxa de inscrição, para que possam entrar nas análises. É como assinar uma página de participação. Se a universidade não paga, não aparece.

Muitos, como um que está sendo propalado hoje nas redes sociais o ADSI, não tem sentido algum. Basta uma simples procura em locais sérios como o Researchgate (https://www.researchgate.net/) ou na Web of Science (https://www.webofscience.com), para vermos que o ranking do dia não tem o menor sentido. Encontramos pesquisadores sem a menor projeção elencados no ranking, assim como pesquisadores renomados que não aparecem.

O ranking da vez é o AD Scientific Index, um ranking feito por dois médicos e não dois estatísticos ou programadores como seria de se esperar, ou por uma equipe. No "Quem somos" do novo ranking, aparecem como autores dois médicos, ambos turcos e na metodologia um computador de mesa com uma lupa de dentista ilustra o trabalho de coleta de dados. Pois é!

Procurem os dois no Researchgate e verão suas formações e produções...

O tal novo ranking, pelo que foi explicado em suas métricas (seria muito bom um matemático, um estatístico analisar melhor) me parece um somatório aleatório de métricas já existentes, sem nenhum filtro, por exemplo, de homonimos.

Eu poderia estar muito feliz pois esse "novo ranking" joga minhas métricas para cima, mas isso não é ciência! Isso é no mínimo um passo errado na direção certa. Mas seria essa direção certa?

Criar rankings que estigmatizam, que supervalorizam algumas áreas em detrimento de outras, que não olham para a qualidade, mas apenas para a quantitativos de produção? É correto isso? É científico? É boa prática?

Veja abaixo uma lista de artigos sérios que recomendo*.

A maioria das métricas utilizadas por esses rankings de produção científica não foram criadas para os fins propostos e tem uso distorcido, sendo muito criticadas por cientistas sérios do mundo todo. A falta de transparência na forma como os dados estão sendo coletados e analisados é criticada de forma muito clara*. Em alguns países, principalmente da Europa ocidental, essas métricas não são sequer usadas ou aceitas pelas agências de financiamento.

O problema dos homônimos (mesmo nome sendo computado para diversos pesquisadores e todos somados como se fosse uma só pessoa); artigos que o pesquisador citou ou é citado e são incluídos como produção do pesquisador; pesquisadores que não "limpam" seus sistemas de base e de citações, excluindo o que não lhes pertence de fato; são apenas alguns dos problemas que comumente vemos na maioria dos tais "rankings" de quem é "bom ou ruim" na ciência.

Classificar a ciência boa ou ruim com base em critérios apenas quantitativos, como faz a maioria dos tais rankings, não nos traz nenhum bem, nenhuma melhoria ou progresso. Não é honesto, simples assim!

Esse texto serve de alerta para que estejamos atentos e que façamos alarde da boa ciência. Investigue antes de divulgar os tais rankings, pois de "fake news" o mundo está cheio!

*Tijssen, R.J.W., Yegros-Yegros, A. & Winnink, J.J. University–industry R&D linkage metrics: validity and applicability in world university rankings. Scientometrics109, 677–696 (2016). https://doi.org/10.1007/s11192-016-2098-8

*Lee Harvey Editor (2008) Rankings of Higher Education Institutions: A Critical Review, Quality in Higher Education, 14:3, 187-207, DOI: 10.1080/13538320802507711

*Bjørn Høyland, Karl Moene, Fredrik Willumsen,The tyranny of international index rankings,Journal of Development Economics,Volume 97, Issue 1,2012,Pages 1-14,

ISSN 0304-3878, https://doi.org/10.1016/j.jdeveco.2011.01.007.