A
importância da Cientometria
The
importance of Scientometrics
La
importancia de la cienciometría
Girlane Moura Hickmann[1]
Adolfo Antonio Hickmann[2]
Alexandre Pierezan[3]
Resumo
Os
conhecimentos sobre a cientometria e os impacto da produção científica, a
despeito de sua importância, são bastante limitados, especialmente por serem
ainda pouco abordados, inexpressivamente explorados nos eventos acadêmicos
brasileiros e escassos na produção científica nacional. Infelizmente, isso
ainda acontece em um momento que se discute qual a contribuição que a ciência
brasileira tem dado para enfrentar os desafios educacionais, de segurança
pública, saúde e desenvolvimento técnico e tecnológico. Vale a pena, portanto,
ter mais detalhes desse ramo da ciência, cujos conhecimentos podem contribuir
para a retomada econômica do país, no direcionamento de investimentos onde se
fazem mais necessários e na melhoria da produção científica como um todo.
Palavras-chave: Cientometria;
Indicadores; Impacto científico; Ranking; Áreas de conhecimento.
Abstract
Knowledge about
scientometrics and the impact of scientific production, despite their
importance, is quite limited, especially because they are still little
addressed, inexpressively explored in Brazilian academic events, and scarce in
the national scientific production. Unfortunately, this is still happening at a
time when the contribution that Brazilian science has made to meeting
educational, public safety, health, and technical and technological development
challenges is being discussed. It is worth, therefore, having more details
about this field of science, whose knowledge can contribute to the country's
economic recovery, in directing investments where they are most needed, and
improving scientific production in general.
Keywords: Scientometrics; Indicators; Scientific Impact; Ranking; Knowledge areas.
Resumen
El
conocimiento sobre la cienciometría y el impacto de la producción científica, a
pesar de su importancia, es bastante limitado, especialmente porque aún es poco
abordado, inexpresivamente explorado en los eventos académicos brasileños y
escaso en la producción científica nacional. Lamentablemente, esto sigue
ocurriendo en un momento en que se discute la contribución que la ciencia
brasileña ha hecho para enfrentar los desafíos educativos, de seguridad
pública, de salud y de desarrollo técnico y tecnológico. Por lo tanto, vale la
pena tener más detalles sobre esta rama de la ciencia, cuyos conocimientos
pueden contribuir a la recuperación económica del país, a la hora de orientar
las inversiones hacia donde más se necesitan y a la mejora de la producción
científica en su conjunto.
Palabras clave: Cienciometría;
Indicadores; Impacto científico; Campos de conocimiento.
Apresentação
O presente trabalho trata-se de uma entrevista
realizada com o Me. Luís Fabiano Farias Borges, Analista em Ciência e
Tecnologia e Chefe de Divisão de Monitoramento de Resultados da Coordenação de
Aperfeiçoamento de Pessoal de Nível Superior (CAPES), onde já foi contador e,
atualmente, trabalha na diretoria de relações internacionais, na área que
monitora resultados. Dentre as atividades a que ele tem se dedicado, está o
estudo cientométrico, cujo interesse surgiu a partir de suas inquietações como
cidadão e pesquisador. Atualmente é doutorando no Programa de Pós-Graduação em
Modelagem Computacional de Sistemas da Universidade Federal do Tocantins
(PPGMCS/UFT).
Entrevista
Girlane
Hickmann: O que é a cientometria e o que motivou você a
pesquisar essa temática?
Fabiano Borges: Existe
a parte mais métrica, mais da ciência da informação (metrias que vem do grego
metron, metria...), que se encontra na economia, na econometria, na infometria,
ecometria. Na outra ponta, existe também a parte dedicada à sociologia da
ciência, que é a parte das narrativas, de como isso funciona, como é a ciência,
qual a filosofia da ciência ou ciência da ciência. É um nome muito referido na
literatura. Toda essa bagagem dos pesquisadores da área da cientometria tem gerado
um debate bastante acirrado e grandes publicações, nos principais periódicos do
mundo, como a Nature, que é uma revista de referência. Existe a Scientometrics,
que é uma revista que nasceu nos anos 1970, mas os pesquisadores de várias
áreas costumam colaborar para a área de cientometria, principalmente para a
parte métrica. Por exemplo, o índice-h, de 2005, que foi criado pelo pensador
argentino Hirsch (lotado na Califórnia), já tem 15 anos. Então essas métricas
vão mudando, adaptando-se à realidade, justamente pelo fato de que a produção
científica mundial tem crescido de forma vertiginosa. Eu quero mostrar isso,
inclusive em alguns gráficos e alguns dados, para que as pessoas tenham uma
ideia de como funciona isso, por meio das bases científicas, das revistas
indexadas e como é que o Brasil se situa diante desse quadro.
Girlane Hickmann: Há
algum consenso sobre quais os melhores parâmetros para se avaliar o impacto das
pesquisas e das produções dos docentes?
Fabiano Borges: A
grande questão talvez que se coloque hoje é que as grandes plataformas, as grandes
empresas estão criando certos indicadores que estão quase moldando as políticas
científicas. Por exemplo, a empresa americana Clarivate Analytics, a
antiga Thomson Reuters, utiliza uma série de indicadores. A empresa
holandesa Elsevier, tem uma ferramenta super importante que é a SciVal.
A grande diferença, além de serem empresas diferentes, é a questão da base
científica. Enquanto a empresa Elsevier se utiliza da base Scopus,
lançada oficialmente em 2004, a empresa Clarivate se utiliza de uma base
chamada Web of Science. Embora a Scopus tenha surgido
oficialmente depois, a Scopus hoje detém a maior base cientifica mundial. Por
exemplo, se o usuário entrar hoje, gratuitamente, na SCImago Journal Rank
(SJR), vai ter acesso a parâmetros de 240 países, porque são mais países do que
a própria ONU. Nota-se como que isso vem crescendo, de forma bastante
significativa. E os indicadores tentam se adaptar a essa nova realidade de
produção cientifica.
É muito difícil falar de um indicador só.
Por exemplo, se tem o Índice-h, que foi criado originalmente para avaliar a
produção do pesquisador e não avaliar a produção da revista. Mas existe também
Índice-h para as revistas. Inclusive
pode ser visto até por país, embora não seja um indicador muito interessante
para avaliar país. O Índice-h serve de fato para avaliar a produção do
pesquisador, inclusive indicadores normalizados. Toda essa discussão é complexa
porque as áreas de conhecimento variam muito no sentido de frequência de
publicação e de coautorias. Tem áreas que publicam muito (um artigo com 20
autores), áreas que publicam um/dois, no máximo, e publicam um/dois papers
por ano, outras publicam cinco papers. Então, toda essa complexidade da
produção dificulta muito os parâmetros objetivos.
O importante é tentar achar alguma proxy
(variável latente) que possa medir certos desempenhos na linha temporal. Essas
questões são muito importantes e muitas vezes nos colocam a refletir sobre qual
o papel da cientometria. Esse é um desafio sobre o qual muitos pesquisadores no
mundo se debruçam: pesquisadores de áreas distintas, como o grande
cientiometrista, Peter Winkler, da academia de ciências da Hungria, que se
dedica a analisar indicadores desde os anos 80. É uma coisa impressionante!
Envolve ciência de dados, estatística, narrativa da própria filosofia e
sociologia da ciência. É uma área
apaixonante! No entanto, é muito difícil se ter um indicador consensual. Se
fizer um trabalho, mostrar quais os parâmetros que se está utilizando. São
assuntos um pouco técnicos. O que posso dizer é que realmente consenso não tem,
mas é importante que se coloque isso em uma metodologia e depois os autores vão
debater.
Girlane Hickmann: É
uma realidade no Brasil, os pesquisadores, de alguma forma, impactarem a
educação brasileira e gerar riquezas? Qual tem sido o perfil de quem está
produzindo ciência no nosso país?
Fabiano Borges: A
grande dificuldade é justamente medir a questão do insumo-produto/input-output
– quanto se coloca de dinheiro e o quanto que vai sair de resultado na frente.
Essa é uma discussão desde os anos 60 e realmente muito complexa. Do ponto de
vista da pesquisa, a questão é analisar o que que a ciência vai trazer de
resultado, em termos práticos. Essa relação de se fazer ciência e ter o
resultado na frente é muito complicado. Isso causa realmente uma expectativa do
ponto de vista da ciência. Agora, algo que é bastante importante as pessoas
refletirem é: temos, no Brasil, uma estrutura praticamente toda voltada para a
pesquisa no âmbito das universidades públicas – onde justamente nasce grande
parte de nossa pesquisa científica: as federais, as estaduais, com grande destaque
para o que estão fazendo as estaduais paulistas. Como avaliar, por exemplo,
ensino? Vai medir ensino? Vai fazer survey? A pesquisa, muitas vezes,
serve justamente a critérios quantitativos. É uma dificuldade poder medir o
desempenho de um professor. Então a pesquisa científica nasce muito nesse
sentido; ou seja: entre ensino e pesquisa, há relação? Vê-se claramente que
existe uma correlação. É como se fosse também uma variável proxy, ou
seja, a pesquisa é uma variável proxy do próprio ensino, que é super
difícil de quantificar.
A ciência hoje está muito impulsionada
pela tentativa de esperar o que se vai produzir com aquilo. E as agências de
fomento querem resultados: espera-se que publique. A grande questão é o impacto:
se houver publicação, vai publicar onde? No Brasil, há uma grande diferença do
impacto: impacto na ciência nacional, publicada nacionalmente; impacto da
pesquisa internacionalmente. Por isso, o grande problema hoje, quando vamos
para as grandes bases internacionais, como a Web of Science ou Scopus,
é que o impacto internacional da pesquisa brasileira, nessas duas principais
bases, não está bom. O impacto está muito abaixo do esperado e, em algumas
áreas, muito abaixo da média mundial. E a média
mundial já não é um bom parâmetro para se analisar.
Hoje se fala muito sobre Ciência,
Tecnologia e Inovação (CT&I). E, muitas vezes, pessoas confundem a ciência,
a tecnologia, a inovação. Esse trinômio pode dialogar ou pode ficar
completamente defasado. É o que acontece no Brasil. O Brasil é um dos países
que subvenciona inovação. Muito da Pesquisa e Desenvolvimento (P&D), a
parte da rubrica que vem da iniciativa privada, provém de crédito subsidiado, e
a inovação não vem. Então, existe esse
problema no âmbito da P&D, quanto à questão da produção científica.
A grande questão é que a citação ainda é a
grande base das proxies que se utiliza no mundo. Mas, ainda que se
utilize o critério citação, pode-se chegar a resultados completamente
diferentes. Uma coisa é falar que o Brasil cresceu muito em citação bruta. É
verdade! Porque o país que publica mais de 80 mil papers por ano vai ter
necessariamente mais citações. Agora, quando se normaliza, vê-se por
publicação, o cenário vai mudando. Na média, o nosso impacto está muito abaixo
da média mundial, de um modo geral. As
áreas do conhecimento específicas, por exemplo, física está muito próxima da
média mundial. Algumas áreas têm se aproximado sistematicamente, mas isso é um
grande problema porque se tem uma ciência de baixo impacto. A própria cadeia de
inovação – começa-se a ficar com o pé atrás porque não vai ter milagre. Tem-se,
de um lado um crédito subsidiado: um dos países que mais subvenciona inovação
do mundo, que é o Brasil. Ao mesmo tempo, um grande investimento (BORGES, 2020):
desde 2003, a curva do orçamento do Ministério da Educação (MEC) subiu muito.
Para se entender a produção científica, é
importante entender como funciona o nosso sistema brasileiro. O sistema
brasileiro é muito único, ele é muito particular. A CAPES, por exemplo, faz
fomento e avalia. Então, esse perfil híbrido torna a CAPES única. Tem-se a Fulbright,
nos Estados Unidos, que fomenta. Mas ela não vai falar: “Ah, Harvard, eu
quero que você publique nessas revistas!” É importante, porém, que se analisem
quais são os resultados que nós temos tido nos últimos anos. Porque
conseguimos, por exemplo, redirecionar os incentivos. Esse é o grande ponto.
Girlane Hickmann: Fala-se
de uma relação entre o número de doutores e a quantidade de publicações
indexadas nas diversas bases de dados, embora isso não tenha resultado em
qualidade de pesquisas e nem em empregabilidade dos recém-formados. A questão
da empregabilidade tem sido noticiada, em alguns jornais, como Correio
Brasiliense, cuja matéria, em 2019, recebeu o seguinte título: “Desemprego
entre mestres e doutores no Brasil chega a 25%. No mundo, a taxa de desocupação
desse grupo gira em torno de 2%”. Por
que essa relação não fez diferença para a melhora do impacto científico brasileiro?
Como o Brasil pode mudar esse cenário de desemprego?
Fabiano Borges: Em
2004, o Brasil começou a entrar com a indexação nessas bases. Existem muitas
narrativas para tentar explicar o que aconteceu. O fato é que muitas revistas
brasileiras foram indexadas nessas bases, nesse período de 2007/2008. As
revistas foram indexadas. Então os autores estão publicando nas principais
bases científicas mundiais. O grande problema, nesse aspecto, é que não se
tinha parâmetro, naquele momento: só se tinha a ideia de que estavam surgindo
novas revistas. Se, em 2009, nós éramos já o 13º na base Web of Science,
14º nos Scopus, hoje permaneceu praticamente no mesmo patamar. Não
conseguimos alcançar 10º, nem 9° lugar. É muito curioso que o Brasil foi
aumentando a quantidade de publicações de artigos científicos indexados nas
bases, só que a capacidade de inovação caiu. Nesse cenário, com o Produto Interno
Bruto (PIB) per capita despencando e a capacidade de inovação caindo,
não vai ter milagre para salvar os recém-doutores que estão ingressando. Se não
estivermos dentro de um parâmetro internacional, de fato, de produção
científica, estamos para trás.
O Brasil se afasta da capacidade de
inovação, e acha sempre que existe uma caixa-preta, por meio da qual se coloca
orçamento e vai sair o produto lá na frente. Uma visão completamente endógena
de como é o processo. O grande parâmetro, a sair daqui, é algo justamente onde
entra a pesquisa que eu estou fazendo: é tentar incentivar a colaboração
internacional de forma adequada. Porque o parâmetro internacional vai forçar o
país a entrar nos eixos e sair um pouco dessa forma muito endógena de entender
o processo. É uma forma desenvolvimentista de pensar ciência. O Plano Nacional
de Pós-Graduação (PNPG) 2011/2020 fala muito nesse aspecto da endogenia. É um
cenário muito complicado, muito preocupante. Não é tão novidade os doutores
estarem desempregados, diante de um país que tem estrutura de legislação
extremamente complexa.
Girlane Hickmann: A
limitação do brasileiro com língua inglesa impacta na questão do baixo impacto
em produções acadêmicas no Brasil?
Fabiano Borges: A
grande questão é: por que que não se pública muito em inglês. A pergunta, na
verdade, é essa. Uma vez eu participei de um debate, na Faculdade de Educação,
sobre a questão da produção/impacto. Um dos participantes argumentou o
seguinte: ele acreditava que, ao traduzir uma pesquisa brasileira para o inglês,
perderia a autenticidade da produção científica nacional. Estamos diante de uma
situação que é muito mais cultural do que dizer que é um problema simplesmente
do inglês. Em primeiro lugar, pode-se mandar traduzir. Isso não é um problema. Inclusive
a CAPES poderia incentivar mais publicações em inglês. A questão é: muitas
pessoas no Brasil acreditam nisso que o rapaz falou: existem pesquisas – como ele
falou – em ciências sociais, em que se trabalha com certas nomenclaturas e, se
tiver que traduzir isso, vai se perder.
O Brasil confunde produção local com produção
endógena. Produção de conhecimento local (saber local) não implica saber
endógeno. Uma coisa é o saber local, outra coisa é o saber endógeno. O problema
do Brasil não é o saber local: é o saber endógeno. É claro que certas
pesquisas, por exemplo, doenças tropicais e dengue não vão despertar interesse
de certos países. Mas isso é usado muitas vezes como escusa: “Tem baixo impacto
porque o Brasil é particular”.
O Brasil tem uma tendência – nós brasileiros
– de criar problemas que são extremamente nacionais. Então, nós criamos um
edital, um ministério, uma superintendência e aumenta-se a corrupção. O próprio
desenvolvimentismo varguista foi uma corrupção enorme, absurda, tremenda! Então depois – quando tudo dá errado – diante
de todos os fracassos do que foi feito, frente aos problemas institucionais –
vai ter que se culpar algum agente externo.
Esse é cenário que temos hoje.
Girlane Hickmann: O
custo que o Brasil tem hoje com a produção científica é bastante elevado. É interessante você mostrar um pouco a
relação desse percentual do PIB brasileiro com os gastos em ciência, produção
científica no Brasil. Como se poderia melhorar a eficiência, a eficácia dos
resultados? Como é possível fazer isso?
Fabiano Borges: Primeiro
lugar, a ciência dos anos 50 começa a ter um ponto de inflexão. Tem-se uma
decadência daquelas filosofias clássicas, daquela visão muito linear, daquela
imagem de desenvolvimento linear, cumulativo do progresso científico. Entre a
análise da cientometria, que vamos chamar de segunda fase da sociologia da
ciência, nos anos 60. Depois vem o Robert Medison, com os estudos quantitativos
cientométricos. Mas é interessante que naquele momento não existia a
participação do cientista: eles ficavam meio isolados. E surgem aí, por
exemplo, o Science Citation Index, que é uma base de dados cuja
interface é a própria Web of Science, da empresa americana Institute
for Scientific Information (ISI). A cientometria, de acordo com Rogério
Mugnaini (MUGNAINI,
2006), abrange a bibliometria, a infometria – indicadores de produção
científica, indicadores de resultados. É interessante que, na cientometria existe
essa generalização, digamos essas técnicas biométricas. Ela não fica só na
questão de aferir o impacto do livro, da revista. Nos anos 70, isso tornou-se
um mercado: as vendas das bases de dados e os estudos quantitativos começaram a
aumentar. O periódico Scientometrics surgiu nesse contexto. Toda essa
ciência, essa cientometria, está sempre ligada, de alguma forma, com a
sociologia.
Eu gosto de analisar a questão mais do
ponto de vista quantitativo. Embora eu conheça as narrativas, é importante que
nós discutamos essas questões, porque isso está muito nos papers sobre
cientometria no Brasil. Temos que entender outras coisas que são
importantes. Primeiro, nos periódicos de
hoje, temos que ter o Digital Object Identifier (DOI). Se não tiver o
DOI, isso atrapalha. Temos que rastrear melhor os dados. O International
Standard Serial Number (ISSN) também é importante. A maior parte da
produção científica está nas bases de indexadoras Scopus e Web of
Science.
Há uma
infinidade de rankings: Times Higher Education (THE), Quacquarelli
Symonds (QS), SCImago Journal Rank (SJR), Centrum voor Wetenschap
en Technologische Studies (CWTS) Leiden e o ranking Shangai (ARWU). O
ranking Shangai considera coisas muito específicas, por exemplo, pesquisadores
altamente citados nas universidades. Eles pegam artigos publicados na Nature,
Science – coisas muito específicas como critério. Já o ranking QS e o THE
também trazem abordagens por faixas. No caso do QS, a reputação também conta.
Eu peguei um paper (AL;
ZEHRA, 2015) que eu achei interessante (FIGURA 1). Ele traz uma
relação de número de publicações por mil habitantes e Gross Domestic Product
(GDP/PIB) per capita. Uma coisa interessante que eu sempre analiso é a
Suíça. Ela é sempre produtiva, sempre no topo da média. O Brasil não está em
lugar algum no gráfico dele (AL;
ZEHRA, 2015).
Figura
1: Elação de número de publicações por mil habitantes e GDP per capta
FONTE:
AL; TASKIN (2015).
Eu gosto do ranking SCImago, rank
gratuito (FIGURA 2). Olha só que interessante: no ano de 2015, a Suíça, como eu
falei anteriormente, está no topo da média. Eu estou falando de média porque
existem critérios na cientometria que enfatizam a Highly Cited Papers
(os papers muito citados). Aparecerão outros países: os Estados Unidos,
por exemplo. Mas a Suíça sempre foi um país, desde os anos 90, que sempre está
bem colocado. A Suíça, em 2015, publicava 45 mil papers. Se eu fizer um
corte para 5 mil papers, muda-se completamente a estrutura no impacto:
16º lugar em quantidade, com 45 mil papers. Em relação ao impacto, ela
fica em 1°. O Brasil, que está em 13º, fica em 45º, entre 55 países. Lembrando
que a SCimago utiliza dados da base Scopus.
Figura
2: Ranking Scimago
FONTE:
Dados fornecidos pelo entrevistado (2021)
Temos um cenário completamente diferente.
O Brasil, nos anos 90, publicava 9 mil e foi para 78 mil, em 2017, na base Scopus.
Vê-se esse aumento em 20 anos, uma coisa espantosa (FIGURA 3). O Brasil segue
uma dinâmica muito parecida com a Índia. A Coreia tem números parecidos com o
Brasil, no que diz respeito à quantidade, mas comportamentos diferentes, em
relação ao impacto: o da Coreia subiu. A
Coreia teve um aumento de 10 mil: foi para 83 mil papers, e o impacto
acompanhou esse aumento. No Brasil, ao contrário, o impacto foi descendo.
A China, sem dúvidas, apresentou o aumento
mais expressivo em quantidade. Saiu de 30 mil para 534 mil. Inclusive, em 2019,
a China passou dos Estados Unidos em quantidade de papers. Em 2009, a
China começou a subir o impacto científico. Eu plotei o gráfico, comparando o
impacto, percentualmente, da Suíça em relação aos outros países (FIGURA 3).
Curiosamente, a colaboração da China também vem crescendo. Em 2003, se eu fizer
um corte para 21mil papers, de acordo com o que o Brasil publicou
(mínimo de papers do Brasil), o Brasil estava em 14° em quantidade. Ele
continua caindo.
Em 2017, o número de países vai
aumentando, mesmo que se mantenha o número fixo de papers (21 mil papers).
Isso se explica pelo fato de que o mundo vai aumentando a quantidade de papers
todos os anos. Então por mais que eu estabeleça um corte mínimo de 21 mil papers,
será notado que, ano a ano, a quantidade de países vai aumentando, até chegar a
34 países. Só que o impacto do Brasil vai caindo. Eu estou pegando a produção
de todo o país, toda a ciência que o Brasil produz, então ele gerou um valor agregado
de Citação Publicação da Produção (CPP) de 22,79. Significa dizer que, entre 17
países, o Brasil estava em 14°. Só que à medida em que os países vão
aumentando, por exemplo, em 2017, com 34 países, o Brasil está em 30º (FIGURA
3).. Algo muito parecido que acontece no Programme for International Student
Assessment (PISA). À medida que os países vão aumentando no PISA, o Brasil
vai ficando cada vez mais para trás.
Figura
3: Evolução da quantidade de papers nos últimos 20 anos
Fonte:
Dados fornecidos pelo entrevistado (2021).
Note que o Brasil (linha azul da FIGURA 4),
cresceu bastante a quantidade de papers. A Índia também. A Suíça cresceu,
mas de maneira mais ordenada. Entre 2005/2006 é onde o Brasil só começa a
ascendência em quantidade de papers. O Brasil segue a trajetória muito
parecida com a Índia, conforme é possível observar na figura à direita (da
FIGURA 4). E a capacidade de inovação do Brasil, curiosamente caiu, de 27º
passa para 80°. E a Índia, coincidência ou não, também foi caindo.
Figura
4: Estudos de caso
Fonte:
Dados fornecidos pelo entrevistado (2021).
Onde está a média mundial? O azul escuro é
o percentual com relação ao mundo e o claro, a média (FIGURA 5). Vamos ter
diferenças para acompanhar o primeiro lugar do mundo. A média as vezes alcança
20%, as vezes alcança 50%. A média mundial vai variar muito de acordo com a
área do conhecimento. Quando vemos por áreas do saber, do lado direito, fica
muito claro (FIGURA 5). Por exemplo, em amarelo, na área de ciências sociais, a
média mundial correspondeu a 64% por cento do primeiro lugar do mundo. Só que o
Brasil ficou 25% da média mundial. Em
física, se comparamos o primeiro lugar do mundo com relação à média, a média
atingiu 56%. Só que o Brasil já atingiu 54%. Ele se aproximou muito mais da
média mundial. Só que, reitero, a média mundial com relação ao primeiro
colocado varia muito. No Brasil, em artes e humanidades, estão 28% da média
mundial. A média mundial já está menos de 50% do primeiro colocado. Então, a
média mundial nem sempre está naquele patamar de 50% do primeiro colocado. E o
Brasil, em algumas áreas, está bem abaixo da média.
Figura
5: Média mundial
Fonte:
Dados fornecidos pelo entrevistado (2021)
Girlane Hickmann: Você
acredita que pode haver vantagens para o Brasil em concentrar-se em áreas do
saber que estejam mais ligadas às atividades econômicas, pelo menos por um
período determinado, ou isso geraria maiores prejuízos ao país?
Fabiano Borges: Em
primeiro lugar, o Brasil tem que investir em áreas que estão funcionando. Por que é importante essa análise? Analisar a
produção agregada do país é uma coisa. Outra coisa é observar as áreas. Outra ainda
são as subáreas. Em física, ou mesmo em medicina, existem subáreas. Na
medicina, há áreas que estão muito bem e áreas que não estão. Dentro dessas
subáreas, temos que investir naquelas que estão dando resultado. Isso fica
muito patente quando se analisam as subáreas. Em física, por exemplo, a
astrofísica é uma área que está super bem. Ela vem crescendo na quantidade de
publicações e no impacto. Então, por que não investir mais ainda em
astrofísica? Mesmo em áreas do conhecimento, como áreas de humanidades, existem
áreas que estão um pouco melhor, mas outras estão muito ruins. Não é só questão
do dinheiro. Existe todo um arcabouço institucional que explica isso:
histórico, questão cultural, revistas. Não é uma coisa tão simples.
Girlane Hickmann: Grande
parte da produção de conhecimentos no Brasil vem das universidades públicas.
Qual a viabilidade ou interesse de investimentos privados para a produção
cientifica? Quais seriam os benefícios?
Fabiano Borges: O
problema é que temos uma legislação muito travada, no Brasil. Isso fica muito claro quando verificamos, no Web
of Science, o percentual de produção científica em colaboração com a
indústria. Mesmo em São Paulo, onde estão as paulistas com maior
expressividade, como USP e UNICAMP, o percentual está em torno de 3%. É muito
baixo. Se não houver uma flexibilização para viabilizar parcerias privadas,
isso simplesmente não vai sair do papel. Privatizar a universidade, do ponto de
vista logístico, é quase impossível. Se não houver uma flexibilização da
legislação, que traga uma maior produtividade para as universidades, vai ficar
difícil. Não dá para ficar dependendo do
orçamento que vem do MEC e da CAPES.
Girlane Hickmann: É
uma pena porque há tantas empresas que poderiam, de certa forma, trabalhar em
conjunto com a própria universidade.
Fabiano Borges: Temos
um problema institucional muito sério. Há questões econômicas, travamentos
jurídicos que dificultam muito o avanço e, até mesmo, o investimento em certas
áreas que possam fazer com que as universidades fiquem menos dependentes do
orçamento público, que vem da CAPES e do MEC. O MEC descentraliza orçamento
para CAPES e ela passa isso para as universidades, por meio de projetos. As
universidades federais também recebem esse orçamento via descentralização. Para
se receber o dinheiro fora desse aspecto do orçamento é muito difícil. É quase
impossível. E aí as universidades ficam com as mãos atadas. É por isso que,
todo ano, todo mundo fica com medo. Se baixar o orçamento da CAPES ou do MEC,
eles não sabem como fazer. E aí se nota
claramente que a folha salarial das universidades cresceu e está chegando ao
limite. Só está servindo para pagar folha salarial. Gera-se um sistema
extremamente ineficiente e caro. O MEC, em 2019, gerenciou 149 bilhões. São 122
bilhões, mais o Financiamento Estudantil (FIES), mais o Salário-Educação, que
totaliza esse valor.
Vejamos a área de conhecimento. O processo
é muito parecido. A grande questão é: se analisar a produção científica
agregada, produção por área de conhecimento e produção das universidades,
conforme esse critério (citação de publicação, normalizando pelo tamanho da amostra,
que permite comparar países que produzem quantidades diferentes), verá que o
impacto médio é muito ruim. Eu não estou dizendo que aqui no Brasil não existam
bons pesquisadores, não é isso! O fato é que é muito restrito. Temos que
melhorar a base da pirâmide.
O Brasil tem um percentual que recebe
muito valor de investimento e publica grande parte dos artigos. A maioria não
consegue publicar nada. O quadro de
doutores permanentes, por exemplo: no GeoCapes da Capes, está constando 82 mil papers
e 82 mil doutores do quadro permanente. Praticamente um paper por ano,
por doutor permanente. Quem está publicando, na verdade, são os alunos. Esse é
o cenário. Vamos ver medicina (FIGURA 6). Eu peguei 2015, pois gosto de pegar
um pouco para trás porque dá tempo de o artigo ser citado. Olha que
interessante, Medicina, se eu fizer um corte para 2 mil papers
(significa dizer que qualquer país que produziu menos de 2 mil papers
não entra nessa conta). Nessa análise, Finlândia, Dinamarca, Bélgica, e Suíça
estão na frente, no critério CPP – na SJR eles usam uma terminologia Citation
Per Document (citação por documento). O Brasil, entre 47 países, acaba
caindo para o 38º, quando verificamos o critério de impacto. Em quantidade, o
Brasil estava em 14°. A Holanda produziu mais papers do que o Brasil e
apresentou o dobro do impacto.
Em 2009, quando o Brasil passou a Holanda,
na quantidade de papers, foi feita uma festa porque o Brasil produziu
mais que Holanda. Só que a Holanda, em medicina, em 2015, produziu ainda mais papers
que o Brasil e o dobro do impacto. O Brasil teve um CPP de 5,58 (FIGURA 6). O
Brasil produziu 21 mil papers; a Holanda 24 mil papers e um
impacto 10,01 de CPP. Nota-se que o CPP é consistente na linha do tempo. Ele é
consistente para a área do conhecimento. Se fizer regressões, percebe-se que o percent
top ten e o top ten têm uma boa relação como o CPP.
Figura
6: Análise por área do conhecimento na base SJR
Fonte:
Dados fornecidos pelo entrevistado (2021)
As áreas do conhecimento têm
características distintas. Neurociência, Ciência da Vida, Biologia, Química são
áreas que têm uma frequência de publicação muito maior do que Ciências dos
Materiais, Matemática da Computação, Artes e Humanidades (FIGURA 7). Há
características diferentes. Razão pela qual temos que comparar Neurociências
com Neurociências; Agronomia do Brasil, com Agronomia de outro lugar. Jamais podemos
comparar Neurociência do Brasil com Artes dos Estados Unidos, por exemplo.
Quando analisamos área por área, constatamos, por exemplo: a Agronomia, entre
36 países, está em 33° lugar; a Bioquímica, entre 35 países, está em 27°; a Química,
entre 27 países, está em 26°. Notamos que o padrão é muito parecido. Na média, é essa a situação. É preciso
enfatizar que temos bons pesquisadores e professores. Todavia, na média, somos
muito ruins. Isso tem que melhorar! Se
ciências é entendida como insumo para inovação, é aqui que temos insumos para
criar inovações tecnológicas.
Figura
7: Posição do brasil no ranking CPP por área do conhecimento – SJR 2015
Fonte:
Dados fornecidos pelo entrevistado (2021)
Girlane Hickmann: Por
qual motivo demorou tanto para que se adotassem outros parâmetros da
cientometria no passado? Fixamos apenas na questão da quantidade das
publicações e do Qualis. Quais têm sido as consequências dessa forma de pensar
para a produção científica brasileira?
Fabiano Borges: Esse
é um problema de pesquisa que eu estou trazendo. Justamente por isso que eu sou
reprovado nas entrevistas. Ninguém quer falar disso. Esse é o primeiro ponto. O segundo ponto é o
Qualis. Ele é um outro assunto, embora tenha relação. Por quê? O Qualis nasceu em 98 e se estendeu até os
anos 2000. As áreas variam; algumas mesclam critérios. O Fator de Impacto (FI),
por exemplo, não é seguido por todas as áreas do conhecimento, e existem razões
para isso. Por exemplo, existe um critério que é obsolescência do artigo. Há
uma espécie de mediana do artigo citado.
Certas áreas têm um pico de dois a três
anos, que são as Hard Science. Nas áreas de Humanas, o pico é de quatro
anos. Certas áreas, como computação, mesclam FI, misturam eventos para chegar a
um indicador que eles têm lá para o Qualis. Uma coisa importante, inclusive
Rogério Mugnaini, que é um pesquisador da USP, em uma palestra, comentou que a
produção não é avaliada. Existem classificações do Qualis. Rogério Mugnaini
enfatiza que as revistas nacionais são classificadas de forma muito
diversificada e causa uma sobrecarga no sistema. Muita gente sabe disso com
relação ao Qualis.
O que estamos tratando aqui é de um
assunto um pouco diferente, razão pela qual eu digo que tem relação, mas não é
a mesma coisa: é um impacto. Porque estamos fazendo a análise diária, a
compilação de revista. Para se calcular isso, consideram-se outras questões.
Por esse motivo, é muito importante a colaboração internacional, porque faz
parte do cálculo. Vamos ver só o caso da
Universidade Federal de São Carlos (FIGURA 8). Analisa-se pelo
Field-weighted Citation Impact (FWCI) – indicador usado pela empresa Elsevier,
ferramenta da SciVal. Notem que, quando se verifica com a colaboração
internacional, o impacto é: 1,2; somente a colaboração nacional: 0,75; somente a
colaboração institucional: 0,61; co-autoria sem colaboração: 0,39. Essa é uma
ferramenta da SciVal, uma ferramenta muito bacana. Eu recomendo muito a
utilização desta ferramenta porque ela permite a avaliação das instituições.
Figura
8: Colaboração internacional (universidades)
Fonte:
Dados fornecidos pelo entrevistado (2021)
Quando eu mencionei SJR, eu estou falando
de países e de áreas do conhecimento. Na FIGURA 8, eu já estou fechando nas
universidades. Olha só que interessante a Suíça, embaixo no gráfico, ela está
em 30 e pouco, sobe, cai um pouquinho. Depois de 2000, a Suíça só sobe. Depois
é consistente a colaboração (mais 60% de colaboração internacional). Esse é um
dado de 2015. Mas eu já vi 2017, 2019. E nós não voltamos para o patamar de
colaboração internacional dos anos 90.
Por que que eu estou dizendo isso? Quando
analisamos a questão das revistas, do Qualis, temos que lembrar que no cálculo
tem colaboração internacional. Uma revista nacional pode sim ter o impacto
aumentado com colaboração. Não estou falando para acabar com as revistas
nacionais. Nunca falei isso! Se não nos atentarmos para a importância que tem a
colaboração internacional, vamos patinar o tempo todo.
A produção científica moderna é totalmente
colaborativa. Essa é a diferença da ciência do passado. A rede importante é a
internacional. As pessoas fingem não entender isso. Aí que mora o problema. No paper
que eu finalizei recentemente, eu fiz uma regressão quantílica, comparando a
influência da colaboração internacional sobre o impacto (ALMEIDA; BORGES;
MOREIRA; LIMA, no prelo). A colaboração internacional tem um impacto crescente
sobre o impacto. Se se colabora só com os outros, só para publicar, não tem
efeito. Mas sobre o impacto a colaboração internacional tem grande efeito. Isso
aqui é muito negligenciado.
Escrevi um projeto de doutorado sobre esse
assunto. Na entrevista, eu levei nota 5,0. Estava com uma prova escrita bem
avaliada (9,0). Mas, quando eu fui explicar a colaboração internacional,
ninguém quis saber: “Ah, eu estou entendendo. Achei que você fosse falar de
comparação sul-sul”. A colaboração internacional, hoje, pela literatura
cientométrica, tem a ver com rede de coautoria. Eu estava me propondo a mapear
rede de coautoria. Cooperação tem outro viés, outros conceitos, embora os dois
conceitos sejam extremamente confundidos. Essa era a minha proposta. Há vários
gráficos que apresento. Eu já fiz modelagem sobre isso. E, aqui no Brasil, ninguém
quer falar sobre isso. A bem da verdade, as pessoas querem fugir desses
assuntos.
Quando se vê os investimentos, o Brasil é
parecido com a Rússia, com investimento um pouco maior que da Rússia, mas um
impacto quase igual (FIGURA 9). Ao comparar o Brasil com México ou Colômbia, percebe-se
que o impacto é praticamente o mesmo. Só que o Brasil investe mais. Resultado: o
México e a Colômbia são mais efetivos que o Brasil. Você verá a curva, vendo os
países como é que eles estão nessa distribuição, verificando o investimento que
se faz. Para isso, basta olhar o Gross domestic expenditure on R&D
(GERD) – gasto investido em pesquisa e desenvolvimento, considerando as
rubricas do setor privado.
Figura
9: Investimentos e impacto científico
Fonte:
Dados fornecidos pelo entrevistado (2021)
Estamos considerando a participação
pública e privada, no P&D. Há países que investem como o Brasil, do ponto
de vista do percentual do PIB, e têm um impacto melhor do que o nosso (Itália e
Portugal). Dessa questão do investimento eu gosto, embora seja super criticada,
porque eles vão diz o seguinte: “Ah, e quanto que é o per capita?” O
percentual de investimento em educação é de 6%. “Mas quanto que é o per
capita?”. Em per capita, no Ensino Superior, é muito bom. É
comparado inclusive a países da Organização para a Cooperação e Desenvolvimento
Econômico (OCDE). Não é tão alto com relação ao investimento do Ensino Básico. No
Ensino Superior, é alto sim. E cresceu de forma absurda. Aí eu fico me
perguntando: querem elevar o percentual do PIB para 10%? Vai elevar tudo,
dívida pública, 100%? É isso que eles querem, e quem vai investir no Brasil?
Girlane Hickmann: Os dados que você está mostrando não têm encontrado espaço na mídia e nas universidades para que sejam discutidos. É possível que isso esteja acontecendo propositalmente?
Fabiano Borges: Eu
não gosto muito de teoria da conspiração, mas o que é curioso é que, quando se
fala nessas bases, fala-se com o peito estufado, por conta no posicionamento do
Brasil nas bases (13º/14°). Quando analisamos com uma lupa, inclusive
utilizando a literatura da área, quando eu falo de size independent e size
dependent, não estou inventando isso. Estou falando de autores holandesa
da cientometria – Ludo Waltman e Loet Leydesdorff. São autores que publicam nos
principais periódicos do mundo.
Temos um cenário de redução de transação
absurdo. Nunca houve uma redução tão grande do custo da informação. O fato é que essa é a nova configuração da
sociedade no século 21: redução dos custos de transação. Isso faz com que
muitas vezes certos custos burocráticos sejam colocados em xeque. Isso está
colocando cada vez mais em xeque as próprias funções estadistas. Cadê o Brasil
reduzindo custos de transação, por meio do Estado? Simplesmente o Brasil está
aumentando o custo burocrático. Se o Brasil estivesse alavancando a questão
científica, em áreas onde o mercado não é não é eficiente, seria ótimo.
Então coloca o Estado lá onde o mercado
não é suficiente. “Não! Isso no Brasil não existe!” O que existe é ter o Estado
para a aumentar cada vez mais a estrutura de custos burocráticos. Na ciência e
tecnologia, estamos patinando por conta disso. Temos uma estrutura extremamente
ineficiente, em que se você quiser trazer qualquer tipo de assunto para
aperfeiçoar o tipo de investimento, as pessoas te olham com a cara torta. O
problema é que o Brasil é tão desenvolvimentista. O desenvolvimentismo é tão
arraigado, tão atmosférico, que se sente o cheiro do paletó do Vargas nas
instituições brasileiras. É impressionante!
Girlane Hickmann: É possível
afirmar que há uma relação entre os últimos lugares nas avaliações do Pisa e o
baixo impacto da produção científica brasileira?
Fabiano
Borges: Eu peguei todos os anos do PISA (2000-2018) e fiz uma análise
estatística (FIGURA 10). Essa é uma regressa Ordinary Least Squares
(OLS) – Mínimos Quadrados Ordinários, só para chamar a atenção. O Índice de
Desenvolvimento Humano (IDH) do Brasil é baixo. Quando se analisam critérios per
capita, renda per capita, tudo é baixo. A posição, quando se
verifica PIB nominal, o Brasil está em 10°. O Brasil está entre os 10° há
muitos anos. Ao longo do século 20 inteiro, o PIB per capita brasileiro
sempre foi baixo. Existem algumas teses para isso: Alexandre Rands, na
economia, acha que a explicação está no capital humano. Eu peguei 2015, 50
países, e analisei. Puxei algumas notas do PISA, puxei o impacto científico e
comparei (pegando a nota PISA dos países como variável explicativa e minha
variável resposta a CPP). Fiz uma OLS para ver o que ia dar. Daí deu uma
correlação alta. Comecei também a analisar outros anos, só que tem um problema:
o PISA começou com 40 países e está agora com 70 e tantos. Eu tenho algumas
lacunas, então vai ser difícil, do ponto de vista estatístico, suprir essas
lacunas. Então estou tentando modelar justamente por conta disso. Sempre que um
país vai agregando no PISA – 40 países, depois são 50, depois são 70 e tantos –
o Brasil vai no para trás. É algo muito parecido quando vemos a quantidade da
produção científica. São 55 países e impactos 45°, só que quando vemos em
quantidade estamos em 13°, na produção agregada. Quando vamos com uma lupa
sobre os dados que nós temos com relação ao PISA, ao impacto, ao IDH, ao PIB per
capita, os indicadores são muito ruins. No momento, ainda não tenho uma
pesquisa fechada sobre o impacto científico no PISA, mas eu acredito que tenha
relação.
Figura
10: PISA versus impacto científico
Fonte:
Dados fornecidos pelo entrevistado (2021)
Girlane Hickmann: Em
Ciências Sociais, a posição do Brasil, no ranking CPP, é o último lugar, em 27
países.
Fabiano Borges: Nesse
caso eu sei qual que é o argumento que vão utilizar porque eu já conheço esses
argumentos como a palma da minha mão. Primeiro, vão dizer que a base Scopus
não é a base para ciências sociais no Brasil. Eles vão dizer que é a SciELO. Em
segundo lugar, vão dizer que, em Ciências Sociais, eles não gostam de publicar
artigos: eles gostam de livros. É curioso notar que a tendência é absolutamente
a mesma para todas as áreas. Estão seria muita coincidência. O problema é que
temos que parar que achar que somos muito especiais com relação ao resto do
mundo. O impacto internacional da pesquisa brasileira, nas principais bases não
está bom. Se as pessoas acharem ainda que está bom, não adianta. É como se o doente que tem uma doença grave
diga que está em perfeita saúde. Ficar negando a doença é pior! Eu já perdi a
paciência porque não adianta. Eu sei para onde eles vão.
Girlane
Hickmann: Por que que você acha que não está tendo esse interesse tão forte
na cooperação na colaboração internacional, se ela impacta tanto na ciência?
Fabiano Borges: O
Brasil tem um percentual de colaboração similar ao dos Estados Unidos e da
China. Isso significa que existe um componente qualitativo na colaboração? É
possível. Curiosamente, temos um percentual de colaboração muito inferior ao dos
países em desenvolvimento. Países vizinhos do Brasil têm uma colaboração muito
maior do que a nossa. Nosso percentual é similar ao dos Estados Unidos e da China,
só que esses dois países são os que mais produzem. Então, coloque 20% em 600
mil papers. O impacto disso na rede colaborativa internacional é enorme!
O Brasil coloca 20% ou 30% em 80 mil papers,
que são praticamente todos indexados aqui no Brasil nas revistas brasileiras. Qual
que é o impacto disso? Muito pequeno. Eu acredito que, se não houver um aumento
do percentual, nós não sairemos desse lamaçal. Revisar o mapeamento dessa
colaboração, em termos qualitativos, também é uma outra estratégia.
Eu termino justamente falando sobre
efetividade e eficiência. É preciso ter uma dimensão de resultados. Sem isso,
não sairemos do lugar: faz-se um projeto, termina e engaveta. E para finalizar,
as ferramentas cientométricas podem ser mais adequadas para aperfeiçoamento das
políticas públicas. Por quê? Existem muitas ferramentas. Mas é preciso sentar-se,
fazer análise comparativa, pegar linha do tempo, comparar 20 anos, comparar 20
países, comparar 30 países. Se, ao comparar 30 países, 20 anos, continuar
achando que o Brasil é diferente, realmente, é preciso dizer que o problema é
mental!
Referências
AL, U.; TASKIN, Z.
Relationship between Economic Development and Intellectual Production. Collnet
Journal of Scientometrics and Information Management. Vol. 9, n,1, p,
25-35, 2015.
ALMEIDA, R. M.; BORGES, L.F.; MOREIRA, D. C.; LIMA, M. H. New Metrics
for Cross-Country Comparison of Scientific Impact. Frontiers in Research
Metrics and Analytics, v. 5, p. 1-4, 2020.
BORGES, L. F. F.;
CONSTANTINO, M. Produção Científica e Colaboração Internacional: Perspectivas
Sobre a Área de Economia. In: ANPEC, 2020, Brasília. In: XLVIII Encontro
Nacional de Economia da ANPEC, 2020, Brasília., 2020. p. 1-18.
MUGNAINI, R. Caminhos para
adequação da avaliação da produção científica brasileira: impacto nacional
versus internacional. 2006. Tese (Doutorado em Cultura e Informação) - Escola
de Comunicações e Artes, Universidade de São Paulo, São Paulo, 2006.
doi:10.11606/T.27.2006.tde-11052007-091052. Acesso em: 13 de jul. 2021.
Recebido em: julho/2021.
Aprovado em: setembro/2021.