O FATOR DE IMPACTO

Gilson Volpato – 03/11/2021

O Fator de Impacto (FI) é um cálculo matemático que informa a relação entre publicações efetivadas por revista científica e as citações recebidas por essas publicações. Como divide citações/publicações, ele mede eficiência (produto/custo). Obviamente, é uma fórmula matemática e, portanto, tudo o que indica está previsto na fórmula. Erramos quando extrapolamos além ou aquém disso.

Basicamente, ele avalia quantos artigos foram publicados em 2 anos seguidos (por ex., 2018 e 2019) e quantas citações esses artigos (de 2018 e 2019) receberam no ano seguinte a esse biênio (no ex., ano 2020). Isso é feito após completar o período de 2018 a 2020, isto é, o cálculo é liberado em 2021 (indicando o FI de 2020). A fórmula é, então, número de (citações recebidas)/(número de artigos publicados), segundo o exposto neste parágrafo. Note que as citações contadas são apenas aquelas dos artigos publicados no biênio anterior à citação. Outros artigos da revista também são citados, evidentemente, mas não entram no calculo do FI do respectivo período.

Como algumas áreas têm uma velocidade de publicação mais lenta, porque os temas abordados assim exigem, há também o FI para 5 anos (troca-se tempo de registro de artigos de 2 anos por 5 anos, calculando-se as citações ocorridas no 6º ano. Isso permite melhor avaliação dessas áreas.

Fica claro que é um indicador de revistas e não de autores. Basicamente, o corpo editorial da revista tem plena liberdade para solicitar artigos e escolher os que devem ou não ser publicados. Feito isso, divulga a revista para seus leitores. Esses leitores têm certa liberdade de citarem ou não os textos publicados, o que normalmente requer algum contexto lógico com o que escreverem. Essa escolha dos leitores resultará nas citações feitas por esses cientistas e que as revistas receberão.

Como quem escolheu os artigos para publicar foi o corpo editorial da respectiva revista, os reflexos sobre o FI recaem sobre esses editores, pois é um resultado que depende em boa parte da política editorial da revista. Porém, existem alguns outros fatores que interferem nesse sistema e devem ser considerados ao se comparar revistas, ao menos para auxiliar nossa interpretação.

A proporção entre os tipos de artigos existentes na revista (por ex., Reviews, Short Communications e Full Papers) tem algum impacto sobre o FI delas. Como Revisões e Short Communications são mais citadas, ao menos no período de 2 anos, se a revista publicou mais esses tipos de artigos, terá FI mais alto.

O perfil da área também implica dinâmicas próprias de citação, inclusive costumes. Com isso, não se recomenda que comparemos revistas de diferentes áreas (não apenas as grandes áreas, mas principalmente áreas mais restritas). Porém, o que é uma área? Possivelmente não seja exatamente o que convencionalmente definimos aqui no Brasil. É uma divisão geralmente abstrata, principalmente porque contamos com o conceito básico de que a ciência é, em sua essência, interdisciplinar. Assim, considerar uma área algum conjunto dissimilar de áreas mais restritas pode trazer equívocos. Por ex., na CAPES é comum juntar área (fala-se até em área Mãe), o que certamente acarreta desvios, visto que o perfil é direcionado por aquele da área com FI mais alto.

Embora outros fatores também possam atuar, esses acima são importantes pelo impacto e frequência com que podem interferir no FI e, dessa forma, devem ser pensados nas comparações que se façam.

Quando falamos em avaliação numérica, a primeira crítica que se faz é exatamente sobre os números. Uma das mais ingênuas é dizer que número não significa qualidade. Estranho, pois os cientistas estudam o mundo, por meio de suas expressões, numéricas ou qualitativas. Assim, negar essa participação numérica implicaria negá-la também em várias outras instâncias da ciência... obviamente, isso não ocorre. Aliás, é por essa razão que frisamos, no início deste breve texto, que o FI é uma fórmula matemática; assim, expressa tudo o que nela pode estar contido, nem mais e nem menos. E veja que quantificar qualidades deve dar noções de qualidade. Por exemplo, publicar num mesmo ano um artigo em revista científica de alto prestígio pode ser bem diferente de publicar 4 artigos nessa mesma revista. É evidente que a qualidade do artigo único pode suplantar a qualidade dos outros 3... mas isso nos remete à questão de como avaliar a qualidade dos artigos. Notem que essa qualidade já foi bem avaliada no sistema peer review e, portanto, mais aprovados nessas revistas poderia significar melhor qualidade dos autores. Mas não é tão simples! Cada artigo publicado numa revista significa que ultrapassou a qualidade mínima exigida pela revista, podendo haver artigos de muito melhor nível.

A constatação no parágrafo acima é mais bem resolvida quando olhamos para o uso que a comunidade científica tem feito das informações publicadas de certo trabalho; i.e., as citações. Afinal, cada autor tem certa liberdade para escolher as referências que pretende citar. Ele é restrito apenas por razões de lógica inerentes às informações que está expressando.

Se pensarmos que cada artigo publicado passou pelo crivo de um corpo de examinadores, geralmente anônimos, o aceite para publicação passa a ter maior relevância. Assim, quantificar esse aceite, também deve ter algum valor. Quanto às citações, elas requerem não apenas que os artigos tenham sido vistos, mas também lidos e considerados pelos demais cientistas para serem incluídos em seus artigos (seus discursos científicos).

Obviamente, em todos esses passos, houve análise qualitativa considerável. O leitor pode ter considerado o uso do artigo por uma análise bastante rigorosa de seu conteúdo, ou mesmo por uma análise mais superficial (esta última geralmente entre autores menos consagrados e de baixa qualidade). No caso da revisão por pares, esperamos uma análise um pouco melhor, principalmente quando se tratam dos principais especialistas da área, num cenário internacional. Afinal, é na revisão por pares que pode ocorrer a análise mais acirrada, pois envolve leitura do texto, emissão escrita de parecer, podendo haver réplica dos autores e mesmo comparação com os pareceres dos outros revisores, além de uma avaliação desses pareceres feita pelos editores. Portanto, não é um espaço livre para os revisores falarem o que querem... deve haver fundamento forte.

Embora diferenças pequenas entre FI de revistas não nos digam muita coisa sobre as diferenças entre elas, diferenças de maior magnitude geralmente dizem algo a ser considerado. Por exemplo, numa mesma especialidade, uma com FI = 1,4 e outra com FI = 2,2 possivelmente não tenham grandes diferenças entre si. Porém, se o perfil do FI ao longo dos anos mantém essa diferença, então já nos parece que exista algo qualitativo a ser considerado.

Esse sistema de citações para análise das revistas, e mesmo dos autores (mas não pelo FI), tem permitido ações de corrupção que não inviabilizam o sistema, mas trazem problemas. Tem surgido grupos que vendem citações, autores que nem leem o que citam, editores e revisores que forçam a citação de certos artigos “desnecessários no contexto” etc. Desvios de conduta ocorrem em qualquer atividade humana e, não seria de se esperar que no meio científico fosse diferente. Porém, quanto mais tais questões forem explicitadas e discutidas internamente na formação de cientistas, maior será a chance de que não sejam adotadas.   

Autocitações é um outro fator que pode afetar o FI. Se uma revista tem FI = 6,0, derivado de cerca de 70% de autocitações, é bem provável que será uma revista menos reconhecida internacionalmente do que outra que tenha FI = 4,0, mas com apenas 20% de autocitações. Veja que a autocitação é natural, pois cada artigo publicado numa revista atende ao escopo da revista. Assim, cada revista possui um conjunto de artigos sobre algum tópico mais ou menos comum entre elas, o que nos faz esperar que algum conhecimento desse conjunto possa ser usado para trabalhos na mesma revista. O problema das autocitações está exatamente no excesso delas. Em estudo no início deste século, o ISI (Institute for Scientific Information – responsável pelos cálculos do FI) encontrou que cerca de 20% de autocitações é um valor aceitável no universo das revistas do Journal Citation Reports (JCR).

Outro cuidado importante a ser tomado é a comparação de uma certa revista em relação a outras de mesmo perfil e área. Nesse caso, a comparação é mais adequada se fizermos em relação à mediana do FI nesse conjunto de revistas. Com isso, muitas variáveis ficam balizadas, permitindo comparações mais aceitáveis.

O FI acima considerado foi o primeiro a ser idealizado no mundo e, por muitos anos, ficou sob a proteção de seus direitos. Houve muitas batalhas editorais sobre isso, particularmente na primeira década deste século. As revistas que melhor se saiam frente às concorrentes festejam seus FIs, enquanto as de pior desempenho preferiam ataca-lo (isso mesmo entre aquelas de alto impacto). Outras métricas foram surgindo como alternativas para o FI. Porém, o FI original ainda se mantém, informando o que consegue informar. Não se trata de usá-lo ou não. Se trata de saber usá-lo quando isso é possível. Afinal, as citações são uma expressão da própria comunidade científica... ou essa expressão não nos significa nada?

A grande luta editorial foi travada entre duas empresas gigantes nesse meio: o ISI (atualmente com a base Web of Science e o JCR organizando as métricas pela Clarivates) e a Elsevier (base Scopus, inaugurada EM 2004, cerca de 30 anos após o uso do FI pelo JCR, onde disponibiliza os índices pelo Scimago). Nesse debate, muitos pesquisadores adotaram o apoio a uma dessas empresas, alguns ou muitos sem mesmo conhecer o cenário e a história de todo o processo. Em 2005, quando Hirsch publicou o Índice h na PNAS-USA, não houve muita mudança no cenário dessa batalha. O índice h é acadêmico, gratuito e interessante; falaremos dele em outra oportunidade. No momento, basta ver que a radicalização ficou no FI, embora sua essência esteja também no índice h e vários outros índices. A própria revista Science chegou a assinar posição contra o FI (Declaração de San Francisco, Documento DORA, dezembro de 2012), enquanto sua principal concorrente, a revista Nature, não assinou tal documento. Análise dos FIs dessas revistas no período dessa polêmica revela que apenas uma vez a Science estava com FI mais alto que o da revista Nature. Sintomático!

Este breve texto teve a intenção de iniciar em você uma preocupação com a avaliação científica, o que o conduzirá para buscar mais textos a respeito. Note que nesse debate, há interesses que podem ultrapassar, em muito, os científicos, sejam de quais lados forem. Por isso, fazer uma análise lógica do sistema é fundamental. Um cientista bem formado poderá ter uma visão totalmente diferente daqueles de formação mais fraca, que desconhecem a história da ciência, sua lógica e recursos epistemológicos, ou se prendem radicalmente a questões ideológicas que ultrapassam o problema em questão.