A revisão por pares (que o histórico é brevemente descrito neste texto) é um dos grandes pilares da ciência moderna. É muito comum a pergunta para contestar o valor de uma afirmação: “este estudo foi publicado em uma revista com revisão por pares?”. Um exemplo é uma comunicação da NASA afirmando que “97% das publicações com revisão por pares concordam com o aquecimento global”. Minha interpretação é que “97% dos estudos confiáveis concordam que há mudança climática”. Pouco se duvida que haver um processo sistemático de revisão é melhor que não haver, mas a questão que fica é a seguinte: todo e qualquer artigo com o “carimbo” de revisão por pares é necessariamente um estudo de alta qualidade?

O fato é que existem divergências na comunidade científica sobre o processo de revisão por pares, apesar da sua necessidade ser apoiada pela grande maioria dos pesquisadores . No entanto, alguns estudos já mostraram alguns dados pouco animadores. Um estudo mostra que há baixa evidência empírica de que revisão por pares melhora a qualidade de um relatório. Outro estudo mostra que há baixa concordância sobre um aspecto do manuscrito (por exemplo, “linguagem”) sendo quase  igual o nível de concordância esperada casos os revisores dessem notas aleatórias. Para piorar, outro estudo mostra que há pouca correlação entre as notas dada pelos revisores e o número de citações que o artigo recebe após ser publicado.

Não se pode dizer que existe uma crise na comunidade científica comparada à falta de replicabilidade de estudos. No entanto, esta é uma questão essencial para evolução da ciência. O método científico sempre prezou por ser “auto-corrigível” e as recentes discussões, no caso de revisão por pares, é um passo neste sentido.

Causas e Alternativas

Em uma nota crítica, um ex-editor da British Medical Journal (BMJ) critica o processo como um todo e um dos pontos que ele pontua é a falta de treinamento de revisão. A revisão por pares é um aspecto da academia, mas não existe um treinamento específico para tal. Em geral, pesquisadores aprendem por tentativa e erro. O BMJ realizou um experimento separando revisores em 3 grupos (sem treinamento, treinamento de um material didático e material didático + presencial). Resultado: o treinamento não elevou significativamente a qualidade das revisões! Segundo o autor, o treinamento melhora em alguns aspectos, porém, nos aspectos críticos, pouco fez diferença.

Mais recentemente têm sido propostas mudanças na configuração da revisão. O padrão ouro sempre foi considerado o duplo-cego, em que ambos revisores e autores são anônimos, ainda que a maioria das revistas sejam apenas cegas para os autores (single-blind), em que a identidade dos revisores não é conhecida.

Uma alternativa que tem sido discutida é a “revisão aberta” (open review), em que a identidade de revisores e autores é sempre conhecida. Quem defende essa ideia argumenta que isto pode trazer mais transparência ao processo sem que a qualidade seja diminuída já que, como mencionado, o processo de revisão não melhora necessariamente a qualidade do manuscrito. Outro ponto central é que isto evitaria conflito de interesse na revisão. Uma vez que um revisor anônimo poderia agir por interesse próprio protegido pela anonimidade. No entanto, os resultados de estudos ainda são conflitantes quanto a efetividade de usar revisão aberta.

Uma outra alternativa que tem sido usada é permitir revisões após a publicação (tirei a maioria das informações deste relatório). Tradicionalmente, existem rodadas de revisões até que o manuscrito seja aceito, porém, uma vez publicado, não existem revisões adicionais – o artigo é uma entidade “morta”. Neste caso, a instituição que publica o manuscrito mantém um sistema em que pode-se postar revisões adicionais e leitores têm acesso a estes comentários. Seria semelhante às seções de comentários em páginas na internet, porém um pouco mais complexo. As vantagens são evidentes, uma vez que é comum manuscritos serem aceitos com falhas metodológicas; esta seria uma forma adicional de a ciência se “auto-corrigir”. Porém, há desafios. As revistas que mantêm esse tipo de revisão reportam que menos de 20% dos artigos recebem revisões pós-publicação.

Conclusão

Uma característica central da ciência é ser auto-corrigível e as recentes discussões sobre revisão por pares é uma grande evidência disto. A ciência tem suas deficiências e não necessariamente um manuscrito é de alta qualidade se este foi revisado por pares. No entanto, cabe salientar que a opinião da grande maioria da comunidade científica é que deve haver alguma forma de revisão.

E você, o que acha?

Referências:

Histórico de revisão por pares.

NASA referindo-se a mudança climática

Mark Ware, Peer Review: Recent Experience and Future Directions

Richard Smith, crítica ao processo de revisão por pares BMJ Review

Wikipedia (em inglês) – sobre revisão aberta

Rothwell e Martyn, Estudo sobre concordância entre revisões