Efetivação da open peer review frente aos editores do Portal de Periódicos da Universidade
Federal da Paraíba
Effectiveness of the
open peer review in front of
the editors of the Journal
Portal of the Federal University of Paraíba
Efectividad de la revisión
por pares abierta frente a los
editores del Portal de Revistas de la Universidad Federal de Paraíba
Kleisson Lainnon Nascimento Silva
Universidade Federal da Paraíba (UFPB)
Brasil
Joana Coeli Ribeiro Garcia
Universidade
Federal da Paraíba (UFPB)
Brasil
Maria das Graças Targino
Universidade Federal da Paraíba (UFPB)
Brasil
Submetido em: 21/04/2021
Aceito em: 14/06/2021
Publicado em: 28/10/2021
Licença:
Autor para
correspondência: Kleisson Lainnon
Nascimento Silva
E-mail: kleissons@gmail.com
ORCID: https://orcid.org/0000-0001-6211-2372
Como citar
este artigo:
SILVA, Kleisson Lainnon Nascimento; GARCIA, Joana Coeli
Ribeiro; TARGINO, Maria das Graças. Efetivação da open
peer review frente aos editores do Portal de Periódicos
da Universidade Federal da Paraíba. REBECIN, São
Paulo, v. 8, edição especial, p. 01-12, 2021. DOI: 10.24208/rebecin.v8i.252.
RESUMO
Investiga-se a aquiescência da open
peer review (OPR) dentre os editores do Portal de
Periódicos da Universidade Federal da Paraíba (UFPB), cujos títulos operam sob
a égide das arbitragens cegas. São objetivos operacionais: analisar a disponibilidade da avaliação aberta pelas
revistas da UFPB; avaliar o conhecimento dos editores no que respeita às
práticas de revisão aberta; identificar os fatores que contribuem e/ou
dificultam sua adoção. De caráter descritivo e abordagem quanti-qualitativa,
utiliza-se a pesquisa survey como recurso investigativo. O universo da
pesquisa compreende os 70 periódicos afiliados à Universidade. Em se tratando
da existência de títulos anacrônicos, selecionaram-se apenas os itens conceituados
de A1 a B5 pelo sistema Qualis da Coordenação de Aperfeiçoamento de Pessoal de
Nível Superior (Capes), com histórico de publicação em vigor, resultando em amostra
de 46 itens. A coleta de dados ocorreu mediante envio de questionário
eletrônico, em intervalos sistemáticos, aos respectivos editores, totalizando
14 (31,11%) réplicas. Dentre os resultados, prevalece o interesse em
experienciar a OPR, embora, curiosamente, não tenham conhecimento sobre a OPR.
No que corresponde aos contributos, ressaltam-se a interlocução entre avaliador(es)
e avaliado(s) e a disponibilização de políticas de avaliação aberta. Em
contrapartida, o forte apego à blind review constitui obstáculo ao novo método
de avaliação científica.
Palavras-Chave: Avaliação
aberta; Open peer review; Periódicos científicos; Comunicação científica;
Ciência aberta.
ABSTRACT
It
investigates the open peer review (OPR) acceptance among the editors of the
Portal of Journals of the Federal University of Paraiba (UFPB), whose titles
operate under the aegis of blind arbitration. The operational objectives are: to analyze the availability of open evaluation by UFPB
journals; to assess the knowledge of the evaluators with respect to open review
practices; to identify the factors that contribute for (or not) its adoption. With
a descriptive character and quantitative and qualitative approach, the survey
research is used as an investigative resource. The research universe refers
to the 70 journals maintained by the UFPB. In the case of the existence of
anachronistic titles, only items rated from A1 to B5 were selected by the
Qualis system of the Coordination for the Improvement of Higher Education Personnel
(Coordenação
de Aperfeiçoamento de Pessoal de Nível Superior, Capes), with an effective
publication history, resulting in a sample of 46 items. Data collection
occurred by electronic questionnaires sent at systematic intervals to the
respective editors, totaling 14 (31.11%) responses. Among the results, the
interest in experiencing OPR prevails, although, curiously, they do not have a
lot of knowledge about OPR. Regarding the contributions, the dialogue between
the evaluator (s) and the evaluated one (s) and the availability of open
evaluation policies are highlighted. On the other hand, the strong attachment
to blind review is an obstacle to the new method of scientific evaluation.
Keywords: Open evaluation; Open
peer review; Scientific journals; Scientific
communication; Open science.
Investigamos la aquiescencia de la revisión abierta por pares (OPR)
entre los editores del
Portal de Revistas de la Universidad
Federal de Paraíba (UFPB), cuyos títulos operan bajo la égida de arbitrajes ciegos. Los objetivos operativos son:
analizar la disponibilidad de evaluación abierta por revistas de la UFPB; evaluar el conocimiento
de los editores sobre las prácticas de revisión abierta; identificar los factores que contribuyen y / o dificultan su adopción.
Con carácter descriptivo y
enfoque cuanti-cualitativo, la
investigación por encuestas
se utiliza como recurso investigativo. El universo de investigación
comprende las 70 revistas
afiliadas a la Universidad.
En cuanto a la existencia de títulos
anacrónicos, solo los ítems
calificados de A1 a B5 fueron
seleccionados por el
sistema Qualis de la Coordinación de Perfeccionamiento
del Personal de Educación Superior (Capes), con un historial de publicaciones
vigente, resultando una muestra de 46 ítems. La recogida de datos se realizó mediante el envío de un
cuestionario electrónico, a intervalos sistemáticos,
a los respectivos editores, totalizando 14 (31,11%) respuestas. Entre los resultados,
predomina el interés por
experimentar OPR, aunque, curiosamente, no tienen conocimiento de OPR. En cuanto a las
contribuciones, se destaca el
diálogo entre evaluador (es) y evaluado
(s) y la disponibilidad de
políticas de evaluación abiertas.
Por otro lado, el fuerte apego a la revisión ciega
es un obstáculo para el nuevo método de evaluación
científica.
Palabras clave: Evaluación
abierta; Revisión abierta por pares; Revistas científicas; Comunicación científica; Ciencia abierta.
1 SOBRE A OPEN PEER REVIEW
A avaliação por pares aberta, doravante open peer review,
open review ou OPR, consolida-se no contexto da comunicação científica nos
países anglo-saxões, conduzida pelas Ciências Exatas, Naturais, da Saúde e
Informacionais na expectativa de minimizar os óbices fomentados pela
obscuridade, característica mor que tipifica as arbitragens convencionais (single
e double blind peer review).
Nos
últimos anos, o contexto da comunicação científica protagoniza pesquisas de
cunho teórico e pragmático que norteiam não só a projeção dos aspectos da OPR
enquanto prática conflitante do modelo tradicional, mas sua efetivação visando estabelecer
colaboração entre autores, avaliadores, editores e comunidade, conforme o corolário
da open science (OS). Para Packer e Santos (2019), a OS favorece a
cooperação entre pares nas pesquisas científicas, mediação, democratização, acesso
e uso, e reprodutibilidade de dados científicos.
Quer dizer, a OPR atua
como divisor d’água no cenário editorial, rompendo os paradigmas concernentes à
blind review graças aos benefícios que resultam em visibilidade para os
títulos, como: chance de feedbacks coerentes, emitidos nos prazos das
revistas; coerência de pareceres dos avaliadores no trâmite. A Ciência da Informação
(CI) acompanha os constantes avanços das últimas décadas em prol da OPR,
consolidando-a como campo de estudo adjunto à comunicação científica.
A CI é pioneira nos estudos
com vistas a verificar o nível de aceitação e de conhecimento a respeito da OPR,
no Brasil. Destaca-se a proposta apresentada no XVIII Encontro Nacional de
Pesquisa em Ciência da Informação (ENANCIB), em que Garcia e Targino (2017), por
survey, constatam que, dentre 15 editores-pesquisados em CI, oito (67%)
aceitam aderir à OPR, a partir da transparência do fluxo avaliativo e da qualidade
do processo per se e da reputação dos veículos de comunicação. Em 2018, as
autoras recorrem a coleta similar analisando a perspectiva de 709 avaliadores de
34 revistas. Dentre 189 respondentes, 66,6% são favoráveis à OPR.
A
monografia do Bacharelado em Biblioteconomia da UFPB, intitulada: “A visão dos editores do Portal de Periódicos da UFPB sobre
a open peer review”, verifica a probabilidade de os editores adotarem
a OPR. E, objetivos operacionais: analisar o uso da avaliação aberta pelos
periódicos; avaliar o conhecimento dos editores quanto à
revisão aberta; identificar o que contribui e dificulta sua adoção.
2 PROCEDIMENTOS METODOLÓGICOS
A pesquisa tem enfoque descritivo,
abordagem quanti-qualitativa, recorre ao survey, para mensurar as razões
e a ocorrência de determinado fenômeno. No caso, investigar a aquiescência da OPR
dentre os editores do Portal de Periódicos da UFPB, cujos títulos operam,
predominantemente, sob a égide das arbitragens cegas.
Arrola 70 publicações hospedadas
no Portal, incluindo itens obsoletos sumarizados em índice, constando como títulos
interrompidos. Delimitam-se para seleção da amostra: fluxo de publicação
corrente e estratificação de A1 a B5, conforme avaliação da Capes. Indo além, a
inserção dos títulos compreende o mapeamento dos canais alinhados aos parâmetros
preestabelecidos, cadastrando-se, então, os endereços virtuais dos
editores-chefes. Por fim, a verificação do Qualis pela plataforma Sucupira,
ferramenta de dados da Capes, agindo como base de referência do Sistema
Nacional de Pós-Graduação (SNPG), totalizando 46 títulos.
Quanto à coleta dos dados,
recorre-se ao questionário por se adequar ao perfil da pesquisa e ao método
investigativo. O instrumento, sob o Google Forms, lista 14 perguntas prescindindo
da aplicação de pré-teste em razão das pesquisas empreendidas por Garcia e
Targino (2017, 2018). A emissão do questionário inicia em 10 de fev. e finda em
2 de mar. de 2018, com reenvio a cada 10 dias. O total de respondentes é de 14
editores, representando 31,11%, percentual superior ao previsto por Marconi e
Lakatos (2015).
3 RESULTADOS
Sintetizam-se
aqui os resultados da pesquisa através da análise dos dados coletados alusivos
ao posicionamento dos editores dos títulos aptos à OPR.
3.1 Peer review: facetas e características
Dentre as arbitragens existentes, no caso do Portal de Periódicos
da UFPB, condizem com as modalidades de avaliação de Melero e Lopez-Santoveña
(2001) e Pavan e Stumpf (2009), que apontam as alternativas: single, double
blind e OPR. Godlee (2002) e Silva (2016) justificam a prevalência da blind
review (13 = 93%), argumentando que editores, autores e árbitros optam pela
avaliação em duas vertentes – single e double – porque acreditam
que elas representam o equilíbrio da comunicação científica. Por isso, é
adotada, com frequência, por agências de fomento e processos seletivos
empreendidos por instituições de pesquisa. Um (7%) editor menciona a OPR, como ruptura
no sistema de avaliação. Para DeCoursey (2006) e Callaway (2016), a transição
do modelo de arbitragem promove a melhoria das avaliações, reconhecendo que a análise
ainda é incipiente, na prática da OPR.
Sobre os traços da OPR,
recorrem-se à Ford (2013) e Ross-Hellauer e Deppe e Schmidt (2017). O panorama
de indefinições, propõe delinear características alusivas à OPR diferenciando-as
das convencionais. A intenção do paper é identificar alternativas pertinentes
à realidade dos pesquisados, a quem é permitido assinalar mais de uma alternativa.
Nota-se, então, que há dissimetria em relação aos primeiros traços mais
recorrentes: avaliação mediada pelo editor soma seis indicações; avaliação
assinada, cinco; avaliação tornada pública, quatro; avaliação transparente, três;
e a avaliação por grupo ampliado de juízes, duas demarcações. A multiplicidade
de opções influencia positivamente a abertura da avaliação por pares.
A avaliação mediada pelo
editor justifica-se pela tendência em ambas avaliações,
de o editor assumir o posto de regente arbitrário, consoante Ross-Hellauer
(2017). Os itens incidentes – avaliação assinada, avaliação tornada pública,
avaliação transparente e avaliação síncrona – tem 14 indicações, indicando interesse
pela abertura e divulgação da avaliação por pares. A avaliação pré-publicação, avaliação síncrona e
avaliação pós-publicação, somam três indícios.
3.2 Fatores contribuintes para a adoção da open peer review
A pesquisa estimula os editores a se pronunciar sobre aspectos
propícios à adoção da OPR. Das 14 opiniões, 10 (73%) correspondem a não
posicionamentos, outros três (29%) editores lançam mão de suas convicções. Com veemência,
um (7%) dos pesquisados julga inútil a adoção de novo modelo de arbitragem, o
que desconstrói a interlocução entre os atores (ao diálogo protagonizado por
autores, avaliadores e editores) como elemento valioso para a arbitragem,
caracterizada pela socialização de saberes visando ao constructo científico e à
divulgação de resultados, cuja origem remonta às redes entre pares (SCHMIDT et
al., 2018).
Pöschl (2012) reforça que
a troca aberta de argumentos representada por avaliações assinadas e
autenticadas, deve ser fomentada, vez que desperta o interesse da comunidade e
da sociedade civil. Destaca-se o depoimento do entrevistado n. 9: “desde que
haja concordância dos autores, o contato direto entre avaliador e autor poderia
acelerar o processo e a avaliação, pois considero que um dos maiores entraves é
a demora dos avaliadores em darem sua resposta”.
As diretrizes para a OPR,
são orientações que conduz os árbitros às boas práticas de avaliação, como
procedimento íntegro e construtivo. A incipiência deste modelo, embora valorada
por editores e avaliadores da CI, segundo Targino e Garcia e Silva (2018), advém
da carência de regime metodológico que norteie os avaliadores à prática OPR. Na
concepção do entrevistado n. 13: “seria interessante que os periódicos e as
editoras disponibilizassem políticas e procedimentos, normas e regras claras
sobre como proceder a OPR”.
3.3 Fatores negativos para a adoção da open peer review
Quando
convidados a assinalar os empecilhos inerentes à anuência da OPR, menciona-se a
abstenção de sete (50%) editores, que não se posicionam e um (7%) que desconhece
obstáculos à avaliação aberta. Na verdade, no universo editorial de periódicos,
há fatores intervenientes e negativos, tais que: resistência de autores e
avaliadores, pela indisponibilidade ou receio da exposição e críticas dos pares.
Para Schmidt et al. (2018) concorda com Shanahan e Olsen (2014), sobre a
indisponibilidade de árbitros, sobretudo, os juniores, por se sentirem
desconfortáveis para avaliar quando há posições definidas por cientistas renomados.
Não temos uma equipe de trabalho
disponível e especializada para se dedicar a mais uma tarefa. De preferência,
as colaborações devem ser avaliadas antes de sua publicação por especialistas,
considerando sua qualidade, interesse e valor, sem o risco de pressão
psicológica ou da popularidade do autor (entrevistado n. 4).
Os conflitos pessoais são
atitudes repressivas de árbitros ou autores, que em posição de supremacia,
endereçam aos interlocutores críticas não convencionais. Autores internacionais,
exempli gratia, Amsen (2014), Ford (2013) e Ross-Hellauer (2017) contextualizam
a improbabilidade da blind review como imperfeita, porquanto avaliadores inclinam-se a rejeitar ou a
aceitar resultados por motivos não científicos. Como consequência, é possível
que, como previsto por depoentes inflexíveis, a adoção da OPR “[...] fomente os
conflitos pessoais” (entrevistado n. 6).
DeCoursey (2006) alega
que a OPR identifica a má conduta dos interessados em revogar pesquisas. Acrescenta
que a inaptidão dos autores é incomparável à negligência dos árbitros quanto a
má ciência. O entrevistado n. 10 argui que a OPR “pode ser algo endógeno e
parcial”, revertendo-se em relações partidárias.
4 CONSIDERAÇÕES FINAIS
Conclui-se
que a pesquisa alcança seu objetivo macro. Constata que a reação dos editores (oito = 57%) à OPR prevalece neste “jogo de bem me quer
/ mal me quer” em oposição a seis (43%) outros irredutíveis, considerando a blind
review como a melhor alternativa. Um dos depoentes afirma, erroneamente, utilizar
a OPR em seu métier, pois
considera que os agradecimentos endereçados aos árbitros no final da publicação
se configuram como um dos protocolos da OPR.
Os
questionamentos subjetivos instigam a compreensão dos declarantes no que condiz
à revisão aberta com facetas e características. A priori, constata-se
que avaliação mediada pelo editor, avaliação assinada, avaliação tornada
pública, avaliação transparente, avaliação ampliada por grupo de juízes – apresentam
quantitativo superior de menções identificadas por Ford (2013).
Quanto
às contribuições e aos empecilhos, prevalece um baixo índice de demarcações, traduzindo-se
em conhecimentos prévios e rasos, sobre o tema. Reitera-se que a OPR é um modelo
ainda não aplicado nem no contexto nacional nem tampouco regional, com alguns
protótipos, a exemplo da revista “Ciência da Informação em Aberto” (em incubadora
no portal da UFPB), que propõe avaliação mediada pelo editor e avaliação
tornada pública sugerindo que o fórum entre autor(es) e avaliador(es) seja
anexado ao final do artigo.
O estudo realizado com os
editores do Portal de Periódicos da UFPB é um marco no modus operandi, servindo
de referência às instituições de ensino superior (IES), ao apresentar e oferecer
um processo editorial acessível e transparente que estimula a colaboração, interação
e discussão na academia. Cabe à gestão do Portal de Periódicos estimular metas
estratégicas e implementá-las, com vistas a inserção da UFPB no cenário editorial
contemporâneo.
REFERÊNCIAS
AMSEN, E. What is open peer
review? F1000 Research Blog, Rockville, May 2014.
CALLAWAY, E. Open peer review
finds more takers. Nature International Weekly Journal of Science, London,
Nov. 2016.
DeCOURSEY, T. Perspective: the
pros and cons of open peer review. Nature International Weekly Journal of
Science, London, June 2006.
FORD, E. Defining and
characterizing open peer review: a review of literature. Journal of Scholarly Publishing, Toronto, v. 44, n. 4, p. 311-326, July 2013.
GARCIA,
J. C. R.; TARGINO, M. G. O futuro da open
peer review na Ciência da Informação. In: ENCONTRO NACIONAL DE
CIÊNCIA DA INFORMAÇÃO, 19., 2018, Londrina. Anais [...] Londrina: UEL,
2018. p. 1-20.
GARCIA,
J. C. R.; TARGINO, M. G. Open peer review sob a ótica dos editores das
revistas brasileiras de Ciência da Informação. In: ENCONTRO NACIONAL DE
CIÊNCIA DA INFORMAÇÃO, 18., 2017, Marília. Anais [...] Marília: UNESP,
2017. p. 1-21.
GODLEE, F. Making reviewers
visible openness, accountability, and credit. The Journal of the American
Medical Association, Illinois, v. 287, n. 21, p. 2762-2765, June 2002.
MARCONI,
M. A.; LAKATOS, E. M. Metodologia do trabalho científico: projeto de
pesquisa, pesquisa bibliográfica, teses, dissertações, trabalhos de conclusão
de curso. 7. ed. São Paulo: Atlas, 2015.
MELERO, R.; LOPEZ-SANTOVEÑA,
F. Referees’ attitudes toward open peer review and electronic transmission of
papers. Sage Journals: Your Gateway to World-Class Research Journals,
Thousand Oaks, v. 7, n. 6, p. 521-527, 2001.
PACKER,
A. L.; SANTOS, S. Ciência aberta e o novo modus operandi de comunicar
pesquisas – parte I. Blog Scielo em Perspectiva, São Paulo, ago. 2019.
PAVAN,
C.; STUMPF, I. R. C. Avaliação pelos pares nas revistas de Ciência da
Informação: procedimentos e percepções dos atores. Encontros Bibli:
Revista Eletrônica de Biblioteconomia e Ciência da Informação, Florianópolis,
v. 14, n. 28, p. 72-92, 2009.
PÖSCHL, U. Multi-stage open
peen review: scientific evaluation integrating the strengths of traditional peer
review with the virtues of transparency and self-regulation. Frontiers in Computational Neuroscience, Rockville, v. 6, n. 33, p. 1-16, July 2012.
ROSS-HELLAUER, T. What is open
peer review?: a systematic review. F1000 Research:
Open for Science, Rockville, v. 6, n. 5888, p. 1-30, Oct. 2017.
ROSS-HELLAUER, T.; DEPPE, A.;
SCHMIDT, B. Survey on open peer review: attitudes and experience amongst editors,
authors and reviewers. Plos One, San Francisco, p. 1-28, Dec. 2017.
SCHMIDT, B. et al. Ten
considerations for open peer review. F1000 Research: Open for Science,
Rockville, v. 7, n. 969, p. 1-11, Oct. 2018.
SHANAHAN, D.; OLSEN, B. Opening
peer review: The democracy of science. Journal of Negative Results in
Biomedicine, London, v. 13, n. 2, p. 1-2, 2014.
SILVA,
S. F. R. Revisão por pares e tecnologias eletrônicas: perspectivas
paradigmáticas nos procedimentos da comunicação científica. 2016. 200f. Tese
(Doutorado em Ciência da Informação) – Universidade Federal da Bahia, Salvador,
2016.
TARGINO,
M. G.; GARCIA, J. C. R.; SILVA, K. L. N. Avaliadores da Ciência da Informação
frente à open peer review. Revista Interamericana de Bibliotecologia,
Medellín, v. 43, n. 1, p. 1-20, jan. 2018.