Resumo

Este trabalho apresenta uma análise da qualidade metodológica das revisões sistemáticas de literatura lusófonas, na área da Comunicação e Informação, utilizando princípios e técnicas desta metodologia comuns à análise de conteúdo, notadamente as relativas à replicabilidade e à confiabilidade. Para isso, 4 bases de indexação foram utilizadas: Web of Science, Scopus, DOAJ e SciELO, sob delimitação temporal específica (2010-2021). Mediante o desenvolvimento de um livro de códigos e realização de testes de confiabilidade, 49 trabalhos foram selecionados e analisados em relação a informações sobre (a) bases utilizadas; (b) termos de busca; (c) delimitação temporal (quantidade de anos); (d) número de trabalhos analisados; (e) critérios de inclusão e/ou exclusão; (f) replicabilidade; (g) confiabilidade. Os principais resultados indicam uma reduzida preocupação dos trabalhos analisados em incorporar ou reportar procedimentos responsivos à confiabilidade (n=3). Por outro lado, a maior parte dos estudos (n=40) mostrou-se, em linhas gerais, replicável. A principal inovação e contribuição desta pesquisa consistiu em propor e testar um procedimento de incremento da confiabilidade das revisões sistemáticas mediante consulta aos autores dos trabalhos revisados. Destaca-se, para além do caráter inovador de tal procedimento, os ganhos epistêmicos por ele trazidos. Discute-se, ao final, as implicações dos resultados para pesquisas futuras, indicando os possíveis ganhos que as estratégias metodológicas concebidas e testadas neste trabalho oferecem para balizar o rigor metodológico das revisões sistemáticas de literatura.

Palavras-chave
Revisão Sistemática de Literatura; Análise de Conteúdo; Confiabilidade; Replicabilidade; Metodologia

Abstract

This work presents an analysis of the methodological quality of systematic reviews of Portuguese-speaking literature, in the area of Communication and Information by using principles and techniques of this methodology common to content analysis, notably those relating to replicability and reliability. For this, we used 4 indexing bases, namely Web of Science, Scopus, DOAJ and SciELO, under a specific temporal delimitation (2010-2021). By developing a codebook and carrying out reliability tests, we selected and analyzed 49 works regarding the following characteristics: (a) databases; (b) search strings; (c) temporal delimitation (number of years); (d) number of analyzed works; (e) inclusion and/or exclusion criteria; (f) replicability; (g) reliability. The main results indicate a reduced concern of the analyzed works in incorporating or reporting procedures responsive to reliability (n=3). On the other hand, most studies (n=40) proved to be, in general terms, replicable. The main innovation and contribution of this research consisted in proposing and testing a procedure to increase the reliability of systematic reviews by consulting the authors of the papers. We highlight, in addition to the innovative character of such a procedure, its epistemic improvements. Finally, we discuss directions for future research by indicating possible gains that the methodological strategies conceived and tested in this work offer to guide the methodological rigor of systematic literature reviews.

Keywords
Systematic Literature Review; Content analysis; Reliability; Replicability; Methodology

Introdução

A Revisão Sistemática de Literatura (RSL) compartilha com a Análise de Conteúdo (AC), entre outras características, as modulações normativas da replicabilidade e da confiabilidade (Kitchenham, 2007Kitchenham, B. A. Guidelines for performing systematic literature reviews in software engineering: EBSE Technical Report. Keele: Keele University; Durham: Durham University, 2007. Disponível em: https://tinyurl.com/a62ymbp7. Acesso em: 8 mar. 2022.
https://tinyurl.com/a62ymbp7... ; Wilson, 2009Wilson, D. B. Systematic Coding. In: Cooper, H.; Hedges, L. V.; Valentine, J. C. The handbook of research synthesis and meta-analysis. 2. ed. New York: Russell Sage Foundation, 2009. p.159-176.). Não por acaso, essas metodologias têm sido adotadas em conjunto por diversas pesquisas (Jesus; Simões; Voegeli, 2013Jesus, L. M. T.; Simões, J. F. F. L.; Voegeli, D. Comunicação verbal com pacientes inconscientes. Acta Paulista de Enfermagem, v. 26, n. 5, p. 506-513, 2013.; Araújo; Seabra, 2021Araújo, G. S.; Seabra, M. O. Elementos fundamentais para o design de jogos digitais com o foco no treino de competências e habilidades de estudantes com transtorno do espectro autista: uma revisão sistemática. Revista Brasileira de Estudos Pedagógicos, v. 102, n. 260, p. 120-147, 2021.).

Todavia, estudos têm mostrado que os procedimentos relativos à confiabilidade estão sendo extensamente ignorados pelos trabalhos que utilizam a AC como seu método principal de análise (Lovejoy; Watson; Lacy, 2014Lovejoy, J.; Watson, B. R.; Lacy, S. Assessing the reporting of reliability in published content analyses: 1985-2010. Communication Methods and Measures, v. 8, n. 3, p. 207-221, 2014.; Sampaio; Lycarião, 2021Sampaio, R. C.; Lycarião, D. Análise de conteúdo categorial: manual de aplicação. Brasília: Enap, 2021. (Coleção Metodologias de Pesquisa) Disponível em: https://repositorio.enap.gov.br/bitstream/1/6542/1/Analise_de_conteudo_categorial_final.pdf. Acesso em: 8 mar. 2022.
https://repositorio.enap.gov.br/bitstrea... ). Diante da expectativa de que o mesmo pode estar ocorrendo em relação às RSLs, o presente estudo foi desenhado a partir da seguinte questão de pesquisa: qual o nível de responsividade das RSLs lusófonas, na área da Comunicação e Informação, em relação aos princípios metodológicos comuns compartilhados com a AC?

O recorte pela área da Comunicação e Informação partiu da premissa de que as aplicações metodológicas tendem a apresentar especificações próprias a depender da área de pesquisa. Contudo, faz-se oportuno esclarecer que a Comunicação e Informação a qual nos referimos neste trabalho corresponde, especificamente, à área de avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). No caso, a área da Comunicação e Informação é uma das 7 áreas das Ciências Sociais Aplicadas que congrega, no momento da escrita deste trabalho, os cursos de pós-graduação em Comunicação, Ciências da Informação e Museologia (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, 2017Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Tabela das Áreas de Avaliação. [S. l.]: Capes, 2017. v. 2. Disponível em: https://tinyurl.com/596y94yu. Acesso em: 8 mar. 2022.
https://tinyurl.com/596y94yu... ).

Comum aos pesquisadores desses cursos está a necessidade de se estabelecer, nos trabalhos, um “estado da arte”, a partir do qual se poderá projetar novas contribuições e avanços em relação ao conhecimento anterior e que foi identificado na revisão de literatura.

Para tal finalidade, a RSL tem despontado como uma metodologia mais responsiva aos princípios científicos da transparência, da replicabilidade e da confiabilidade na implementação de um estado da arte (Cooper, 2015Cooper, H. Research synthesis and meta-analysis: a step-by-step approach. Califórnia: Sage publications, 2015.; Cerrao; Jesus; Castro, 2018Cerrao, N. G.; Jesus, A. F.; Castro, F. F. O método de Revisão Sistemática da Literatura (RS) na área da ciência da informação no Brasil: análise de dados de pesquisa. Informação & Tecnologia, v. 5, n. 1, p. 105-116, 2018. Disponível em: http://hdl.handle.net/20.500.11959/brapci/110396. Acesso em: 21 jul. 2022.
http://hdl.handle.net/20.500.11959/brapc... ).

Reconhecendo-se a importância desses princípios para caracterizar uma RSL, este trabalho tem um objetivo bifurcado e entrelaçado, pois estabelece uma proposta baseada no que foi feito anteriormente, ao mesmo tempo que visa aperfeiçoar o rigor metodológico das RSLs mediante a incorporação e adaptação de procedimentos da análise de conteúdo categorial (Kitchenham, 2007Kitchenham, B. A. Guidelines for performing systematic literature reviews in software engineering: EBSE Technical Report. Keele: Keele University; Durham: Durham University, 2007. Disponível em: https://tinyurl.com/a62ymbp7. Acesso em: 8 mar. 2022.
https://tinyurl.com/a62ymbp7... ; Lycarião; Sampaio, 2021Sampaio, R. C.; Lycarião, D. Análise de conteúdo categorial: manual de aplicação. Brasília: Enap, 2021. (Coleção Metodologias de Pesquisa) Disponível em: https://repositorio.enap.gov.br/bitstream/1/6542/1/Analise_de_conteudo_categorial_final.pdf. Acesso em: 8 mar. 2022.
https://repositorio.enap.gov.br/bitstrea... ; Wilson, 2009Wilson, D. B. Systematic Coding. In: Cooper, H.; Hedges, L. V.; Valentine, J. C. The handbook of research synthesis and meta-analysis. 2. ed. New York: Russell Sage Foundation, 2009. p.159-176.). No caso, o entrelaçamento ocorre a partir do momento que essa incorporação é realizada na própria RSL que realizamos para descobrir como a área da Comunicação e Informação tem realizado suas RSLs e, com isso, nossa proposta se assenta na distância relativa entre o que propomos e realizamos e aquilo que encontramos.

Para isso, analisamos, por meio da combinação das metodologias da RSL com a AC, como a RSL tem sido utilizada, na área da Comunicação e Informação, na literatura lusófona da última década (2010-2021). As seguintes bases de indexação de periódicos foram utilizadas para o termo de busca “revisão sistemática de literatura”: Web of Science (WoS), Scopus, Directory of Open Access Journals (DOAJ) e Scientific Electronic Library Online (SciELO). Após a aplicação dos critérios de inclusão e exclusão formalizados nos materiais suplementares deste trabalho, selecionamos e analisamos 49 artigos.

Enquanto a seleção dos artigos foi submetida a um teste de confiabilidade entre dois codificadores, a análise dos artigos selecionados foi alvo de um procedimento que, até onde se sabe, mostra-se inédito. No caso, trata-se de consultar os autores dos trabalhos revisados acerca da precisão e correção das análises realizadas. Esse procedimento obteve uma taxa de resposta bastante positiva (70% da amostra) e com altos níveis de concordância (97%). As correções sugeridas e incorporadas também permitiram incrementar a validade de nossas análises.

Nossos resultados revelaram uma reduzida preocupação das pesquisas analisadas em incorporar ou reportar procedimentos responsivos à confiabilidade das RSLs realizadas. Por outro lado, a maior parte dos estudos apresentou informações mais básicas necessárias à sua replicação. Discutimos as implicações desses resultados para pesquisas futuras, destacando os ganhos que os procedimentos da AC relativos à confiabilidade e à replicabilidade oferecem para incrementar o rigor metodológico das RSLs.

RSL e AC: uma parceria incompleta?

Gusenbauer e Haddaway (2020, p. 183)Gusenbauer, M.; Haddaway, N. R. Which academic search systems are suitable for systematic reviews or meta‐analyses? Evaluating retrieval qualities of Google Scholar, PubMed, and 26 other resources. Research Synthesis Methods, v. 11, n. 2, p. 181-217, 2020. sintetizam três grandes objetivos da RSL para avaliar os sistemas de busca das bases de indexação, sendo estes objetivos, a saber: (a) relevância, (b) transparência e (c) replicabilidade. Isso significa que uma revisão sistemática tem de ser desenhada e formalizada de modo que garanta a seleção dos trabalhos mais relevantes e que também permita à comunidade científica acessar os conteúdos da RSL a ponto que seja possível replicar a revisão. Sendo assim, pode-se dizer que uma RSL que não é transparente em seus procedimentos e instrumentos não se mostra replicável, pois a comunidade científica não tem informações e instruções suficientes para refazê-la. A transparência é, portanto, condição de possibilidade da replicabilidade.

Sendo assim, as RSLs devem, para fins de transparência e replicabilidade, apresentar, entre outros, informações sobre quais as bases de indexação utilizadas, os termos de busca, os critérios de inclusão e/ou exclusão, assim como as categorias utilizadas para sintetizar o conjunto dos trabalhos selecionados (Kitchenham, 2007Kitchenham, B. A. Guidelines for performing systematic literature reviews in software engineering: EBSE Technical Report. Keele: Keele University; Durham: Durham University, 2007. Disponível em: https://tinyurl.com/a62ymbp7. Acesso em: 8 mar. 2022.
https://tinyurl.com/a62ymbp7... ; Wilson, 2009Wilson, D. B. Systematic Coding. In: Cooper, H.; Hedges, L. V.; Valentine, J. C. The handbook of research synthesis and meta-analysis. 2. ed. New York: Russell Sage Foundation, 2009. p.159-176.; Souza; Aganette, 2020Souza, L. G. S.; Aganette, E. C. A preservação digital em longo prazo amparada por planos de ações: uma revisão sistemática de literatura. RDBCI: Revista Digital de Biblioteconomia e Ciência da Informação, v. 18, e020027, 2020. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/rdbci/article/view/8661185. Acesso em: 8 set. 2022.
https://periodicos.sbu.unicamp.br/ojs/in... ).

Contudo, o fato de uma pesquisa ser transparente e, portanto replicável, não garante que eventuais replicações (inclusive pelo próprio autor da análise original) cheguem aos mesmos resultados (King, 1995King, G. Replication, replication. PS: Political Science and Politics, n. 28, p. 443-499, 1995.; Rocha et al., 2014Rocha, E. C. et al. A Importância da replicabilidade na Ciência Política: o caso do SIGOBR. Revista Política Hoje, v. 22, n. 2, p. 213-229, 2014.). Trata-se, no caso, da dimensão da confiabilidade, a qual responde se a análise realizada mostra-se confiável no sentido de que as regras de classificação e categorização foram testadas em sua consistência e estabilidade (Sampaio; Lycarião, 2018Sampaio, R. C.; Lycarião, D. Eu quero acreditar! Da importância, formas de uso e limites dos testes de confiabilidade na análise de conteúdo. Revista de Sociologia e Política, v. 26, n. 66, p. 31-47, 2018. Doi: https://doi.org/10.1590/1678-987318266602.
https://doi.org/10.1590/1678-98731826660... , 2021Sampaio, R. C.; Lycarião, D. Análise de conteúdo categorial: manual de aplicação. Brasília: Enap, 2021. (Coleção Metodologias de Pesquisa) Disponível em: https://repositorio.enap.gov.br/bitstream/1/6542/1/Analise_de_conteudo_categorial_final.pdf. Acesso em: 8 mar. 2022.
https://repositorio.enap.gov.br/bitstrea... ).

Na intenção de expandir o conjunto de pesquisas que tem mesclado RSL e AC, propomos, com esse trabalho, discutir os procedimentos das RSLs de modo a incrementar a transparência, replicabilidade e a confiabilidade delas. Nesse sentido, encontramos nos trabalhos de Kitchenham (2007)Kitchenham, B. A. Guidelines for performing systematic literature reviews in software engineering: EBSE Technical Report. Keele: Keele University; Durham: Durham University, 2007. Disponível em: https://tinyurl.com/a62ymbp7. Acesso em: 8 mar. 2022.
https://tinyurl.com/a62ymbp7... e Wilson (2009)Wilson, D. B. Systematic Coding. In: Cooper, H.; Hedges, L. V.; Valentine, J. C. The handbook of research synthesis and meta-analysis. 2. ed. New York: Russell Sage Foundation, 2009. p.159-176. um ponto de partida relevante, pois indicam, no contexto da RSL, procedimentos da AC para a seleção dos trabalhos e a codificação do material selecionado para a síntese de pesquisa. Em ambos os momentos, são indicados procedimentos comuns à AC para estabelecer a confiabilidade da RSL. Tais trabalhos apresentam orientações que espelham uma parceria orgânica entre os princípios e técnicas da RSL com a AC.

Contudo, lançamos a questão se essa parceria não estaria, na prática, incompleta, pois os procedimentos da AC, quando efetivamente encontrados, parecem ser incorporados apenas em uma “segunda etapa” (Jesus; Simões; Voegeli, 2013Jesus, L. M. T.; Simões, J. F. F. L.; Voegeli, D. Comunicação verbal com pacientes inconscientes. Acta Paulista de Enfermagem, v. 26, n. 5, p. 506-513, 2013.) e não já na seleção dos estudos, ou seja, durante a aplicação dos critérios de inclusão ou exclusão.

Em nosso caso, por exemplo, estabelecemos como um dos critérios de exclusão trabalhos fora da área da Comunicação e da Informação. Contudo, alguns trabalhos de natureza mais interdisciplinar colocaram, por vezes, nossos analistas em dúvida sobre a exclusão ou não de alguns trabalhos com essa característica interdisciplinar. Isso implica, então, que a decisão de incluir ou excluir esse tipo de trabalho requer uma análise de conteúdo, e que ela, desse modo, deve ser fundamentada sob critérios transparentes, replicáveis e confiáveis. Isso é exatamente o que tentamos estabelecer na corrente pesquisa por meio da aplicação dos procedimentos da análise de conteúdo, como recentemente sintetizados por Sampaio e Lycarião (2021)Sampaio, R. C.; Lycarião, D. Análise de conteúdo categorial: manual de aplicação. Brasília: Enap, 2021. (Coleção Metodologias de Pesquisa) Disponível em: https://repositorio.enap.gov.br/bitstream/1/6542/1/Analise_de_conteudo_categorial_final.pdf. Acesso em: 8 mar. 2022.
https://repositorio.enap.gov.br/bitstrea... dentro do contexto lusófono.

Daí, então, a necessidade de incrementar o rol de procedimentos das RSLs de modo a iniciar a codificação e sua confiabilidade já na fase de seleção dos trabalhos que irão compor a revisão sistemática, e não apenas quando tal material já foi selecionado, sendo justamente este o procedimento mais recorrente (Jesus; Simões; Voegeli, 2013Jesus, L. M. T.; Simões, J. F. F. L.; Voegeli, D. Comunicação verbal com pacientes inconscientes. Acta Paulista de Enfermagem, v. 26, n. 5, p. 506-513, 2013.; Araújo; Seabra, 2021Araújo, G. S.; Seabra, M. O. Elementos fundamentais para o design de jogos digitais com o foco no treino de competências e habilidades de estudantes com transtorno do espectro autista: uma revisão sistemática. Revista Brasileira de Estudos Pedagógicos, v. 102, n. 260, p. 120-147, 2021.).

Procedimentos metodológicos

Um dos primeiros passos de uma RSL é definir as bases de indexação de trabalhos científicos que serão utilizadas para a busca, recuperação e seleção dos trabalhos. Contudo, essa escolha não é trivial e requer dos pesquisadores uma detida reflexão e ponderação de vantagens e desvantagens de cada base para alcançar seus propósitos. Algo que inclusive requer realizar sucessivos testes até que se possa identificar quais delas oferecem o melhor equilíbrio entre relevância, transparência e replicabilidade das buscas.

Nesse sentido, Gusenbauer e Haddaway (2020)Gusenbauer, M.; Haddaway, N. R. Which academic search systems are suitable for systematic reviews or meta‐analyses? Evaluating retrieval qualities of Google Scholar, PubMed, and 26 other resources. Research Synthesis Methods, v. 11, n. 2, p. 181-217, 2020. oferecem uma relevante contribuição ao realizarem uma avaliação de 28 sistemas de busca ofertados por diferentes bases de indexação e estabelecem, a partir da aplicação de 27 critérios de avaliação, um conjunto de bases para uso prioritário e outras de uso secundário/complementar. Entre as bases de uso prioritário, constam os sistemas de busca de bases proprietárias como a Web of Science e da Scopus. O Google Acadêmico é alvo de uma avaliação destacadamente negativa dos autores, pois, além de se utilizar largamente de “literatura cinzenta”, não permite a utilização de operadores booleanos e tem a relevância dos resultados concentrada na primeira página. A DOAJ é recomendada como base de uso complementar e a SciELO sequer consta entre as 28 bases analisadas.

Contudo, resolvemos utilizar tais bases (DOAJ e SciELO) pela sua capilaridade e importância para a Área da Comunicação e Informação, particularmente aquela codificada em língua portuguesa (lusófona). Tal importância é demonstrada pelo fato de o Brasil já ter ficado em primeiro lugar no DOAJ no número de artigos em acesso aberto (Packer, 2021Packer, A. L. O programa SciELO e o acesso aberto via dourada. In: Peruzzo, C. M. K.; Martins, M. L.; Gabrioti, R. Revistas científicas de comunicação ibero-americanas na política de divulgação do conhecimento: tendências, limitações e os desafios de novas estratégias. Braga: Uminho Editora, 2021. p. 29-58. (Coleção Investigação: Ciências Sociais)., p. 31).

Ademais, a escolha por bases complementares se faz necessária quando a comunidade científica com a qual se almeja dialogar e contribuir não está indexada nas bases “principais”. Como mostram Mugnaini et al. (2019)Mugnaini, R. et al. Panorama da produção científica do Brasil além da indexação: uma análise exploratória da comunicação em periódicos. TransInformação, v. 31, e190033, 2019. Doi: https://doi.org/10.1590/2318-0889201931e190033.
https://doi.org/10.1590/2318-0889201931e... , isso se faz especialmente necessário para as Ciências Humanas e Sociais.

Para fornecer um diagnóstico sobre as principais técnicas de composição de uma RSL lusófona na área da Comunicação e Informação, realizamos, no dia 11 de novembro de 2021, a prospecção de artigos na Web of Science, SciELO, Scopus e DOAJ, utilizando o termo de busca “revisão sistemática”. Essa busca retornou os seguintes resultados por base: Wos = 0² 2 Filtros selecionados: Ano de publicação: 2010-2021; WoS Áreas Temáticas: Information, Library, Comunicação. , SciELO = 18³ 3 Filtros selecionados: Idioma: Todos; Ano de publicação: 2010-2021; SciELO Áreas Temáticas: Ciências Sociais Aplicadas, Ciências Humanas; WoS Áreas Temáticas: Information, Library, Comunicação; Tipo de literatura: Artigo. , Scopus = 37⁴ 4 Termos da busca: AND ( LIMIT-TO ( SUBJAREA,”SOCI” ) OR EXCLUDE ( SUBJAREA,”MEDI” ) OR EXCLUDE ( SUBJAREA,”PSYC” ) OR EXCLUDE ( SUBJAREA,”BUSI” ) OR EXCLUDE ( SUBJAREA,”ENGI” ) OR EXCLUDE ( SUBJAREA,”MATH” ) OR EXCLUDE ( SUBJAREA,”AGRI” ) OR EXCLUDE ( SUBJAREA,”EART” ) OR EXCLUDE ( SUBJAREA,”HEAL” ) OR EXCLUDE ( SUBJAREA,”MULT” ) ) AND ( LIMIT-TO ( PUBYEAR,2021) OR LIMIT-TO ( PUBYEAR,2020) OR LIMIT-TO ( PUBYEAR,2019) OR LIMIT-TO ( PUBYEAR,2018) OR LIMIT-TO ( PUBYEAR,2017) OR LIMIT-TO ( PUBYEAR,2016) OR LIMIT-TO ( PUBYEAR,2015) OR LIMIT-TO ( PUBYEAR,2014) OR LIMIT-TO ( PUBYEAR,2013) OR LIMIT-TO ( PUBYEAR,2012) OR LIMIT-TO ( PUBYEAR,2011) OR LIMIT-TO ( PUBYEAR,2010) ) AND ( LIMIT-TO ( LANGUAGE,”Portuguese” ) ) AND ( LIMIT-TO ( EXACTKEYWORD,”Systematic Review” ) OR LIMIT-TO ( EXACTKEYWORD,”Systematic Literature Review” ) OR LIMIT-TO ( EXACTKEYWORD,”Literature Review” ) OR LIMIT-TO ( EXACTKEYWORD,”Epistemology” ) OR LIMIT-TO ( EXACTKEYWORD,”Narrative” ) OR LIMIT-TO ( EXACTKEYWORD,”Social Media” ) OR LIMIT-TO ( EXACTKEYWORD,”Content Analysis” ) OR LIMIT-TO ( EXACTKEYWORD,”Sentiment Analysis” ) OR LIMIT-TO ( EXACTKEYWORD,”Systematic Review Of Literature” ) ). , DOAJ: 69⁵ 5 Filtros selecionados: Ano de publicação: 2010-2021; Subjects: Communication, Mass Media, Bibliography, Library Science, Information resources. URL da busca: https://bit.ly/3n4T8TK. , totalizando 124 resultados iniciais.

Ao observar o objetivo geral da pesquisa, os membros da equipe elaboraram um livro de códigos para categorizar uma planilha com os 124 resultados. Tal livro de códigos teve por finalidade estabelecer os critérios a partir dos quais trabalhos deveriam ser incluídos ou excluídos de nossa RSL. A partir de diversos pré-testes sobre o instrumento de codificação, foi realizado um teste de confiabilidade utilizando a plataforma on-line apresentada e disponibilizada por Freelon (2010)Freelon, D. ReCal: intercoder reliability calculation as a web service. International Journal of Internet Science, v. 5, n. 1, p. 20-33, 2010.. O teste de confiabilidade obteve os seguintes resultados: (a) concordância nominal: 77.4%, (b) scott’s Pi: 0.668; (c) Cohen’s Kappa: 0.668; Krippendorff’s Alpha: 0.669.

Após a resolução das discordâncias extremas (incluir vs excluir) e moderadas (as demais combinações), chegou-se, em um primeiro momento, a 50 artigos para serem selecionados e analisados. Enquanto as discordâncias extremas foram resolvidas mediante deliberação entre os analistas, as discordâncias moderadas foram resolvidas por meio do seguinte protocolo: (a) excluir vs dúvida = excluir; (b) dúvida vs dúvida = excluir; (c) dúvida vs incluir = incluir. O registro anonimizado das razões e argumentos para a resolução dos casos de discordância extremas estão disponíveis em: https://figshare.com/s/a9b7a46ff87a36425375.

Após a seleção dos trabalhos, o livro de códigos foi ampliado de modo a estabelecer orientações sobre como categorizar os princípios metodológicos de interesse dessa pesquisa em cada artigo selecionado. No caso da transparência e, por consequência, da replicabilidade, tais princípios foram, em geral, considerados satisfeitos quando a RSL apresentou: (a) bases utilizadas; (b) termos de busca; (c) delimitação temporal (quantidade de anos); (d) número de trabalhos analisados; (e) critérios de inclusão e/ou exclusão.

Em relação à confiabilidade, tal princípio foi considerado satisfeito quando o artigo apresentou informações sobre se a prospecção de trabalhos e o refinamento da amostra foram submetidos a uma comparação entre análises de um ou mais analistas/codificadores/juízes (Quadro 1).

Uma vez realizadas as análises de todos os trabalhos, nos debruçamos sobre a tarefa de executar procedimentos de confiabilidade sobre as nossas próprias codificações. Para isso, no lugar de nos valermos da verificação entre os analistas/juízes/codificadores da nossa equipe de pesquisa, resolvemos adotar um procedimento que, sob nosso melhor conhecimento, mostra-se inédito. Tratou-se de solicitar aos autores dos trabalhos revisados que estes se manifestassem quanto à correção e precisão de nossas análises.

Essa solicitação foi realizada seguindo um modelo padronizado que foi remetido a todos os primeiros autores dos 50 trabalhos. Após duas semanas, foi enviado novo contato com cópia para todos(as) os(as) coautores(as) que não responderam.

Sob esse procedimento, obtivemos 34 respostas válidas, das quais 29 confirmaram a correção de nossas análises integralmente, 4 solicitaram uma ou mais correções e uma resposta permitiu perceber que havíamos incluído um falso positivo. Com a exclusão deste, a amostra final ficou com 49 trabalhos.

Os 16 que ficaram sem resposta foram submetidos a uma tripla ou dupla codificação, em que cada analista codifica o mesmo trabalho de modo independente para posterior comparação. Sendo assim, nenhum trabalho ficou sem procedimento de confiabilidade, seja por parte da própria equipe de pesquisa (30%), seja por parte dos autores dos trabalhos revisados (70%). Ao excluirmos o falso positivo, o índice de concordância dos autores que nos responderam foi de 97,40%, pois houve apenas 6 solicitações de correção num universo de 231 decisões (7 decisões para cada um dos 33 artigos). Das 6 solicitações de correção, apenas uma não foi acatada.

O detalhamento desses procedimentos e análises estão disponíveis (também de modo anônimo) no livro de códigos, nas planilhas e no modelo de e-mail arrolados a seguir:

Livro de códigos: https://figshare.com/s/32586e84425cd5b31c37.

Planilha com os dados analisados: https://figshare.com/s/8f2932633e596fd463cf.

Modelo de contato padronizado: https://figshare.com/s/724b53f52933c9fd5927.

Resultados

No que diz respeito aos dados referentes à transparência e replicabilidade da amostra, a grande maioria dos trabalhos apresentou os termos de busca ou palavras-chave utilizadas. Conforme os dados da Tabela 1, apenas 5 (10,20%) não informaram claramente os termos de busca utilizados.

Em relação à identificação dos critérios de inclusão ou exclusão, os resultados se mostraram similares aos termos de busca. A Tabela 2 traz o dado de que 44 dos 49 trabalhos da amostra identificaram os critérios com os quais estudos anteriores foram incluídos ou excluídos da amostra.

A identificação nos trabalhos de informações sobre termos de busca, as bases utilizadas, o tamanho da amostra e os critérios de inclusão ou exclusão ajudaram a avaliar se a RSL se mostrou replicável. Ao avaliar tais parâmetros, a presente pesquisa chegou ao dado de que 40 (81,63%) das 49 RSLs selecionadas e analisadas apresentaram condições mínimas de replicabilidade (Tabela 3).

Houve apenas 2 casos extremos de ausência de replicabilidade. Trata-se de casos extremos, pois não foram identificados as bases de pesquisa utilizadas, os termos de busca, o período temporal ou mesmo o tamanho da amostra. Tais informações se mostraram ausentes a despeito do resumo desses trabalhos sugerirem a condução de uma revisão sistemática.

Já em relação à avaliação se as RSLs da amostra identificaram procedimentos responsivos à confiabilidade, apenas 3 (6,12%) trabalhos (Medeiros Filho; Russo, 2018Medeiros Filho, A. R.; Russo, S. L. Marcas como um indicador: revisão sistemática e análise bibliométrica da literatura. Biblios, n. 71, p. 50-67, 2018.; Machado; Elias, 2020Machado, H. P. V.; Elias, M. L. G. G. R. Gestão do conhecimento: constituição do campo, temas e perspectivas de pesquisas. TransInformação, v. 32, e200037, 2020. Doi: https://doi.org/10.1590/2318-0889202032e200037.
https://doi.org/10.1590/2318-0889202032e... ; Santini; Salles, 2020Santini, R. M.; Salles, D. O impacto dos algoritmos no consumo de música uma revisão sistemática de literatura. Signos do Consumo, v. 12, n. 1, p. 83-93, 2020.) apresentaram esse tipo de informação no corpo do trabalho (Tabela 4).

Nos demais, não houve citação a procedimentos de verificação posterior das classificações e análises empreendidas. Contudo, no contato realizado por e-mail com os autores, 3 informaram que: (a) o procedimento embora não esteja explicitado no artigo acontece na discussão e análise feita entre os membros do grupo de pesquisa; (b) houve consulta a um juiz externo (da equipe de pesquisa), mas não foi reportado no artigo e, por último, e (c) houve comparação das análises entre os autores do trabalho, mas não foi reportado no artigo publicado.

Discussão

Os resultados mostram um quadro ambíguo em relação à qualidade metodológica das RSLs lusófonas na área da Comunicação e Informação. Se, por um lado, elementos para a replicabilidade se mostraram presentes na maior parte dos trabalhos revisados, por outro, procedimentos voltados à confiabilidade foram raramente realizados ou reportados.

Isso implica que, assim como ocorre na análise de conteúdo (Lovejoy; Watson; Lacy, 2014Lovejoy, J.; Watson, B. R.; Lacy, S. Assessing the reporting of reliability in published content analyses: 1985-2010. Communication Methods and Measures, v. 8, n. 3, p. 207-221, 2014.; Sampaio; Lycarião, 2021Sampaio, R. C.; Lycarião, D. Análise de conteúdo categorial: manual de aplicação. Brasília: Enap, 2021. (Coleção Metodologias de Pesquisa) Disponível em: https://repositorio.enap.gov.br/bitstream/1/6542/1/Analise_de_conteudo_categorial_final.pdf. Acesso em: 8 mar. 2022.
https://repositorio.enap.gov.br/bitstrea... ), esforços voltados à confiabilidade das RSLs lusófonas têm se mostrado aquém do projetado pela comunidade científica especializada (Kitchenham, 2007Kitchenham, B. A. Guidelines for performing systematic literature reviews in software engineering: EBSE Technical Report. Keele: Keele University; Durham: Durham University, 2007. Disponível em: https://tinyurl.com/a62ymbp7. Acesso em: 8 mar. 2022.
https://tinyurl.com/a62ymbp7... ; Wilson, 2009Wilson, D. B. Systematic Coding. In: Cooper, H.; Hedges, L. V.; Valentine, J. C. The handbook of research synthesis and meta-analysis. 2. ed. New York: Russell Sage Foundation, 2009. p.159-176.; Souza; Aganette, 2020Souza, L. G. S.; Aganette, E. C. A preservação digital em longo prazo amparada por planos de ações: uma revisão sistemática de literatura. RDBCI: Revista Digital de Biblioteconomia e Ciência da Informação, v. 18, e020027, 2020. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/rdbci/article/view/8661185. Acesso em: 8 set. 2022.
https://periodicos.sbu.unicamp.br/ojs/in... ).

Conforme apontam Kitchenham (2007)Kitchenham, B. A. Guidelines for performing systematic literature reviews in software engineering: EBSE Technical Report. Keele: Keele University; Durham: Durham University, 2007. Disponível em: https://tinyurl.com/a62ymbp7. Acesso em: 8 mar. 2022.
https://tinyurl.com/a62ymbp7... e Wilson (2009)Wilson, D. B. Systematic Coding. In: Cooper, H.; Hedges, L. V.; Valentine, J. C. The handbook of research synthesis and meta-analysis. 2. ed. New York: Russell Sage Foundation, 2009. p.159-176., tais esforços deveriam se aplicar tanto à seleção dos trabalhos quanto à produção da síntese (análise dos itens selecionados). Em ambas as fases, protocolos para a codificação em pares e resolução das discordâncias entre os analistas são recomendados.

No caso, a amostra analisada identificou que, mesmo quando realizados procedimentos de confiabilidade, eles em geral se limitam a apenas uma das fases e, ainda mais raramente, encontramos os protocolos ou o livro de códigos disponíveis nos trabalhos. Ou seja, mesmo quando procedimentos para a confiabilidade das análises foram realizados, os elementos necessários para uma replicação plena da pesquisa se mostraram praticamente ausentes em toda a amostra.

Ademais, o contato realizado junto aos autores para verificar a confiabilidade de nossas análises demonstrou que a comunidade científica da Comunicação e Informação parece ainda não compreender como necessária ou vantajosa a ação de se reportar quais os procedimentos e resultados em relação a este princípio. A esse respeito, nossa experiência de solicitar a verificação dos autores de nossas codificações permitiu não apenas atestar a confiabilidade de nossas análises, assim como foi possível corrigir alguns erros (n=5) e também aumentar o nível de validade da pesquisa como um todo. Afinal, se não fosse por este contato, nossa amostra teria 50 e não 49 trabalhos.

Há, portanto, ganhos epistêmicos inequívocos relacionados aos procedimentos de confiabilidade, ainda mais quando os juízes externos são os próprios autores dos trabalhos analisados. Trata-se, no caso, das fontes que possuem mais domínio intelectual sobre as pesquisas e, portanto, seus insumos garantem uma precisão dificilmente alcançável por outrem.

Cabe ainda esclarecer que, nesta pesquisa, tomamos como ponto de partida a compreensão de que déficits metodológicos não são característicos e típicos apenas das comunidades científicas periféricas, mas se apresentam, a exemplo do estudo de Lovejoy, Watson e Lacy (2014)Lovejoy, J.; Watson, B. R.; Lacy, S. Assessing the reporting of reliability in published content analyses: 1985-2010. Communication Methods and Measures, v. 8, n. 3, p. 207-221, 2014., de maneira contundente até mesmo nos “top journals”. Sendo assim, os resultados aqui encontrados não deveriam ser tomados como um problema necessariamente exclusivo da literatura lusófona, mas como algo que possivelmente poderá ser encontrado por outras meta revisões como esta.

Conclusão

Este trabalhou buscou avaliar a qualidade metodológica das RSLs lusófonas na área da Comunicação e Informação da última década. Tal avaliação foi balizada com princípios em comum desta metodologia com a AC, especificamente com os princípios da replicabilidade e confiabilidade. Ao realizarmos a pesquisa, percebemos que, apesar de constarem nos manuais especializados, tais princípios são apenas parcialmente operacionalizados. Isso porque apenas 3 dos 49 trabalhos indicaram ter realizado algum procedimento relativo ao princípio da confiabilidade e outros 3 trabalhos realizaram, mas não chegaram a reportá-lo no manuscrito.

Por outro lado, deve-se destacar que a maior parte da amostra (n=40) demonstrou informações fundamentais para a replicabilidade das RSLs analisadas. Esses níveis fundamentais raramente foram acompanhados de instrumentos mais exaustivos e detalhados de replicação (a exemplo de disponibilização do livro de códigos ou dos dados categorizados), mas as informações prestadas por esses 40 trabalhos já seriam suficientes para ensejar verificações externas.

A nosso ver, isso indica que há, sim, uma preocupação e uma responsividade geral em torno do rigor metodológico ensejado pelas RLSs lusófonas na área da Comunicação e Informação. Contudo, há muito espaço para incrementar não apenas a confiabilidade, mas a própria replicabilidade.

Nesse sentido, indicamos que pesquisas futuras que pretendam realizar uma RSL não se limitem a descrever, em linhas gerais, os procedimentos adotados, mas também forneçam materiais suplementares que permitam a qualquer parte da comunidade científica revisar e refazer cada decisão tomada. Outro procedimento recomendado é incluir processos de verificação já na própria pesquisa através de testes de confiabilidade. A confiabilidade, conforme visto, aplica-se tanto à seleção dos trabalhos (1a fase) quanto à produção da síntese das unidades selecionadas (2a fase). Em ambas as fases, protocolos para a resolução das discordâncias entre os analistas são recomendados.

Em relação à confiabilidade das análises dos trabalhos selecionados (2a fase), esta pesquisa desenvolveu e testou um procedimento inédito que possibilita um incremento em relação aos anteriores. No caso, trata-se de submeter as análises da RSL ao exame dos autores principais das publicações revisadas. Isso deve ser feito disponibilizando aos autores contactados o protocolo de pesquisa que fundamentou cada codificação para que, assim, os critérios de análise possam ser devidamente compreendidos. Isso permite aos autores confirmar se as codificações estão corretas ou, de outro modo, que solicitem eventual correção. A interação ensejada por esse tipo de procedimento traz, como demonstrado ao longo deste trabalho, ganhos não apenas de confiabilidade à pesquisa, mas também de validade.

Referências

Editor

Datas de Publicação

Histórico