RESUMO

Objetivo:

descrever um guia para o desenvolvimento de revisões sistemáticas de estudos observacionais, sistematização de orientações e ferramentas internacionais, com foco em evidências para inovação e prática clínica.

Método:

este estudo teórico-conceitual foi iniciado durante o desenvolvimento de uma revisão sistemática com metanálise de estudos observacionais em que foram usadas diretrizes e ferramentas internacionais.

Resultados:

foi construído um guia para desenvolver revisões sistemáticas de estudos observacionais. Foram sistematizadas informações sobre várias etapas e requisitos para realizar revisão sistemática pautada em diretrizes e ferramentas internacionais, visando rigor científico nos manuscritos redigidos por profissionais da área da saúde.

Conclusão:

este estudo é uma contribuição à pesquisa na área da saúde que inova ao sintetizar a orientação sobre o método e abordagens de revisão sistemática. As referências aqui usadas são um ponto de partida para compreender os procedimentos e ferramentas internacionais necessários a uma revisão sistemática de estudos observacionais.

DESCRITORES:
Revisão sistemática; Análise de dados; Guia de estudo; Métodos; Pesquisa em enfermagem

ABSTRACT

Objective:

to describe a guide for the development of systematic reviews of observational studies and systematization of international guidelines and tools, focusing on diverse evidence for innovation and clinical practice.

Method:

this theoretical-conceptual study was initiated during the development of a systematic review with meta-analysis of observational studies, using international guidelines and tools.

Results:

a guide was constructed to develop systematic reviews of observational studies. Diverse information about several stages and requirements for conducting a systematic review based on international guidelines and tools was systematized, aiming to ensure scientific rigor in manuscripts written by professionals from the health area.

Conclusion:

this study contributes to research in the health area by innovatively synthesizing guidance on the systematic review method and approaches. The references herein used serve as a starting point for understanding the procedures and international tools necessary for a systematic review of observational studies.

DESCRIPTORS:
Systematic review; Data analysis; Study guide; Methods; Research in Nursing

RESUMEN

Objetivo:

describir una guía para desarrollar revisiones sistemáticas de estudios observacionales y sistematizar pautas y herramientas internacionales, concentrándose en evidencias para la innovación y la práctica clínica.

Método:

este estudio teórico-conceptual se inició mientras se desarrollaba una revisión sistemática con metaanálisis de estudios observacionales en la que se utilizaron directrices y herramientas internacionales.

Resultados:

se elaboró una guía para desarrollar revisiones sistemáticas de estudios observacionales. Se sistematizó diversa información sobre varias etapas y requisitos para realizar una revisión sistemática basada en directrices y herramientas internacionales, con el objetivo de garantizar el rigor científico en los manuscritos redactados por profesionales del área de salud.

Conclusión:

este estudio representa un innovador aporte a la investigación en el área de salud porque sintetiza las pautas sobre el método y los enfoques de las revisiones sistemáticas. Las referencias utilizadas en este trabajo son un buen punto de partida para comprender los procedimientos y las herramientas internacionales necesarios para una revisión sistemática de estudios observacionales.

DESCRIPTORES:
Revisión sistemática; Análisis de datos; Guía de estudio; Métodos; Investigación en Enfermería

INTRODUÇÃO

A sistematização de conhecimentos por meio de revisões sistemáticas (RS) é um fundamento científico para inovar a prática clínica do cuidado, justificar a reavaliação e atualização de ações de cuidado, a organização e gerenciamento de serviços, currículos e práticas educativas na área de saúde, justificar investimentos para melhorar os serviços de saúde e a qualidade de vida da população.

Assim, é necessário conhecer em profundidade os estudos que apresentam os componentes desta construção11. Johnston A, Kelly SE, Hsieh S-C, Skidmore B, Wells GA. Systematic reviews of clinical practice guidelines: A methodological guide. J Clin Epidemiol [Internet]. 2019 [cited 2022 Nov 9];108:64-76. Available from: https://doi.org/10.1016/j.jclinepi.2018.11.030
https://doi.org/10.1016/j.jclinepi.2018.... .

A falta de estudos com planejamento correto e aplicação de referências desatualizadas e de circulação nacional e internacional pode desencadear erros desde o planejamento até a análise das evidências e suas contribuições para a prática clínica.

As RS sobre fatores de risco e prognóstico incluem frequentemente estudos observacionais comparativos pois ensaios clínicos randomizados são inadequados ou inviáveis para responder certos tipos de questões embora sejam o delineamento de pesquisa ideal para avaliar efeitos de intervenções. A seguir, mencionamos algumas razões22. Dekkers OM, Vandenbroucke JP, Cevallos M, Renehan AG, Altman DG, Egger M. COSMOS-E: Guidance on conducting systematic reviews and meta-analyses of observational studies of etiology. PLoS Med [Internet]. 2019 [cited 2021 Jan 9];16(2):e1002742. Available from: https://doi.org/10.1371/journal.pmed.1002742
https://doi.org/10.1371/journal.pmed.100... ^-33. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022) [Internet]. Chichester, (UK): Cochrane; 2022 [cited 2022 Nov 9]. Available from: http://www.training.cochrane.org/handbook
http://www.training.cochrane.org/handboo... : 1) implicações éticas em randomizar pacientes para expô-los a potenciais fatores de risco, 2) alguns desfechos ou doenças podem ocorrer após inclusão da amostra populacional por longos períodos de seguimento e 3) algumas pessoas podem se recusar a receber a exposição dependendo da exposição e período.

Então, estudos observacionais se aplicam para estudar exposições difíceis ou impossíveis de realizar em ensaios clínicos randomizados (ECRs), por exemplo, poluição do ar ou fumo. Além disso, estudos observacionais são os mais adequados para estudar causas de longa duração e tempo de latência, tais como efeitos cancerígenos de exposição ambiental ou drogas. Os delineamentos mais usados para avaliar fatores de risco são os de coorte e caso-controle22. Dekkers OM, Vandenbroucke JP, Cevallos M, Renehan AG, Altman DG, Egger M. COSMOS-E: Guidance on conducting systematic reviews and meta-analyses of observational studies of etiology. PLoS Med [Internet]. 2019 [cited 2021 Jan 9];16(2):e1002742. Available from: https://doi.org/10.1371/journal.pmed.1002742
https://doi.org/10.1371/journal.pmed.100... .

As RS de estudos observacionais podem fornecer informação sobre associação entre exposição e resultado44. Moola S, Munn Z, Sears K, Sfetcu R, Currie M, Lisy K, et al. Conducting systematic reviews of association (etiology): The Joanna Briggs Institute's approach. Int J Evid Based Healthc [Internet]. 2015 [cited 2021 Nov 21];13(3):163-9. Available from: https://doi.org/10.1097/XEB.0000000000000064
https://doi.org/10.1097/XEB.000000000000... . Os critérios de inclusão e exclusão devem ser claramente definidos, sendo aplicados consistentemente em todos estudos incluídos. Os critérios devem ser definidos com foco na pergunta da pesquisa e nas características (exposição e resultado) da população do estudo. A qualidade dos estudos incluídos deve ser avaliada usando ferramentas e critérios apropriados e a avaliação deve ser usada para informar a análise e interpretação dos resultados.

Portanto, o objetivo do presente estudo foi produzir um guia para desenvolver revisões sistemáticas de estudos observacionais e sistematização de diretrizes e ferramentas internacionais com foco em evidências

MÉTODO

Esta pesquisa teórico-conceitual foi fundamentada na literatura e no processo de uso de ferramentas. Ela foi elaborada durante o desenvolvimento de uma revisão sistemática de estudos observacionais sobre mortalidade materna no contexto internacional. Foram usadas diretrizes internacionais para desenvolver rigorosamente o método e o uso de ferramentas.

REVISÕES SISTEMÁTICAS

Ao conduzir uma RS, os autores devem consultar diretrizes metodológicas produzidas por organizações internacionais que recomendaram métodos e procedimentos operacionais: Cochrane33. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022) [Internet]. Chichester, (UK): Cochrane; 2022 [cited 2022 Nov 9]. Available from: http://www.training.cochrane.org/handbook
http://www.training.cochrane.org/handboo... , Joanna Briggs Institute55. Aromataris E, Munn Z, editors. JBI Manual for Evidence Synthesis [Internet]. JBI; 2020 [cited 2021 Nov 10]. Available from: https://jbi-global-wiki.refined.site/space/MANUAL
https://jbi-global-wiki.refined.site/spa... , Enhancing the Quality and Transparency of Health Research (EQUATOR) Network66. The EQUATOR Network. Reporting guidelines for main study types The EQUATOR Network Webpage [Internet]. The EQUATOR (Enhancing the QUAlity and Transparency Of health Research) Network; 2023 [cited 2023 May 9]. Available from: https://www.equator-network.org/
https://www.equator-network.org/... , Grading of Recommendations Assessment, Development and Evaluation (GRADE)77. GRADE working group. The Grading of Recommendations Assessment, Development and Evaluation (GRADE) [Internet]. GRADE; 2023 [cited 2023 Mar 10]. Available from: https://www.gradeworkinggroup.org/
https://www.gradeworkinggroup.org/... .

Resultados de revisões sistemáticas apresentam um panorama do estado atual das evidências e lacunas no conhecimento, destacando os pontos fortes e as limitações de estudos individuais (ou de equipes) e orientam sobre os investimentos necessários à pesquisa. O resultado de uma RS é um conhecimento sobre um determinado fator de exposição (síntese qualitativa), ao passo que o método estatístico usado (metanálise) sumariza com medida de associação dos resultados de diferentes estudos (síntese quantitativa)33. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022) [Internet]. Chichester, (UK): Cochrane; 2022 [cited 2022 Nov 9]. Available from: http://www.training.cochrane.org/handbook
http://www.training.cochrane.org/handboo... .

Pesquisas devem cumprir procedimentos para assegurar rigor científico e possibilitar replicação, contribuindo para reafirmar ou negar paradigmas e diretrizes. Na RS, o método exige rigor conforme as diretrizes internacionais pois a pesquisa deve responder a uma pergunta específica. A qualidade e a validade devem ser identificadas, selecionadas e avaliadas criticamente para sintetizar um conjunto de evidências científicas publicadas, obtendo assim um panorama geral sobre o tema estudado e a probabilidade de aplicação dos resultados encontrados33. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022) [Internet]. Chichester, (UK): Cochrane; 2022 [cited 2022 Nov 9]. Available from: http://www.training.cochrane.org/handbook
http://www.training.cochrane.org/handboo... ^,88. Munn Z, Moola S, Lisy K, Riitano D, Tufanaru C. Methodological guidance for systematic reviews of observational epidemiological studies reporting prevalence and cumulative incidence data. Int J Evid Based Healthc [Internet]. 2015 [cited 2023 Mar 10];13(3):147-53. Available from: https://doi.org/10.1097/XEB.0000000000000054
https://doi.org/10.1097/XEB.000000000000... .

O método

O método a ser aplicado no desenvolvimento de revisões sistemáticas e metanálises deve ser fundamentado em diretrizes internacionais, destacando-se aquelas produzidas e divulgadas pela Cochrane Handbook for Systematic Reviews of Interventions33. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022) [Internet]. Chichester, (UK): Cochrane; 2022 [cited 2022 Nov 9]. Available from: http://www.training.cochrane.org/handbook
http://www.training.cochrane.org/handboo... , Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA)1010. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. Updating guidance for reporting systematic reviews: Development of the PRISMA 2020 statement. J Clin Epidemiol [Internet]. 2021 [cited 2022 Dec 21];134:103-12. Available from: https://doi.org/10.1016/j.jclinepi.2021.03.001
https://doi.org/10.1016/j.jclinepi.2021.... e Conducting Systematic Reviews and Meta-Analyzes of Observational Studies of Etiology (COSMOS-E)22. Dekkers OM, Vandenbroucke JP, Cevallos M, Renehan AG, Altman DG, Egger M. COSMOS-E: Guidance on conducting systematic reviews and meta-analyses of observational studies of etiology. PLoS Med [Internet]. 2019 [cited 2021 Jan 9];16(2):e1002742. Available from: https://doi.org/10.1371/journal.pmed.1002742
https://doi.org/10.1371/journal.pmed.100... .

Seguindo uma das prerrogativas das diretrizes para condução da RS33. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022) [Internet]. Chichester, (UK): Cochrane; 2022 [cited 2022 Nov 9]. Available from: http://www.training.cochrane.org/handbook
http://www.training.cochrane.org/handboo... , a equipe de pesquisa deve ser composta por dois ou mais pesquisadores. Para qualidade e sucesso da RS, é importante que a equipe de pesquisadores reúna um conjunto de competências que contribuem para realizar a revisão sistemática, incluindo análise crítica, conhecimento clínico, uso de ferramentas, conhecimento e manejo. recursos de informática e aplicação de tradutores.

Ao definir a pergunta da pesquisa, o método de pesquisa e a seleção das diretrizes, os pesquisadores devem ter clareza sobre o processo. Isto inclui busca exaustiva e rigorosa na literatura, planejamento, construção e registro do protocolo e documentação desde o planejamento até a publicação dos resultados.

Em RS com metanálise o método estatístico usado deve incluir a seleção apropriada da métrica de tamanho de efeito, avaliar a heterogeneidade e conduzir análises de sensibilidade para avaliar a robustez dos resultados, a qualidade dos estudos incluídos e os potenciais fontes de viés ou confusão, conforme identificadas em RS com metanálise mais recentes99. Nik Hazlina NH, Norhayati MN, Shaiful Bahari I, Mohamed Kamil HR. The prevalence and risk factors for severe maternal morbidities: A systematic review and meta-analysis. Front Med (Lausanne) [Internet]. 2022 [cited 2023 Feb 3];9:861028. Available from: https://doi.org/10.3389/fmed.2022.861028
https://doi.org/10.3389/fmed.2022.861028... .

As etapas

A seguir, são apresentadas as nove etapas para conduzir uma revisão sistemática (Figura 1), a metanálise será integrada em outro manuscrito.

Etapa 1 - Objetivo da revisão sistemática

Primeiramente, o pesquisador deve saber claramente o problema que deseja estudar. Assim, o propósito e os objetivos devem ser definidos, incluindo justificativa sobre as possíveis lacunas do conhecimento, contextualização e as razões para sua realização. Além disso, a existência de RS equivalente à RS desejada deve ser verificada em bases de dados na área da saúde (p.ex., Medline/Pubmed e Cochrane Library) e na plataforma PROSPERO onde protocolos de RS em andamento são registrados (https://www.crd.york.ac.uk/prospero). Portanto, todo pesquisador deve buscar a anterioridade de pesquisas e tecnologias relacionadas ao tema.

Etapa 2 - Planejamento e Protocolo

O planejamento da RS deve começar com a sistematização de um protocolo que deverá ser registrado em plataforma de domínio público. O protocolo é um documento onde todas etapas e procedimentos a serem cumpridos (e previamente conhecidos dos pesquisadores envolvidos) são descritas detalhadamente para assegurar a consistência na execução da revisão e o cumprimento dos compromissos assumidos. Após sua redação, ele deve ser conferido com os requisitos da plataforma onde será registrado. O registro adequado é um atributo importante que as instituições internacionais conferem. No planejamento, o protocolo da RS é essencial para assegurar a integridade da pesquisa e a transparência do processo. Além disso, o protocolo pode reduzir a arbitrariedade nas decisões de extração e utilização de dados, prever potenciais problemas, evitar viés de seleção, reduzir a redundância de esforços e melhorar a colaboração quando disponível1111. Moher D, Shamseer L, Clarke M, Ghersi D, Liberati A, Petticrew M, et al. Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement. Syst Rev [Internet]. 2015 [cited 2020 Mar 10];4(1):1. Available from: https://doi.org/10.1186/2046-4053-4-1
https://doi.org/10.1186/2046-4053-4-1... ^-1212. Shamseer L, Moher D, Clarke M, Ghersi D, Liberati A, Petticrew M, et al. Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015: Elaboration and explanation. BMJ [Internet]. 2015 [cited 2022 Mar 20];349:g7647. Available from: https://doi.org/10.1136/bmj.g7647
https://doi.org/10.1136/bmj.g7647... .

As RS produzidas em colaborações com The Cochrane, Campbell Collaborations e Joanna Briggs Institute requerem a preparação de um protocolo. Nas publicações de RS concluídas, é pouca frequente o relato de outras organizações que não requerem um protocolo. Se um periódico não requer o registro do protocolo (ou se ele foi publicado previamente), isto não exime o pesquisador e sua equipe do dever de construir um protocolo, um planejamento com todos procedimentos da pesquisa. Em Teses e Dissertações, é recomendável que o protocolo seja um apêndice de modo que a confiabilidade e reprodutibilidade da revisão seja possível pelo mesmo pesquisador ou por outro. O registro do protocolo é também um compromisso do pesquisador em continuar os estudos atualizando-os periodicamente.

Assegurar qualidade à produção dos pesquisadores inclui vários requisitos para publicar diferentes tipos de estudos, definindo um padrão de operação e descrição do método a ser usado. Destacamos a rede internacional Enhancing the QUAlity and Transparency Of health Research (EQUATOR) (https://www.equator-network.org/) que produz diretrizes para relatórios e disponibiliza ferramentas para melhorar a confiabilidade, transparência e qualidade das pesquisas publicadas, a exemplo da declaração PRISMA (publicada a partir de 2010 e atualizada periodicamente)1010. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. Updating guidance for reporting systematic reviews: Development of the PRISMA 2020 statement. J Clin Epidemiol [Internet]. 2021 [cited 2022 Dec 21];134:103-12. Available from: https://doi.org/10.1016/j.jclinepi.2021.03.001
https://doi.org/10.1016/j.jclinepi.2021.... ^-1111. Moher D, Shamseer L, Clarke M, Ghersi D, Liberati A, Petticrew M, et al. Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement. Syst Rev [Internet]. 2015 [cited 2020 Mar 10];4(1):1. Available from: https://doi.org/10.1186/2046-4053-4-1
https://doi.org/10.1186/2046-4053-4-1... .

Partindo da necessidade de preparar e registrar protocolos de revisão sistemática para aumentar a disponibilidade e acessibilidade dos métodos e reduzir a duplicação de esforços e o viés de publicação, foi criada a plataforma de registro International Prospective Register of Systematic Reviews (PROSPERO) (https://www.crd.york.ac.uk/prospero/), que é abrigada e mantida pelo Center for Reviews and Dissemination (CRD) da York University e é financiada pelo National Institute for Health Research (NIHR) do Reino Unido1212. Shamseer L, Moher D, Clarke M, Ghersi D, Liberati A, Petticrew M, et al. Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015: Elaboration and explanation. BMJ [Internet]. 2015 [cited 2022 Mar 20];349:g7647. Available from: https://doi.org/10.1136/bmj.g7647
https://doi.org/10.1136/bmj.g7647... ^-1313. Munn Z, Stern C, Aromataris E, Lockwood C, Jordan Z. What kind of systematic review should I conduct? A proposed typology and guidance for systematic reviewers in the medical and health sciences. BMC Med Res Methodol [Internet]. 2018 [cited 2023 Jan 20];18(1):5. Available from: https://doi.org/10.1186/s12874-017-0468-4
https://doi.org/10.1186/s12874-017-0468-... .

RS em saúde e assistência social são registradas na plataforma PROSPERO onde os protocolos são registrados prospectivamente e mantidos como um registro permanente. Uma lista abrangente das RS de acesso público e gratuito é fornecida para consulta e registro visando minimizar o risco de viés nos estudos, promover a transparência no processo e evitar duplicações involuntárias1313. Munn Z, Stern C, Aromataris E, Lockwood C, Jordan Z. What kind of systematic review should I conduct? A proposed typology and guidance for systematic reviewers in the medical and health sciences. BMC Med Res Methodol [Internet]. 2018 [cited 2023 Jan 20];18(1):5. Available from: https://doi.org/10.1186/s12874-017-0468-4
https://doi.org/10.1186/s12874-017-0468-... .

Para elaborar o protocolo, o pesquisador deve informar os itens requeridos no PROSPERO e seguir as definições do Preferred Reporting Items for Systematic Review and Meta-Analyzes Protocols (PRISMA-P 2015), cujo objetivo é melhorar a qualidade dos protocolos de revisão sistemática. Seu impacto é semelhante ao impacto positivo alcançado por outras diretrizes de relatórios, pois resume e documenta o desenvolvimento de protocolos de revisão. O checklist PRISMA-P contém 17 itens e 9 subitens. Os itens são classificados em três seções principais: informações administrativas, introdução e métodos1111. Moher D, Shamseer L, Clarke M, Ghersi D, Liberati A, Petticrew M, et al. Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement. Syst Rev [Internet]. 2015 [cited 2020 Mar 10];4(1):1. Available from: https://doi.org/10.1186/2046-4053-4-1
https://doi.org/10.1186/2046-4053-4-1... ^-1212. Shamseer L, Moher D, Clarke M, Ghersi D, Liberati A, Petticrew M, et al. Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015: Elaboration and explanation. BMJ [Internet]. 2015 [cited 2022 Mar 20];349:g7647. Available from: https://doi.org/10.1136/bmj.g7647
https://doi.org/10.1136/bmj.g7647... .

Etapa 3 - Formulação da pergunta de pesquisa e estratégia de busca

O pesquisador deve pensar o tema de interesse social sob diferentes perspectivas quanto a subtemas, métodos e desenho de pesquisa, abordagem teórica e objetivo da pesquisa. Para isso, ele precisa estudar em profundidade o tema escolhido dentro do que já foi publicado no contexto mundial.

Assim, o pesquisador deve apresentar os detalhes da pesquisa na literatura explicando e justificando sua abrangência. A busca deve ser abrangente e exaustiva dentro dos estudos publicados sobre o tópico em questão33. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022) [Internet]. Chichester, (UK): Cochrane; 2022 [cited 2022 Nov 9]. Available from: http://www.training.cochrane.org/handbook
http://www.training.cochrane.org/handboo... ^,1414. Muka T, Glisic M, Milic J, Verhoog S, Bohlius J, Bramer W, et al. A 24-step guide on how to design, conduct, and successfully publish a systematic review and meta-analysis in medical research. Eur J Epidemiol [Internet]. 2020 [cited 2022 Nov 20];35:49-60. Available from: https://doi.org/10.1007/s10654-019-00576-5
https://doi.org/10.1007/s10654-019-00576... .

Ao definir a pergunta e/ou hipótese a ser abordada na pesquisa (e na fundamentação da revisão sistemática), elas devem ser claras e os critérios de inclusão e exclusão para seleção dos estudos a serem revisados devem estar claramente descritos. A estratégia de pesquisa (contemplando as variáveis de interesse) deve ser rigorosamente desenvolvida, com alta sensibilidade para encontrar todas as publicações sobre o tema, usando várias bases de dados (tais como Medline/PubMed, Scopus, Embase) e seguindo os padrões internacionais reconhecidos1515. Atkinson KM, Koenka AC, Sanchez CE, Moshontz H, Cooper H. Reporting standards for literature searches and report inclusion criteria: Making research syntheses more transparent and easy to replicate. Res Synth Methods [Internet]. 2015 [cited 2023 Jan 20];6(1):87-95. Available from: https://doi.org/10.1002/jrsm.1127
https://doi.org/10.1002/jrsm.1127... .

Os componentes mais úteis para achar as informações corretas podem ser identificados com a palavras-chave no acrônimo PICO. Este esclarece o objetivo da pesquisa de literatura e ajuda a selecionar estudos relevantes. Diferentes tipos de RS estão alinhados às questões de revisão no formato PICO (população, intervenção, comparador e resultado). Porém, este acrônimo foi inicialmente destinado a RS de estudos com design de ensaios clínicos randomizados. Então, ele deve ser adaptado conforme o tipo de RS1313. Munn Z, Stern C, Aromataris E, Lockwood C, Jordan Z. What kind of systematic review should I conduct? A proposed typology and guidance for systematic reviewers in the medical and health sciences. BMC Med Res Methodol [Internet]. 2018 [cited 2023 Jan 20];18(1):5. Available from: https://doi.org/10.1186/s12874-017-0468-4
https://doi.org/10.1186/s12874-017-0468-... .

Para cada tipo de revisão sistemática são definidas as variações da estratégia PICO: Revisões de eficácia (PICO), experienciais (qualitativas) (PICo), de Prognóstico (PFO) e de Metodologia (SDMO); Custos/Avaliação Econômica (PICOC), Prevalência e/ou Incidência (CoCoPop), Teste de Diagnóstico Acurácia (PIRD), Etiologia e/ou Risco (PEO), Opinião de especialistas/políticas (PICo); nestas estratégias, a letra S (Study design) pode ser acrescida, indicando os tipos de estudo que serão incluídos na revisão1313. Munn Z, Stern C, Aromataris E, Lockwood C, Jordan Z. What kind of systematic review should I conduct? A proposed typology and guidance for systematic reviewers in the medical and health sciences. BMC Med Res Methodol [Internet]. 2018 [cited 2023 Jan 20];18(1):5. Available from: https://doi.org/10.1186/s12874-017-0468-4
https://doi.org/10.1186/s12874-017-0468-... ^,1616. Cardoso V, Trevisan I, Cicolella DA, Waterkemper R. Systematic review of mixed methods: Method of research for the incorporation of evidence in nursing. Texto Contexto Enferm [Internet]. 2019 [cited 2022 Nov 20];28:e20170279. Available from: https://doi.org/10.1590/1980-265X-TCE-2017-0279
https://doi.org/10.1590/1980-265X-TCE-20... .

A formulação da pergunta da pesquisa e estratégia de busca deve ser feita com termos do Medical Subject Headings (MeSH), usando termos controlados, termos de texto livre e truncamento, incluídos em formulário avançado nas bases de dados definidas no protocolo. Depois, a estratégia de busca deve ser planejada para atender aos diferentes termos em cada base de dados incluída na revisão.

Na última atualização do PRISMA1010. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. Updating guidance for reporting systematic reviews: Development of the PRISMA 2020 statement. J Clin Epidemiol [Internet]. 2021 [cited 2022 Dec 21];134:103-12. Available from: https://doi.org/10.1016/j.jclinepi.2021.03.001
https://doi.org/10.1016/j.jclinepi.2021.... , o item busca foi modificado recomendando aos pesquisadores apresentar as estratégias de busca de todas bases de dados, registros e sites pesquisados (item 7 do checklist).

A seguir, são exemplificados os operadores booleanos (delimitadores) representados pelos conectores AND (combinação restritiva) e OR (combinação aditiva) usados com os descritores, com definição do período de busca. Sendo usada a estratégia PEOS (P: População/Participantes; E: Exposição; O: Outcome/Desfechos e S: Study design/Tipo de estudo). O Quadro 1 apresenta um exemplo para melhor compreensão dos leitores.

Os critérios de inclusão devem ser detalhados; eles são essenciais no protocolo, que será constantemente consultado pelo pesquisador durante a triagem dos estudos. Eles devem registrar detalhes da população e desfechos de interesse que respondem à pergunta da pesquisa, com definição clara do contexto clínico e epidemiológico em que o desfecho de interesse foi avaliado nos estudos a serem incluídos e tipo de desenho de estudo mais adequado para inclusão na RS. Os critérios de exclusão podem abranger desde as restrições sobre idioma de publicação, tipo de estudo e/ou publicação, contexto clínico e epidemiológico que não foram foco da RS, entre outros definidos previamente pelos pesquisadores1717. Mittal N, Goyal M, Mittal PK. Understanding and appraising systematic reviews and meta-analysis. J Clin Pediatr Dent [Internet]. 2017 [cited 2023 Jan 4];41(5):317-26. Available from: https://doi.org/10.17796/1053-4628-41.5.317
https://doi.org/10.17796/1053-4628-41.5.... .

Etapa 4 - Triagem dos estudos

Esta etapa (também conhecida como triagem para inclusão) requer que o pesquisador apresente uma descrição clara sobre quais estudos foram considerados para revisão e quais foram eliminados. Para estudos eliminados/excluídos, devem ser registradas as razões para sua não inclusão, justificando porque a revisão resultante ainda é abrangente.

Os artigos encontrados são exportados para o gerenciador bibliográfico EndNote v. X9 desktop (https://endnote.com/), versão comercial; porém, é possível usar a versão gratuita chamada EndNote web (https://www.myendnoteweb.com/). O gerenciador é usado para selecionar os estudos primários na revisão sistemática, proporcionando recursos para métodos de síntese de conhecimento, com transparência e reprodutibilidade1818. Mendes KDS, Silveira RCCP, Galvão CM. Use of the bibliographic reference manager in the selection of primary studies in integrative reviews. Texto Contexto Enferm [Internet]. 2019 [cited 2022 Nov 20];28:e20170204. Available from: https://doi.org/10.1590/1980-265X-TCE-2017-0204
https://doi.org/10.1590/1980-265X-TCE-20... . Podem ser usados outros gerenciadores bibliográficos tais como: Mendeley (https://www.mendeley.com/?interaction_required=true) e Zotero (https://www.zotero.org/).

Na primeira etapa da triagem, são excluídos os artigos duplicados sendo gerado um arquivo de exportação para uma ferramenta gratuita (https://www.rayyan.ai/). Neste programa, os títulos e resumos dos estudos potencialmente relevantes são selecionados independentemente por dois pesquisadores, observando a aderência à questão da pesquisa e aos critérios de inclusão e exclusão previamente definidos no protocolo, com leitura de título e resumo para seleção dos artigos.

Rayyan é uma ferramenta gratuita da Web projetada para ajudar pesquisadores que trabalham com revisões sistemáticas e outros projetos de síntese de conhecimento para acelerar o processo de triagem e seleção de estudos1919. Ouzzani M, Hammady H, Fedorowicz Z, Elmagarmid A. Rayyan - A web and mobile app for systematic reviews. Syst Rev [Internet]. 2016 [cited 2020 Feb 20];5(1):210. Available from: https://doi.org/10.1186/s13643-016-0384-4
https://doi.org/10.1186/s13643-016-0384-... .

Na plataforma Rayyan, são identificados os artigos para leitura na íntegra (por dois revisores independentes e com cegamento). Após o final da seleção, a blindagem é desativada e então as decisões divergentes de seleção dos artigos são resolvidas em reunião de conciliação com a presença de um terceiro pesquisador não envolvido na seleção para resolver conflitos e eventual desempate na seleção final dos artigos a serem incluídos na revisão.

O pesquisador precisa estudar o método para identificar potenciais ameaças à validade dos estudos. Um dos principais riscos em estudos observacionais é o viés de seleção, pelo qual pode haver grandes diferenças observadas e não observadas devido à ausência de randomização nas características dos pacientes entre os grupos caso e controle. Tais diferenças podem levar a estimativas enviesadas do efeito do tratamento quando uma ou mais características dos casos apresenta diferenças (confundidores) relacionadas com os resultados que estão sendo medidos2020. Drukker M, Weltens I, van Hooijdonk CFM, Vandenberk E, Bak M. Development of a methodological quality criteria list for observational studies: The observational study quality evaluation. Front Res Metr Anal [Internet]. 2021 [cited 2023 Jan 10];6:675071. Available from: https://doi.org/10.3389/frma.2021.675071
https://doi.org/10.3389/frma.2021.675071... .

Seguindo a recomendação do PRISMA, o pesquisador deve descrever todo o processo de triagem dos estudos (incluindo os motivos de exclusão) na seção de resultados, usando um fluxograma conforme o modelo disponível no site (http://prisma-statement.org/prismastatement/flowdiagram.aspx?AspxAutoDetectCookieSupport=1)1010. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. Updating guidance for reporting systematic reviews: Development of the PRISMA 2020 statement. J Clin Epidemiol [Internet]. 2021 [cited 2022 Dec 21];134:103-12. Available from: https://doi.org/10.1016/j.jclinepi.2021.03.001
https://doi.org/10.1016/j.jclinepi.2021.... .

Etapa 5 - Extração de dados

Após identificar todos estudos a ser incluídos na revisão, os pesquisadores devem extrair sistematicamente de cada um deles os dados que foram previamente definidos para a RS. Recomendamos elaborar uma tabela para extração de dados dos estudos, contendo informações tais como, tipo de design, características da população, fonte de dados, intervenções, desfechos e resultados.

Para desenvolver esta etapa, os autores devem construir uma matriz (que deve ser anexada no protocolo da revisão) para deixar claro quais dados eles querem coletar. Por sua vez, esta deve demonstrar a clareza dos pesquisadores, o domínio clínico sobre o tema da pesquisa e leitura prévia de literatura.

Nesta matriz de extração, devem ser inseridos o seguinte: critérios de elegibilidade dos estudos com base nos critérios de inclusão e exclusão predefinidos, desfechos e variáveis de interesse, nomenclatura e definição, consulta prévia da literatura, definição dicotômica das categorias das variáveis e definição dos grupos de risco e referência, sua medição e avaliação, dados para condução da metanálise (número de casos e controles, odds ratio (OR), odds ratio ajustado (aOR), intervalos de confiança), confundidores ajustados nos estudos, dados para análise de subgrupo e meta-regressão (país, nível econômico, contexto clínico e geográfico, ano de publicação e tempo de duração do estudo).

É altamente recomendável usar um software específico como ferramenta de gerenciamento de revisão para auxiliar o gerenciamento de dados e manter os registros das decisões tomadas ao longo da revisão consistentes e padronizados, por exemplo, Covidence (https://www.covidence.org/home), RevMan (https://revman.cochrane.org/ - /myReviews) e EPPI-Reviewer. Tais ferramentas oferecem um repositório central para dados de revisão que podem ser acessados ​​remotamente através de website. Destacamos as funcionalidades, tais como registro de avaliações independentes de estudos para inclusão, risco de viés e extração de dados33. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022) [Internet]. Chichester, (UK): Cochrane; 2022 [cited 2022 Nov 9]. Available from: http://www.training.cochrane.org/handbook
http://www.training.cochrane.org/handboo... .

O EPPI-Reviewer Web (https://eppi.ioe.ac.uk/cms/Default.aspx?tabid=2914) é um programa de software para gerenciar e analisar dados para todos tipos de revisão sistemática. Ele tem recursos para análises qualitativa e quantitativa, tais como metanálise e síntese temática, podendo tornar a revisão sistemática mais eficiente. Ele foi desenvolvido para apoiar o programa de trabalho do EPPI-Centre na realização de revisões sistemáticas em uma ampla gama de áreas de política pública. Este serviço é disponibilizado sem fins lucrativos por parceiros do Reino Unido para apoiar autores que fazem revisões sistemáticas. Sua autoria está vinculada à unidade de pesquisa do Instituto de Educação da Universidade de Londres2121. Thomas J, Graziosi S, Brunton J, Ghouze Z, O'Driscoll P, Bond MK. EPPI-Reviewer: Advanced software for systematic reviews, maps and evidence synthesis [Internet]. London, (UK): EPPI-Centre, UCL Social Research Institute, University College London; 2022 [cited 2022 Jan 20]. Available from: https://eppi.ioe.ac.uk/cms/About/AboutEPPIReviewer/tabid/2967/Default.aspx
https://eppi.ioe.ac.uk/cms/About/AboutEP... .

A extração dos dados deve ser realizada por dois pesquisadores independentes. Para isso, recomendamos o EPPI-Reviewer, uma ferramenta de codificação que foi construída para extrair dados de artigos. Ele é uma ferramenta de extração personalizada, definida pelos autores com base em uma matriz de extração previamente construída.

Após o término da etapa de extração, é possível gerar arquivos de dados para filtro e correção do banco, para construir tabelas com a síntese das informações dos estudos incluídos e do próprio banco de dados.

Etapa 6 - Avaliação de qualidade

O pesquisador deve avaliar o risco de viés dos estudos individuais usando escala e ferramentas apropriadas conforme o delineamento de cada estudo. A análise do risco de viés dos estudos incluídos na RS deve ser claramente apresentada na seção de Resultados, descrevendo seu impacto sobre a RS e a metanálise. Há colaborações, tais como a {J... B... I... por extenso} JBI55. Aromataris E, Munn Z, editors. JBI Manual for Evidence Synthesis [Internet]. JBI; 2020 [cited 2021 Nov 10]. Available from: https://jbi-global-wiki.refined.site/space/MANUAL
https://jbi-global-wiki.refined.site/spa... , que possibilitam estabelecer um cut-off para definir a qualidade do estudo aceitável para inclusão na RS. Após sua aplicação, eles podem levar a exclusão de estudos, inclusive daqueles previamente selecionados. Porém, cabe aos pesquisadores decidir previamente sobre a inclusão ou não de estudos com alto risco de viés, registrando-os no protocolo. Estudos primários com alto risco de viés na metanálise podem ser incluídos desde que métodos meta-analíticos adequados sejam aplicados. Na análise de sensibilidade, a remoção da metanálise dos estudos com alto risco de viés pode ser definida para avaliar o impacto sobre o resultado e as conclusões33. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, et al. Cochrane Handbook for Systematic Reviews of Interventions version 6.3 (updated February 2022) [Internet]. Chichester, (UK): Cochrane; 2022 [cited 2022 Nov 9]. Available from: http://www.training.cochrane.org/handbook
http://www.training.cochrane.org/handboo... .

Algumas escalas internacionalmente reconhecidas, tais como Newcastle-Ottawa Scale (NOS)2222. Zeng X, Zhang Y, Kwong JS, Zhang C, Li S, Sun F, et al. The methodological quality assessment tools for preclinical and clinical studies, systematic review and meta‐analysis, and clinical practice guideline: A systematic review. J Evid Based Med [Internet]. 2015 [cited 2020 Nov 20];8(1):2-10. Available from: https://doi.org/10.1111/jebm.12141
https://doi.org/10.1111/jebm.12141... , Joanna Briggs Critical Appraisal tools2323. Munn Z, Stone JC, Aromataris E, Klugar M, Sears K, Leonardi-Bee J, et al. Assessing the risk of bias of quantitative analytical studies: Introducing the vision for critical appraisal within JBI systematic reviews. JBI Evidence Synthesis [Internet]. 2023 [cited 2023 Apr 10];21(3):467-71. Available from: https://doi.org/10.11124/JBIES-22-00224
https://doi.org/10.11124/JBIES-22-00224... , ROBINS-I tool Cochrane e ROBINS-E tool Cochrane, podem avaliar o risco de viés de estudos observacionais2424. ROBINS-E Development Group. Risk of Bias in Non-randomized Studies - of Exposure (ROBINS-E) [Internet]. 2022 [cited 2022 Jun 15]; Launch version, 1 June. Available from: https://www.riskofbias.info/welcome/robins-e-tool
https://www.riskofbias.info/welcome/robi... .

Para avaliar o risco de viés com a escala NOS, é possível inseri-la no EPPI-Reviewer seguindo as recomendações para RS. Esta etapa também deve ser realizada por dois pesquisadores independentes, e as discordâncias devem ser discutidas com um terceiro pesquisador até que o consenso seja alcançado.

Aplicando a NOS, o risco de viés é avaliado nos três aspectos seguintes: seleção dos grupos do estudo; comparabilidade dos grupos; apuração da exposição para estudos caso-controle ou desfecho de interesse para estudos coorte. Um número máximo de estrelas pode ser atribuído aos primeiro (quatro), segundo (duas) e terceiro (três) aspectos2222. Zeng X, Zhang Y, Kwong JS, Zhang C, Li S, Sun F, et al. The methodological quality assessment tools for preclinical and clinical studies, systematic review and meta‐analysis, and clinical practice guideline: A systematic review. J Evid Based Med [Internet]. 2015 [cited 2020 Nov 20];8(1):2-10. Available from: https://doi.org/10.1111/jebm.12141
https://doi.org/10.1111/jebm.12141... .

O sumário pode ser apresentado usando um sistema de traffic light plot, criado com a ferramenta robvis (https://mcguinlu.shinyapps.io/robvis/). Ela facilita a produção de figuras de alta qualidade que resumem as avaliações de risco de viés realizadas como parte da revisão sistemática ou projeto de síntese de pesquisa2525. McGuinness LA, Higgins JP. Risk‐of‐bias VISualization (robvis): An R package and Shiny web app for visualizing risk‐of‐bias assessments. Res Synt Met [Internet]. 2021 [cited 2022 Apr 10];12(1):55-61. Available from: https://doi.org/10.1002/jrsm.1411
https://doi.org/10.1002/jrsm.1411... .

O nível de evidência dos artigos é avaliado aplicando o sistema Grading of Recommendation Assessment Development and Evaluation (GRADE).

GRADE é um sistema desenvolvido para graduar a qualidade das evidências e a força das recomendações delas decorrentes. Ao aplicar o sistema GRADE, deve ser construída uma tabela síntese com os resultados do desfecho acompanhados pela qualidade da evidência incluindo o valor da medida de associação e o respectivo intervalo de confiança. Além disso, deve ser acrescentado o julgamento de cada um dos fatores que alteram a qualidade da evidência. Estudos observacionais começam com baixa qualidade (2 pontos), o que facilita tomar a decisão a partir da evidência produzida pela revisão2626. Schünemann HJ, Mustafa RA, Brozek J, Steingart KR, Leeflang M, Murad MH, et al. GRADE guidelines: 21 part 1. Study design, risk of bias, and indirectness in rating the certainty across a body of evidence for test accuracy. J Clin Epidemiol [Internet]. 2020 [cited 2022 Apr 10];122:129-41. Available from: https://doi.org/10.1016/j.jclinepi.2019.12.020
https://doi.org/10.1016/j.jclinepi.2019.... .

No sistema GRADE, a qualidade da evidência é classificada como alta, moderada, baixa ou muito baixa. Para construir tabelas com o sumário das evidências, pode ser usado o sistema via web GRADE PRO (http://guidelinedevelopment.org e http://gradepro.org); o acesso e o uso são gratuitos e irrestritos para projetos não comerciais. Tais tabelas incluem os resultados da rejeição acompanhados de qualidade da evidência, conteúdo (ou valor da medida de associação) e o respectivo intervalo de confiança. Elas também possibilitam acréscimo ou julgamento de cada um dos fatores que alteram a qualidade da evidência; estudos observacionais iniciam com baixa qualidade (2 pontos) ou que facilitam a tomada de decisão com base na evidência produzida pela revisão2626. Schünemann HJ, Mustafa RA, Brozek J, Steingart KR, Leeflang M, Murad MH, et al. GRADE guidelines: 21 part 1. Study design, risk of bias, and indirectness in rating the certainty across a body of evidence for test accuracy. J Clin Epidemiol [Internet]. 2020 [cited 2022 Apr 10];122:129-41. Available from: https://doi.org/10.1016/j.jclinepi.2019.12.020
https://doi.org/10.1016/j.jclinepi.2019.... .

Etapa 6 - Síntese dos estudos

Esta etapa (também conhecida como análise) envolve a combinação dos dados extraídos de estudos com técnicas apropriadas, sejam elas quantitativas, qualitativas ou ambas (ou só uma síntese narrativa quando verificar que outro tipo de síntese não é aplicável após análise exaustiva). Elas devem ser planejadas e descritas no protocolo, incluindo como a heterogeneidade será avaliada e a escolha da medida de efeito (p.ex., razão de chances, razão de risco, diferença de risco ou outra para resultados dicotômicos). O planejamento da síntese (particularmente os métodos estatísticos) assegura(m) que a análise ou interpretação dos achados da revisão não será afetada pelos julgamentos feitos durante o processo1414. Muka T, Glisic M, Milic J, Verhoog S, Bohlius J, Bramer W, et al. A 24-step guide on how to design, conduct, and successfully publish a systematic review and meta-analysis in medical research. Eur J Epidemiol [Internet]. 2020 [cited 2022 Nov 20];35:49-60. Available from: https://doi.org/10.1007/s10654-019-00576-5
https://doi.org/10.1007/s10654-019-00576... .

Etapa 7 - Metanálise

Aqui não será apresentada vista integrar outro manuscrito.

Etapa 8 - Redação do manuscrito e publicação

Além dos princípios padrão a serem seguidos na redação de artigos de pesquisa, o processo de revisão sistemática da literatura deve ser relatado com detalhes suficientes para que os resultados da revisão possam ser reproduzidos independentemente. Nas RS produzidas em colaboração com JBI e Cochrane, os relatórios têm estruturas próprias.

Recomendamos usar os checklists PRISMA (http://prisma-statement.org/PRISMAstatement/checklist.aspx) e PRISMA para resumos (http://prisma-statement.org/Extensions/Abstracts) para elaborar o manuscrito, incluindo-o como material suplementar (ele é frequentemente exigido para submissão às revistas)1010. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. Updating guidance for reporting systematic reviews: Development of the PRISMA 2020 statement. J Clin Epidemiol [Internet]. 2021 [cited 2022 Dec 21];134:103-12. Available from: https://doi.org/10.1016/j.jclinepi.2021.03.001
https://doi.org/10.1016/j.jclinepi.2021.... .

Além da síntese das evidências encontradas, o manuscrito final deve discutir os pontos fortes e as limitações do estudo na produção do conhecimento. Isto inclui uma interpretação geral dos resultados no contexto de outras evidências; apontamentos quanto às limitações das evidências incluídas na revisão e dos processos empregados na revisão, destacando as implicações dos resultados para a prática clínica, política e pesquisas futuras1010. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. Updating guidance for reporting systematic reviews: Development of the PRISMA 2020 statement. J Clin Epidemiol [Internet]. 2021 [cited 2022 Dec 21];134:103-12. Available from: https://doi.org/10.1016/j.jclinepi.2021.03.001
https://doi.org/10.1016/j.jclinepi.2021.... .

As fontes de apoio financeiro e o papel dos financiadores ou patrocinadores na revisão devem estar descritos no manuscrito. Recomendamos que os autores disponibilizem os dados, o código analítico e outros materiais usados, indicando onde eles podem ser acessados, como repositórios ou material suplementar. Além disso, recomendamos que o pesquisador atualize a revisão sistemática à medida que novos estudos são inseridos nas bases de dados consultadas1010. Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. Updating guidance for reporting systematic reviews: Development of the PRISMA 2020 statement. J Clin Epidemiol [Internet]. 2021 [cited 2022 Dec 21];134:103-12. Available from: https://doi.org/10.1016/j.jclinepi.2021.03.001
https://doi.org/10.1016/j.jclinepi.2021.... .

CONCLUSÃO

Este guia é uma contribuição para a pesquisa na área da saúde e uma inovação ao reunir orientação sobre método e abordagens de revisão sistemática. As referências são um ponto de partida para melhor compreender os procedimentos e ferramentas internacionais requeridas para revisão sistemática de estudos observacionais.

Incentivar o uso da prática clínica baseada em evidências contribui para que as intervenções em saúde sejam fundamentadas nas melhores evidências disponíveis. Além disso, este guia eleva a qualidade e o impacto da pesquisa, assegurando o avanço científico, melhorando assim a qualidade do cuidado oferecido à população.

NOTAS

Editado por

EDITORES

Datas de Publicação

Histórico