Por uma análise de conteúdo mais científica: uma agenda de pesquisa
Hoje, é um dia bem especial para mim. Lanço em conjunto com o parceiro acadêmico e amigo Diógenes Lycarião, oficialmente, meu primeiro livro autoral, a saber “Análise de conteúdo categorial: um manual de aplicação” pela Escola Nacional de Administração Pública (ENAP). O webinar de lançamento ainda contará com os professores Pedro Mundim da UFG e Raquel Recuero da UFPEL. Para se inscrever para o webinar, clique aqui. O livro é a consolidação de uma longa parceria e o início de uma (provavelmente) longa jornada para desafiar certos tabus metodológicos no Brasil, como desejo destacar neste texto.
Esta segunda jornada em especial se iniciou com algumas discussões que tínhamos a respeito de etapas mais consolidadas na análise de conteúdo (AC) especializada em journals de grande impacto. Em especial, chamava-nos a atenção sobre o teste de confiabilidade entre codificadores (intercoder reliability test no original), algo visto de maneira constante nesses artigos e bastante ausente na AC brasileira. Ao fazermos uma boa varredura do campo, notamos que era algo quase inexistente em termos de artigos e não estava presente nos principais manuais da técnica disponíveis em português.
Então, achamos que era um bom lugar para se começar. Fazendo um artigo meio epistemológico e meio metodológico sobre testes de confiabilidade entre codificadores na análise de conteúdo. No artigo (Sampaio, Lycarião, 2018), discutimos se tratar de uma etapa importante, mas não suficiente para garantir a confiabilidade dos dados, inclusive criticando a visão de certos autores, como Neuendorf (2002) e Krippendorff (2004), que se debruçam excessivamente sobre os diferentes índices existentes para tais testes e não na discussão mais ampliada sobre a confiabilidade da pesquisa.
Do artigo, veio o convite para fazer o manual para a ENAP. Ficamos quase um ano e meio no desenvolvimento do livro. À época, após fazer uma exploração inicial do campo, notamos que a maior parte da AC brasileira era baseada no manual de Laurence Bardin ([1977]2016). Enquanto se trata de uma obra robusta e de inegável importância, concluímos que havia, no mínimo, dois grandes problemas com o mesmo (ou ainda, com a forma que o mesmo é lido).
Em primeiro lugar, Bardin resume o seu método a três grandes etapas, nomeadamente 1. Pré-análise, na qual acontece a leitura flutuante dos materiais; 2. Exploração do material, na qual ocorre a codificação em si e 3. Tratamento dos resultados e interpretações, no qual ocorrem inferências e mesmo tratamentos estatísticos dos dados. Nenhum problema nesta divisão, porém falta ao manual uma melhor especificação das diversas etapas e fases que estão presentes nessas três etapas. Apesar do resumo apresentado no manual (Bardin, 2016, p. 123), que evidencia todas as etapas, elas são descritas de maneira pouco organizada nas seções seguintes, frequentemente, através de aplicações de AC pela autora. Em outras palavras, com algum esforço, é possível verificar todas as etapas apresentadas pela autora, porém essa baixa organização tendeu a levar várias aplicações da técnica na pesquisa brasileira a pensar apenas nas três grandes etapas e ignorar as subetapas presentes em cada fase.
Etapas da AC, segundo Bardin (2016)
Em segundo lugar, o manual de Bardin se estende muito nas regras gerais para a criação de categorias e diferentes formas de codificação, mas não explica de forma muito adequada como o “sistema de codificação” deve ser manifesto num livro de códigos, sobre a importância do treinamento dos codificadores e do teste de confiabilidade entre eles. Ademais, em certas etapas, como a questão da amostragem, o manual também se mostra pouco específico e mesmo um pouco ambíguo. O mesmo valendo para abordagens mais estatísticas.
Então, tendo isso em vista, buscamos fazer uma apresentação bem didática da aplicação de uma análise de conteúdo categorial (também conhecida como temática) em 12 grandes etapas, salientando um passo a passo para cada uma delas, conforme a imagem abaixo. Partindo desde a conceituação (problemas, perguntas de pesquisa, hipóteses etc.) até o tratamento estatístico (caso haja necessidade definida pelo desenho de pesquisa). Em especial, destacamos não apenas as regras e dicas para a criação de boas categorias, mas também a importância da elaboração de um livro de códigos (e sua futura disponibilização para aumento da replicabilidade da pesquisa), a necessidade da existência de dois ou mais codificadores, de um treinamento adequado para os mesmos e da realização de um teste de confiabilidade antes da codificação final.
Etapas da AC (Sampaio, Lycarião, 2021)
Portanto, o manual (Sampaio, Lycarião, 2021) busca preencher uma lacuna que verificamos na literatura brasileira. Após sua escrita, resolvemos que era hora de fazer uma investigação mais aprofundada sobre o uso da AC no país. Assim, recolhemos e tratamos todas as referências que fazem uso de análise de conteúdo na Scielo Brasil, chegando a um número de 3.484 artigos científicos. Através do VOSViewer, rodamos redes de cocitações das referências citadas nos artigos (Van Eck, Waltman, 2010) e nos deparamos com um quadro muito mais desesperador que o esperado. Não só Bardin é, de muito longe, a autora mais citada e cocitada na AC brasileira, mas as diferentes versões de seu manual dominam de forma anormal a grande maioria dos clusters de obras utilizadas pela área. Algo que acontece tanto nas humanidades quanto no colégio de ciências da vida, conforme as duas imagens abaixo.
Cocitações no cólegio de ciências da vida (Sampaio et al, 2021)
Cocitações no cólegio de humanidades (Sampaio et al, 2021)
Portanto, com base nesse estudo, ainda preliminar, vimos que se trata de um problema de enormes proporções. No Brasil, análise de conteúdo é sinônimo de Bardin. Desconfio, inclusive, que Bardin se tornou nacionalmente um sinônimo de análise da dos qualitativos. O estudo cientométrico de Antonio Brasil Júnior e Lucas Carvalho são fortes indicativos disso (Brasil Jr, Carvalho, 2020). Ao analisar a produção em toda a Scielo Brasil nas ciências humanas, é possível verificar que Bardin é uma autora central da área e que sua obra é também central nas principais referências acionadas em toda a literatura de humanas.
Cocitações nas humanidades na Scielo Brasil (Brasil Jr, Carvalho, 2020).
Portanto, como apontamos na discussão do artigo (Sampaio et al, 2021), trata-se de um manual que foi originalmente publicado em 1977 e atualizado pela última vez no início dos anos 90 (Bardin, 2016, p. 13). Isso significa que todas as grandes modificações trazidas pelos meios digitais, especialmente a internet, não foram atualizadas, assim como as vibrantes discussões metodológicas e epistemológicas das duas últimas décadas não foram contempladas.
Portanto, em grande medida, acreditamos que exista uma importante agenda de pesquisa à frente. Ela envolve simultaneamente desnaturalizar o uso exclusivo do manual de Bardin e denotar a importância de certos avanços metodológicos das aplicações especializadas e contemporâneas da análise de conteúdo. Para tanto, mais autores e autoras, mais manuais precisam ser acionados. É necessária uma grande discussão epistemológica transdiciplinar sobre o uso da técnica no Brasil. Estamos aqui dando nossas primeiras contribuições.
Referências
Bardin L. Análise de conteúdo. Edição revista e ampliada. São Paulo: Edições 70 Brasil; [1977] 2016.
Brasil Jr A, Carvalho L. Por dentro das Ciências Humanas: um mapeamento semântico da área via base SciELO-Brasil (2002-2019). Revista de Humanidades Digitales 2020; 5: 149-183. https://doi.org/10.5944/rhd.vol.5.2020.27687
Krippendorff K. Content analysis: an introduction to its methodology. Londres: Sage; [1980] 2004.
Neuendorf K. The content analysis guidebook. Londres: Sage; 2002.
Sampaio R, Lycarião D. Eu quero acreditar! Da importância, formas de uso e limites dos testes de confiabilidade na Análise de Conteúdo. Revista de Sociologia e Política 2018; 66(26): 31-47. https://doi.org/10.1590/1678-987318266602
Sampaio, R. C., Lycarião, D. Análise de conteúdo categorial: manual de aplicação. Brasília: Enap, 2021. Disponível em: https://repositorio.enap.gov.br/handle/1/6542
Sampaio, R. C., Lycarião, D., Codato, A., Marioto, D., Bittencourt, M., & Nichols, B. Uma técnica parada no tempo? Mapeamento da produção científica baseada em análise de conteúdo na SciELO Brasil (2002-19). Preprint Scielo, 2021. Disponível em: https://preprints.scielo.org/index.php/scielo/preprint/view/1913.
Van Eck N, Waltman L. Software survey: VOSviewer, a computer program for bibliometric mapping. Scientometrics 2010; 2(84): 523-538. https://doi.org/10.1007/s11192-009-0146-3
