A análise de dados qualitativos: validação de sistemas de categorias

Rita Tavares ([email protected]), Luís Pedro ([email protected]) & Rui Vieira ([email protected]) – Universidade de Aveiro

Na investigação em Educação, maioritariamente baseada em evidências de carácter qualitativo, é comum encontrarem-se diversas barreiras no que toca à “credibilidade das estratégias qualitativas de investigação” adotadas (Amado, 2014, p. 353). Nesta lógica, a validação e fiabilidade dos processos de análise de dados são cada vez mais uma preocupação, com vista a tornar os desenhos metodológicos e as conclusões retiradas o mais confiáveis possível e, consequentemente, aceites pela comunidade (científica). Esta preocupação torna-se ainda mais visível quando a investigação é voltada para processos de desenho educativo, ou seja, quando da investigação resultam, por exemplo, programas curriculares e produtos educativos a implementar em contexto escolar (McKenney & Reeves, 2012; Plomp & Nieveen, 2013; Reeves, 2006; Reigeluth & Frick, 1999; van den Akker, Gravemeijer, McKenney, & Nieveen, 2006).

A validação dos processos de análise, independentemente de os dados serem quantitativos ou qualitativos, requer do investigador um posicionamento (auto)crítico e reflexivo, já que incorre, muitas vezes, em retrocessos e/ou abandono completo do definido inicialmente. No caso particular dos dados de natureza qualitativa, para uma análise consistente o investigador deverá começar por realizar algumas leituras “flutuantes” dos seus dados, de forma a definir qual a melhor estratégia a seguir (Amado, 2014, p. 311). Estas leituras iniciais permitirão decidir, de forma mais segura, se se deverá optar por um sistema de codificação de dados definido a priori ou se se deverá adotar uma abordagem de caráter exploratória. Esta primeira fase de análise requer, assim, alguma reflexão em torno do tipo de dados recolhidos, bem como do(s) objetivo(s) definido(s), já que determinará a escolha do investigador em avançar para uma análise dedutiva e/ou indutiva (Amado, 2014; Bardin, 2009).

Tenha-se como exemplo o projeto de investigação “Desenvolvimento de aplicação móvel para Educação em Ciências integrando modelo de exploração de dados educacionais”[1], no âmbito do qual foi aplicado um inquérito por questionário a uma amostra de professores do 1.º CEB (n = 118), e implementada uma atividade de escrita e desenho criativos a uma amostra de alunos do 4.º ano de escolaridade do 1.º CEB (n = 25).

A aplicação do questionário, entre outros aspetos, teve como objetivos (i) a definição da área temática a abordar na aplicação móvel (app); (ii) o levantamento das perceções dos professores relativamente ao potencial da app conceptualizada para o processo de ensino e aprendizagem em Educação em Ciências; e (iii) a validação da abordagem de aprendizagem definida para a app. Para (i) analisaram-se e cruzaram-se as respostas dos professores a duas questões fechadas de escolha múltipla, uma relativa às temáticas mais exploradas pelos professores no âmbito da Educação em Ciências (Q7), e outra relativa às temáticas no âmbito da Educação em Ciências mais facilmente exploradas usando recursos educativos digitais (Q8). Para (ii) e (iii) analisaram-se as respostas à pergunta aberta do questionário.

A atividade de escrita e desenho criativo foi implementada em contexto escolar, sem conhecimento prévio do objetivo da atividade por parte dos alunos, sem orientação das tarefas a realizar e sem a presença dos investigadores. Com a implementação da atividade de escrita e desenho criativos, pretendeu-se definir o conceito da app, realizando o levantamento (i) das possíveis abordagens à temática Corpo Humano (área temática definida para a app pelos professores a partir da análise e cruzamento de dados da Q7 e Q8); (ii) dos subtemas a abordar; (iii) das personagens da app; e (iv) dos possíveis ambientes gráficos dos conteúdos a integrar na app. Para tal, analisaram-se as produções escritas e gráficas dos alunos.

Atendendo à natureza dos dados recolhidos, para Q7 e Q8 optou-se pela análise descritiva de dados, tendo-se optado pela análise de conteúdo para as respostas à pergunta aberta do questionário e para as produções escritas e gráficas dos alunos. Nessa lógica, ao nível do tratamento de dados, para as respostas à pergunta aberta do questionário foi gerado um ficheiro do tipo .pdf contendo as 118 respostas, numeradas de acordo com o ID correspondente. Para as produções escritas dos alunos foram gerados 25 ficheiros do tipo .pdf e para as produções gráficas 25 ficheiros do tipo .png, numerados de acordo com os ID correspondentes. Os ficheiros foram analisados com recurso à atual versão do software webQDA® (3.0) de acordo com duas abordagens distintas: (a) respostas à pergunta aberta do questionário – análise dedutiva; e (b) produções escritas e gráficas – análise indutiva.

A adoção de diferentes abordagens prendeu-se, simultaneamente, com a natureza dos dados recolhidos e com os objetivos definidos. Atendendo a que com a análise das respostas à pergunta aberta do questionário se pretendeu deduzir acerca do potencial da app conceptualizada e validar a abordagem de aprendizagem definida de acordo com referenciais teóricos adotados, optou-se por desenhar um sistema de categorias baseado igualmente nos referenciais teóricos adotados. Ou seja, adotou-se um procedimento de caráter dedutivo (fechado), com a definição de categorias a priori (Amado, 2014; Bardin, 2009).

Relativamente à análise das produções escritas e gráficas, uma vez que se optou por uma abordagem completamente desprovida de quaisquer influências externas ao nível da atividade implementada, de caráter criativo e sem a adoção de referenciais teóricos, o procedimento de análise de dados seguido assumiu um caráter indutivo (aberto), sendo definidas as categorias à medida que os dados foram sendo analisados (Denzin & Lincoln, 2003; Richardson, 2003).

Refletindo acerca da natureza dos dados resultantes da aplicação de ambas as técnicas, derivados das perceções de professores e da criatividade de alunos, optou-se por submeter os sistemas de categorias desenhados à apreciação de especialistas e, com isso, validar e conferir uma maior fiabilidade aos processos de análise de dados. Para tal, num primeiro momento foram criados dois projetos no webQDA® contendo as fontes a analisar e os sistemas de categorias desenhados: (1) dedutivo – respostas à pergunta aberta do questionário; e (2) indutivo – produções escritas e gráficas. Seguidamente, as fontes foram analisadas pelos investigadores de acordo com o definido.

Decorrente da análise, foi realizado um levantamento do total de referências encontradas para cada uma das categorias definidas. Em seguida, foi gerada uma tabela de números aleatórios, com recurso à qual um elemento externo ao projeto selecionou 10% dos ID codificados para cada uma das categorias. De forma a facilitar o processo de validação dos sistemas de categorias desenhados, foram gerados “projetos clones” no webQDA® e atribuídos aos especialistas enquanto “Colaboradores”, a partir do envio de convites com recurso à funcionalidade “Convidar” do software. Paralelamente, foi enviado um documento de enquadramento do projeto e do pretendido com o processo de validação, anexando-se para o efeito os sistemas de categorias desenhados e os 10% dos ID a codificar.

Uma vez codificados os ID selecionados, realizou-se o cruzamento entre a codificação inicialmente realizada pelos investigadores e a codificação realizada pelos especialistas, determinando-se os totais de casos de acordo e de desacordo entre as partes. Por último, de forma a aferir a fiabilidade dos sistemas desenhados, aplicou-se a fórmula proposta por Amado (2014): , em que Ta representa o total de casos de acordo e Td o total de casos de desacordos. A adoção dos procedimentos descritos permitiu aferir a fiabilidade dos sistemas desenhados (r_dedutivo = 0.73; r_indutivo = 0.91; e r_total = 0.80) e, com isso, validar os processos de análise de dados qualitativos adotados.

Ainda que com esta validação não se procurasse a “generalização”, ou seja, a replicação dos sistemas desenhados, já que tal apenas faria sentido se numa outra investigação fossem usados os mesmos instrumentos de recolha de dados (o que pela especificidade do projeto aqui trazido a título de exemplo poderia não se ajustar de todo ao pretendido), parece-nos importante o contributo que este artigo poderá trazer em matéria de discussão de processos de validação de análise de dados qualitativos.

Referências bibliográficas

Amado, J. (2014). Manual de investigação qualitativa em educação. (Imprensa da Universidade de Coimbra, Ed.) (2nd ed.). Coimbra: Imprensa da Universidade de Coimbra. http://doi.org/http://dx.doi.org/10.14195/978-989-26-0879-2

Bardin, L. (2009). Análise de Conteúdo. Lisboa: Edições 70.

Denzin, N., & Lincoln, Y. (2003). Collecting and interpreting qualitative materials. Thousand Oaks, CA: SAGE Publications Inc. Retrieved from http://bit.ly/2BH5r1e

McKenney, S., & Reeves, T. (2012). Conducting Educational Design Research. New York: Routledge.

Plomp, T., & Nieveen, N. (2013). Educational Design Research (2nd ed.). Enschede: SLO – Netherlands institute for curriculum development.

Reeves, T. (2006). Design Research from a Technology perspective. In J. van den Akker, K. Gravemeijer, S. McKenney, & N. Nieveen (Eds.), Educational Design Research (1st ed., pp. 86–109). Oxon, New York: Routledge.

Reigeluth, C., & Frick, T. (1999). A methodology for creating and improving design theories. In C. Reigeluth (Ed.), Instructional- design theories and models (pp. 633–652). Mahwah: Lawrence Erlbaum Associates.

Richardson, L. (2003). Writing: A methodology of inquiry. In N. Denzin & Y. Lincoln (Eds.), Collecting and interpreting qualitative materials (p. 499‑541). Thousand Oaks, CA: SAGE Publications Inc. Retrieved from http://bit.ly/2BH5r1e

van den Akker, J., Gravemeijer, K., McKenney, S., & Nieveen, N. (2006). Educational Design Research (1st ed.). Oxon: Routledge.

[1] Projeto de investigação desenvolvido no âmbito de Bolsa de Investigação #SFRH/BD/107808/2015, ao abrigo do Programa Operacional Capital Humano, financiado pelo Fundo Social Europeu e fundos nacionais do Ministério da Ciência, Tecnologia e Ensino Superior, através Fundação para a Ciência e a Tecnologia – FCT I.P. – Portugal; e no âmbito do Programa de Doutoramento em Aprendizagem Enriquecida com Tecnologia e Desafios Societais (Technology Enhanced Learning and Societal Challenges – TELSC), financiado pela Fundação para a Ciência e a Tecnologia – FCT I.P. – Portugal, ao abrigo do contrato #PD/00173/2014. O projeto reporta, ainda, a investigação desenvolvida no âmbito do projeto UID/CED/00194/2013, financiado por fundos nacionais através da Fundação para a Ciência e a Tecnologia – FCT I.P. – Portugal.