Navegação – Mapa do site
Notações

Avaliação qualitativa de programas educativos em museus espanhóis (ECPEME)

Qualitative evaluation of educational programs in Spanish museums
Roser Calaf Masachs, Sué Gutiérrez Berciano, José Luís San Fabián Marato e Miguel Ángel Suárez Suárez

Resumos

Este projeto surgiu com o objetivo de conhecer em profundidade o funcionamento e a incidência educativa dos programas educativos nos museus de Espanha. A amostra foi composta por 12 museus de diferente natureza patrimonial e distribuição territorial, sendo intenção do projeto abarcar a diversidade regional espanhola: Galiza, Astúrias, País Basco, Aragão, Catalunha, Leão e Castela, Andaluzia e Madrid. Ao assegurar a diversidade como critério, tornou-se possível fazer inferências a partir dos dados. Procurou-se descobrir boas práticas e reforçar o diálogo entre instituições de educação não formal. Tratou-se de um modelo de avaliação externa e formativa sobre a ação educativa, que se apresentou com um desenho de investigação combinado de metodologias: analítico-documental, sobre a trajetória educativa e museográfica; interativo, quando abordámos a observação direta e as entrevistas em profundidade. Considerámos cada museu como um objeto de análise individual, um estudo de caso, cujas densas contribuições descritivas permitem inferir tendências educativas no contexto museológico e construir critérios de qualidade transferíveis para caminhar no sentido da melhoria didática e pedagógica do museu.

Topo da página

Texto integral

Introdução

1Até à atualidade, a pesquisa sobre avaliação, no âmbito dos museus, tem-se centrado fundamentalmente em estudos de público e na avaliação de exposições, em que o objeto de estudo era a oferta cultural do museu, que se converteu num produto de mercado que deveria ser atrativo e rentável. Desta forma, a investigação sobre a avaliação nos museus tem tido como objetivos conhecer os perfis dos visitantes e o impacto das exposições nos mesmos, a fim de adaptar as suas estruturas às exigências da sociedade.

2Embora esses estudos tenham contribuído para o avanço da museografia, dando-lhe um caráter mais atraente e dinâmico, não há dúvida que existem muitos outros aspetos dentro do campo da educação em museus, alguns dos quais pouco abordados até à data, pelo que considerámos necessário avaliar os programas educacionais a partir de novas abordagens e ferramentas de análise, como é o caso da pesquisa educativa de perfil etnográfico, como a que apresentamos.

3O projeto Avaliação Qualitativa de Programas Educativos em Museus Espanhóis – ECPEME (código EDU2011-27835), financiado pelo Ministério de Ciência e Inovação espanhol, dentro do Programa Nacional de Projetos Básicos de Investigação, foi desenvolvido no âmbito do VI Plano Nacional de Investigação Científica, Desenvolvimento e Inovação Tecnológica 2011-2014. Teve início em 2012 e terminou em 2015.

4A amostra de 12 museus caracterizou-se pela diversidade de patrimónios, diversidade na gestão e disponibilidade para o trabalho de campo (acesso e proximidade geográfica). Territorialmente foram representadas quase todas as regiões autónomas de Espanha. Ao grupo de investigação, liderado pela Universidade de Oviedo, com Roser Calaf como investigadora principal (Departamento de Ciências da Educação), juntaram-se investigadores de outras universidades de Espanha: Universidade de Huelva, Universidade do País Basco, Universidade Autónoma de Madrid e Universidade de Saragoça, com um total de nove investigadores. Constituiu-se uma equipa multidisciplinar com representantes de disciplinas de educação e das humanidades, todos vinculados à linha de investigação em educação patrimonial.

5A linha de educação patrimonial/didática do património é emergente no campo da investigação em humanidades. O projeto ECPEME incluiu esse ativo e conseguiu a sua continuidade, mediante a replicação metodológica num outro projeto competitivo I+D (HAR2013-48 456-C3-3-P), liderado por Pilar Rivero a partir da Universidade de Saragoça sobre “Avaliação qualitativa” da ação cultural dos sítios romanos com web 2.2. (Civitas), pertencente ao Programa Estatal de Fomento da Investigação Científica de Excelência. A pesquisa foi orientada no sentido de encontrar um espaço de diálogo entre as instituições de educação formal e não formal. O modelo de avaliação, ao ser processual, inovou no contexto do museu (agentes e processos), gerando reflexão crítica sobre a prática, e permitiu destacar as boas práticas, revelar fraquezas e reforçar o seu envolvimento no âmbito educativo. Desta forma, criou-se uma ferramenta que desenvolveu novos critérios de qualidade nos programas educativos dos museus.

Objetivos

1. descrever, conhecer e diagnosticar o estado da educação em museus em Espanha, mediante o uso de estratégias qualitativas que permitissem identificar o perfil de boas práticas nos museus;

2. gerar um modelo para análise de programas educativos de museus que tivesse em conta os principais êxitos, dimensões e processos educativos implicados;

3. promover a produção de programas educativos de qualidade, assim como modelos e esquemas metodológicos baseados em critérios de excelência científica. Dar visibilidade ao saber-fazer dos educadores patrimoniais, numa perspetiva a curto e médio prazo de intervenção e melhoria dos vínculos escola-museu;

4. aumentar a presença de Espanha em eventos vinculados ao OEPE (Observatório de Educação Patrimonial de Espanha), ao ICOM CECA (Comité Internacional do Conselho Internacional de Museus para a Educação e Ação Cultural), como fóruns de referência em educação patrimonial;

5. desenvolver uma página na internet que reforçasse o trabalho em rede para melhorar a educação museal através da sua avaliação.

Amostra

6A amostra foi configurada mediante uma combinação de critérios, como o tipo de património que os museus albergam, os diferentes perfis de gestão, as suas boas práticas e a territorialidade, aceitando limites quanto à área de influência das universidades que faziam parte da equipa ECPEME, tendo em conta os limites geográficos e o local de trabalho dos distintos investigadores (cf. http://ecpeme.com/​).

Desenho da investigação

7Tratou-se de um modelo de avaliação externa e formativa centrado nos processos educativos para melhorar a ação didática. O seu enfoque qualitativo (Angrosino 2012; Banks 2010; Gibbs 2012) permitiu aprofundar o fenómeno educativo, mediante um desenho combinado, analítico e interativo (McMillan e Schumacher 2005), que revelou o nível de realização que poderia alcançar-se, ao mesmo tempo que se descobriu o que se estava a fazer e que oportunidades educacionais existiam para alcançá-lo.

8O desenho analítico, principalmente documental, marcou um nível concetual de recolha das informações-chave para conhecer o museu, a sua museografia e o seu discurso histórico e pedagógico. Este conhecimento permitiu interpretar a trajetória educativa e museográfica de cada museu, assim como a sua realidade atual e os desafios que pretendeu alcançar neste contexto.

9A interatividade surge quando nos aproximamos das atividades de ação educativa do museu e queremos avaliar, com naturalidade, o fenómeno, no qual intervêm diversos atores (pessoal do museu – visitantes) e diversos fatores influem no êxito ou fracasso da atividade (espaço, tempo, recursos, etc). As estratégias interativas permitiram-nos selecionar a informação relevante e dar sentido à multiplicidade de situações que podem aparecer durante o trabalho de campo (Flick 2004). Planificaram-se sucessivas sessões de observação direta e sistematizada, de visitas em cada museu (mais de uma dezena por museu e programa).

10Tendo em conta o seu fim, a investigação pode denominar-se de estudo de caso de grupo instrumental, segundo Stake (2005), dado que cada museu tem uma importância e interesse em si mesmo; uma vez que, para além do que foi referido, os museus no seu conjunto podem revelar situações transferíveis para outros contextos museológicos.

11Este estudo de caso instrumental e organizativo caracterizou-se por uma metodologia observacional, que pretendeu diagnosticar a situação atual, concedendo um grande peso à informação derivada da observação participante.

12Finalmente, se tivermos em conta o relatório final (Yin 2012), podemos enquadrar a investigação dentro dos estudos de caso interpretativos e avaliativos, tendo em conta que os relatos de casos se constroem com descrições ricas e densas, mas com o objetivo de desenvolver diversas categorias conceptuais e emitir juízos de valor (critérios de qualidade) que permitam introduzir mudanças no contexto educativo museológico.

Processo metodológico da investigação

13Seguindo uma estrutura amplamente aceite para os estudos de caso (Stake 2005; Yin 2012), o processo de investigação foi marcado por três etapas. Na fase pré-ativa, contemplaram-se as abordagens epistemológicas e a formulação dos objetivos. Os âmbitos estudados foram: perspetiva patrimonial transmitida pelo museu, refletida nos seus objetivos, atividades e conteúdos (Cuenca 2002; Martín e Cuenca 2011; Martín 2012); metodologia e estratégias didáticas do programa educativo (Calaf 2009) e aquelas orientadas para a aquisição de competências (Medina, Domínguez e Sánchez, 2013); o trabalho dos guias e os recursos utilizados (Gutiérrez e Calaf 2013); a gestão e a avaliação implementadas (San Fabián 1992).

14A fase interativa correspondeu ao trabalho de campo, aos procedimentos seguidos e ao desenvolvimento do estudo, que foi utilizado para delimitar as perspetivas iniciais dos investigadores, recolher as evidências documentais e levar a cabo a observação direta e as entrevistas (Álvarez e San Fabián 2012).

15Quanto ao trabalho de campo, começou com a negociação da recolha de informação com os museus, e continuou com a observação direta (acompanhamento de visitas guiadas, atividades e oficinas) e a recolha de documentação sobre o programa a avaliar e seu contexto. Procurou-se conhecer o historial e a oferta educativa dos últimos anos, a programação educativa atual, a estrutura organizativa e de pessoal, os recursos disponíveis, o lugar que ocupam na oferta do museu as iniciativas educativas, os antecedentes do programa educativo, a captação de públicos, a perspetiva patrimonial que o museu transmite, a relação prévia com as escolas/colégios, o sistema interno de avaliação e os resultados obtidos.

16Na observação da ação educativa, recorreu-se ao diário de campo para registo da informação recolhida. A intenção era extrair padrões, comportamentos e ações que parecessem repetir-se (Campbell 1975), padrões de observação, incluindo procedimentos de conhecimento informado (Denzin 1997; Angrosino 2012). Destacamos, nesta fase interativa, as entrevistas em profundidade semiestruturadas, realizadas aos responsáveis do programa educativo de cada museu. Considerámos importante recolher as suas concepções e perceções a respeito, por exemplo, das peças-chave da gestão, do desenho dos programas educativos, dos vínculos institucionais com outras organizações e entidades e das relações com a escola (Kvale 2011).

17Finalmente, para complementar o trabalho dos investigadores, foi realizada a recolha de informação dos utilizadores a partir do questionário de satisfação da visita que o museu possuía. Em alguns casos, e mediante a falta deste tipo de informação no museu, administrou-se um instrumento desenhado pela equipa de investigadores.

18Sob as condições da pesquisa qualitativa, foi preciso dar solidez ao estudo, o que foi conseguido apostando na inter-subjetividade técnica e através da consistência metodológica. Os aspetos de rigor alcançaram-se mediante um processo cuidadoso de triangulação que, no nosso caso, se estruturou em quatro níveis:

- triangulação de dados, utilizando diversas fontes de informação (guias didáticos e/ou trípticos fornecidos pelos museus, livros de visita, informação derivada dos questionários de satisfação, etc.) e implicando o estudo para as pessoas de forma deliberada, sistemática, local e temporalmente (Glaser e Strauss 1967);

- triangulação de investigadores, usando diversos observadores para minimizar os possíveis desvios e pré-conceitos;

- triangulação metodológica, sistematizando a observação com ferramentas distintas (modelos para avaliar a museografía e a intervenção dos/as guias, diário de observações, guião de entrevista…) que possibilitasse o contraste de visões entre os investigadores, e utilizando, também, entrevistas semi-estruturadas aos responsáveis do programa para reforçar ou corrigir as observações realizadas pelos investigadores;

- triangulação de teoria na análise e interpretação dos estudos de caso, aproximando-nos dos dados, partindo de posições diversas para avaliar a sua utilidade e entender as possibilidades para produzir conhecimento. Para isto contribuiu a configuração da equipa de investigadores, na qual se juntaram as áreas da didática das ciências sociais, da didática geral, da psicologia cognitiva e da sociologia.

  • 1 Esta fase, centrada na participação dos visitantes implicados na investigação, não só permitiu dese (...)

19Por último, na fase pós-ativa procedemos à elaboração do relatório final do estudo de caso que, não obstante, teve um caráter provisório até ao desenvolvimento do grupo de discussão, último passo para validar e encerrar a investigação. Esta sessão foi, na verdade, uma reunião desenhada para obter a validação do processo e dos resultados da avaliação realizada no museu. Centrou-se na abordagem de fundo dos principais temas e dimensões do programa avaliado pelas pessoas que participaram mais diretamente no mesmo e/ou compartilhavam interesses pelo programa. A discussão foi moderada pela investigadora principal, tendo em conta os objetivos da investigação1.

20Tratou-se de informar acerca dos resultados e conclusões que a investigação proporcionou e contrastar informação com os próprios informantes, dando-lhes a oportunidade de completar e introduzir modificações, inclusivamente de aproximar as diversas culturas que compartilham distintos grupos profissionais (Barbour 2013).

Resultados e conclusões

21O avanço do conhecimento em matéria de educação patrimonial em museus está muito ligado às sinergias que geram as diferentes práticas educativas, que se experimentam com estas. A sua análise, segundo o modelo ECPEME, revelou como estas sinergias se transformaram em critérios de qualidade que inovam e transferem conhecimentos de boas práticas.

  • 2 A razão para esta notação é apresentar o modelo de pesquisa desenvolvido pelo ECPEME, convidando o (...)

22Os resultados filtraram-se aplicando uma ferramenta para a sua análise pormenorizada, o que nos revelou critérios de qualidade. Esta foi uma das conquistas do projecto.2

23O processo metodológico aplicado para a avaliação dos programas educativos dos museus converteu-se numa inovação, dado que promove a reflexão crítica nos sujeitos que participaram. É apresentado como base na perspetiva de investigação educativa de natureza qualitativa, seguindo as teses dos principais teóricos do contexto anglo-saxónico e outros de Espanha. Desenharam-se diversos protocolos para a observação direta prolongada que oferecem uma descrição muito detalhada da dimensão educativa do museu. Isso motivou a elaboração de uma matriz de dimensões que sintetizou e formaliza a informação.

24As principais contribuições do projeto de investigação foram as seguintes:

- elaboração de um esquema metodológico e modelo próprio que ofereceu a oportunidade de organizar e verificar programas de educação museal no território nacional e transferível no âmbito internacional;

- difusão da investigação em publicações e eventos a nível nacional e internacional em matéria de educação e património em museus;

- desenvolvimento de diagnóstico que ordenou, analisou, sistematizou e elaborou padrões de qualidade em educação museal;

- criação de um grupo de investigação interdisciplinar de educação patrimonial para a avaliação dos programas. Com conexão nacional (a equipa ECPEME integrou a Red-14 de excelência em investigação no ensino das ciências sociais) e internacional com participação activa no ICOM CECA em várias das suas conferências gerais, desde 2007.

- desenvolvimento de um espaço na internet que inclui todas as ações que foram desenvolvidas em torno do projeto.

25O propósito final foi destacar e valorizar as boas práticas desenvolvidas pelas instituições museológicas, questão que ocupou um segundo plano nos estudos de perfil mais quantitativo – os estudos de público em museus. Os resultados destacam que, apesar das condições adversas que muitos museus enfrentam a nível económico, o seu trabalho educativo e de divulgação move-se em níveis de qualidade amplamente satisfatórios. Pelo contrário, detetaram-se problemas maiores na relação escola-museu, o que indica a pertinência de continuar a trabalhar na consolidação do diálogo entre ambas as instituições. A avaliação conseguida ofereceu dados para compreender realidades distintas presentes nos programas dos museus que incidem na ação educativa e cultural.

Topo da página

Bibliografia

Álvarez, Carmen, e José Luís San Fabián Maroto. 2012. “La Elección del Estudio de Caso en Investigación Educativa. Gazeta de Antropología 28 (1). http://hdl.handle.net/10481/20644

Angrosino, Michael. 2012. Etnografía y Observación Participante en Investigación Cualitativa. Madrid: Ediciones Morata.

Banks, Marcus. 2010. Los Datos Visuales en Investigación Cualitativa. Madrid: Morata.

Barbour, Rosaline. 2013. Los Grupos de Discusión en Investigación Cualitativa. Madrid: Morata.

Calaf, Roser. 2009. Didáctica del Patrimonio: Epistemología, Metodología y Estudio de Casos. Gijón: Trea.

Campbell, Donald. 1975. “Degrees of Freedom and the Case Study.” Comparative Political Studies 8 (2): 178-193.

Cuenca, José María. 2002. “El Patrimonio en la Didáctica de las Ciencias Sociales: Análisis de Concepciones, Dificultades y Obstáculos para su Integración en la Enseñanza Obligatoria.” Tese de doutoramento, Universidad de Huelva.

Denzin, Norman. 1997. Interpretative Ethnography: Ethnographical Practice for the 21st Century. Londres: Sage.

Flick, Uwe. 2004. Introducción a la Investigación Cualitativa. Madrid: Morata.

Gibbs, Graham. 2012. Análisis de Datos Cualitativos. Madrid: Morata.

Glaser, Barney, e Anselm Strauss. 1967. The Discovery of Grounded Theory: Strategies for Qualitative Research. New York: Aldine Publishing Company.

Gutiérrez, Sué, e Roser Calaf. 2013. “La Evaluación Pedagógica: Una Realidad en el Museo.” Pulso: Revista de Educación 36: 37-53.

Kvale, Steinar. 2011. Las Entrevistas en Investigación Cualitativa. Madrid: Morata.

Martín Cáceres, Miryam. 2012. “La Educación y la Comunicación Patrimonial: Una Mirada Desde el Museo de Huelva.” Tese de doutoramento, Universidad de Huelva.

Martín, Miryam, e José María Cuenca. 2011. “La Enseñanza y el Aprendizaje del Patrimonio en los Museos: La Perspectiva de los Gestores.” Revista de Psicodidáctica 16 (1): 99-122.

McMillan, James, e Sally Schumacher. 2005. Investigación Educativa. Madrid: Pearson.

Medina, Antonio María, María Concepción Domínguez, e Cristina Sánchez. 2013. “Evaluación de Competencias de los Estudiantes: Modelos y Técnicas para la Valoración.” Revista de Investigación Educativa 31 (1): 239-255.

San Fabián, José Luís. 1992. “Evaluación Etnográfica de la Educación.” In Perspectivas en la Evaluación del Sistema Educativo, AA.VV., 13-53. Oviedo: KRK Ediciones.

Stake, Robert. 2005. Investigación con Estudio de Casos. Madrid: Morata.

Suárez, Miguel Ángel, Sué Gutiérrez, Roser Calaf, e José Luís San Fabián. 2013. “La Evaluación de la Acción Educativa Museal: Una Herramienta para el Análisis Cualitativo.” Clio: History and History Teaching 39.

Yin, Robert. 2012. Aplications of Case Study Research. 3.ª ed. London: Sage.

Topo da página

Notas

1 Esta fase, centrada na participação dos visitantes implicados na investigação, não só permitiu desenhar o estudo, como também o vimos como uma oportunidade ideal para sermos avaliados como equipa pelo nosso desenho metodológico, como agentes do processo e como investigadores, intérpretes da informação e dos dados analisados.

2 A razão para esta notação é apresentar o modelo de pesquisa desenvolvido pelo ECPEME, convidando o leitor a visitar o website do projecto (http://ecpeme.com/) e conhecer os resultados detalhados dos museus em estudo.

Topo da página

Para citar este artigo

Referência eletrónica

Roser Calaf Masachs, Sué Gutiérrez Berciano, José Luís San Fabián Marato e Miguel Ángel Suárez Suárez, « Avaliação qualitativa de programas educativos em museus espanhóis (ECPEME) », MIDAS [Online], 6 | 2016, posto online no dia 04 Abril 2016, consultado no dia 19 Novembro 2017. URL : http://midas.revues.org/988 ; DOI : 10.4000/midas.988

Topo da página

Autores

Roser Calaf Masachs

Professora titular da Universidade de Oviedo e catedrática acreditada na área da didática das ciências sociais. Dirigiu vários projetos ligados à educação. Estadia de investigação e colaboração no mestrado em Museologia da Universidade de Laval (Quebeque, Canadá). Desde 2003, orientou seis teses de doutoramento na área da educação patrimonial. Tem coordenado vários títulos na Trea, editora espanhola de referência na área do património e dos museus. Membro do ICOM CECA (Comité Internacional do Conselho Internacional de Museus para a Educação e Ação Cultural) desde 2007, participou nas conferências gerais que se realizaram em Montreal, no Zagreb e no Rio de Janeiro. rcalaf@uniovi.es

Sué Gutiérrez Berciano

Bolseira de investigação Severo Ochoa, licenciada em Pedagogia e mestre em Intervenção e Investigação Socioeducativa. Bolsa de excelência de mobilidade na Faculdade de Letras da Universidade do Porto no Departamento de Ciências e Técnicas do Património. Tese de doutoramento em curso: Valor Didáctico de los Museos de Arte de Asturias. Tem apresentado os resultados da sua investigação em vários congressos nacionais e internacionais (p. ex. Conselho Internacional dos Museus). Tem publicado vários artigos sobre avaliação em museus e é uma das autoras da monografia La Evaluación de la Acción Cultural en Museos (Trea, 2015). gutierrezsue@uniovi.es

José Luís San Fabián Marato

Professor catedrático da Universidade de Oviedo, área da didática e organização escolar, Titular em Pedagogia e Sociologia. Participou em vários projectos de investigação sobre formação de docentes, organização e gestão de instituições educativas, avaliação de programas e instituições, estudos sociais da infância. Orientou 18 teses de doutoramento e publicou vários trabalhos relacionados com os temas referidos. Foi director do curso de pós-graduação em Pedagogía Social e atualmente dirige o mestrado oficial em Intervenção e Investigação Socioeducativa, assim como o programa de doutoramento em Igualdade e Inovação Educativa na Universidade de Oviedo. jlsanfa@uniovi.es

Miguel Ángel Suárez Suárez

Licenciado em História pela Universidad de Salamanca, mestre em Formação de Professores e mestre em Intervenção e Investigação Socioeducativa pela Universidade de Oviedo, onde tem trabalhado como investigador pré-doutoral e colaborador do projeto ECPEME (Avaliação Qualitativa de Programas Educativos em Museus Espanhóis). A sua investigação insere-se nas áreas da didática da história e didática do património, cuja tese de doutoramento defenderá em 2016. Tem diversos artigos em publicações com impacto científico (Didáctica de las Ciencias Experimentales y Sociales, 2011; Revista de Educación, 2014, Her&Mus, 2011-2012, Clío: History and History Teaching, 2013) que refletem os seus interesses de investigação. migsrz@gmail.com

Topo da página
  • Logo CHAIA
  • Logo Instituto de História da Arte
  • Logo Cidehus
  • Logo Universidade de Porto
  • Logo CITCEM
  • Logo Museu da Ciência
  • Logo Faculdade de Ciências Sociais e Humanas - UNL
  • Logo FCT
  • Les cahiers de Revues.org