LA EVALUACIÓN DE
LA CAPACITACIÓN CULTURAL

No hay quinto malo [1997] Ricardo
Escobedo. Museo Pantaleón Panduro
José Luis Mariscal Orozco
Tochtli Promoción Cultural Tuxpan
A.C.
DATOS DEL AUTOR
NOMBRE: José Luis Mariscal Orozco.
INSTITUCIÓN: Tochtli Promoción Cultural Tuxpan A.C.
PÁGINA WEB DE LA INSTITUCIÓN: http://www.geocities.com/tochtliac
CORREO ELECTRÓNICO: mariscal21@yahoo.com
RESUMEN:
En este documento se discute sobre la importancia
de la evaluación de los programas y proyectos de capacitación cultural para
el mejoramiento de los mismos. A la vez se plantea un modelo metodológico
que puede servir de guía para aquellas personas que coordinan y evalúan la
capacitación cultural.
INTRODUCCIÓN
"Soy fulanito de tal y me dedico a la gestión
cultural". Es muy raro escuchar esta presentación en México, pero cada vez
más común. Tal vez, la cuestión no es que existen hoy en día más gestores
culturales que antes, sino que también dichos personajes están en la búsqueda
y conformación de una identidad cuya actividad profesional esta luchando por
ser reconocida en la sociedad mexicana.
Como en todas las profesiones, la
Gestión de la cultura, ha llevado un proceso de formación y reconocimiento
social de su labor apoyado por todas esas experiencias, conocimientos y emociones
que lo promotores han aprendido y reproducen a través del tiempo.
Así pues, esfuerzos como el del
Sistema Nacional de Capacitación Cultural del Consejo Nacional para la Cultura
y las Artes (CONACULTA), ayuda a la formación y profesionalización de esta
noble labor, ayudando a sus participantes en la estructuración, reflexión
y actualización de nuevas y viejas concepciones, herramientas y métodos en
gestión cultural.
La intención principal de
elaborar este documento, responde básicamente a la necesidad de dos cuestiones:
por un lado sistematizar la experiencia que viví durante el tiempo que estuve
prestando mis servicios en la Casa Echavarria de la Universidad de Guadalajara
y por otro aportar en la discusión sobre la metodología de evaluación en procesos
de capacitación cultural.
Desde la creación de la Dirección de Capacitación
Cultural del CONACULTA en el 2001, se ha dado un auge de la capacitación
en México, que van desde diplomados, cursos, seminarios, talleres, pero...
¿El esfuerzo que se realiza brinda los frutos esperados?. En este sentido,
“los coordinadores de capacitación, no evalúan ni dan seguimiento a los alumnos
y mucho menos hay una reflexión sobre si lo que se hace está bien hecho y
si responde a las necesidades de lo asistentes[1]".
Durante la Segunda Reunión Nacional
de Coordinadores Estatales de Capacitación, realizada del 2 al 4 de mayo de
este año en la ciudad de Campeche, Campeche, una de las conclusiones de las
mesas de trabajo, fue la necesidad primordial de que los coordinadores tengan
elementos para evaluar la capacitación, no sólo para saber si lo que se hizo
fue bueno, sino también para dar seguimiento a los procesos que desata la
capacitación en los alumnos y en su momento incidir en el proceso de aprendizaje
para poder cerrar aquellos procesos que quedan inconclusos.
De esta manera la evaluación puede servir para:
- Conocer si las ofertas de formación responden
a las necesidades reales de capacitación de los promotores y gestores culturales.
- Saber si un proyecto es eficaz y eficiente.
- Detectar nuevas inquietudes para poder canalizarlas.
- Detectar problemas durante la ejecución del
proyecto y rectificarlos a tiempo.
- Mejorar las ofertas de capacitación.
- Sistematizar las experiencias y crear nuevas
metodologías, concepciones y teorías.
- Los perfiles (conocimientos, actitudes y habilidades)
de los promotores culturales en activo.
- En la medida de lo posible, puede servir para
realizar manuales de procedimiento sobre la organización de ofertas de capacitación
dirigida a neófitos en el tema.
- Crear información que sirva de fuente para
la creación de programas curriculares de gestión cultural a nivel superior
y postgrado.
EL PROCESO DE EVALUAR
En general, la evaluación puede ser
vista de dos maneras:
· Como
una fase del proyecto, la cuál se realiza después de la ejecución del mismo
y se hace una investigación para saber si lo que se hizo se hizo bien.
· Como
un proceso, el cuál se desarrolla de manera conjunta desde la planeación,
ejecución y finalización del proyecto.
Existe gran variedad de definiciones sobre lo
que es evaluación; haciendo una encontramos por ejemplo: “es una serie de
procedimientos destinados a comprobar si se han obtenido los objetivos propuestos”
(Ander Egg, 1985: p.18). Así también, Stufflebeam y Shinkfield definen la
evaluación como “el enjuiciamiento sistemático de la valía o el mérito de
un objeto”(1987: p.19).
Por otro lado, Ventosa afirma que
"Evaluar consiste en la recogida de interpretación
sistemática de una información con vistas a emitir un juicio de valor que
facilite la toma de decisiones de cara a la mejora de lo evaluado (programa,
curso, actividad...)" (2000: p.83).
Ernesto Cohen y Rolando Franco ponen
un énfasis importante en la revisión de la eficacia y la eficiencia, por lo
que la definen de la siguiente manera:
"...la evaluación es una actividad que tiene
por objeto maximizar la eficacia de los programas de obtención de sus fines
y la eficiencia en la asignación de recursos para la consecución de los mismos"
(2000, p.77).
La definición que retomaré para este texto, será
la de la UNESCO, en la que la evaluación es un
"...proceso permanente que se inicia desde
el momento de identificar el problema que da origen al programa (...) y se
realiza con la finalidad de generar información, conocimiento y aprendizaje
dirigidos a alimentar la toma de decisiones oportunas y pertinentes para garantizar
la eficiencia, la eficacia y la calidad de los procesos, los resultados y
los impactos de los programas, todo ello en función del mejoramiento de las
condiciones de vida de sus poblaciones beneficiarias" (1999: p.55).
Existen diferentes tipos de evaluaciones,
según las necesidades de información que se requieran, aquí retomaré tres
grandes tipos:
- Evaluación del diseño, conceptualización y
planeación.
- Evaluación de la instrumentalización y seguimiento.
- Evaluación de los resultados.
Evaluación del diseño, conceptualización y
planeación.
Este tipo pretende hacer una revisión
sobre el diagnóstico en que está basado el proyecto y la forma en como está
conceptualizado y planificado. Ésta va dirigida principalmente a la fase previa
de la operatividad y nos permite saber si el proyecto que se propone realmente
responde a una necesidad real, delimitada, estudiada y comprendida, y cómo
son instrumentadas las acciones y estrategias para la solución de la problemática
o situación que se desea cambiar o solucionar. A ella entonces, pertenecen
tres subtipos de evaluación:
a) Evaluación del estudio
o proyecto de investigación.
b) Evaluación del diagnóstico.
c) Evaluación del
diseño y conceptualización.
Evaluación de la instrumentalización y seguimiento.
En este tipo de evaluación, las indagaciones
se centran en el desarrollo operativo del proyecto, esto es, en la acciones
llevadas a cabo y en el ambiente que se va propiciando.
A ésta, corresponden los siguientes
subtipos:
a) Evaluación de
cobertura.
b) Evaluación de
implementación.
c) Evaluación del
ambiente organizacional.
d) Evaluación del
rendimiento del personal.
Evaluación de los resultados.
En este último tipo, se encuentran
todas las evaluaciones que se concluyen al cierre o finalización del proyecto,
el cuál nos permite saber cuáles son los resultados que surgieron a partir
de la intervención en la situación o problema.
Las evaluaciones correspondientes
a este tipo son:
a) Evaluación de la eficacia.
b) Evaluación de la eficiencia.
c) Evaluación de
la efectividad.
d) Evaluación del impacto.
MODELO PARA LA EVALUACIÓN DE LA CAPACITACIÓN
CULTURAL
La presente ponencia presente pretende
ser un acercamiento a la creación de una propuesta de evaluación de la capacitación
cultural, la cual tiene como objetivo brindar a los coordinadores de capacitación
neófitos en el tema, alternativas para que puedan evaluar y dar seguimiento
a sus proyectos acuerdo a sus necesidades e intereses.
¿Qué importancia tiene esta propuesta?.
De entrada, tiene dos propósitos fundamentales: el primero, es sistematizar
la metodología utilizada en estos dos años y medio de experiencia en el ámbito
de la evaluación de la capacitación cultural, de tal manera que sirva como
una autorreflexión de lo realizado, y en la medida de lo posible mejorarlo
para posteriores aplicaciones.
El segundo propósito, es compartir
la experiencia con todas aquellas personas que realizan proyectos de capacitación
en todo el país, ya que una de las necesidades más urgentes en este ámbito,
es precisamente la evaluación y sistematización de las acciones culturales,
y en especial de la capacitación.
Metodología de la evaluación
La evaluación de la capacitación,
se distingue un poco de la evaluación de proyectos sociales en general, ya
que ya que se le agrega el análisis de tres cuestiones importantes en la formación
académica: Las habilidades, las actitudes y los conocimientos del alumno antes
y después de la capacitación.
Las habilidades son todas aquellas
destrezas que el alumno es capaz de hacer de acuerdo al perfil del egresado
que se planeaba formar. Por otro lado, las actitudes tienen que ver con la
visión, disposición y forma de relacionarse del alumno hacia el área en el
que se capacita, dicho aspecto es importante ya que no basta saber que hacer
y cómo hacer, sino también como lo miro y como me relaciono. Por último,
son los conocimientos antes y después de la capacitación.
Específicamente, en lo que se refiere
a la capacitación cultural, es importante tomar en cuenta la autoidentificación
del alumno como actor cultural antes y después de la capacitación, ya que
se da el caso de que antes de tomar el curso o diplomado, se identificaba
simplemente como bailarín, maestro o empleado, y después se autoidentifica
ya como un promotor o gestor cultural, esto es, se nombra y cataloga como
agente cultural preparado y le da existencia, valoración y sentido a lo que
hace como una profesión y no como un simple pasatiempo.
Tipo de evaluación
Cómo ya se ha mencionado en el marco
teórico, existen una multitud de tipos de evaluación, por lo que se tendrá
que escoger el tipo o tipos de evaluación que se desea implementar según las
necesidades, recursos y tiempos que se requiera y tenga.
A continuación se presenta una complementaria
enfocada a la evaluación de la capacitación especificando técnicas a utilizar
y a quien se puede dirigir.
EVALUACION DE LA CAPACITACION
| TIPO |
FASE |
SUBTIPO |
CUESTIONES
A EVALUAR |
TÉCNICA |
DIRIGIDA
A |
| EVALUACIÓN DEL DISEÑO, CONCEPTUA-LIZACIÓN
Y PLANIFICACIÓN |
Estudio o investigación previa |
Evaluación del estudio previo |
-
Definición de indicadores
- Metodología
utilizada
- Técnicas
de investigación |
-
Documental
- Entrevista |
Organizador |
| Diagnóstico |
Evaluación del diagnóstico |
-
Descripción y explicación del problema, situación u oportunidad
- Sistematización
de la información
- Inventario
de los recursos disponibles
- Viabilidad
del proyecto
- Definición
de necesidades, amenazas y oportunidades |
-
Documental
- Entrevista |
Organizador |
| Planificación |
Evaluación del diseño y conceptualización |
-
Relación entre acciones y solución de problemas
- Formulación
de objetivos
- Establecimiento
de prioridades y estrategias
- Diseño del
proyecto
- Marco teórico
conceptual en el que está basado |
-
Documental
- Entrevista |
Organizador |
| -
Grupo de discusión
- Entrevista
- Cuestionario |
Alumno |
| -
Entrevista
- Cuestionario |
Instructor |
| EVALUACIÓN DE LA INSTRUMENTA-LIZACIÓN
Y SEGUIMIENTO |
Ejecución |
Evaluación de la cobertura |
-
Población objetivo: Determinación, perfil, alcances y límites.
- Conocimiento,
difusión y participación del proyecto en la población objetivo |
-
Documental
- Entrevista
- Cuestionario
- Encuesta
- Análisis
de contenido
- Observación |
Organizador
Alumno
Población
Medios de comunicación |
| Evaluación de la implementación |
-
Previsión de los recursos, instrumentos, medios y tiempos necesarios
- Estrategias
de solución de problemas |
-
Documental
- Entrevista
- Matriz de
análisis estructural
- Cuestionario
- Observaciones |
Organizador
Alumno
Instructor |
| Evaluación del ambiente organizacional |
-
División del trabajo
- Dinámica
organizacional de los actores |
-
Observaciones
- Entrevista
- Cuestionario
- Sociograma
- Grupo de
discusión |
Organizador
Alumno |
| Evaluación del rendimiento
del los actores |
Desempeño
de los actores |
-
Observaciones
- Examen
- Gráficas
de seguimiento
- Simulaciones
- Documentos
finales
- Documental
- Cuestionario |
Alumno |
| -
Observaciones
- Cuestionario
- Entrevista |
Instructor |
| -
Observaciones
- Cuestionario
- Entrevista
- Graficas
de seguimiento |
Organizador |
| EVALUACIÓN DE LOS RESULTADOS |
Finalización o cierre |
Evaluación de la eficacia |
-
Logros cualitativos y cuantitativos de los objetivos
- Relación
entre las metas alcanzadas y el tiempo previsto, respecto de las metas
previstas de resultado y tiempo real
- Relación
entre acciones realizadas y logros de los objetivos |
-
Observaciones
- Documental
- Graficas
de seguimiento |
Organizador |
| -
Cuestionario
- Entrevista
- Grupo de
discusión |
Alumnos |
| -
Cuestionario
- Entrevista |
Instructor |
| Evaluación de la eficiencia |
-
Resultados alcanzados con relación a los costos y tiempos planificados
- Estrategias
de rectificación de ejecución del presupuesto |
-
Graficas de seguimiento
- Cuestionario
- Entrevista |
Organizador |
| Evaluación de efectividad |
-
Relación existente entre las metas de resultado alcanzados y las metas
de resultado planificadas |
-
Gráficas de seguimiento
- Entrevista
- Cuestionario |
Organizador |
| Evaluación del impacto |
-
Cambio de los indicadores de la situación o problema
- Surgimiento
de nuevas necesidades
- Resultados
no esperados |
-
Examen
- Graficas
de seguimiento
- Cuestionario
- Entrevista
- Simulaciones
- Observaciones
- Documental
- Grupo de
discusión
- Grupos cuasi
experimentales
- Seguimiento
de casos |
Alumno |
| -
Graficas de seguimiento
- Cuestionario
- Entrevista |
Organizador |
| -
Graficas de seguimiento
- Análisis
de contenido |
Medios de comunicación |
El objeto
Lo primero que se debe identificar
en la evaluación es el objeto de estudio. Para ello, proponemos
la identificación de tres actores involucrados en el proceso de aprendizaje:
1. El alumno.
2. El organizador.
3. El instructor.
Así, cada uno de ellos evaluará a los otros y
a su vez realizará una autoevaluación.

Las técnicas
Debido al tamaño del documento propuesto en este
congreso, no será posible hacer una revisión de las diferentes tipos de técnicas
que se pueden implementar, así que sólo las enumeraré:
- Revisión de documentos.
- Observaciones.
- Entrevista.
- Cuestionario.
- Grupo de discusión
- Análisis de contenido.
- Encuesta.
- Matriz de análisis estructural.
- Sociograma.
- Graficas de seguimiento.
- Exámenes
- Simulaciones
- Grupos cuasi experimentales
La ejecución
Una vez que hemos planeado y diseñado
nuestro proyecto de evaluación, el siguiente paso es llevarlo acabo. Sin embargo,
el proyecto inicial no es un modelo rígido e inflexible, ya que constantemente
durante la ejecución podremos hacer ajustes en dos sentidos, por una parte
de la metodología de la evaluación, pero también, sobre el desarrollo mismo
de la capacitación cultural, no es necesario terminar la capacitación para
después hacer los cambios.
Holcomb (Ídem: 92), identifica tres
pasos cruciales en el proceso evaluativo:
- Antes de la capacitación: Se debe instruir
y aconsejar a los que van a ser capacitados con el único fin de prepararlos
para la capacitación, explicar la dinámica a desarrollar, los criterios
de evaluación, las especificaciones disciplinarias, etc. (sesión introductoria).
- Durante: En este periodo se deberán ir solucionando
las problemáticas que se vayan presentando y que han sido detectadas en
la evaluación.
- Después: Un vez finalizado el programa y llegado a las conclusiones correspondientes,
será necesario recompensar y reconocer en la medida que las posibilidades
lo permitan a los actores involucrados en el programa de capacitación.
En lo que se refiere a la experiencia aquí sistematizada, el
proceso se puede graficar de la siguiente manera:

Del programa de capacitación se crea
un proyecto de evaluación que en sí mismo contendrá tres etapas: el diseño
y planeación, la ejecución del mismo y al final las conclusiones. El proyecto
de evaluación nos dará elementos para poder hacer los cambios necesarios para
el mejoramiento del programa. De esta manera, en la etapa de la ejecución,
en base a los datos que se van presentando se pueden hacer cambios coyunturales,
esto es rectificar o modificar acciones tanto del diseño de la evaluación,
como del desarrollo del programa de capacitación, esto, para poder cumplir
de la mejor manera los objetivos y metas propuestos en la curricula, por
lo que dichas modificaciones son sólo en cuanto a las estrategias que se desarrollan
durante el programa y que se pueden hacer durante el desarrollo del mismo.
En cambio, las conclusiones nos proporcionan
información para hacer cambios estructurales tanto al proyecto de evaluación,
como al programa de capacitación, esto es, no solamente estrategias para corregir,
sino también modificación y/o creación de contenidos, objetivos, metas y cualquier
otro aspecto del proyecto para la mejor atención de la problemática a la que
pretenden atender, todo esto, después de terminar el programa con miras a
una segunda edición.
Para finalizar esta parte, cabe mencionar
dos aspectos que se deben tomar en cuenta durante la ejecución:
- El control de las herramientas de recolección
de datos. Hay que estar siempre al pendiente de las herramientas que
utilizamos, diseñarlas con mucho cuidado y hacer sus modificaciones correspondientes,
si hay oportunidad, sería muy bueno hacer algunas pruebas previas. Tienen
que estar muy claras y detalladas, fáciles de comprender tanto para las
fuentes como para los sistematizadores, en este sentido, en el momento en
que se esté diseñando la herramienta, se deberá estar pensando al mismo
tiempo en la forma en que se sistematizará, ya que de nada valdrá tener
una buena herramienta a la cual se nos dificulte en sobre manera la sistematización
e interpretación de la información.
- La sistematización de la información.
Algo que nos sucede a la mayoría de los que hacemos investigación (y que
somos desidiosos) es que dejamos todo hasta el final y cuando necesitemos
hacer conclusiones se nos acumula el trabajo y en algunos casos se pierden
de vista algunos detalles que en su momento eran importantes[2]. Por ello será importante ir sistematizando
la información que se preste, sobre todo las transcripciones, ya que mucha
de esa información será necesaria para hacer los cambios coyunturales y
además le da al evaluador una visión amplia y específica de todo lo que
sucede durante el programa de capacitación, y con ello, puede enriquecer
y profundizar algunos aspectos tanto los que se tomaron en cuenta como los
que no.
Transmisión de la experiencia.
El último paso y uno de los más
importantes en el proceso de evaluación, es la difusión de los resultados
o como algunos le llaman, la transmisión de la experiencia.
La importancia de la transmisión de
la experiencia radica en la necesidad,
de realizar retroalimentación con cuatro actores
principalmente:
a) Alumnos: Para
que conozcan lo que se concluyó sobre su desempeño y que vean reflejadas sus
opiniones y reflexiones, para que de esta manera sientan que el esfuerzo que
realizaron (al participar en la evaluación) no fue en vano y que ello sirve
para la mejora de los programas de capacitación en los cuáles fueron partícipes.
b) Instructores:
De igual manera que los alumnos, pueden ver reflejadas sus inquietudes y observaciones
entorno a la experiencia que tuvieron con respecto al curso impartido, pero
también enterarse de las observaciones que tanto alumnos como organizadores
hicieron sobre su intervención, para que de esta manera, puedan mejorar su
rendimiento en una próxima participación.
c) Instituciones
participantes: Es importante hacer saber a las instituciones participantes
de la capacitación, los resultados que se obtuvieron con los programas de
capacitación, ya que de ello depende (no en todos los casos) que se conozca
de manera objetiva el trabajo realizado, así los resultados pudieran servir
para hacer notar los problemas surgidos dentro de la organización y desarrollo
de los cursos y pensar en posibles soluciones que vayan dentro de la normatividad
de la institución, por ejemplo, los problemas administrativos y financieros,
se pueden buscar soluciones alternas a los problemas detectados y que influyeron
en el mejor desarrollo del proyecto o también, si las actividades de esta
índole son nuevas en el organismo, la creación de un manual de procedimientos
que pueda facilitar tanto los trámites y el buen desarrollo los proyectos.
d) Colegas: Otra
cuestión importante es el compartir con otras personas con labores similares
a las nuestras, las metodologías, enfoques, conceptos y resultados obtenidos
en nuestro estudio, para así enriquecer nuestro trabajo y de la misma manera,
ayudar a otros que inician.
Las formas y formatos de transmisión
son muy diversas, y van directamente relacionadas con los recursos, tiempo
y propósitos de la misma, así pues, podemos hacerlo con un simple documento
o una página de internet donde vengan los resultados de la evaluación.
José Luis Mariscal Orozco
Cuitzeo, Jalisco, México.
Julio de 2002
FUENTES CONSULTADAS
Ander Egg, Ezequiel.
________ (1987) ¿Qué es la Animación Sociocultural?.
Hvmanitas. Argentina.
________ (1987) La práctica de la Animación
Sociocultural. Instituto de Ciencias Sociales Aplicadas / Hvmanitas.
Argentina.
Arnaz, José A. (2001) La planeación Curricular.
Trillas. México.
Baca Urbina, Gabriel. (1995) Evaluación de
Proyectos. Mac Graw Hill, México.
Cohen, Ernesto y Franco, Rolando. (2000) Evaluación
de Proyectos Sociales. Siglo XXI. México.
Dieterich, Heinz. (1996) Nueva guía para la investigación científica.
Ariel. México.
Escamilla, Amparo y Blanco, Ángeles. (2002) Glosario de términos educativos
de uso más frecuentes. Profes.net : http://www.profes.net/varios/glosario/principal.htm
México.
Galindo Cáceres, Luis Jesús.
_______ (1997) Sabor a ti: Metodología cualitativa en
investigación social. Universidad Veracruzana. México.
______ (1998) Técnicas de investigación en sociedad,
cultura y comunicación. CONACULTA / Addison Wesley Longman. México.
Guédez, Víctor. (2001)“La Formación del Gestor
Cultural” en Antología de lecturas del Diplomado en Gestión Cultural: Perspectivas
de la Gestión. CONACULTA. México.
Holcomb Jane.(2001)Cómo evaluar fácilmente
la capacitación. PANORAMA. México.
Ibarra López, Armando
Martín.( 2002) El desarrollo curricular: una propuesta cadémica-administrativa
para la educación superior. Inédito. México.
Jara H., Oscar. (1997) Para sistematizar experiencias.
IMDEC. México.
Mitchell, Garry.(1995) Manual del Capacitador.
Grupo Editorial Iberoamérica. México.
Olive, León. Multiculturalismo y Pluralismo.
Piados / UNAM. México, 1999.
Orridge Martin. (2001) 75 maneras de hacer
divertida la capacitación. PANORAMA. México.
Quezada Castillo Rocío.(1991) Guía para evaluar
el aprendizaje teórico y práctico.LIMUSA. México.
Reza Trosino, Jesús Carlos.(2000) El capacitador
hábil. PANORAMA. México.
Santillán Güemes, Ricardo. Capacitar en Cultura.
Subsecretaría de cultura de la Provincia de Buenos Aires. Argentina, SF.
Tamayo y Tamayo, Mario. (2000) El proceso de
la investigación científica. LIMUSA. México.
Testimonios Orales
- Blanca Brambila Medrano, Coordinadora general
del Diplomado.19 de noviembre de 1999. Entrevistador: José Luis Mariscal
Orozco.
- José Antonio Mac Grego Campuzano. 1 de mayo
de 2002. Mesas de trabajo/ Reunión Nacional de Coordinadores de Capacitación
Cultural.
UNESCO. (1999) Gestión integral de programas
sociales orientada a resultados. FCE / UNESCO. Argentina.
Ventosa, Víctor J. (2001) Desarrollo y Evaluación
de Proyectos Socioculturales. Editorial CCS. España.
|