EL PROCESO DE EVALUACIÓN INTERNA

 

Eduardo A. Castro

INIFTA, División Química Teórica, Suc.4, C.C. 16, La Plata 1900, Buenos Aires, Argentina

e-mail: castro@quimica.unlp.edu.ar / eacast@gmail.com

 

 

INTRODUCCIÓN

 

            La palabra “evaluación” significa muchas cosas distintas para mucha gente interesada en su uso y aplicación consistente. Si se pregunta a los componentes de una organización qué entienden por este término, seguramente se obtendrá una amplia gama de respuestas y se suscitarán reacciones bastante variadas. Para algunos significa ver algo con mayor claridad para poder avanzar en la comprensión de las propiedades de un determinado fenómeno. Imágenes tales como un par de anteojos, un microscopio, los binoculares, una lámpara de luz o una lupa son las que advienen de inmediato a la mente de aquellos que consideran a la evaluación bajo esta perspectiva. Para otros, la evaluación se considera en términos de ideas tales como prueba y medida. Así, las imágenes de los exámenes, informes, encuestas y gente con un cuestionario en mano a menudo se vinculan con esta otra imagen. El dibujo de una escala, gráficos cuantitativos, regla o un termómetro refleja concepciones de evaluación más cercanas a la medida. Algunos otros asocian la evaluación a la auditoría y en otros casos se la vincula con la asignación del rendimiento y/o grado de desarrollo. Y en la mayor parte de los casos se percibe detrás de este término una actividad amenazante y temible. Lo cierto es que todas estas posibles interpretaciones y aún otras más, son maneras viables de pensar acerca de la evaluación, aunque la misma noción sigue siendo un verdadero misterio para muchos.

 

            Será conveniente citar algunas definiciones usuales de este término como manera de avanzar algo en su comprensión y luego poder concentrarnos en el objetivo específico de este trabajo.

 

 

LA DEFINICIÓN DEL TÉRMINO EVALUACIÓN

 

      La importancia del mismo proceso evaluativo demanda una clara definición del término de referencia y algunas conceptualizaciones asociadas. Sin embargo debe destacarse que existen muchas definiciones del término “evaluación”, por lo cual aquí se sólo se brindarán algunas de ellas para que sirvan a los necesarios fines aclaratorios y orientadores.

 

      En primer lugar merece la pena destacarse que en todo tipo de proceso existe la evaluación, que puede ser explícita o implícita. La evaluación debe considerarse entonces como una parte misma del desarrollo de ese proceso y no como algo extraño, ajeno, intimidante, potencialmente punitorio y/o meramente circunstancial. 

 

Definición 1: La evaluación es el enjuiciamiento sistemático de la valía o mérito de un

                       objeto. 

 

      Esta definición se centra en el término valor e implica que la evaluación siempre implica un juicio. Los términos valía y mérito deben ser precisados y la evaluación debe satisfacer criterios adecuados de utilidad, factibilidad, eticidad y exactitud. La complejidad de la actividad evaluativa significa que hay que poner mucho cuidado no sólo cuando se recopile la información, que debe ser de calidad, sino también cuando se clarifique y se proporcione una base lógica que justifique las perspectivas de valoración utilizadas para interpretar los resultados.  

 

Definición 2: La evaluación es el proceso sistemático de recolección y análisis de la

                      información, destinado a describir la realidad y emitir juicios de valor sobre

                      la adecuación a un patrón o criterio de referencia establecido como base

                      para la toma de decisiones. 

 

Obtener información: Aplicación de procedimientos válidos y fiables para conseguir datos e información sistemática, rigurosa, relevante y apropiada que fundamente la consistencia y la seguridad de los resultados de la evaluación.

 

Formular juicios de valor: Los datos obtenidos deben permitir fundamentar el análisis y la valoración de los hechos que se pretende evaluar, para que se pueda formular un juicio de valor lo más ajustado posible.

 

Tomar decisiones: De acuerdo con las valoraciones emitidas sobre la información relevante disponible se podrán tomar las decisiones que convengan en cada caso.  

 

      Como evaluar es valorar, conlleva connotaciones ideológicas ya que tiene que ver con concepciones históricas y sociales que predominan en el propio contexto que sin duda la condiciona. Asimismo tiene una connotación social porque se relaciona con la promoción, con el fracaso y con el éxito. También tiene una connotación pedagógica porque tiene peso en la conducta de los diferentes actores sociales. La evaluación tiene una connotación técnica porque es necesario repensar y recrear instrumentos idóneos y confiables que enriquecen el proceso por el cual determina que el problema técnico dependerá y estará condicionado por los otros aspectos. 

 

      Evaluar es participar en la construcción de un tipo de conocimiento axiológico, interpretando la información, estableciendo visiones no simplificadas de la realidad y facilitando la generación de una verdadera cultura evaluativa. 

      Construir una cultura evaluativa implica incorporar a la evaluación como una práctica cotidiana que realizan todos y afecta a la institución en su conjunto, no ya para sancionar y controlar sino para mejorar y potenciar el desenvolvimiento de sus miembros y permitir que se exploren todas sus posibilidades personales y grupales. De esta manera, la evaluación ya no puede reducirse a una práctica que realizan unos (aquellos que poseen autoridad y/o poder) sobre otros. 

 

Definición 3: La evaluación es un proceso reflexivo, sistemático y riguroso de

                       indagación sobre la realidad, que atiende al contexto, considera

                       globalmente todas las situaciones, atiende tanto a lo explícito como a lo

                       implícito y se rige por principios de validez, participación y ética. 

 

      Un aspecto particularmente importante respecto de las evaluaciones es que las personas que esperan que una mera evaluación resuelva por sí misma alguna clase de conflicto, dificultad o impedimento procedimental se sentirán inevitablemente defraudados. En efecto, una aspiración razonable del evaluador es producir información que la observación menos sistemática del proceso no puede producir. O información que sea más verosímil, y por lo tanto más influyente, que la derivada de los informes similares generados en observaciones menos sistemáticas.

 

Definición 4: Evaluar implica valorar y tomar decisiones que impactan directamente en

                       la vida de los otros. En tal sentido, es una práctica que compromete una

                       dimensión ética. No siempre tenida en cuenta y asumida como tal. Se

                       requiere de un proceso reflexivo que asuma una posición de análisis crítico

                       en torno a las acciones que se realizan conjuntamente con las intenciones

                       que se persiguen. Es decir, se hace necesario preguntarse qué se pretende,

                       qué valores están involucrados, cómo se realiza, qué efectos tiene y qué                  

                        papel asumen los evaluadores.     

 

Definición 5: La evaluación es una actividad de investigación y análisis, destinada a

                      averiguar el nivel de logros que está alcanzando la institución de acuerdo

                      con su razón de ser y llegar además a determinar los elementos que están

                      actuando en la indicación de la menor o mayor capacidad de esos logros.

                      De ello dependerá ratificar, modificar o sustituir las correspondientes

                      decisiones y estrategias del caso. 

 

Definición 6: La evaluación es una labor que se propone los siguientes objetivos: 

 

1. Averiguar la medida del cumplimiento de los objetivos propios de la institución. 

 

2. Averiguar el estado de funcionamiento de los factores de factibilidad que inciden en el logro de esos objetivos. 

 

3. Llegar a una determinación lo más precisa posible acerca de cuál es la capacidad real y las posibilidades potenciales de lograr plasmar los objetivos de la institución. 

 

4. Disponer de una información confiable para regular a tiempo las estrategias de logro. 

 

5. Poder averiguar la existencia y la magnitud de efectos no previstos. 

 

6. Proveer la información que pueda ser conocida por las autoridades superiores en relación con la situación global que se estime necesario conocer. 

 

7. Indagar cuál es el uso de los recursos asignados para el logro de los productos previstos. 

8. Comparar, a través del tiempo, el grado de mejoramiento institucional logrado en cuanto a la capacidad de consecución de metas, sobre la base de los recursos humanos con que cuenta la institución. 

 

      La evaluación busca potenciar las capacidades de la persona, afianzar los aciertos, corregir los errores, reorientar y mejorar los procesos específicos, extender los resultados, transferir los conocimientos, aprender de la experiencia, afianzar valores y actitudes, re-orientar los procesos propios de la institución y mejorar su calidad y promover el desenvolvimiento integral. 

 

Definición 7: La evaluación es el proceso de identificar, obtener y proporcionar

                       información útil y descriptiva del valor y el mérito de las metas, la

                       planificación, la realización y el impacto de una práctica  determinada, con

                      el fin de servir de guía para la toma de decisiones, solucionar los problemas

                      de responsabilidad de cada uno de los actores intervinientes en el desarrollo

                      de esa práctica y promover la comprensión de los fenómenos implicados en

                      ella.

 

      Esta definición resume tres conceptos claves y postula los propósitos evaluativos consecuentes: a) servir de guía para la toma de decisiones, b) proporcionar datos para distinguir el grado de responsabilidad que le cabe a los distintos actores del proceso y c) promover la comprensión de los fenómenos y mecánicas de funcionamiento implicados. La evaluación se presente como un proceso y no como una prueba, y afirma que este proceso incluye las tres etapas de identificación, obtención y entrega de información buscada. Esto implica la necesidad de contar con evaluadores que tengan una buena preparación en las áreas técnicas y de comunicación. A su vez, tanto la información útil (para emitir juicios) como la descriptiva son consideradas adecuadas para valorar y ayudar a perfeccionar la práctica de interés. Los aspectos claves del proceso que, según la definición, deben ser valorados incluyen sus metas, su planificación, su realización y su impacto, los cuales son valorados, respectivamente, mediante la evaluación del contexto, de la entrada, del proceso y del  producto. El criterio  fundamental que debe  ser tenido en cuenta incluye su valor  (su

respuesta a las necesidades valoradas) y su mérito (su calidad).    
 

ALGUNOS ASPECTOS COMPLEMENTARIOS DE LAS DEFINICIONES PREVIAS

 

      La evaluación forma parte de un proceso más amplio que supone la gestión y la elaboración de un proyecto. Se pueden identificar distintos momentos que se distinguen entre sí por su especificidad: 

 

Planificación, que consiste en la definición de los aspectos o situaciones que van a ser evaluadas y que dependerá del momento en que se realice así como los objetivos que se persiguen con ella. En esta etapa se explicitan los propósitos, se definen las situaciones, los métodos y los instrumentos así como el posible impacto de los resultados. También se asignan los responsables y los recursos necesarios para llevarla a cabo. Uno de los puntos más importantes a definir en esta fase, es el problema, la dificultad o la situación que se desea estudiar, ya que a partir de esta definición se derivarán todas las otras. 

 

Implementación, que incluye la recolección de información a partir de la cual se emitirán las apreciaciones y los juicios para mensurar (valorar) la situación que se estudia. La información que se recolecte será la fuente a través de la cual se van a valorar las situaciones y se tomarán las decisiones que pudieran corresponder. Es evidente que si la información recogida no es válida y confiable, la evaluación carecerá de significación posterior. 

 

Análisis y elaboración de las conclusiones, etapa en la cual debería realizarse las acciones pertinentes intentando dar respuesta a las preguntas que originaron el estudio. De esta manera se debería poder explicar el problema identificado al comenzar la evaluación. Se realiza la evaluación de los datos, la construcción de las explicaciones, la contrastación de las hipótesis, la elaboración de las conclusiones y la posterior definición de líneas y estrategias de acción. 

 

      Para que este análisis sea más rico y representativo, es importante incluir y contrastar las diferentes lecturas y opiniones de las distintas personas implicadas en la evaluación. Habría que evitar, tanto como fuera posible, que se generen situaciones en las cuales algunas voces son más escuchadas que otras, ya que es a partir de las diferentes miradas y perspectivas que se podrán enriquecer las conclusiones. 

 

      La elaboración del informe debería ser confeccionado de modo tal que sea sucinto, concreto y con un lenguaje inteligible y accesible, de forma tal que se facilite su lectura y posterior utilización. El informe no sólo debería dar cuenta de las causas o factores intervinientes en la situación estudiada sino también y especialmente incluir sugerencias y propuestas concretas para incorporar en el diseño e implementación de los proyectos. Es decir, si evaluar supone emitir un juicio, valorar una situación y tomar decisiones, el informe tendría que contemplar estos aspectos. También es importante la difusión de las conclusiones entre todos los actores que han tomado parte de la evaluación. 

 

      La evaluación puede analizarse desde una perspectiva cuantitativa que tiene que ver con el concepto de evaluación como medición y desde una perspectiva cualitativa, que relaciona la evaluación con la capacidad y la acción de apreciar, valorar, comparar, comprender.    

 

      ¿Qué evaluar? ¿Cómo evaluar? ¿Para qué se evalúa? ¿Qué hacer con la información recogida? ¿Cuándo evaluar? ¿Con qué evaluar? ¿Quién evalúa? Frente a estas preguntas, resulta imprescindible que los evaluadores estén concientizados de la importancia de: 

 

- Registrar ordenadamente los datos de acuerdo con los requisitos de las técnicas empleadas.

 

- Guardar ordenada y sistemáticamente la información recogida.

 

- Tener prevista la forma de triangulación para la contrastación y el enriquecimiento.

 

- Analizar los datos e interpretarlos de acuerdo con el plan de evaluación.

 

- Elaborar informes parciales o de avance acerca de los procesos evaluativos.

 

- Asegurar la confidencialidad de los datos hasta que ellos sean interpretados e informados.

           

 

LA EVALUACIÓN INTERNA

 

            La evaluación interna ha estado creciendo mucho durante los últimos tiempos debido a una serie de razones. Entre ellas se puede citar a las siguientes:

 

a)      Desencanto con los evaluadores externos,

b)      Limitaciones presupuestarias,

c)      Explorar el posible desarrollo de nuevas capacidades que puedan ser de gran valor para la organización,

d)      Motivos específicos de confidencialidad y delicadeza de la información que se maneja en algunas organizaciones,

e)      Necesidad de crear una adecuada conciencia del significado y el valor del proceso evaluativo entre los miembros de la organización,

f)        Posibilidades ciertas de contar con gente idónea para realizar las tareas propias del quehacer evaluativo,

g)      Fortalecimiento de la organización a partir de un quehacer colectivo de sus integrantes,

h)      Investigar las potenciales latentes para emprender un proceso de autoaprendizaje significativo,

 

 

            Esta monografía describe las herramientas básicas del evaluador interno (EI) detallando los distintos pasos en el proceso de evaluación interna (ei). Estos son los medios empleados en cada estudio de ei. Es necesario que los EIs comprendan y manejen el mismo proceso evaluativo para evitar serios errores y además es absolutamente esencial para implementar evaluaciones consistentes y útiles.

 

Las ideas centrales que aquí se presentan están tomadas del texto de Arnold J. Love, INTERNAL EVALUATION. Building Organizations from Within, Applied Social Research Method Series, Volume 24, Sage Publications, Newbury Park, 1991, aunque se han consultado y utilizado otras referencias bibliográficas que se detallan al final de este trabajo. 

 

UN MODELO PARA LA ei

 

            La base de este modelo es la idea de que el proceso de intercambio tiene lugar cuando las personas involucradas en el mismo perciben que los beneficios de ese intercambio supera a sus costos. Por ejemplo, cuando una persona compra algo, intercambia su dinero por esa cosa en la suposición de que el valor del producto supera al valor del dinero pagado por el mismo. Aplicando esta idea al proceso evaluativo, el siguiente diagrama 1 ilustra la idea básica del proceso de intercambio

 

 

 

 

 

 

 

 

 

 

 

Diagrama 1

 

 

            El solicitante necesita información evaluativa y el EI suministra una respuesta a dicha necesidad. Si el EI no puede satisfacer esa necesidad, entonces el solicitante no considerará que no vale la pena llevar a cabo el intercambio. Resulta evidente que una labor de ei se deriva del conocimiento preciso de las necesidades del solicitante y su percepción de la relación costo-beneficio ya señalada. Al establecer una relación del tipo indicada, el EI debe ser capaz de responder a la pregunta Cuál es el universo de evaluación?. Asimismo, el EI debe entender la situación y la realidad de los componentes del universo de evaluación. Luego, el EI debe sopesar las estrategias evaluativas a la luz de las posibles opciones disponibles.

 

            En este modelo es importante destacar las necesidades del solicitante y propender a satisfacerlas. Esto hace que deba establecerse una estrecha labor conjunta entre el solicitante y el EI y será responsabilidad de ambos que esta relación sea fructífera y útil.

 

            Las tareas esenciales para los Eis son:

 

a)      Identificar y acordar explícitamente con el solicitante cuáles son las necesidades de éste.

b)      Brindar una respuesta a dichas necesidades.

c)      Verificar que los beneficios derivados de las respuestas supera a los eventuales costos.

 

Una parte esencial de este modelo es moverse de la mera posición de hacer evaluaciones como un fin en sí mismas hacia el posicionamiento de asegurar que la información suministrada por la evaluación será utilizada provechosamente por el solicitante. De este modo, la consulta hecha por la ei será dinámica y flexible, respondiendo así a las reales necesidades de cambio.

 

   

EL PROCESO DE CONSULTA DE ei

 

            El diagrama 2 muestra las principales fases del proceso de consulta de ei.

 

 

                                                           Pedido del

                                                           solicitante

 

Continuación                                                                                      Contacto inicial

de la consulta

 

 

 

Monitoreo                                                                                                                                                                                                                                       Exploración

 

 

 

Planes de                                                                                           Diagnóstico

acción

 

 

Informe                                                                                              Acuerdo

 

 

 

 

                                                   Gestión

 

 

                                                           Diagrama 2

 

             

            En siguiente Tabla 1 se indican los objetivos del contenido y del proceso en cada fase indicada.

 

Tabla 1. Objetivos del contenido y del proceso de las fases de la consulta de la ei.

 

Fase                Objetivos del contenido                                Objetivos del proceso

 

Contacto         Identificar usuarios de la evaluación                 Desarrollar un clima de colaboración                         

Inicial              Obtener información básica                           Superar estereotipos de EI                            

                        Evaluar la situación                                        Establecer credibilidad

 

Exploración    Clarificar el problema                                      Escuchar atentamente, indagar

Clarificar los propósitos                                   Identificar normas y valores de

                                                                       los grupos

Examinar el contexto                                       Educar sobre evaluación

Evaluar la oportunidad de evaluar                    Desarrollar relaciones de trabajo

Efectuar un diagnóstico preliminar                    Confirmar intercambio de beneficios

 

Diagnóstico    Analizar programas                                         Identificar componentes claves

                                                                                              del programa

                        Confirmar usuarios de la evaluación                 Reforzar relaciones de trabajo

                        Evaluar factores organizacionales                     Establecer credibilidad

                        Establecer prioridades                         Fomentar confianza

                        Estimar restricciones                                        Educar más sobre evaluación

                        Determinar factibilidad                         Acordar prioridades de evaluación

           

Acuerdo          Confirmar propósitos                                      Negociar propósito y alcance

                        Confirmar proyecto                                         Negociar proyecto y métodos

                        Establecer plazos                                            Confirmar responsabilidades mutuas

                               Asignar obligaciones                                        Ganar apoyo para el proceso evaluativo

                        Proteger privacidad                                         Afirmar patrones de calidad

                        Asegurar integridad de los datos                      Negociar materiales a entregar           

Especificar información a entregar               Reformar relaciones de trabajo

 

Gestión           Implementar procedimientos                            Obtener apoyo para recoger datos

Mantener plazos                                              Motivar a las personas que

                                                                         evalúan y apoyan el proceso

Mantener la calidad de los datos                      Resolver problemas de

                                                                         colección de datos

Coordinar actividades                                     Reforzar la confianza

                                                                       Afirmar la credibilidad

                                                                         generando resultados                                               

Información    Validar la metodología                         Comunicar en forma rápida y

                                                                                                         concisa

                        Comunicar hallazgos                                        Reafirmar habilidad y capacidad

                        Identificar puntos clave                        Involucrar a los actores claves

                        Definir limitaciones                                          Estimular la discusión

                        Clarificar conclusiones                         Confrontar puntos conflictivos

                        Ofrecer recomendaciones                                Facilitar la resolución de problemas

 

Monitoreo       Suministrar retroalimentación               Monitorear implementación

                        Constatar hechos claves                                  Suministrar continuidad

                        Conducir revisiones                                         Forjar vínculos con recursos externos

                        Suministrar apoyos                                          Facilitar la resolución de problemas

                        Revisar los planes y programas                        Propugnar cambios necesarios

            En forma sucinta se puede afirmar que una vez que las autoridades deciden que ellas necesitan asistencia de parte de los EIs para resolver problemas y tomar decisiones, ambas partes deben trabajar en forma conjunta para diagnosticar el problema en cuestión e identificar las estrategias evaluativas relevantes. Durante este proceso, los Eis tienen la mayor responsabilidad para identificar a los usuarios de la información derivada de la evaluación, clarificando el problema y el proceso para su estudio, precisando las preguntas de evaluación y determinando la influencia de los factores organizativos.

 

            En consecuencia, los solicitantes y los EIs deben acordar en el plan de evaluación adecuado al problema en cuestión a la luz de los factores organizativos y las restricciones y limitaciones existentes. Luego de finalizar la evaluación, los EIs presentan sus hallazgos al auditorio que corresponda. Posteriormente, el solicitante (y eventualmente los EIs) proponen un plan de acción basado en los hallazgos realizados. Finalmente, los EIs monitorean la implementación del plan de acción y suministran retroalimentación sobre los progresos que se registren a los interesados.

 

            Pasemos ahora a discutir en alguna mayor extensión las distintas fases ya señaladas.

 

Contacto inicial

 

            El contacto inicial le brinda al EI la oportunidad de identificar a los actores claves, obtener información básica y apreciar la situación global. Además de esta valiosa información, el primer contacto ofrece la oportunidad para empezar a intervenir. Al lograr los objetivos del proceso del contacto inicial se influenciará a todo el proyecto evaluativo. El evaluador debe estar muy atento al hecho de que focalizando las demandas de la política organizativa, el protocolo y el proceso se sientan las bases para un exitoso completamiento de la tarea. El contacto inicial se establece con el solicitante y las autoridades de la unidad a evaluar. Este encuentro ofrece la posibilidad de entablar un contacto amistoso y superar la imagen negativa que puede conllevar el papel de EI. La ventaja de que el evaluador pertenezca a la misma organización tiene la ventaja de que la conoce, está familiarizado con sus problemas y con sus actores. El EI hábil debería tomarse el tiempo necesario para que el solicitante y autoridades se hagan conscientes de estos conocimientos y use de esta base para generar credibilidad y confianza.

 

Exploración

 

            Luego de este primer contacto, el EI deberá desarrollar una relación de trabajo para obtener información fidedigna acerca del contexto de la unidad a evaluar. La exploración involucra una rápida apreciación de la particular característica de esa unidad al obtener información de una fuente confiable y/o por observación directa. Estas observaciones informales podrán obtenerse de distintas maneras, ya sea en forma directa o indirecta, tal como pueda ser la información que entregue la autoridad y/o aquella que pueda resultar de entrevistas con los propios actores. El EI debería observar si el comportamiento es formal o informal, si todos los actores participan de las decisiones y si existen ciertos valores propios de la organización que no se discuten y/u otros que no son tenidos en cuenta. Aunque el EI no debería ocultar su condición, el reconocer la existencia de ciertas normas y valores le permitirán vincularse más intensamente con el grupo y reducir obstáculos innecesarios para alcanzar una interacción efectiva.

 

            El EI debe procurar establecer contacto personal con las autoridades de cada unidad. Durante las entrevistas, el EI debería concentrarse en conocer a la autoridad concentrándose en sus manifestaciones y escuchando en forma activa e indagando con discreción. Asimismo, el EI tendría que aprovechar la oportunidad para generar credibilidad y despejar cualquier clase de temor que pueda conllevar el mismo proceso de evaluación. Una vez que estos objetivos se alcancen, total o parcialmente, el EI debería investigador el grado de comprensión que posee la autoridad acerca del problema en consideración. 

 

            Entonces, el EI clarifica el propósito de la evaluación. Esto ofrece una excelente oportunidad para educar a las autoridades y el resto de los actores acerca de los usos de la ei. Durante esta fase exploratoria, el EI evalúa la adecuación del programa de evaluación. El EI presta atención e investiga acerca de las siguientes señales positivas:

 

-         Las autoridades desean la información proveniente de la evaluación para resolver los problemas identificados.

-         Las autoridades y demás actores poseen roles y responsabilidades claramente definidas.

-         Todos tienen una actitud positiva hacia el cambio.

-         El programa tiene una estructura orientada hacia el logro de resultados concretos.

-         Las autoridades tienen una actuación de liderazgo capacitado y confiable.

-         El diseño del programa permite un uso flexible de los recursos.

-         La política del programa no contraría el proceso evaluativo.

 

Los EI hábiles emplean las actividades de exploración para concretar un diagnóstico preliminar acerca del problema y con ello pueden clarificar los propósitos de la evaluación. Esto permite al EI evaluar la disposición de las autoridades y demás actores para llevar a cabo la evaluación y formular un diagnóstico preliminar de la situación. La retroalimentación acerca de estas primeras impresiones brinda a todas las partes la posibilidad de clarificar sus relaciones de trabajo y arribar a un acuerdo mutuo sobre los principales resultados derivados del proceso evaluativo.

 

Diagnóstico

 

            Hasta este punto, la exploración ha preparado al evaluador para comenzar a formular un diagnóstico más incluyente de la situación problemática. El proceso de diagnóstico demanda de la obtención y análisis de datos relevantes. El EI explora posibles soluciones y ofrece retroalimentación al consultante y eventualmente a las autoridades. La información es usada por la autoridad y el EI para definir mejor el problema y el alcance de la evaluación, establecer objetivos para la evaluación y organizar los pasos principales del estudio.

 

            El diagnóstico permite verificar que el problema expresado en el encuentro inicial es válido. Esto se concreta revisando materiales escritos previos y luego reuniéndose con personas o grupos que son potenciales interesados en la evaluación. Es recomendable vincularse con los interesados en el proceso evaluativo y sus resultados desde el mismo inicio del mismo ya que pueden existir distintas perspectivas y necesidades diferentes y todo ello puede ejercer una influencia positiva si hay acuerdos y, por el contrario, afectar negativamente a todo el proceso si esas necesidades y puntos de vista no son tenidos en cuenta o son ignorados.

 

            Aunque las entrevistas constituyen el modo básico para generar el diagnóstico, a veces ellas pueden estar precedidas por un informe escrito en base a la generación de opiniones anónimas. Las entrevistas diagnósticas se centran en la percepción de los participantes del problema y asuntos conexos. El EI necesita saber si hay acuerdo entre la naturaleza del problema y la importancia relativa de los asuntos centrales. Como el EI es alguien externo al asunto bajo consideración, ello lo coloca en una posición privilegiada para preguntar, escuchar y aclarar el problema. Un EI está en una buena posición para juzgar los beneficios y la viabilidad de la evaluación. Al finalizar la etapa diagnóstica, el solicitante y el EI deberían arribar a una decisión acerca de la viabilidad de la evaluación propuesta. Ellos deben decidir dejar de lado esa evaluación, reformular las preguntas o redefinir una relación de trabajo distinta. La fase diagnóstica debería finalizar con un borrador de un Término de Referencia (TDR), que es una descripción escrita de las especificaciones para la evaluación. El propósito del TDR es suministrar una descripción bien clara y precisa de los requerimientos del estudio de manera que el EI pueda trabajar con todos los actores involucrados en el problema para desarrollar un plan de evaluación que llegue a satisfacer las necesidades informativas del solicitante. Un buen TDR asegura que tanto los actores como el EI tengan un marco de referencia común para negociar los propósitos, los métodos y los datos emergentes del estudio evaluativo. Un buen TDR debería constar como mínimo de los ítems siguientes:

 

a)      Introducción

b)      Usuarios de la información derivada de la evaluación

c)      Propósitos de la evaluación

d)      Preguntas de la evaluación

e)      Parámetros de estudio

f)        Diseño preliminar

g)      Personas intervinientes en el proceso evaluativo

h)      Asuntos confidenciales

i)        Datos emergentes de la evaluación

j)        Información de resultados

k)      Plazos y cronograma

l)        Restricciones 

  

Acuerdo

 

            Habiendo completado el TDR el solicitantes y el EI tienen ahora la oportunidad para analizar la viabilidad del estudio evaluativo. Si se acuerda continuar, ahora se comienza con la fase de acuerdo del proceso de consulta de la ei. Los acuerdos de ei son del tipo psicológico más que legales. Ellos sirven para aclarar los papeles y expectativas en vez de ser un acuerdo legal de partes intervinientes. Aún así, la existencia del acuerdo de ei es crucial porque ello establece una base de confianza mutua a partir de la comunicación del entendimiento del EI de las necesidades del solicitante y con ello una inter-vinculación sobre la base de expectativas mutuas aceptables por ambas partes. De esta manera, el contrato reduce las posibilidades de resistencia y sabotaje frecuentemente existentes en los estudios evaluativos.

 

            El acuerdo otorga claridad a un proceso que es inherentemente ambiguo. Al formular un contrato explícito, el solicitante y el EI refuerzan su relación laboral confirmando el propósito y el alcance de la evaluación, especificando los métodos de estudio y los plazos pertinentes, destacando los recursos y facilidades requeridas y acordando cuáles serán los resultados que se generen. El contrato también ofrece la oportunidad de especificar las responsabilidades y procedimientos para proteger la calidad y la confidencialidad de los datos derivados de la evaluación. Este contrato debería contar como mínimo con los siguientes ítems:

 

1)      Propósitos de la evaluación

2)      Usuarios de la información derivada de la evaluación

3)      Preguntas básicas de la evaluación

4)      Resumen del diseño evaluativo y la metodología a utilizar

5)      Administración y organización del estudio

6)      Comité de seguimiento

7)      Personas involucradas

8)      Recursos necesarios

9)      Responsabilidades

10)  Cronograma y plazos de realización del estudio evaluativo

11)  Tareas

12)  Cooperación

13)  Control de la calidad de los datos

14)  Confidencialidad

15)  Datos generados

16)  Apropiación de los datos

17)  Monitoreo de la implementación de las recomendaciones del estudio

18)  Limitaciones

19)  Interrupción del estudio

 

Gestión

 

            En esta etapa, el EI comienza la gestión de la evaluación. Ahora deben implementarse los procedimientos especificados en el plan de evaluación y además deberán observarse el calendario y los plazos establecidos. Algunos aspectos esenciales en esta etapa son:

 

Formación de un comité de seguimiento

 

            Este comité actúa como uno del tipo formado por autoridades, que deberá reunirse periódicamente para monitorear los avances logrados y el cumplimiento de obligaciones contraídas por las partes.

 

Selección de un equipo de estudio

 

            Este equipo tiene una responsabilidad directa sobre el estudio. Está compuesto por un reducido número de personas (entre 4 y 10 miembros) y deberá contar con un coordinador que hará las veces de líder del mismo. Esta persona deberá tener una adecuada competencia profesional, poseerá una influencia cierta sobre el resto del equipo, conocerá cómo lograr hacer las cosas, y un profundo compromiso con el estudio. El líder coordinará las reuniones del equipo, preparará las agendas de esas reuniones, asignará responsabilidades, asegurará que las tareas se completen en tiempo y forma y remitirá los resultados a quienes corresponda.

 

            Los componentes del equipo se reportarán en todo lo atinentes al estudio al líder y tendrán las capacidades adecuadas asociadas a las tareas a desarrollar. También deberán poseer un fuerte compromiso e involucramiento con el proceso evaluativo y las capacidades necesarias par poder desempeñarse bien como parte de un equipo de trabajo. Ellos tienen la responsabilidad para llevar a cabo las tareas asignadas en los plazos establecidos, coordinando su trabajo con otros componentes del equipo, asistiendo a las reuniones convocadas por el líder y manteniendo una estricta confidencialidad acerca de la información derivada del trabajo de evaluación.

 

Información

 

            La información de los resultados de la evaluación en la fase siguiente en el proceso de consulta. La entrega de la información ofrece la oportunidad de mejorar la utilización de las evaluaciones involucrando a todos los actores, estimulando la discusión, confrontando asuntos de interés común y ofreciendo la oportunidad para resolver los problemas existentes. Para lograr el mejor provecho de esta oportunidad, los EIs primero deben reafirmar sus capacidades y credibilidades revisando la metodología del estudio y las necesarias salvaguardas del control de la calidad. Luego, ellos deben presentar sus hallazgos de manera clara y concisa de modo tal que se ajuste a la clase de información necesaria para los destinatarios de la misma. Debe tenerse en cuenta que según sea el posicionamiento del destinatario de los resultados de la evaluación en la escala gerencial de la organización, la información requerida puede ser de tipo netamente cualitativa, semicuantitativa o cuantitativa.

 

Monitoreo

 

            La fase final del proceso de consulta de ei es el monitoreo de la implementación de las recomendaciones y planes de acción originados a partir del estudio evaluativo. El EI verifica los logros centrales y ofrece retroalimentación acerca del progreso durante las reuniones de revisión. El EI brinda soporte técnico durante la implementación de los cambios del programa y asiste a las autoridades para revisar los planes de los programas, si ello es necesario. El EI propugna los cambios, pero también suministra continuidad en tanto el programa se va cambiando. Al ejercitar el papel de agente de vinculación, el EI ayuda a que el programa establezca relaciones fructíferas entre todos los actores. El EI facilita que se logren soluciones para los problemas motivando a todos los actores involucrados y suministrando un adecuado soporte técnico.

 

 

 

 

 

 

 

 

 

 

BIBLIOGRAFÍA

 

 

 

-         Beaussart, Maïte, “Su Evaluación Profesional. Conozca sus Propias Capacidades”, Cuadernos Gránica, Barcelona, España, 1995.

 

-         Love, Arnold J.,“Internal Evaluation. Building Organizations from Within”, Applied Social Research Method Series, Volume 24, Sage Publications, Newbury Park, 1991.

 

-         Lusthaus, Charles, Marie-Héléne Adrien, Gary Anderson, and Fred Carden, “Mejorando el Desempeño de las Organizaciones. Método de Autoevaluación”, Editorial Tecnológica de Costa Rica, Costa Rica, 2001.

 

-         Novak, Joseph and D. Bob Gowing, “Learning How to Learn”, Cambridge University Press, Cambridge, 1985.

 

-         Phillips, Jack. J., “Handbook of Training Evaluation and Measurement Methods”, 3^rd Edition, Butterworh-Heinemann, Elsevier, Houston, Texas, 1997.

 

-         Russ-Eft, Darlene and Hallie Preskill, “Evaluatin in Organizations. A Systematic Approach to Enhancing Learning, Performance, and Change”, Basic Books, New York, 2001.

 

-         Russo, Cat and Stephanie Sussan, Editors, “Infoline Guide to Training Evaluation. An Infoline Collection”, ASTD Press, New York, 2006. 

 

-         York, Peter, “A Funder’s Guide to Evaluation. Leveraging Evaluation to Improve Nonprofit Effectiveness”, Fieldstone Alliance, Saint Paul, Minnesota, 2005.